日本欧美成人在线免费观看 ,激情综合色五月丁香六月亚洲剧情

作者：James Kobielus是Wikibon的數(shù)據(jù)科學、深度學習和應(yīng)用軟件開發(fā)首席分析師。之前，James是IBM的數(shù)據(jù)科學宣傳官。

如果這種方法深入人心，它有可能徹底顛覆數(shù)據(jù)科學界的標準實踐或做法。

數(shù)據(jù)科學的發(fā)展已遠超出了科學領(lǐng)域?，F(xiàn)在，它是許多顛覆性業(yè)務(wù)應(yīng)用系統(tǒng)的核心和靈魂。

無論在什么地方，企業(yè)數(shù)據(jù)科學實踐或做法已在24x7全天候DevOps工作流程中變成了工業(yè)化。在這種趨勢下，圍繞AI的機器學習DevOps管道中的幾乎每個過程都實現(xiàn)了自動化。

AI神經(jīng)網(wǎng)絡(luò)算法的建模實現(xiàn)自動化

建模是邁向端到端數(shù)據(jù)科學管道自動化這個過程中的下一個、也許是最終的里程碑?，F(xiàn)在，大多數(shù)數(shù)據(jù)科學工具包已經(jīng)含有用于使模型特征工程和超參數(shù)調(diào)整實現(xiàn)自動化的工具。這種趨勢下的下一批里程碑之一（有時名為AutoML）就是開發(fā)標準的“神經(jīng)架構(gòu)搜索”（neural architecture search）方法。這是指用于使這項任務(wù)實現(xiàn)自動化的一套工具和方法：為屬于AI機器學習模型核心的卷積、循環(huán)及其他神經(jīng)網(wǎng)絡(luò)架構(gòu)創(chuàng)建經(jīng)過優(yōu)化的架構(gòu)。

實際上，神經(jīng)架構(gòu)搜索需要定制機器學習模型的算法“神經(jīng)元”的結(jié)構(gòu)、權(quán)重和超參數(shù)，以便使這些算法神經(jīng)元更準確、更快速、更高效地執(zhí)行數(shù)據(jù)驅(qū)動的推理。通過針對最嚴峻的AI挑戰(zhàn)，自動構(gòu)建新穎的神經(jīng)架構(gòu)，它可以帶來準確性、效率和速度都前所未有的AI應(yīng)用軟件。通過使傳統(tǒng)上使用手動技術(shù)執(zhí)行的耗時、容易出錯的神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計流程實現(xiàn)自動化，它可以把數(shù)據(jù)科學家解放出來，利用他們的創(chuàng)造力，將更具顛覆性的智能做入到從云微服務(wù)到邊緣設(shè)備的一切中。

隨著神經(jīng)架構(gòu)搜索從研發(fā)領(lǐng)域進入到企業(yè)數(shù)據(jù)科學家的工作平臺，它有望徹底改變構(gòu)建和優(yōu)化AI應(yīng)用軟件以實現(xiàn)預(yù)期目的的實踐或做法。它有望大大減少針對預(yù)期用途訓(xùn)練機器學習模型這一需求，因而可以減少AI開發(fā)人員利用數(shù)據(jù)湖的大量計算、內(nèi)存和存儲資源這一需求。它還可以提高數(shù)據(jù)科學家的工作效率，指導(dǎo)他們的決策：無論是基于線性回歸和隨機森林算法之類的既有算法來構(gòu)建機器學習模型，還是基于任何更新穎、更高級的神經(jīng)網(wǎng)絡(luò)算法來構(gòu)建機器學習模型。

探究神經(jīng)架構(gòu)搜索的各種算法方法

研究文獻表明，在實驗室環(huán)境下，神經(jīng)架構(gòu)搜索方法的表現(xiàn)已經(jīng)比手動設(shè)計的神經(jīng)網(wǎng)絡(luò)更勝一籌。諸多技術(shù)方法已應(yīng)用于諸如圖像分類、對象檢測和語義分割之類的AI任務(wù)，它們包括如下：

進化算法：自1990年代以來，這類算法就一直是神經(jīng)架構(gòu)搜索的基礎(chǔ)；實際上，它們現(xiàn)在被OpenAI、優(yōu)步實驗室、Sentient Labs、DeepMind和谷歌Brain團隊用于各種AutoML項目。研究人員歷來使用進化算法來改進神經(jīng)架構(gòu)和權(quán)重。他們進化出了一組模型，并且在每個步驟中從該模型組中抽取至少一個模型，通過對其進行突變，充當自動生成后代模型的父模型。就神經(jīng)架構(gòu)搜索而言，突變需要添加或刪除層、更改層的超參數(shù)、添加跳過連接（skip connection）以及更改訓(xùn)練超參數(shù)。在訓(xùn)練后代模型后，評估其適用性（應(yīng)用于驗證數(shù)據(jù)集），并在適當時添加到模型組中。
強化學習：在過去幾年里，這類算法在新的神經(jīng)架構(gòu)搜索項目中很流行。用強化學習的術(shù)語來說，神經(jīng)架構(gòu)的生成是代理的行為，代理的回報基于對經(jīng)過訓(xùn)練的架構(gòu)處理未見過數(shù)據(jù)的性能的評估。不同的強化學習方法以不同的方式優(yōu)化代理的神經(jīng)架構(gòu)搜索策略，并以不同的方式對架構(gòu)、超參數(shù)、權(quán)重和狀態(tài)進行編碼。一些項目不用明確的權(quán)重訓(xùn)練就可以報告可接受的結(jié)果。這些方法往往會在很長一段時間內(nèi)使用大量的計算資源來獲得結(jié)果，不過研究人員繼續(xù)降低計算成本，并進一步提升性能。
基于梯度的方法：這類算法通過對驗證數(shù)據(jù)（用于網(wǎng)絡(luò)架構(gòu)）和訓(xùn)練數(shù)據(jù)（用于權(quán)重）進行隨機梯度下降步驟的交替來執(zhí)行神經(jīng)架構(gòu)搜索。這種方法可擴展到數(shù)百萬個權(quán)重以及擁有復(fù)雜超參數(shù)的高度連接的架構(gòu)。最近的神經(jīng)進化方法還依賴基于梯度的方法來優(yōu)化權(quán)重。
貝葉斯優(yōu)化：從本世紀初開始，這類算法一直是神經(jīng)架構(gòu)搜索的流行方法。它已被用來創(chuàng)建用于計算機視覺和數(shù)據(jù)增強的最佳神經(jīng)網(wǎng)絡(luò)架構(gòu)。
隨機搜索：這類算法使用基于樹的模型來有效搜索高維度條件空間，以優(yōu)化神經(jīng)架構(gòu)及其超參數(shù)。

向神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索投入敏捷和海量的計算資源

還有其他研究人員從一組初始的神經(jīng)網(wǎng)絡(luò)架構(gòu)開始入手，然后將其發(fā)展成一種能夠?qū)Σ煌瑪?shù)據(jù)類型進行各種推斷的單一架構(gòu)。這方面進行嘗試的一個項目是美國能源部橡樹嶺國立實驗室搞的。該實驗室的MENNDL項目可以自動發(fā)現(xiàn)、生成和測試與任何特定的AI建模挑戰(zhàn)有關(guān)的數(shù)百萬個神經(jīng)網(wǎng)絡(luò)架構(gòu)。

目前，該實驗室的研究人員使用MENNDL自動構(gòu)建神經(jīng)網(wǎng)絡(luò)以分析癌癥掃描結(jié)果。 MENNDL實現(xiàn)了一個基于Python的框架，通過重新組合此類架構(gòu)的可重用組件來生成新的神經(jīng)網(wǎng)絡(luò)。它創(chuàng)建新神經(jīng)網(wǎng)絡(luò)架構(gòu)的速度比以前的手動過程快16倍。MENNDL是計算密集型的，在一臺含有4608個節(jié)點的1.3 exaflop超級計算機上運行，每個節(jié)點包含兩個IBM POWER9 CPU和六個英偉達Volta GPU。典型的MENNDL作業(yè)在這臺超級計算機上的總共9216個CPU和27648個GPU上運行處理混合精度浮點運算的代碼。

在為特定數(shù)據(jù)集創(chuàng)建的數(shù)百萬個潛在架構(gòu)中，MENNDL根據(jù)神經(jīng)網(wǎng)絡(luò)的大小、訓(xùn)練所需的計算密集強度以及在掃描中檢測腫瘤的準確性來選擇最佳的架構(gòu)。然后它選擇的模型通過單獨的工具加以高強度訓(xùn)練，這些工具針對特定的推理挑戰(zhàn)來優(yōu)化模型。這些模型又由研究人員存儲起來，以便為各種各樣的應(yīng)用挑戰(zhàn)構(gòu)建可重用的神經(jīng)網(wǎng)絡(luò)架構(gòu)庫。

挖掘神經(jīng)網(wǎng)絡(luò)修剪的潛力

最有前途的神經(jīng)架構(gòu)搜索方法之一需要找到用于事先“修剪”神經(jīng)網(wǎng)絡(luò)的最佳方法。或者，一些研究人員從稀疏網(wǎng)絡(luò)開始入手，僅在必要時添加連接和其他復(fù)雜性。

這些方法在文獻中越來越明顯，它們生成的稀疏神經(jīng)網(wǎng)絡(luò)僅保留一小部分的連接，而在推理任務(wù)方面與完整的未修剪網(wǎng)絡(luò)相比保持了與之相似甚至更好的性能。它們一開始就提高了神經(jīng)網(wǎng)絡(luò)的準確性和效率，避免或大大減少了在部署之前對其進行訓(xùn)練的需求。

麻省理工學院（MIT）的最新研究使用修剪技術(shù)顯著減少了進行神經(jīng)架構(gòu)搜索所需的計算能力。研究人員已開發(fā)出了一種神經(jīng)架構(gòu)搜索算法，該算法可以直接學習針對目標硬件平臺的專門的卷積神經(jīng)網(wǎng)絡(luò)――僅需200個GPU小時即可處理完海量圖像數(shù)據(jù)集，這有望讓這些類型的算法支持廣泛得多的應(yīng)用領(lǐng)域。

為了實現(xiàn)這一目標，他們開發(fā)了修剪不必要的神經(jīng)網(wǎng)絡(luò)設(shè)計組件的方法，因而縮短了計算時間，只需要一小部分的硬件內(nèi)存即可運行神經(jīng)架構(gòu)搜索算法。每個輸出的網(wǎng)絡(luò)在特定的硬件平臺上（比如CPU和GPU）運行起來都比傳統(tǒng)手動方法設(shè)計的神經(jīng)網(wǎng)絡(luò)來得高效。

神經(jīng)架構(gòu)搜索算法可以在較小的代理數(shù)據(jù)集上運行，并將學習到的網(wǎng)絡(luò)快速轉(zhuǎn)移到生產(chǎn)環(huán)境中的較大數(shù)據(jù)集，準確性并不損耗。為了達到這種速度和效率，研究人員開發(fā)出了一種名為“路徑級二值化”（path-level binarization）的技術(shù)，該技術(shù)一次僅存儲一個采樣的神經(jīng)網(wǎng)絡(luò)路徑，再結(jié)合路徑級修剪，可以自動調(diào)整路徑的概率以同時優(yōu)化準確性和效率。該方法還使用每個目標硬件平臺上的延遲作為反饋信號來優(yōu)化架構(gòu)。

如果這種方法深入人心，它有可能徹底顛覆數(shù)據(jù)科學界的標準實踐或做法。正如本文所討論的那樣，它有望大幅減少神經(jīng)網(wǎng)絡(luò)的大小，提高神經(jīng)網(wǎng)絡(luò)的準確性和效率，并使任何人都能夠構(gòu)建高度優(yōu)化的網(wǎng)絡(luò)，無需使用龐大的服務(wù)器集群和數(shù)據(jù)湖。

隨著這股趨勢愈演愈烈，有一天可能會消除像谷歌、亞馬遜和微軟這些公司在構(gòu)建先進復(fù)雜的AI方面所擁有的與超大規(guī)模計算有關(guān)的優(yōu)勢。在此過程中，它可能加快AI的持續(xù)大眾化，因而哪怕一個人的小公司也能開發(fā)出令人震驚的創(chuàng)新，這些創(chuàng)新以前憑借它們可憐的資源是不可能取得的。

特別聲明：

文章來源：云頭條

原文鏈接：https://mp.weixin.qq.com/s/yk7YaMVTBYiqBoVSw6Y_5g

RPA中國推薦閱讀，轉(zhuǎn)載此文是出于傳遞更多信息之目的。如有來源標注錯誤或侵權(quán)，請聯(lián)系更正或刪除，謝謝。

繼續(xù)閱讀：AI 人工智能