在2018年及其以后，深層神經(jīng)網(wǎng)絡(luò )和機器學(xué)習在更大的人工智能（AI）領(lǐng)域會(huì )如何發(fā)展？我們如何能開(kāi)發(fā)出越來(lái)越復雜的機器以在日常生活中幫助人類(lèi)？這些都是普渡大學(xué)機器學(xué)習硬件教授尤金尼奧·庫魯爾塞羅(Eugenio Culurciello)關(guān)注的問(wèn)題。請注意，本文的重點(diǎn)并非有關(guān)AI的預測，而是對該領(lǐng)域發(fā)展軌跡、趨勢以及技術(shù)需求的詳細分析，以幫助創(chuàng )造更有用的AI。當然，并非所有的機器學(xué)習都是針對AI的，還有些其他容易實(shí)現的目標，下面我們就仔細審視下。

目標
AI領(lǐng)域的目標是通過(guò)機器上實(shí)現人類(lèi)和超人的能力，以便讓它們在日常生活中幫助我們。自動(dòng)駕駛車(chē)輛、智能家居、智能助理以及安全攝像頭將是植入AI技術(shù)的首批目標，家庭烹飪和清潔機器人、無(wú)人偵察機和機器人則是第二批目標。其他目標還有移動(dòng)設備上的助理，全職陪伴助理（可以聽(tīng)到和看到我們的生活經(jīng)歷）。而AI領(lǐng)域的終極目標是打造完全自主的合成實(shí)體，它可以在日常工作中以相當于人類(lèi)或超越人類(lèi)的水平行事。

軟件
在這里，軟件被定義為通過(guò)優(yōu)化算法訓練的神經(jīng)網(wǎng)絡(luò )構架以解決特定的任務(wù)。今天，神經(jīng)網(wǎng)絡(luò )是用來(lái)學(xué)習解決問(wèn)題的實(shí)際工具，其中涉及通過(guò)大數據集進(jìn)行分類(lèi)學(xué)習。但這并不是全部AI，它要求在現實(shí)世界中，在沒(méi)有監督的情況下學(xué)習，也要吸取以前從未見(jiàn)過(guò)的經(jīng)驗，常常需要把以前學(xué)到的知識結合起來(lái)以解決當前的挑戰。

如何讓目前的神經(jīng)網(wǎng)絡(luò )演變成AI？
神經(jīng)網(wǎng)絡(luò )架構：幾年前，當神經(jīng)網(wǎng)絡(luò )架構發(fā)展起來(lái)的時(shí)候，我們經(jīng)常認為從數據中自動(dòng)學(xué)習算法的參數擁有巨大優(yōu)勢，而且這比手工編寫(xiě)的算法功能更強大。但我們忘了提到一個(gè)小細節，那就是作為“訓練解決特定任務(wù)基礎”的神經(jīng)網(wǎng)絡(luò )架構并未從數據中學(xué)習。事實(shí)上，它仍然是開(kāi)發(fā)人員手工設計的。有鑒于此，目前它成為AI領(lǐng)域的主要限制之一。
然而，神經(jīng)網(wǎng)絡(luò )架構是學(xué)習算法的基本核心。即使我們的學(xué)習算法能夠掌握新的技能，如果神經(jīng)網(wǎng)絡(luò )不正確，它們也無(wú)法得出正確結果。從數據中學(xué)習的神經(jīng)網(wǎng)絡(luò )架構存在的問(wèn)題是，目前在一個(gè)大數據集上進(jìn)行多架構實(shí)驗花費的時(shí)間太長(cháng)。我們必須嘗試從頭開(kāi)始訓練多個(gè)架構，并看看哪一個(gè)最有效。這就是我們今天使用的、非常耗時(shí)的試錯過(guò)程!我們應該克服這一限制，并在這個(gè)非常重要的問(wèn)題上多加思考。
無(wú)監督學(xué)習：我們不能總是干預神經(jīng)網(wǎng)絡(luò )，引導它們的每一次體驗。我們不能在每個(gè)實(shí)例中都糾正它們，并提供它們的性能反饋。我們的生活也要持續下去!但這正是我們今天利用受監督神經(jīng)網(wǎng)絡(luò )所做的：我們?yōu)槊總�(gè)實(shí)例提供幫助，使它們能夠正確執行。相反，人類(lèi)只需從少數幾個(gè)例子中學(xué)習，并且能夠以連續的方式自我校正和學(xué)習更復雜的數據。
預測神經(jīng)網(wǎng)絡(luò )：目前神經(jīng)網(wǎng)絡(luò )的一個(gè)主要局限是它們沒(méi)有人類(lèi)大腦最重要的特征之一，即預測能力。關(guān)于人腦如何工作的一個(gè)主要理論是它能不斷地預測，即擁有預測代碼。如果你仔細想想，就會(huì )發(fā)現我們每天都在使用它。你提起一個(gè)自認為很輕的物體，但結果它卻很重。這會(huì )讓你感到驚訝，因為當你接近它的時(shí)候，你已經(jīng)預測它將如何影響你和你的身體，或者你的整體環(huán)境。
預測不僅能讓我們了解世界，還能知道我們什么時(shí)候不了解它，什么時(shí)候該學(xué)習。事實(shí)上，我們保存那些我們不知道并讓我們感到吃驚的事情的信息，以便下次不會(huì )再犯同樣的錯誤！認知能力絕對與我們大腦中的注意力機制有明顯的聯(lián)系：我們天生就有能力放棄99.9%的感官輸入，只專(zhuān)注于對我們生存至關(guān)重要的數據，包括哪里存在威脅，哪里是我們逃避它的地方�；蛘�，在現代世界里，當我們匆忙出門(mén)時(shí)，我的手機落在哪里。?構建預測神經(jīng)網(wǎng)絡(luò )是我們與現實(shí)世界互動(dòng)的核心，并能在復雜的環(huán)境中發(fā)揮作用。因此，這是任何強化學(xué)習的核心網(wǎng)絡(luò )。
當前神經(jīng)網(wǎng)絡(luò )的局限性：無(wú)法預測，無(wú)法解釋理由，以及暫時(shí)的不穩定性，因此我們需要一種新的神經(jīng)網(wǎng)絡(luò )。神經(jīng)網(wǎng)絡(luò )膠囊（Neural Network Capsules）就是解決當前神經(jīng)網(wǎng)絡(luò )局限性的一種方法，但我們認為它必須有些額外的特點(diǎn)：
1）視頻幀操作：這很簡(jiǎn)單，因為我們需要做的就是讓膠囊路由查看最近時(shí)間的多個(gè)數據點(diǎn)。這相當于在最近的重要數據點(diǎn)上建立起關(guān)聯(lián)內存。請注意，這些不是最近幀的最新表達，而是它們最新的不同表達�？梢酝ㄟ^(guò)僅保存與預定義值不同的表達來(lái)獲得不同內容的不同表達。這個(gè)重要的細節只允許保存最近歷史上的相關(guān)信息，而不是一系列無(wú)用的相關(guān)數據點(diǎn)。
2）預測神經(jīng)網(wǎng)絡(luò )能力：這已經(jīng)是動(dòng)態(tài)路由的一部分，它迫使各層預測下一層表達。這是一種非常強大的自我學(xué)習技巧，在我們看來(lái)，它勝過(guò)了我們在社區中發(fā)展的所有其他非監督表現學(xué)習。膠囊現在需要能夠預測長(cháng)期的時(shí)空關(guān)系，但目前還沒(méi)有實(shí)現。
持續學(xué)習：這是很重要的，因為神經(jīng)網(wǎng)絡(luò )需要不斷地學(xué)習新的數據點(diǎn)來(lái)維持生存。目前的神經(jīng)網(wǎng)絡(luò )不能學(xué)習新的數據，而每次都需要從頭開(kāi)始重新訓練。神經(jīng)網(wǎng)絡(luò )需要能夠自我評估接受重新訓練的必要性，以及它們確實(shí)知道某些事情的事實(shí)。這也需要在現實(shí)生活和強化學(xué)習任務(wù)中表現出來(lái)，我們想讓機器在不忘記舊任務(wù)的情況下完成新任務(wù)。
轉移學(xué)習：或者稱(chēng)我們如何讓這些算法通過(guò)觀(guān)看視頻自學(xué)，就像我們學(xué)習如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對于加強學(xué)習也很重要�，F在你可以通過(guò)舉例子的方式來(lái)訓練你的機器去做你想讓它做的事情，就像我們人類(lèi)一樣。
強化學(xué)習：這是深神經(jīng)網(wǎng)絡(luò )研究的“圣杯”，即教機器如何在真實(shí)的世界環(huán)境中學(xué)習！這需要自學(xué)、持續學(xué)習、預測能力，還有很多我們不知道的東西。在強化學(xué)習領(lǐng)域有很多東西需要了解，但對作者們來(lái)說(shuō)，這只觸及到問(wèn)題的表面。
強化學(xué)習通常被稱(chēng)為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓練。但是，我們如何才能得到一個(gè)“通用”大腦輕松地解決所有的問(wèn)題呢？這是個(gè)“先有雞還是先有蛋”的問(wèn)題！今天，要想一個(gè)個(gè)地解決強化學(xué)習的問(wèn)題，我們需要使用標準神經(jīng)網(wǎng)絡(luò )：一個(gè)深度的神經(jīng)網(wǎng)絡(luò )，它接收大量的數據輸入，如視頻或音頻，并將其壓縮成表示；一個(gè)序列學(xué)習神經(jīng)網(wǎng)絡(luò )，如RNN，以便了解任務(wù)。

這兩個(gè)部分都是問(wèn)題的明顯解決方案，目前顯然是錯誤的，但這是每個(gè)人都在使用的，因為它們是當前可用的構建塊。這樣的結果并不令人印象深刻：我們可以從頭開(kāi)始學(xué)習玩視頻游戲，并且掌握像國際象棋和圍棋這樣完全可觀(guān)察的游戲，但無(wú)需多言，與在復雜的世界中解決問(wèn)題相比，這些都是微不足道的。想象下，AI可以比人類(lèi)更好地玩轉《Horizon Zero Dawn》，對此我拭目以待！
但這恰是我們想要看到的，即能像我們人類(lèi)這樣運作的機器。我們對強化學(xué)習的建議是，使用可以連續操作的預測神經(jīng)網(wǎng)絡(luò )和聯(lián)想存儲器來(lái)存儲最近的經(jīng)驗。
不要更多的遞歸神經(jīng)網(wǎng)絡(luò )(RNN)：因為它們在并行化方面表現特別糟糕，甚至在特殊的定制機器上也很慢，因為它們的內存帶寬使用率很高，內存帶寬存在限制�；�于注意力的神經(jīng)網(wǎng)絡(luò )更高效，可更快速地進(jìn)行訓練和部署，并且在訓練和部署方面的可伸縮性更少。在神經(jīng)網(wǎng)絡(luò )中，注意力有可能使許多架構發(fā)生真正的改變，但它并沒(méi)有得到應有的認可。聯(lián)想記憶和注意力的結合是下一波神經(jīng)網(wǎng)絡(luò )發(fā)展的核心。我們認識到，基于注意力的神經(jīng)網(wǎng)絡(luò )將逐漸取代基于RNN的語(yǔ)音識別，并在強化學(xué)習構架和通用人工智能中找到它們的方法。
分類(lèi)神經(jīng)網(wǎng)絡(luò )中信息的定位：實(shí)際上這是一個(gè)已經(jīng)解決的問(wèn)題，將被嵌入到未來(lái)的神經(jīng)網(wǎng)絡(luò )架構中。

硬件
深度學(xué)習硬件才是進(jìn)步的核心�，F在讓我們忘記2008-2012年深度學(xué)習的快速擴展，近年的進(jìn)步主要取決于硬件：在社交媒體的幫助下，每部手機上的廉價(jià)圖像傳感器都可以收集巨大的數據集，但其只處于次級重要程度。GPU允許加速深層神經(jīng)網(wǎng)絡(luò )的訓練。在過(guò)去2年里，機器學(xué)習硬件蓬勃發(fā)展，尤其是針對深度神經(jīng)網(wǎng)絡(luò )的硬件。
有幾家公司正在這個(gè)領(lǐng)域努力，包括英偉達、英特爾、Nervana、Movidius、Bitmain、Cambricon、Cerebras、DeePhi、谷歌、Graphcore、Groq、華為、ARM以及Wave Computing等，他們都在開(kāi)發(fā)定制的高性能微型芯片，能夠訓練和運行深層神經(jīng)網(wǎng)絡(luò )。關(guān)鍵是提供最低功耗和最高的可測量性能，同時(shí)計算最近有用的神經(jīng)網(wǎng)絡(luò )操作，而不是每秒鐘的原始理論操作。但是在這個(gè)領(lǐng)域很少有人了解硬件是如何真正改變機器學(xué)習、神經(jīng)網(wǎng)絡(luò )和AI的，很少有人知道微型芯片的重要性以及如何開(kāi)發(fā)它們。
訓練或推理：許多公司都在制造能提供神經(jīng)網(wǎng)絡(luò )訓練的微型芯片。這是為了獲得英偉達市場(chǎng)的一部分，它是迄今為止事實(shí)上的培訓硬件。但這種訓練只占深層神經(jīng)網(wǎng)絡(luò )應用的很小部分。對于每個(gè)訓練步驟，實(shí)際應用程序中都有上百萬(wàn)個(gè)部署。例如，你現在可以在云端使用的一個(gè)目標檢測神經(jīng)網(wǎng)絡(luò )，它曾經(jīng)被訓練過(guò)一次，并且在很多圖像上都是可以使用的。但是一旦經(jīng)過(guò)訓練，它就可以被數以百萬(wàn)計的計算機用于數十億的數據。
我們在這里想說(shuō)的是，訓練硬件的重要性和你所使用的次數相比是微不足道的，而制作用于訓練的芯片組需要額外的硬件和額外的技巧。這將導致相同性能卻消耗更高的功率，因此不是當前部署的最佳狀態(tài)。訓練硬件是很重要的，而對推理硬件進(jìn)行修改卻很簡(jiǎn)單，但它并不像許多人認為的那樣重要。
應用程序：能夠更快、更低功率地提供培訓的硬件在這個(gè)領(lǐng)域非常重要，因為它將允許更快地創(chuàng )建和測試新的模型和應用程序。但真正重要的一步是應用所需的硬件，主要是推理硬件。今天有許多應用之所以無(wú)法使用，主要是因為硬件而不是軟件。例如，我們的手機可以是基于語(yǔ)音的助手，目前是次優(yōu)的，因為它們不能一直運行。就連我們的家庭助理也離不開(kāi)電源，除非我們在周?chē)�安裝更多麥克風(fēng)或設備，否則就不能跟著(zhù)我們。但也許最大的應用是將手機屏幕從我們的生活中移除，并將其嵌入到我們的視覺(jué)系統中。如果沒(méi)有超級高效的硬件，所有這些和更多的應用將是不可能的。
贏(yíng)家和輸家：在硬件方面，贏(yíng)家將是那些能夠以最低功耗發(fā)揮更高性能、并能將設備迅速投入市場(chǎng)的公司。想象用手機代替SoC，這種情況每年都會(huì )發(fā)生�，F在想象下將神經(jīng)網(wǎng)絡(luò )加速器嵌入到內存中。這可能會(huì )更快地征服市場(chǎng)，并快速滲透，這就是我們所說(shuō)的贏(yíng)家。

應用程序
我們在上面的“目標”部分簡(jiǎn)要地討論了應用程序，但是我們需要詳細討論一下。AI和神經(jīng)網(wǎng)絡(luò )將如何進(jìn)入我們的日常生活？這是我們的名單：
分類(lèi)圖像和視頻：已經(jīng)存在于許多云服務(wù)中。下一步就是在智能攝像頭領(lǐng)域做同樣的事情，今天在這里也有許多供應商。神經(jīng)網(wǎng)絡(luò )硬件將允許移除云并在本地處理越來(lái)越多的數據，保護隱私和節省網(wǎng)絡(luò )帶寬將成為贏(yíng)家。
語(yǔ)音助理：它們正在成為我們生活中的一部分，可以在我們的智能設備中播放音樂(lè )和控制基本設備。但是對話(huà)是一種基本的人類(lèi)活動(dòng)，我們常常認為它是理所當然的。你可以對話(huà)的小型設備是一場(chǎng)正在發(fā)生的革命。語(yǔ)音助理正變得越來(lái)越好，可以更好地服務(wù)于我們。但它們仍然與電網(wǎng)相連，我們想要的真正助理應該能隨時(shí)伴在我們身側。
手機怎么樣？硬件在這里再次勝出，因為它將使上述期望成為可能。Alexa、Cortana以及Siri可以始終陪伴著(zhù)你。手機很快就會(huì )成為你的智能家居設備，這又是智能手機的又一次勝利。但我們也希望它在我們的車(chē)里，并伴隨我們在城市中移動(dòng)。我們需要本地處理語(yǔ)音，減少云端支持。更多的隱私和更少的帶寬成本。硬件有望在1-2年內提供給我們。
真正的智能助理：語(yǔ)音助理已經(jīng)很棒，但我們真正想要的是能看到我們所看到東西的助理。當我們四處走動(dòng)時(shí)，它能分析我們的環(huán)境。而神經(jīng)網(wǎng)絡(luò )硬件將會(huì )再次滿(mǎn)足你的愿望，因為分析視頻是非常昂貴的，而且目前在理論上限制了當前的硅硬件。換句話(huà)說(shuō)，要做的事情比做語(yǔ)音助理要難得多。但這并不是不可能的，像AiPoly這樣的許多智能初創(chuàng )公司已經(jīng)擁有了類(lèi)似軟件，但是缺少強大的硬件來(lái)運行它。還要注意的是，用可穿戴的玻璃設備代替手機屏幕真的會(huì )讓我們的助手成為我們的一部分!
烹飪機器人：下一個(gè)最大的設備將是烹飪和清潔機器人。在這里，我們可能很快就有硬件，但我們顯然缺乏軟件。我們需要轉移學(xué)習、持續學(xué)習和強化學(xué)習。一切都像魔法那樣，因為你知道：每個(gè)食譜都是不同的，每種烹飪成分看起來(lái)都不一樣。我們不能硬編碼所有這些選項。我們真的需要一個(gè)可以學(xué)習和推廣的合成實(shí)體來(lái)做這個(gè)。我們離它還很遠，但并非遙不可及。以目前的速度前進(jìn)，可能只需要幾年就能實(shí)現。正如我在過(guò)去幾年所做的那樣，我感肯定這些都能實(shí)現。