這幾年的深度學(xué)習(xí)熱度已經(jīng)算不上新聞了。但真正把“深度學(xué)習(xí)”這四個(gè)字講清楚的文字反而不多。很多人知道神經(jīng)網(wǎng)絡(luò)厲害卻不知道它經(jīng)歷了三次起起落落才走到今天知道訓(xùn)練要大算力、大數(shù)據(jù)卻不知道這三者跟算法是如何互相掐架又互相托底的也知道深度學(xué)習(xí)是“受大腦啟發(fā)”卻不清楚它跟神經(jīng)科學(xué)之間到底誰(shuí)欠了誰(shuí)的中間鬧過多少誤會(huì)。上篇聊了深度學(xué)習(xí)的源流從早期神經(jīng)元模型一直講到聯(lián)結(jié)主義學(xué)派如何被邊緣化。這篇咱們接著把這攤子事兒往后捋重點(diǎn)拆三個(gè)東西三次浪潮是怎么一浪接一浪的三大驅(qū)動(dòng)力缺了誰(shuí)都不行以及深度學(xué)習(xí)跟神經(jīng)科學(xué)之間那點(diǎn)“效仿、叛逃、又暗通款曲”的恩怨。適合兩類人看一是想系統(tǒng)梳理深度學(xué)習(xí)來(lái)龍去脈的非算法從業(yè)者二是學(xué)了很多工程細(xì)節(jié)但不太了解歷史背景的開發(fā)者和研究者。理解歷史不是考古它直接決定你現(xiàn)在做的很多取舍到底站不站得住腳。1. 三次浪潮深度學(xué)習(xí)不是一夜爆紅而是起落三輪1.1 第一波浪潮神經(jīng)元模型的“過度自信”早在上世紀(jì)中葉就有研究者從腦科學(xué)的角度提出了“神經(jīng)元計(jì)算”的概念。后來(lái)另一位學(xué)者拿電子線路模擬了單個(gè)神經(jīng)元的輸入輸出關(guān)系做成了歷史上第一個(gè)可學(xué)習(xí)的模型——感知機(jī)。這個(gè)東西現(xiàn)在看很簡(jiǎn)單輸入加權(quán)求和經(jīng)過一個(gè)閾值判斷輸出0或1。但它啟發(fā)了一個(gè)極其重要的思考方式也許智能不需要被編寫成規(guī)則而是可以通過調(diào)整“權(quán)重”自動(dòng)從數(shù)據(jù)里學(xué)出來(lái)。當(dāng)時(shí)學(xué)界有多樂觀呢某位開創(chuàng)者直接在公開場(chǎng)合說過類似“用不了多少年就能制造出真正的機(jī)器大腦”的話。你聽這個(gè)口氣就知道第一次浪潮為什么很快就撞了墻。感知機(jī)能解決的只是線性可分問題一個(gè)最簡(jiǎn)單但最致命的異或邏輯它就怎么都學(xué)不會(huì)。后來(lái)的教科書都喜歡把這筆賬記在“異或”頭上實(shí)際上更深層的原因是單層模型表達(dá)能力有限而當(dāng)時(shí)根本沒有算力去支撐多層模型的訓(xùn)練試探。到六十年代末一篇質(zhì)疑性的理論文章發(fā)表后美國(guó)聯(lián)幫科研經(jīng)費(fèi)迅速?gòu)纳窠?jīng)網(wǎng)絡(luò)撤走第一波浪潮基本是“被撥冷水潑滅的”。1.2 第二波浪潮反向傳播帶來(lái)的“短暫復(fù)興”如果說第一波浪潮是“結(jié)構(gòu)太簡(jiǎn)單”那么第二波浪潮的核心突破就是把“多層”訓(xùn)練重新拉回舞臺(tái)中央。八十年代一種通過鏈?zhǔn)角髮?dǎo)反向逐層調(diào)整權(quán)重的算法——誤差反向傳播被多位研究者獨(dú)立重提并帶入實(shí)際操作中。從此神經(jīng)網(wǎng)絡(luò)可以擁有隱含層可以擬合非線性函數(shù)。這在做模式識(shí)別的人眼里簡(jiǎn)直是“學(xué)習(xí)機(jī)器”重新有了生命。但第二波浪潮的生命周期很短原因也很現(xiàn)實(shí)。反向傳播說起來(lái)漂亮真正訓(xùn)練一個(gè)稍微深一點(diǎn)的網(wǎng)絡(luò)在當(dāng)時(shí)的工作站上要跑幾天甚至幾個(gè)星期。數(shù)據(jù)量不夠沒有GPU用的都是讓神經(jīng)網(wǎng)絡(luò)連一些小規(guī)模的字母識(shí)別都磕磕絆絆。與此同時(shí)基于核方法的分類器就是后來(lái)在統(tǒng)計(jì)學(xué)習(xí)里非常風(fēng)光的某類方法在多個(gè)任務(wù)上表現(xiàn)更好而且有深厚的數(shù)學(xué)理論撐腰。那幾年神經(jīng)網(wǎng)絡(luò)的研究者出去申請(qǐng)基金評(píng)審人幾乎默認(rèn)這類工作是“過氣把戲”。很多研究者怕影響畢業(yè)和晉升悄悄把論文標(biāo)題里的“神經(jīng)網(wǎng)絡(luò)”改成了“聯(lián)結(jié)系統(tǒng)”或者干脆轉(zhuǎn)向其他方向。1.3 第三波浪潮這一回是“規(guī)?；钡膭倮谌ǔ鳖^真正卷上來(lái)大約是在二十一世紀(jì)第一個(gè)十年之后。這波浪潮跟前兩波最不一樣的地方在于它沒有提出完全顛覆性的學(xué)習(xí)范式而是把前兩波積累的BP、CNN、RNN等老概念拿更大算力、更大數(shù)據(jù)量、更好的工程技巧重新“喂”了一遍。結(jié)果在某個(gè)大型圖像識(shí)別競(jìng)賽上一個(gè)深度卷積網(wǎng)絡(luò)把錯(cuò)誤率降掉了將近一半震撼了整個(gè)計(jì)算機(jī)視覺圈子。從此深度學(xué)習(xí)全面覆蓋語(yǔ)音識(shí)別、自然語(yǔ)言處理、自動(dòng)駕駛、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)一路滾到今天的大模型。所以有人總結(jié)說第三次浪潮本質(zhì)上不是“理論革命”而是“規(guī)模革命”。前兩波都是在實(shí)驗(yàn)室里“小打小鬧”第三波則是把實(shí)驗(yàn)室的東西搬到了工廠的流水線上用海量數(shù)據(jù)和并行計(jì)算把模型“撐”了起來(lái)。這也解釋了為什么神經(jīng)網(wǎng)絡(luò)總是“越深越好”——當(dāng)然不是無(wú)限深但足夠深的網(wǎng)絡(luò)配合足夠多的數(shù)據(jù)確實(shí)能學(xué)到人類難以手工設(shè)計(jì)的弱特征。2. 三大驅(qū)動(dòng)力算力、數(shù)據(jù)與算法的“合謀”2.1 算力從CPU到GPU再到專用芯片把算力放在最前面不是因?yàn)樗葦?shù)據(jù)和算法高級(jí)而是因?yàn)樗恰翱c(diǎn)”卡得最明顯的一個(gè)。早期訓(xùn)練一個(gè)兩層的感知機(jī)用CPU模擬幾百次迭代還能忍可一旦網(wǎng)絡(luò)層數(shù)超過五六層權(quán)重?cái)?shù)量上百萬(wàn)反向傳播里每一步都要做矩陣乘CPU串行計(jì)算根本扛不住。到第二波浪潮后期有些研究者已經(jīng)意識(shí)到“深度學(xué)習(xí)在數(shù)學(xué)上沒什么問題就是算力跑不動(dòng)”。后來(lái)圖形處理器GPU被開發(fā)者偶然發(fā)現(xiàn)特別適合做矩陣運(yùn)算。GPU是設(shè)計(jì)來(lái)并行處理像素的每個(gè)核心雖然弱但架不住數(shù)量多矩陣乘法的每個(gè)元素剛好可以分給不同核心同時(shí)算。這一下就把神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間從“周”縮短到了“天”再到“小時(shí)”。再往后某科技巨頭研發(fā)了專用AI芯片進(jìn)一步把矩陣運(yùn)算固化到硅片上訓(xùn)練規(guī)模才得以指數(shù)級(jí)擴(kuò)張。你看今天大模型訓(xùn)練動(dòng)輒幾千張加速卡互聯(lián)就是這個(gè)邏輯的極致化。2.2 數(shù)據(jù)從人工收集到互聯(lián)網(wǎng)海量數(shù)據(jù)算法再?gòu)?qiáng)算力再猛沒有數(shù)據(jù)等于沒米下鍋。深度學(xué)習(xí)比傳統(tǒng)機(jī)器學(xué)習(xí)更“貪吃”因?yàn)樗奶卣鞑皇侨嗽O(shè)計(jì)出來(lái)的而是要網(wǎng)絡(luò)自己從大量樣本里統(tǒng)計(jì)出來(lái)。這意味著樣本數(shù)量不光要多還要能覆蓋足夠多變的模式?；ヂ?lián)網(wǎng)時(shí)代給數(shù)據(jù)提供了兩個(gè)便利一是數(shù)據(jù)總量變大了二是數(shù)據(jù)可以被低成本采集、清洗、打標(biāo)。早期做手寫數(shù)字識(shí)別研究者為了湊幾千個(gè)樣本還得找郵局要信件信封到了圖像識(shí)別競(jìng)賽時(shí)代大規(guī)模數(shù)據(jù)集里的圖片數(shù)量直接到了百萬(wàn)級(jí)。有了這個(gè)量級(jí)的數(shù)據(jù)深層的卷積網(wǎng)絡(luò)才能從底層邊緣紋理逐級(jí)組合出高級(jí)語(yǔ)義。甚至有研究顯示某個(gè)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)性能隨數(shù)據(jù)量增加而持續(xù)提升并沒有明顯飽和點(diǎn)。這就鼓勵(lì)后續(xù)的大模型繼續(xù)堆數(shù)據(jù)、堆參數(shù)。2.3 算法從反向傳播到注意力機(jī)制算力和數(shù)據(jù)是“肌肉”和“食物”算法是把它們組織起來(lái)的那套神經(jīng)指揮系統(tǒng)。反向傳播是基礎(chǔ)但它在深層網(wǎng)絡(luò)上有兩個(gè)致命弱點(diǎn)一是梯度會(huì)逐層衰減接近輸入層的權(quán)重幾乎沒信號(hào)更新二是梯度容易爆炸參數(shù)亂跳直接讓訓(xùn)練發(fā)散。于是后續(xù)二十年里算法研究者干的主要事情就是“給梯度修路”。修路的手段包括把激活函數(shù)換成整流線性單元ReLU來(lái)緩解梯度消失加批量歸一化讓每層輸入的分布穩(wěn)定下來(lái)加殘差連接讓信息能跳過若干層直接向前傳給淺層用隨機(jī)失活Dropout降低過擬合。這些技巧單獨(dú)來(lái)看都很樸素但組合在一起就把“能不能訓(xùn)練出幾十層網(wǎng)絡(luò)”這個(gè)問題給解決了。再往后到了自然語(yǔ)言處理領(lǐng)域自注意力機(jī)制也就是多頭注意力徹底取代了循環(huán)結(jié)構(gòu)的時(shí)序建模方式讓網(wǎng)絡(luò)并行處理全部位置并顯式捕捉長(zhǎng)距離依賴于是橫掃一切的Transformer架構(gòu)登上舞臺(tái)。2.4 三角循環(huán)先有雞還是先有蛋很多人喜歡問深度學(xué)習(xí)能火到底哪個(gè)驅(qū)動(dòng)力最重要。我的看法是它們是一個(gè)互相鎖死的循環(huán)。有算法創(chuàng)新但算力不夠只能當(dāng)玩具有算力但數(shù)據(jù)太少模型照樣過擬合有數(shù)據(jù)、有算力但算法效率太差訓(xùn)練成本貴到讓人放棄。舉個(gè)例子反向傳播八十年代就重新提出來(lái)了但一直到2010年左右才展現(xiàn)出碾壓性優(yōu)勢(shì)中間缺的就是算力和數(shù)據(jù)的“填滿”。反過來(lái)說如果當(dāng)年沒有GPU這個(gè)外掛硬件即便有一百個(gè)大數(shù)據(jù)集靠CPU訓(xùn)練一個(gè)現(xiàn)代級(jí)卷積網(wǎng)絡(luò)時(shí)間會(huì)漫長(zhǎng)到普通人根本沒有耐心的地步。所以不要崇拜某一個(gè)單一因素研究深度學(xué)習(xí)的歷史你看到的往往是一個(gè)“原本低效的算法在社會(huì)基礎(chǔ)設(shè)施全面進(jìn)步后終于跑通了”的故事。3. 與神經(jīng)科學(xué)的“恩怨”借鑒與背離3.1 早期深度學(xué)習(xí)如何從大腦中“抄作業(yè)”深度學(xué)習(xí)這一脈的早期研究者大多有神經(jīng)科學(xué)或心理學(xué)的學(xué)術(shù)背景。感知機(jī)的提出者就承認(rèn)靈感來(lái)自神經(jīng)元的“全有或全無(wú)”反應(yīng)。到了卷積神經(jīng)網(wǎng)絡(luò)誕生借鑒大腦視覺皮層的細(xì)節(jié)就更明顯了視覺皮層里的簡(jiǎn)單細(xì)胞對(duì)局部邊緣方向敏感復(fù)雜細(xì)胞則對(duì)這些邊緣響應(yīng)做空間聚合。于是研究者設(shè)計(jì)了卷積層里的局部感受野只讓每個(gè)神經(jīng)元觀察圖像的一部分再把多個(gè)局部抽取結(jié)果共享同一組權(quán)重。這種“局部連接 權(quán)值共享”的設(shè)計(jì)可以說就是把生物視覺系統(tǒng)的公式偷了出來(lái)。后來(lái)神經(jīng)科學(xué)發(fā)現(xiàn)的層級(jí)視覺處理也被用在網(wǎng)絡(luò)結(jié)構(gòu)上腹側(cè)視覺通路從視網(wǎng)膜到初級(jí)視覺皮層再到顳葉逐級(jí)從邊緣、形狀、物體遞進(jìn)。深度卷積網(wǎng)絡(luò)也分層提取特征淺層識(shí)別線條和角點(diǎn)中層識(shí)別輪廓和局部模式深層識(shí)別整車或人臉。這種結(jié)構(gòu)相似性不是巧合是深度學(xué)習(xí)早期從大腦那里借來(lái)的骨架。3.2 反向傳播其實(shí)是“偽生物機(jī)制”但到了反向傳播事情開始擰巴。深度學(xué)習(xí)工程上最依賴的權(quán)重更新方法在生物學(xué)上一直沒能得到令人滿意的對(duì)應(yīng)解釋。反向傳播要求誤差信號(hào)從輸出層一層層傳回去并且每一層都要精確計(jì)算梯度這需要網(wǎng)絡(luò)在腦內(nèi)維護(hù)一個(gè)“反向的”連接來(lái)傳遞誤差?？纱竽X皮層的連接方向基本都是正向的沒有證據(jù)支持存在一套跟正向通路同樣精確的反饋通路。這一點(diǎn)在神經(jīng)科學(xué)圈里被質(zhì)疑了很多年甚至有學(xué)者直接說“大腦不可能做反向傳播”。更有意思的是這個(gè)質(zhì)疑不僅沒打倒深度學(xué)習(xí)反而讓一部分研究者徹底看開了我們不是要模擬大腦只是在尋找一個(gè)有效的數(shù)學(xué)優(yōu)化方法。于是“聯(lián)結(jié)主義”和“類腦計(jì)算”走向分岔。有的研究者專注把網(wǎng)絡(luò)做得更貼近大腦比如脈沖神經(jīng)網(wǎng)絡(luò)更多研究者則徹底拋棄生物合理性轉(zhuǎn)向純粹工程調(diào)優(yōu)。這種“背離”反而釋放了深度學(xué)習(xí)的想象力使它不必被生物學(xué)細(xì)節(jié)綁住手腳。3.3 神經(jīng)科學(xué)反過來(lái)向深度學(xué)習(xí)“抄”正當(dāng)兩者分道揚(yáng)鑣之際轉(zhuǎn)折又來(lái)了。深度學(xué)習(xí)大獲成功后一些計(jì)算神經(jīng)科學(xué)家嘗試用深度神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)大腦視覺皮層對(duì)不同圖像的激活響應(yīng)。結(jié)果出乎意料地好卷積神經(jīng)網(wǎng)絡(luò)中層深度特征和目標(biāo)神經(jīng)元實(shí)際發(fā)放率之間的相關(guān)系數(shù)高到令人驚訝。一個(gè)完全從工程任務(wù)里訓(xùn)練出來(lái)的網(wǎng)絡(luò)居然接近了生物學(xué)視覺系統(tǒng)內(nèi)部特征的某些性質(zhì)。這說明什么說明大腦視覺皮層和深度卷積網(wǎng)絡(luò)可能共享某種基于“層級(jí)特征抽象”的通用計(jì)算原則——大腦不一定用反向傳播來(lái)學(xué)習(xí)但在表征特性上兩者確實(shí)存在趨同。于是一部分神經(jīng)科學(xué)家也不得不開始把深度學(xué)習(xí)當(dāng)作“推理工具”來(lái)研究大腦而不是僅僅把它當(dāng)成“不切實(shí)際的模型”。3.4 注意力機(jī)制的趨同演化再到后面的注意力機(jī)制那才叫“眾說紛紜”。Transformer里的注意力把輸入序列拆解為查詢、鍵、值三個(gè)向量然后通過點(diǎn)積計(jì)算不同位置之間的關(guān)聯(lián)強(qiáng)度。這個(gè)設(shè)計(jì)和認(rèn)知心理學(xué)里的“選擇性注意力”有著直觀的呼應(yīng)大腦在處理復(fù)雜場(chǎng)景時(shí)本來(lái)就不是均衡加工所有信息而是會(huì)選重點(diǎn)。但這種類似更多是“趨同演化”而不是“基因遺傳”。注意力機(jī)制的提出最初是為了解決機(jī)器翻譯中長(zhǎng)句對(duì)齊和建模距離遠(yuǎn)的問題并沒有太多神經(jīng)科學(xué)實(shí)驗(yàn)數(shù)據(jù)的支撐。它是一次工程需求驅(qū)動(dòng)的創(chuàng)新后來(lái)卻反過來(lái)啟發(fā)了一些認(rèn)知模型的改進(jìn)。所以硬要把深度學(xué)習(xí)的每一塊磚都跟神經(jīng)科學(xué)對(duì)號(hào)入座是很傻的事。兩者更像是同一片“智能”主題下的兩種解法有時(shí)互相借鑒有時(shí)各自獨(dú)立最后居然在抽象層面看起來(lái)遙相呼應(yīng)。4. 三次浪潮中的“斷流期”都在等什么4.1 第一次低谷不是異或一錘定音而是“生存環(huán)境”沒到傳統(tǒng)教科書喜歡把第一次低谷歸結(jié)為明斯基等人對(duì)感知機(jī)局限性的證明但我覺得這個(gè)歸因過于簡(jiǎn)化了。理論上的否定當(dāng)然重要可即便沒有那篇攻擊性文章第一波浪潮也會(huì)因?yàn)樽陨砥款i很快達(dá)到天花板單層感知機(jī)表達(dá)能力有限而多層模型又缺乏有效訓(xùn)練算法和計(jì)算資源。更重要的是當(dāng)時(shí)社會(huì)對(duì)AI的期待被媒體吹得太高期刊審稿人已經(jīng)對(duì)“感知機(jī)類工作”產(chǎn)生了倦怠。說白了這就是一個(gè)技術(shù)產(chǎn)品在過度炒作之后必然會(huì)出現(xiàn)的幻滅期。所謂“斷流”本質(zhì)上不是世界沒有神經(jīng)元而是周圍缺乏足夠的電力、數(shù)據(jù)、人才和資金把它接過來(lái)。4.2 第二次低谷核方法這位“別人家的學(xué)霸”出現(xiàn)神經(jīng)網(wǎng)絡(luò)不香了第二次斷流的原因其實(shí)比第一次更讓人傷感。八十年代末BP算法帶來(lái)的復(fù)興本來(lái)已經(jīng)成氣候了但隨后核方法作為一種新的機(jī)器學(xué)習(xí)范式全面崛起。它數(shù)學(xué)推導(dǎo)優(yōu)美可以處理非線性分類/回歸在中小規(guī)模數(shù)據(jù)上表現(xiàn)穩(wěn)定而且沒有局部最優(yōu)的擔(dān)心。反觀神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要大量調(diào)試結(jié)果還不一定比得上別人隨手調(diào)好的核方法。學(xué)術(shù)界是最現(xiàn)實(shí)的。資助機(jī)構(gòu)開始把錢投向“有嚴(yán)格理論”的方向神經(jīng)網(wǎng)絡(luò)領(lǐng)域相形見絀只能縮在一小撮堅(jiān)持者手里?，F(xiàn)在回頭看那一時(shí)期的主要技術(shù)進(jìn)展——卷積網(wǎng)絡(luò)結(jié)構(gòu)、長(zhǎng)短期記憶網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)其實(shí)都是在“主流不看好的冬天”里悄悄長(zhǎng)出來(lái)的。這也提醒我們當(dāng)一個(gè)方向看起來(lái)最冷冷清清的時(shí)候往往也就是下一波浪潮儲(chǔ)備能量的階段。4.3 第三次浪潮會(huì)不會(huì)也有觸頂?shù)囊惶彀岩暯抢浇裉斓谌卫顺币膊皇菦]有隱患。大模型參數(shù)越來(lái)越多訓(xùn)練一次燒掉的能量越來(lái)越大數(shù)據(jù)標(biāo)注慢慢耗盡只能用自監(jiān)督或合成數(shù)據(jù)續(xù)命模型內(nèi)部的不可解釋性讓它在醫(yī)療、金融等高風(fēng)險(xiǎn)場(chǎng)景難以上手。很多人已經(jīng)在討論“涌現(xiàn)能力到底是真能力還是數(shù)據(jù)幻覺”也有人在思考新一代算法能不能擺脫預(yù)訓(xùn)練微調(diào)這一整套框架。我的判斷是浪潮不會(huì)退成前兩次那種“徹底沉寂”但增量紅利確實(shí)在變薄。下一次變局很可能是某個(gè)不起眼的算法創(chuàng)新再次跟巨大的算力和數(shù)據(jù)一拍即合。就像2012年那個(gè)由圖像競(jìng)賽引爆的時(shí)刻一樣誰(shuí)都沒想到最核心的驅(qū)動(dòng)其實(shí)是幾塊GPU加速卡。5. 一些踩過坑之后的經(jīng)驗(yàn)之談寫到這里順帶聊點(diǎn)我個(gè)人的體會(huì)。我一開始學(xué)深度學(xué)習(xí)是奔著“它模擬了大腦”去的。后來(lái)讀了神經(jīng)科學(xué)的一些資料發(fā)現(xiàn)模擬大腦的說法太浪漫了很多細(xì)節(jié)根本對(duì)不上號(hào)。這個(gè)落差其實(shí)挺大的。后來(lái)工作了幾年參與過一些視覺模型訓(xùn)練才慢慢把心態(tài)擺正深度學(xué)習(xí)和神經(jīng)科學(xué)更像是“兄弟學(xué)科”不是一個(gè)復(fù)制另一個(gè)。你拿深度網(wǎng)絡(luò)做工程不要?jiǎng)虞m宣稱自己的模型“像人腦”你做神經(jīng)科學(xué)也不必強(qiáng)迫大腦必須按深度學(xué)習(xí)的邏輯運(yùn)轉(zhuǎn)。兩邊真正該干的事兒是把彼此的合理成分摘出來(lái)互相檢驗(yàn)而不是互相攀親戚或者互相拆臺(tái)。還有一個(gè)小忠告學(xué)習(xí)深度學(xué)習(xí)的歷史別把“時(shí)間點(diǎn)”記錯(cuò)當(dāng)成小事。比如反向傳播思想在幾十年前早就有了但因?yàn)樗懔Σ坏轿灰恢睕]火起來(lái)。如果你只知道“2012年深度學(xué)習(xí)爆發(fā)”卻不知道之前兩次斷流你可能會(huì)錯(cuò)誤地認(rèn)為只要我把模型做深做大數(shù)據(jù)就一定能成功。其實(shí)成功的條件遠(yuǎn)比這復(fù)雜需要在算法、算力、數(shù)據(jù)、甚至社會(huì)情緒四個(gè)維度上同時(shí)站對(duì)位置。最后再分享一個(gè)實(shí)操層面的觀察現(xiàn)在很多人做模型遇到效果不好就瘋狂調(diào)參。其實(shí)如果研究一下深度學(xué)習(xí)的前兩次低谷你會(huì)發(fā)現(xiàn)很多時(shí)候不是參數(shù)問題而是“當(dāng)前基礎(chǔ)是否配得上你的模型復(fù)雜度”。深度學(xué)習(xí)不是無(wú)中生有它更像一棵樹三次浪潮就是三次施肥但根一直扎在那些看似過時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)里。理解這一點(diǎn)你看很多技術(shù)新聞的態(tài)度都會(huì)不一樣熱鬧是周期根子才是真。