簡介Pylearn2是基于Python的深度學(xué)習(xí)框架由蒙特利爾大學(xué)MILA實驗室開發(fā)面向希望深入理解卷積神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)等經(jīng)典模型的研究者與初學(xué)者。該安裝包為master源碼版本壓縮包共750個文件、約2.16MB文件構(gòu)成以Python源碼522個py、YAML配置70個yaml、純文本說明51個txt為主另含CUDA內(nèi)核文件、Jupyter notebook示例及多個命令行輔助腳本如pylearn2-train、pylearn2-show-weights整體層次清晰、便于按需查閱。包內(nèi)附有conv.conf、mlp.conf等經(jīng)典模型配置以及Sphinx文檔源和樣式文件可支撐本地文檔二次構(gòu)建。解壓后進(jìn)入目錄執(zhí)行python setup.py install即可完成安裝適合在Anaconda管理環(huán)境中與Theano、NumPy、SciPy等依賴配合使用。目前已有269人學(xué)習(xí)下載對希望復(fù)現(xiàn)早期深度學(xué)習(xí)實驗、梳理Pylearn2源碼結(jié)構(gòu)和訓(xùn)練流程的讀者而言是一份能夠快速上手的實用資源。 如果你還能搜到“pylearn2安裝包”這幾個字說明你不是來懷舊的而是被某個老課程、某段論文復(fù)現(xiàn)代碼或者一臺老爺級別的服務(wù)器逼到了墻角。pylearn2 是 LISA 實驗室開源的深度學(xué)習(xí)框架底層構(gòu)建在 Theano 之上2015 年前后很多機(jī)器學(xué)習(xí)課程用它跑卷積網(wǎng)絡(luò)、自編碼器和受限玻爾茲曼機(jī)。如今官方文檔下線、網(wǎng)上各種下載鏈接紛紛失效所謂“pylearn2 安裝包”大多是特定環(huán)境下的產(chǎn)物直接拿來基本裝不上。這篇就把我從零裝一個可用 pylearn2 環(huán)境的完整過程記錄下來包括版本取舍、環(huán)境準(zhǔn)備、具體命令、報錯繞過看完能少走很多彎路。1. pylearn2是什么為什么它的安裝包這么難找1.1 一段被深度學(xué)習(xí)框架迭代拋下的歷史pylearn2 出身于 LISA 實驗室名字里的“pylearn”就是“Python learn”的意思。它和同時代的 Caffe、Torch7 一樣在深度學(xué)習(xí)爆發(fā)早期承擔(dān)了很多論文復(fù)現(xiàn)任務(wù)。它的設(shè)計方式很特別模型結(jié)構(gòu)、訓(xùn)練參數(shù)都寫在 YAML 配置里跑實驗時通過命令行工具加載這些配置而不是像現(xiàn)在這樣用 Python 腳本動態(tài)構(gòu)建網(wǎng)絡(luò)。問題出在它停止維護(hù)得太早。Theano 在 2017 年宣布停止開發(fā)pylearn2 比 Theano 更早進(jìn)入半死狀態(tài)GitHub 上的 master 分支就成了事實上的最終版本。官方?jīng)]有發(fā)布過規(guī)范的 release 壓縮包也沒有提供面向現(xiàn)代系統(tǒng)的預(yù)編譯 wheel以前能用的官方示例和安裝指引大多散落在失效的 wiki 頁面里。所以現(xiàn)在搜“pylearn2 安裝包”能撈出來的大多是熱心網(wǎng)友整理的老壓縮包出處不明、環(huán)境不匹配下載下來反而更折騰。1.2 現(xiàn)在還在裝 pylearn2 的人一般是什么場景我總結(jié)下來主要有三類人。第一類是被老課程作業(yè)困住的學(xué)生課件和代碼模板都是 2015 年前后寫的不裝 pylearn2 就跑不了實驗。第二類是復(fù)現(xiàn)老論文的研究者尤其是做無監(jiān)督學(xué)習(xí)、稀疏編碼、RBM 這類的文章代碼倉庫直接指向 pylearn2。第三類是在維護(hù)舊服務(wù)器的人某些內(nèi)部工具鏈還是 Theano pylearn2 的組合不能輕易重構(gòu)遷移只能在一個隔離環(huán)境里把它重新咬合起來。這篇文章的核心就是給這三類人一個可以直接照著操作的方案。重點(diǎn)不是把 pylearn2 講得多深而是讓你在一臺干凈的機(jī)器上從空環(huán)境開始真正把“import pylearn2”跑通。2. 安裝pylearn2之前先搞清這3個關(guān)鍵環(huán)境問題2.1 Python版本老老實實用Python 2.7pylearn2 的源碼是純粹的 Python 2 寫法print 還是語句而不是函數(shù)Python 3 環(huán)境下就連解析語法都會直接拋 SyntaxError。所以不要心存僥幸第一件事就是準(zhǔn)備好一個 Python 2.7 的隔離環(huán)境。為什么強(qiáng)調(diào)“隔離”因為現(xiàn)在很多機(jī)器的系統(tǒng) Python 是 3.8 甚至更高直接修改系統(tǒng)環(huán)境很容易把系統(tǒng)工具鏈弄壞。我推薦用 conda 來創(chuàng)建環(huán)境理由有三個conda 能精確指定 Python 2.7它能同時幫我們解析出與該 Python 版本匹配的 numpy、scipy環(huán)境目錄獨(dú)立刪掉也方便不影響機(jī)器其他項目。有同學(xué)可能會問Python 2.7 不是早就停止維護(hù)了嗎是的但 conda 社區(qū)仍然把這套老 Python 的包管理得很好在 conda-forge 頻道里能找到完整可用的 Python 2.7 環(huán)境。第一次創(chuàng)建時如果提示找不到包加上-c conda-forge再試一次基本就解決了。2.2 Theano版本別用新版選0.8.2pylearn2 是 Theano 的上層封裝兩者耦合非常深。Theano 后續(xù)版本做過大量接口調(diào)整而且它自己也已經(jīng)停止維護(hù)所以新版 Theano 和 pylearn2 之間會出現(xiàn)各種接口不匹配。我在測試時先用默認(rèn)的 Theano 1.0.x 嘗試跑通結(jié)果報了一堆類似AttributeError和配置項不存在的問題后來切回 Theano 0.8.2同樣一段代碼就穩(wěn)定運(yùn)行?？梢赃@么理解pylearn2 和 Theano 0.8.2 是“同一個時代”的產(chǎn)物而 Theano 1.0.x 已經(jīng)改了太多底層的默認(rèn)行為。所以無論你在哪個操作系統(tǒng)上裝Theano 版本都建議釘死在 0.8.2不要手滑升級。2.3 操作系統(tǒng)選型Windows下最好繞道從安裝難度來說Linux 最省事Ubuntu 20.04 這類環(huán)境里基本一次通過。macOS 也不是不行但較新版本的 macOS 對 Python 2.7 兼容性已經(jīng)很差編譯擴(kuò)展模塊時經(jīng)常碰到各種亂七八糟的鏈接錯誤如果你不是非要在 Mac 上跑建議直接放棄。Windows 更麻煩Theano 0.8.2 在 Windows 上編譯 C 代碼依賴完整的 C 工具鏈裝起來非常容易卡住。如果你手里只有 Windows 機(jī)器我的建議是裝一個 WSL 或者虛擬機(jī)在 Ubuntu 環(huán)境里完成安裝。這套方案我實測下來最穩(wěn)也能避免各種文件路徑和編譯器問題。3. pylearn2安裝實操從空環(huán)境到import成功3.1 第一步用conda創(chuàng)建Python 2.7隔離環(huán)境打開終端執(zhí)行兩行基礎(chǔ)命令conda create -n pylearn2 python2.7 -y conda activate pylearn2-n pylearn2是給環(huán)境取名字你可以換成一個你容易記的名字-y是跳過確認(rèn)提示省得再敲一次 y。激活成功后終端前綴會變成(pylearn2)這意味著你當(dāng)前所有命令都發(fā)生在這個虛擬環(huán)境里盡量保證整個安裝過程都在這個前綴下操作。如果你的 conda 版本比較新創(chuàng)建時可能會提示PackagesNotFoundError: python2.7。不用慌在命令末尾加上-c conda-forge也就是conda create -n pylearn2 python2.7 -c conda-forge -yconda-forge 是老軟件包聚合得比較全的社區(qū)頻道Python 2.7 這種老版本基本都能找到。3.2 第二步安裝numpy、scipy、PyYAML等基礎(chǔ)依賴創(chuàng)建完環(huán)境后先不要急著裝 pylearn2pylearn2 依賴的基礎(chǔ)庫如果版本不對后面做什么都白搭。直接把最核心的幾個依賴通過 conda 裝好conda install numpy scipy pyyaml matplotlib -y這一步里 conda 會自動幫你選到和 Python 2.7 匹配的舊版本 numpy大體是 1.16.x 系列、scipy 和 PyYAML。千萬不要手動用pip install numpy去強(qiáng)裝新版新版本的 numpy 已經(jīng)完全不支持 Python 2.7就算裝進(jìn)去也無法導(dǎo)入。matplotlib 不是 pylearn2 強(qiáng)制依賴但它的官方示例腳本里有不少畫圖操作順手裝上能省去后面補(bǔ)依賴的麻煩。3.3 第三步安裝Theano 0.8.2并做好基礎(chǔ)配置基礎(chǔ)依賴就緒后安裝指定版本的 Theanopip install theano0.8.2如果 pip 在當(dāng)前渠道找不到這個版本可以改用 Git 方式安裝對應(yīng)標(biāo)簽pip install githttps://github.com/Theano/Theano.gitrel-0.8.2接下來需要配置 Theano 的運(yùn)行參數(shù)。pylearn2 在早期默認(rèn)使用 32 位浮點(diǎn)數(shù)而部分 new 版本 Theano 默認(rèn)可能是float64兩者的訓(xùn)練結(jié)果和代碼習(xí)慣會不一樣。建議新建一個 Theano 配置文件讓默認(rèn)環(huán)境更貼近老代碼的運(yùn)行習(xí)慣mkdir -p ~/.theano cat ~/.theanorc EOF [global] floatX float32 device cpu EOF這里我特別把device設(shè)置成了cpu。新手剛開始不要嘗試配置device cuda因為 pylearn2 年代和現(xiàn)行 CUDA 版本的適配非常復(fù)雜沒有匹配的編譯環(huán)境時Theano 會在第一次運(yùn)行時報出特別嚇人的編譯失敗直接會讓整個安裝過程卡住。先在 CPU 上跑通邏輯等哪天真需要 GPU 了再去折騰也不遲。3.4 第四步獲取pylearn2源碼并安裝pylearn2 沒有官方編譯好的 wheel 安裝包最可靠的“安裝包”就是 GitHub 上的源碼包。推薦用 git 拉取git clone https://github.com/lisa-lab/pylearn2.git cd pylearn2 python setup.py develop如果確實不方便使用 git也可以打開 GitHub 倉庫頁面點(diǎn)擊 Code 按鈕選擇 Download ZIP把 master 分支的壓縮包下載到本地解壓進(jìn)入解壓目錄后同樣執(zhí)行python setup.py develop。我為什么推薦develop而不是install因為develop是開發(fā)模式python 會把當(dāng)前目錄鏈接到 site-packages 里后續(xù)你從 GitHub 更新代碼不需要重新安裝就能生效。當(dāng)然它要求當(dāng)前環(huán)境有 setuptoolsconda 的 Python 2.7 環(huán)境里默認(rèn)是帶了的。如果develop命令報錯退而求其次執(zhí)行python setup.py install也能完成安裝。3.5 第五步驗證安裝是否真的成功安裝完不能光看提示直接跑一條命令確認(rèn)模塊能正常導(dǎo)入python -c import pylearn2; print(pylearn2.__file__)如果能看到一行類似.../site-packages/pylearn2/__init__.py的路徑說明 pylearn2 已經(jīng)成功裝進(jìn)當(dāng)前環(huán)境。再順手驗證一下 Theano 編譯鏈?zhǔn)欠裾９ぷ鱬ython -c import theano; from theano import tensor as T; xT.scalar(x); ftheano.function([x], x*2); print(theano ok:, f(3))如果終端輸出theano ok: 6.0而不是一長串錯誤說明 Theano 的 C 代碼編譯鏈路也是好的接下來可以正常跑 pylearn2 的實驗了。4. 安裝和第一次使用時最容易踩的坑4.1 報錯“No module named pylearn2”這個報錯最常見的兩個原因第一是當(dāng)前根本沒激活 conda 環(huán)境你在系統(tǒng) Python 下執(zhí)行了 import第二是進(jìn)了 pylearn2 源碼目錄卻沒有執(zhí)行setup.py develop或install。我的習(xí)慣是每換一個終端都先看一眼提示符前面有沒有(pylearn2)再跑python --version確認(rèn)版本這樣能避免大量低級錯誤。4.2 在Python 3環(huán)境下直接SyntaxErrorpylearn2 的源碼在 Python 3 下連語法解析都過不去報錯會直接指向某個.py文件的 print 語句。解決方法不是去逐行改源碼而是回到 Python 2.7 環(huán)境。很多人一開始沒意識到這一點(diǎn)還以為是自己系統(tǒng)缺了什么包。記住一條這個項目就是 Python 2 紀(jì)元的產(chǎn)物我們只能去適配它不要試圖讓它兼容現(xiàn)代 Python否則越改越亂。4.3 Theano第一次運(yùn)行時報編譯失敗Theano 有一個特性第一次運(yùn)行某些函數(shù)時會把計算圖編譯成 C 代碼所以首次執(zhí)行往往會等待較長時間也有可能直接報編譯錯誤。常見原因有兩個一是系統(tǒng)缺少 gcc 等編譯工具Linux 下可以用sudo apt install build-essential裝好再試二是配置里把 device 設(shè)成了 gpu而機(jī)器沒有對應(yīng) CUDA 工具鏈。建議按照前面第 3.3 節(jié)的配置先把 device 設(shè)成 cpu跑通一遍再考慮更高級的環(huán)境。4.4 數(shù)據(jù)集下載一直超時或卡死pylearn2 自帶的數(shù)據(jù)集腳本默認(rèn)會去老服務(wù)器下載數(shù)據(jù)比如 MNIST 的 pkl 文件服務(wù)器年代久遠(yuǎn)連接超時很常見。遇到這種情況不必懷疑安裝有問題而是走手動下載的路子把數(shù)據(jù)集文件放到某個本地目錄再用 pylearn2 的數(shù)據(jù)集配置或 PYTHONPATH 指定這個目錄。初次接觸時建議先跑官方 examples 里不需要大數(shù)據(jù)的簡單模型把安裝鏈路驗證清楚再碰數(shù)據(jù)集。4.5 千萬別亂下載網(wǎng)上的一鍵安裝包我明白搜“pylearn2 安裝包”的人很多是想找個現(xiàn)成壓縮包直接解壓就能用。但從我實際經(jīng)驗看這條路通常更坑。Python 環(huán)境的組合實在太多別人打包時用的 numpy 版本、Theano 版本、Python 小版本和你本機(jī)稍微不一樣import 階段就會崩。與其下載來路不明的預(yù)編譯包不如老老實實按上面的源碼安裝步驟二十分鐘內(nèi)一定能走通。如果你真的有離線安裝需求正確做法也不是去找別人做好的包而是自己找一臺能聯(lián)網(wǎng)的機(jī)器先把整個 conda 環(huán)境建好然后用conda pack或conda env export把環(huán)境導(dǎo)出再到目標(biāo)機(jī)器上重建。這樣導(dǎo)出的才是真正匹配你項目的“安裝包”。5. 裝完之后的一點(diǎn)建議整套環(huán)境好不容易跑通后建議立刻把環(huán)境依賴鎖定下來。在(pylearn2)環(huán)境里執(zhí)行conda env export pylearn2_env.yml這個 YAML 文件會把當(dāng)前環(huán)境里的 Python 版本、numpy、scipy、Theano、pylearn2 的依賴關(guān)系全部記錄下來。以后換機(jī)器只需要conda env create -f pylearn2_env.yml就能重建一個幾乎一模一樣的環(huán)境這是對付老庫最省心的備份手段。我自己的體會是和 pylearn2 死磕的這段時間雖然折騰但反而讓我想通了很多深度學(xué)習(xí)框架的底層邏輯計算圖怎么構(gòu)建、配置文件和代碼怎么分離、訓(xùn)練循環(huán)和模型定義怎么組織。現(xiàn)在新框架把這些都封裝得越來越簡單回頭再看 Theano 時代的代碼會有一種豁然開朗的感覺。如果你只是為了完成作業(yè)我建議裝好后照著官方 examples 跑通一個最簡單的 MLP 就收手不必在復(fù)雜的調(diào)參上耗費(fèi)太多時間。畢竟這個框架已經(jīng)完成了它的歷史使命能用起來解決眼前的舊項目任務(wù)就已經(jīng)值回票價了。本文還有配套的精品資源點(diǎn)擊獲取