簡介面向OCR識別和Python開發(fā)者這套Tesseract-OCR安裝包及中文語言包資源重點解決圖像文字識別環(huán)境的離線搭建與二次開發(fā)問題尤其適合中文識別場景。壓縮包內(nèi)共722個文件內(nèi)容以C/C頭文件和源文件為主同時包含Java與Python腳本、CMake構(gòu)建腳本、命令行工具手冊、API調(diào)用示例、Dockerfile、TIF樣本等整體大小約33.78MB目錄結(jié)構(gòu)清晰便于按模塊查閱與學(xué)習(xí)。資源不僅提供核心識別引擎還附帶中文traineddata語言包、字符集訓(xùn)練和評估工具、可執(zhí)行程序及詳細(xì)開發(fā)配置幫助使用者在Windows或Linux下完成從編譯、安裝到調(diào)用識別的全流程并支持通過命令行或編程接口快速提取圖片中的文字。更難得的是包內(nèi)含大量開發(fā)頭文件和源文件便于深入閱讀Tesseract的源碼結(jié)構(gòu)理解圖像預(yù)處理、文字檢測和識別輸出的內(nèi)部機(jī)制。已有3937人學(xué)習(xí)下載適合中初級開發(fā)者離線部署OCR服務(wù)、訓(xùn)練自定義字體模型也可用于驗證碼識別、文檔掃描、票據(jù)數(shù)字化等實際項目。 前陣子幫一位做檔案數(shù)字化的朋友批量識別一批中文掃描件第一反應(yīng)就是用tesseract-ocr。這引擎老牌、開源、跨平臺命令行一敲就能出結(jié)果尤其在批量場景下比各種在線OCR工具穩(wěn)得多。但真正上手才發(fā)現(xiàn)周圍十個人有八個在第一輪就卡在同一個地方英文識別得好好的一換成中文就滿屏亂碼。原因其實不復(fù)雜——tesseract-ocr光“裝好”還不夠想認(rèn)中文必須額外配置中文語言包。這篇文章把我這些年裝包、配語言包、調(diào)參數(shù)的完整過程梳理一遍適合剛接觸OCR、或者裝完中文識別老出問題的人參考。1. 為什么“tesseract-ocr裝好”和“能識別中文”是兩回事1.1 OCR引擎和語言包的分工Tesseract本身是一個識別引擎它的工作方式是拿圖像里切出來的字符圖形去和內(nèi)部訓(xùn)練好的字符模型比對選出最接近的文字。這里的關(guān)鍵是“訓(xùn)練好的字符模型”。英文只有26個字母加數(shù)字和標(biāo)點中文光常用字就三千往上加上各種字體、字號、排版方式不可能塞進(jìn)同一個小模型里。打個比方tesseract-ocr就像一臺掃描儀語言包就是它的墨盒。掃描儀自帶的是英文墨盒能出英文你要打中文就得上中文墨盒而且這個墨盒還得跟機(jī)器型號匹配。我見過不少人在各個下載站上找“tesseract-ocr安裝包和中文語言包.rar”下載完安裝后就直接用了結(jié)果tesseract --list-langs顯示只有eng或者跑命令時報錯找不到chi_sim其實就是因為語言包根本沒被正確安裝到引擎能讀到的位置。1.2 chi_sim和chi_tra怎么選Tesseract的官方語言包命名里簡體中文是chi_sim繁體中文是chi_tra。絕大多數(shù)場景下大陸的掃描件、截圖、文檔識別用chi_sim就夠了。如果做的是港臺的歷史檔案、古籍或者繁體圖書才需要chi_tra。這里有個版本對應(yīng)關(guān)系要特別注意。Tesseract 4.0之后引擎全面切到LSTM神經(jīng)網(wǎng)絡(luò)方案語言包文件也對應(yīng)換了新格式。你在網(wǎng)上下載的所謂“中文語言包”最好從官方tessdata倉庫按對應(yīng)版本獲取而不是隨便找個.rar里的老文件。版本錯配的結(jié)果通常不是直接報錯而是識別結(jié)果非常離譜——因為網(wǎng)絡(luò)模型和訓(xùn)練數(shù)據(jù)的特征根本不匹配跑出來的文字幾乎無法閱讀。2. 安裝包怎么選、裝到哪三個主流平臺一次說清Tesseract在不同平臺的安裝方式差異挺大我逐個說下我實測過的流程。2.1 Windows最省事的編譯版安裝包Windows沒有官方安裝包社區(qū)公認(rèn)做得比較好的是UB Mannheim的編譯版本。下載時建議選擇最新穩(wěn)定版安裝到默認(rèn)路徑即可。安裝界面里有一個“Additional language data”的勾選列表想省事的話在這里直接勾上Chinese (Simplified) 和Chinese (Traditional)它會自動幫你把語言包放進(jìn)tessdata目錄后面就不用再手動配置了。如果已經(jīng)裝好了才發(fā)現(xiàn)沒勾中文也不用重裝。去官方tessdata倉庫下載chi_sim.traineddata把文件放到安裝目錄的tessdata文件夾下就行。注意版本Tesseract 5.x配5.x的語言包文件不要拿3.x時代的老文件硬湊。2.2 Linux一行命令裝齊Debian/Ubuntu系是我覺得最省心的平臺一個apt命令直接把引擎和語言包都裝好sudo apt install tesseract-ocr tesseract-ocr-chi-simtesseract-ocr-chi-sim這個包就是中文簡體語言包裝完后直接就能用。識別繁體就再裝一個tesseract-ocr-chi-tra。CentOS/RHEL系可以用epel源或直接編譯安裝稍微麻煩一點但日常使用場景優(yōu)先選Ubuntu類的發(fā)行版能少踩很多坑。2.3 macOS和Termux移動場景也別忽略macOS用戶用Homebrewbrew install tesseract tesseract-langtesseract-lang這個包包含全部語言裝完不用再單獨搞中文。另外一個容易被忽略的場景是Termux也就是Android手機(jī)上的Linux終端環(huán)境。Termux裝tesseract很方便pkg install tesseract但這里有個坑Termux的軟件源里不會默認(rèn)把語言包裝上你還需要單獨執(zhí)行pkg install tesseract-data-chi-sim我試過在手機(jī)上直接用Termux跑OCR識別拍下來的文件頁速度雖然比電腦慢一些但臨時處理完全夠用。2.4 安裝包來源的選擇邏輯提到安裝包必須多說一句來源問題。搜“tesseract-ocr安裝包和中文語言包.rar”能搜出來一堆第三方打包站但我建議優(yōu)先走官方倉庫、系統(tǒng)軟件源或社區(qū)公認(rèn)的維護(hù)者站點。原因很簡單第三方打包站的文件版本陳舊、可能捆綁各種推廣組件語言包也可能跟引擎不匹配出了問題你連找原因都無從下手。開源項目的一大優(yōu)勢是版本鏈路清晰沒必要用可靠性換那一點下載速度。平臺推薦安裝方式中文語言包獲取WindowsUB Mannheim編譯版安裝時勾選或下載chi_sim.traineddataDebian/Ubuntuapt install tesseract-ocrapt install tesseract-ocr-chi-simmacOSbrew install tesseractbrew install tesseract-langAndroid Termuxpkg install tesseractpkg install tesseract-data-chi-sim3. 語言包放不對識別出來就是亂碼——tessdata目錄和環(huán)境變量這部分是重災(zāi)區(qū)。語言包下載了、文件也看起來在但tesseract就是加載不了報錯或者識別亂碼。多半是tessdata路徑和TESSDATA_PREFIX的問題。3.1 tessdata到底在哪Tesseract查找語言包的默認(rèn)目錄叫tessdata各平臺默認(rèn)位置不一樣平臺默認(rèn)tessdata目錄WindowsUB Mannheim安裝安裝目錄下的tessdata比如C:\Program Files\Tesseract-OCR\tessdataDebian/Ubuntu/usr/share/tesseract-ocr/4.00/tessdata版本號隨安裝變化macOSHomebrew/opt/homebrew/share/tessdata 或 /usr/local/share/tessdataTermux$PREFIX/share/tessdata最簡單的確認(rèn)方法是用--list-langs命令tesseract --list-langs它會列出當(dāng)前能加載的所有語言。列出來的列表里有chi_sim說明引擎已經(jīng)認(rèn)到這個語言包了。沒有的話就要檢查路徑或者環(huán)境變量。3.2 TESSDATA_PREFIX這個變量是把雙刃劍Tesseract會優(yōu)先讀環(huán)境變量TESSDATA_PREFIX指定的目錄找不到再回落到默認(rèn)路徑。這個機(jī)制本身是為了方便你把語言包放到自定義目錄比如服務(wù)器上放在/opt/ocr_data但如果變量寫錯了就會出現(xiàn)倒掛現(xiàn)象語言包明明放在默認(rèn)目錄引擎卻非要去讀你寫錯的路徑然后就報“Error opening data file”或者“Failed loading language”。我自己就遇到過這個情況。之前在服務(wù)器上把tessdata放到/data/ocr/tessdata并設(shè)置了TESSDATA_PREFIX后來換機(jī)器、目錄改了環(huán)境變量忘了同步排查了半天才發(fā)現(xiàn)是變量指向了一個不存在的路徑。所以設(shè)置這個變量的原則是要么不設(shè)讓引擎老老實實走默認(rèn)路徑要么設(shè)了就一定要保證目錄存在而且目錄結(jié)構(gòu)是tessdata/xxx.traineddata不是直接把語言包散放在任意目錄下。3.3 自定義語言包目錄的使用姿勢如果你確實想用自定義目錄Linux下可以這樣mkdir -p /opt/ocr/tessdata cp chi_sim.traineddata /opt/ocr/tessdata/ export TESSDATA_PREFIX/opt/ocr/tessdata tesseract input.png output -l chi_sim這里有個容易忽略的細(xì)節(jié)TESSDATA_PREFIX指向的應(yīng)該是tessdata目錄本身而不是它的上級目錄。部分舊版本文檔里說指向上級目錄新版引擎實際是按“指向tessdata目錄”來處理語言包文件的搞反了照樣報錯。4. 讓chi_sim真正好用的幾個關(guān)鍵參數(shù)與圖像預(yù)處理裝好語言包只是起步中文OCR想拿到能用的識別結(jié)果參數(shù)和圖像預(yù)處理是真正的分水嶺。4.1 --psm和--oem該怎么選Tesseract的兩大核心參數(shù)是頁面分割模式--psm和引擎模式--oem。中文場景下最常用的幾個PSM值參數(shù)值含義適用場景3全自動頁面分割通用文檔、掃描件默認(rèn)值6假設(shè)是統(tǒng)一文本塊整頁連續(xù)文字7單行文本驗證碼式單行表格里的單格11稀疏文本盡量找文字截圖、包含不連續(xù)文字的圖片我處理掃描件一般先用3跑一遍如果版面非常規(guī)整比如純文字頁改用6會明顯更穩(wěn)。截取下來的長截圖則用11能把分散在不同位置的文字都撈出來。引擎模式--oem通常保持默認(rèn)值3也就是自動選擇LSTM和舊引擎的組合。除非你明確知道自己要什么否則沒必要改。4.2 中文識別前的圖像預(yù)處理這部分是我最想強(qiáng)調(diào)的——對中文識別來說圖像質(zhì)量對結(jié)果的影響甚至大于引擎參數(shù)。下面這段基于Python和OpenCV的預(yù)處理是常規(guī)操作import cv2 img cv2.imread(scan.png) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) gray cv2.resize(gray, None, fx2, fy2, interpolationcv2.INTER_CUBIC) _, thresh cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) cv2.imwrite(processed.png, thresh)步驟是灰度化、放大兩倍、Otsu二值化。為什么放大兩倍中文筆畫密集像素不足時Tesseract連“己/已/巳”這種細(xì)節(jié)都分不清放大后特征明顯清晰很多。為什么二值化因為OCR引擎對純黑白圖像的處理最穩(wěn)定去掉背景噪聲和反色干擾。預(yù)處理完再調(diào)用tesseract processed.png output -l chi_sim --psm 6實測下來一組300dpi掃描件按這個流程走識別率比我直接拿原始彩色圖跑要高出不止一個檔次。手機(jī)拍的書頁見光不均可以先做CLAHE自適應(yīng)直方圖均衡化再把結(jié)果喂給二值化步驟效果比單純調(diào)閾值好得多。4.3 中英文混排和專項字符限制國內(nèi)文檔經(jīng)常中英文混排指定語言時可以直接疊加tesseract input.png output -l chi_simeng --psm 3注意是加號連接不要用逗號。這個辦法對英文單詞、數(shù)字、代碼片段混排的識別很有用。另一個實用技巧是字符白名單。如果我只關(guān)心數(shù)字和字母比如識別優(yōu)惠券碼、編號、車牌號可以用tesseract input.png output -l chi_sim --psm 7 -c tessedit_char_whitelist0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ白名單能大幅降低識別歧義。原理是輸出階段只保留允許范圍內(nèi)的字符候選空間小了準(zhǔn)確率自然上去了。4.4 用Python腳本批量跑OCR單文件用命令行很方便批量場景建議用pytesseract封裝簡單直接import pytesseract from PIL import Image text pytesseract.image_to_string( Image.open(processed.png), langchi_sim, config--psm 6 ) print(text)pytesseract只是Tesseract的封裝底層還是調(diào)用本機(jī)安裝的引擎所以前面的安裝和語言包配置一樣都不能少。我在批量處理幾百頁檔案時就是寫個循環(huán)對每頁先做預(yù)處理再識別最終輸出成txt存檔。注意循環(huán)里每次重新打開文件避免文件句柄累積造成內(nèi)存占用過高。5. 高頻報錯對照表與實戰(zhàn)中避開的幾個坑5.1 報錯信息與處理方式我把這幾年遇到最多的問題整理成一張表報錯信息原因處理方式Error opening data file .../tessdata/chi_sim.traineddata語言包缺失或路徑不對確認(rèn)chi_sim.traineddata在tessdata目錄Failed loading language chi_sim語言包版本與引擎不兼容換成對應(yīng)tessdata版本的語言包Tesseract couldnt load any languages!tessdata目錄完全找不到檢查TESSDATA_PREFIX和安裝路徑識別結(jié)果全是空白圖像太模糊或太暗先做預(yù)處理放大、增強(qiáng)對比度結(jié)果英文正常中文亂碼用了舊版語言包或沒指定-l chi_sim更新語言包用-l明確指定中文第二個錯誤特別值得展開說。Tesseract 4.0以后的LSTM語言包和3.x時代的舊包不兼容下載時一定看清楚是哪個版本引擎配套的。有個快速驗證辦法加載成功后隨便跑一張圖如果識別出完全無意義的一串字符先懷疑語言包版本問題別急著懷疑圖像。5.2 路徑和文件名的中文陷阱Windows下如果輸入圖片路徑或者輸出文件路徑里帶中文偶爾會碰到編碼問題。命令行里建議先cd到工作目錄用相對路徑操作實在要用絕對路徑盡量保證路徑里沒有中文和空格省得在編碼上折騰。5.3 對識別率的心理預(yù)期最后說句實在話Tesseract對印刷體的中文識別率相當(dāng)能打?qū)η逦鷴呙杓龅?5%以上不夸張但手寫體、藝術(shù)字體、復(fù)雜背景下的文字效果會明顯下滑。如果項目對精確率要求極高我的經(jīng)驗是用Tesseract先做粗排把候選結(jié)果導(dǎo)出再結(jié)合人工抽檢或者二次校正流程而不是指望單一引擎一步到位。它最大的優(yōu)勢是免費、離線、可批量在OCR這條鏈里是最劃得來的一環(huán)。我對這套流程的評價就四個字皮實夠用。裝上語言包、調(diào)好預(yù)處理剩下的事情就交給它慢慢跑吧。本文還有配套的精品資源點擊獲取