技術(shù)架構(gòu)上——當(dāng)PDF遇上PyMuPDF當(dāng)版面分析遇上PPStructure一場關(guān)于“怎么讓電腦看懂豎排繁體”的底層大揭秘——大胖老師“今天這堂課咱們不講虛的直接上硬菜。我要把文淵慧典的技術(shù)架構(gòu)從頭到尾扒一遍扒到毛細(xì)血管級別。”——二黑推了推眼鏡“老師能從PDF扒到雙層PDF嗎”——大胖老師“不僅扒到我還要讓你看到一頁發(fā)黃的線裝書是怎么在代碼的流水線上走一遭最后變成一個(gè)能搜索、能復(fù)制的數(shù)字文檔的?！薄〔伺e手“那我負(fù)責(zé)提問。問傻了你別罵我。”——二黑頭也不抬“問傻了說明講得不好。老師您壓力大嗎”——大胖老師端起保溫杯潤了潤嗓子“壓力就是動(dòng)力。來咱們開扒?！币?、總覽這是一條為古籍量身打造的“數(shù)字生產(chǎn)線”大胖老師在白板上畫了一條橫線線上戳了五個(gè)方框依次寫著PDF解析 → 圖像預(yù)處理 → 版面分析 → OCR識(shí)別 → 后處理與輸出“這就是文淵慧典的核心流水線?？粗胀∣CR系統(tǒng)差不多是吧”他敲敲第一個(gè)框“但每個(gè)模塊里面都塞滿了我們針對古籍專門設(shè)計(jì)的‘獨(dú)門暗器’。普通OCR一碰古籍就跪不是因?yàn)樗溶浭且驗(yàn)樗纳a(chǎn)線根本就不是為這條道修的?！薄敖裉煸蹅兙彤?dāng)一回車間主任一個(gè)工位一個(gè)工位地轉(zhuǎn)。你們會(huì)看到一頁發(fā)黃的線裝書是怎么在這條流水線上走一遭最后變成一個(gè)能搜索、能復(fù)制的數(shù)字文檔的?！毙〔硕⒅鞍婷娣治觥蹦莻€(gè)框眼睛發(fā)光“我最想聽這個(gè)一頁亂糟糟的古籍電腦怎么就能一眼看出哪兒是正文、哪兒是注”二黑慢悠悠地接話“因?yàn)樗皇恰础鰜淼氖恰恪鰜淼?。而且算的過程中踩過的坑比你吃過的鹽還多?！贝笈掷蠋煛岸谡f得對。今天咱們就把這條流水線從頭扒到尾。先從第一站開始?！倍?、第一車間PDF解析——PyMuPDF的“庖丁解?！贝笈掷蠋燑c(diǎn)開一個(gè)掃描版PDF放大到像素級別。“你們看這種掃描版PDF每一頁就是一張高分辨率圖片外面裹著PDF的封裝殼。第一車間的任務(wù)就是把殼敲開把圖片無損地請出來。還不能弄亂順序、弄丟頁碼、弄花畫質(zhì)?！薄笆忻嫔螾DF工具一大堆為什么單選PyMuPDF”二黑搶答“因?yàn)樗腔贛uPDF內(nèi)核的C語言寫的速度極快內(nèi)存占用極小。更關(guān)鍵的是它支持幾乎所有PDF變種——加密的、壓縮的、帶透明層的全都能解。而且它可以把頁面直接渲染成像素圖DPI隨你設(shè)?！薄拔覀冊O(shè)的是300?！贝笈掷蠋熃舆^話“這個(gè)數(shù)是反復(fù)試出來的黃金平衡點(diǎn)——低了字跡發(fā)虛高了文件太大拖慢速度。代碼寫起來也干凈打開PDF遍歷每一頁調(diào)一個(gè)get_pixmap(dpi300)一張高清PNG就出來了。”小菜試著想象那個(gè)畫面“所以PyMuPDF就像一個(gè)熟練的拆包工”“對模范快遞員?！贝笈掷蠋熜α恕岸宜鸬每?。一本300頁的PDF不到一分鐘全部導(dǎo)出。換成人工一頁頁截圖半天沒了。王大姐把PDF拖進(jìn)系統(tǒng)背后就是這個(gè)車間在咔咔地拆包裝把古籍原圖一張張平鋪在工作臺(tái)上等著下一步處理。她不需要知道什么是DPI什么是渲染——她只需要看到PDF丟進(jìn)去圖片自己就出來了?！薄安贿^有一個(gè)坑?！倍谕蝗徊逶挕坝行㏄DF里嵌了多種分辨率封面可能是600DPI高清正文是150DPI。統(tǒng)一按300渲染封面會(huì)超大正文會(huì)糊。所以我們在拆之前加了一步先讀取每一頁的原始分辨率如果低于200就提個(gè)醒高于600就適當(dāng)壓縮?！贝笈掷蠋燑c(diǎn)頭“細(xì)節(jié)都是細(xì)節(jié)。這些細(xì)節(jié)加起來決定了王大姐用起來順不順?！比?、第二車間圖像預(yù)處理——給古籍“洗臉”和“正骨”拆出來的圖片可不是直接就能喂給OCR的。大胖老師打開一張剛從PDF里拆出來的掃描件頁面發(fā)黃邊緣有污漬中間透背的墨跡像鬼影一樣靠近裝訂線的部分還微微彎曲?！肮偶畳呙杓畟€(gè)有九個(gè)‘灰頭土臉’。直接送OCR等于讓近視眼不戴眼鏡去認(rèn)路牌。所以第二車間專干兩件事洗臉和正骨?！毕茨槨赃m應(yīng)二值化“所謂洗臉就是把文字和背景徹底分開?！贝笈掷蠋熤钢鴪D片“紙是黃的墨是黑的但受潮的地方紙色變深淡墨的地方字又偏灰。如果用全局閾值一刀切——‘比某個(gè)灰度深的就算字淺的就算紙’——那受潮的紙會(huì)被當(dāng)成字淡墨的字會(huì)被當(dāng)成紙結(jié)果一臉麻子?！倍诮舆^話“所以我們用的是自適應(yīng)二值化。OpenCV里的adaptiveThreshold原理是把圖像分成一個(gè)個(gè)小格子每個(gè)格子單獨(dú)計(jì)算閾值。深色紙區(qū)域的閾值會(huì)自動(dòng)調(diào)高淡墨區(qū)域的閾值會(huì)自動(dòng)調(diào)低。不論光照多不均文字都能被干凈地‘摳’出來。”“參數(shù)我們調(diào)試了很久?！贝笈掷蠋熝a(bǔ)充“blockSize11C2這對古籍來說是最優(yōu)解——既能保留筆畫細(xì)節(jié)又不會(huì)把紙張紋理誤認(rèn)為字。而且這個(gè)操作是全自動(dòng)的系統(tǒng)會(huì)根據(jù)圖像直方圖分布自動(dòng)判斷二值化強(qiáng)度。王大姐不需要知道什么是閾值她只需要看到洗完臉的古籍字是字紙是紙黑白分明?！毙〔怂贫嵌熬拖窠o每個(gè)區(qū)域單獨(dú)調(diào)對比度”“就是這個(gè)意思。”正骨——展平與糾偏“再來看正骨。”大胖老師換了一張書頁彎曲的圖片“這是普通平板掃描儀掃的書脊沒壓平文字往中間凹。這種變形不糾正OCR會(huì)把一行字切成兩截?！薄拔覀兊恼蛊剿惴ㄓ脭?shù)學(xué)方法模擬書頁的彎曲曲面然后把它‘?dāng)偲健?。具體是用二次曲線擬合——先檢測每一行文字的基線根據(jù)基線的彎曲程度反推書頁形變參數(shù)再對圖像做透視變換把彎的拽直?！倍谘a(bǔ)充“后來我們又加了手機(jī)拍照的梯形校正。很多縣館沒有專業(yè)掃描儀館員就用手機(jī)拍。手機(jī)拍的書頁經(jīng)常是梯形的近大遠(yuǎn)小。我們用OpenCV的getPerspectiveTransform自動(dòng)檢測頁面四個(gè)角拉伸成標(biāo)準(zhǔn)矩形?！薄八浴贝笈掷蠋熆偨Y(jié)“無論掃描儀掃的還是手機(jī)拍的進(jìn)了這個(gè)車間出去的時(shí)候都是平平整整、規(guī)規(guī)矩矩的標(biāo)準(zhǔn)照。這步做好了后面版面分析和OCR才有發(fā)揮的余地?！彼?、第三車間版面分析——PPStructure的“讀心術(shù)”圖片洗白正骨之后就來到了整個(gè)系統(tǒng)最核心、也最復(fù)雜的車間。大胖老師調(diào)出一張標(biāo)注過的古籍頁面上面用不同顏色的框標(biāo)記著正文、夾注、眉批、頁碼?！肮偶陌婷嬗盟膫€(gè)字形容就是亂中有序。人看一眼就知道哪兒是正文、哪兒是注、從哪兒開始讀。但對電腦來說這全是像素沒有任何意義。版面分析的任務(wù)就是給像素賦予‘意義’——聚合成文字塊判斷每個(gè)塊的類型和閱讀順序?！薄斑@活兒我們交給了PPStructure?！贝笈掷蠋熍牧伺淖雷印昂芏嗳艘詾镻PStructure就是一個(gè)模型丟進(jìn)去圖片吐出來結(jié)果。大錯(cuò)特錯(cuò)。它是一個(gè)流水線里面整合了至少四個(gè)獨(dú)立的深度學(xué)習(xí)模型外加一堆后處理邏輯。”他在白板上畫了四個(gè)小圈套在“版面分析”的大圈里布局檢測 → 方向分類 → 文本檢測 → 文本識(shí)別OCR“第一個(gè)模型布局檢測。基于ResNet骨干網(wǎng)絡(luò)上面接特征金字塔和檢測頭。任務(wù)是在全圖范圍內(nèi)快速定位所有‘有意義’的區(qū)域——文字塊、表格、圖片、印章——用矩形框標(biāo)出來。這一步只看大局不管細(xì)節(jié)。”“第二個(gè)模型方向分類器。針對每一個(gè)檢測到的文字塊判斷方向是0度、90度、180度還是270度。古籍里絕大多數(shù)正文是豎排屬于90度旋轉(zhuǎn)。這個(gè)分類器一判豎排塊就被自動(dòng)旋轉(zhuǎn)到0度變成橫排再送進(jìn)后面的OCR。這就是文淵慧典能處理豎排的核心秘密——不是OCR模型本身能認(rèn)豎排而是版面分析幫它把豎排‘?dāng)[正’了。”小菜恍然大悟“哦所以O(shè)CR模型其實(shí)一直在認(rèn)橫排文字”“對?！倍诮舆^話“這是一種經(jīng)典的分而治之策略。OCR模型專注于‘認(rèn)字’方向的事情由上游解決。而且方向分類器還有一個(gè)隱藏功能——過濾誤檢。有些墨漬或紙張紋理被誤檢為文字塊送進(jìn)方向分類器因?yàn)檎也坏矫鞔_的文字方向置信度會(huì)很低。我們在后處理里設(shè)了閾值置信度低于0.6的塊直接丟棄。這就把大量‘假陽性’攔截在了OCR之前?！贝笈掷蠋熇^續(xù)“第三個(gè)模型文本檢測。在每個(gè)文字塊內(nèi)部精細(xì)定位每一行文字的精確邊界——不是用矩形框而是用緊貼文字輪廓的多邊形。PPStructure用的是DB可微分二值化算法速度快、精度高對彎曲文本和多方向文本都友好。”“第四個(gè)才是OCR識(shí)別也就是我們下一車間的主角。你看一篇古籍頁面進(jìn)來先被布局檢測掃描一遍分出幾大塊每塊單獨(dú)旋轉(zhuǎn)擺正然后每塊內(nèi)部再做精細(xì)的文本行檢測最后一行一行送給OCR。這流程像不像醫(yī)院體檢先分診再各科室檢查最后出報(bào)告?！薄澳俏抑暗睦斫馔耆e(cuò)了?！毙〔藫项^“我以為就是‘唰’一下全出來了?！倍谕屏送蒲坨R“要真那么簡單咱們還費(fèi)勁巴拉地踩三年坑”針對古籍的“特訓(xùn)”“不過”二黑翻開一頁數(shù)據(jù)報(bào)告“通用PPStructure直接上古籍效果并不好。因?yàn)樗挠?xùn)練數(shù)據(jù)主要是現(xiàn)代文檔——橫排、單欄、無邊框。古籍是豎排、多欄、欄線斷斷續(xù)續(xù)、還混雜印章和墨漬。所以我們的第一步就是用古籍標(biāo)注數(shù)據(jù)對布局檢測模型進(jìn)行微調(diào)?！薄拔覀儚娜珖畮准覉D書館收集了大約五千頁不同時(shí)期、不同版式的古籍掃描件組織了二十多個(gè)研究生——包括小菜——手工標(biāo)注了每一頁的布局。正文、注文、眉批、標(biāo)題、印章、頁碼一個(gè)框一個(gè)框地標(biāo)。這批數(shù)據(jù)后來成了文淵慧典最寶貴的資產(chǎn)我們內(nèi)部管它叫‘古籍版面金標(biāo)數(shù)據(jù)集’。”小菜下意識(shí)揉了揉手腕“那個(gè)暑假我標(biāo)注了一千多頁貼了三盒膏藥?！贝笈掷蠋熍呐乃案嗨帥]白貼。這批數(shù)據(jù)喂進(jìn)去微調(diào)后布局檢測模型對古籍的適應(yīng)能力大幅提升。正文和夾注的區(qū)分準(zhǔn)確率從不到70%提升到了90%以上。印章檢測也穩(wěn)定了。最關(guān)鍵的是模型學(xué)會(huì)了忽略欄線的干擾——不再把細(xì)細(xì)的欄線誤認(rèn)為文字行?！薄皺诰€干擾是古籍特有的坑?！倍谘a(bǔ)充“現(xiàn)代文檔沒有欄線通用模型沒見過。古籍欄線經(jīng)常斷斷續(xù)續(xù)、粗細(xì)不均檢測模型很容易把它當(dāng)成細(xì)長文字塊。我們的解決辦法是在標(biāo)注數(shù)據(jù)里特意把欄線標(biāo)為‘忽略區(qū)域’訓(xùn)練時(shí)告訴模型‘這不是文字別管它’。另外在后處理中加了一層形態(tài)學(xué)濾波用OpenCV提取長直線特征凡是形狀接近直線且像素密度均勻的都從文字候選區(qū)里剔除。雙管齊下欄線誤檢基本解決。”五、閱讀順序重建讓文字“排隊(duì)歸位”所有文字行都檢測出來、識(shí)別出來之后還處在無序狀態(tài)——東一行西一行像一群散落在操場上的學(xué)生。大胖老師管這一步叫“整隊(duì)”?！伴喿x順序重建是古籍OCR特有的剛需?，F(xiàn)代文檔從上到下、從左到右默認(rèn)規(guī)則就能搞定。古籍呢從右到左從上到下遇到夾注跳進(jìn)去讀讀完跳出來繼續(xù)正文。這個(gè)順序不是簡單坐標(biāo)排序能解決的?！倍谡酒饋碓诎装迳袭嬍疽鈭D“我們設(shè)計(jì)了一個(gè)兩階段排序算法。第一階段按列分組。算法掃描全頁的文字行坐標(biāo)根據(jù)右上角的橫坐標(biāo)和縱坐標(biāo)把豎直方向上對齊的行歸到一組。判斷標(biāo)準(zhǔn)是兩行橫坐標(biāo)中心線距離小于閾值且縱坐標(biāo)有較大重疊區(qū)間。分組之后列與列之間按橫坐標(biāo)從右到左排序。這就定下了‘從右到左’的大框架?！薄暗诙A段列內(nèi)排序。同一列里的行先按縱坐標(biāo)從上到下排。但如果檢測到夾注塊——寬度明顯小于正文的窄行——就把它們插到正確的位置。算法判斷夾注的上邊緣和哪一行正文對齊就把它插到那行正文的后面。這樣讀的時(shí)候先讀正文緊接著讀夾注讀完再跳回下一行正文?！毙〔嗽囍鴱?fù)述“第一步‘分列排隊(duì)’第二步‘列內(nèi)插隊(duì)’”大胖老師哈哈一笑“用語不太學(xué)術(shù)但理解到位。這個(gè)算法完全是基于坐標(biāo)的規(guī)則引擎不需要額外模型跑起來飛快。對常見的單欄、雙欄、夾注版式準(zhǔn)確率超過95%。但對一些特別復(fù)雜的版式——比如三欄加眉批加側(cè)批——還在持續(xù)優(yōu)化中。”六、第四車間OCR識(shí)別——PaddleOCR的“火眼金睛”版面分析把文字切成一行行橫排的、干凈的圖像現(xiàn)在這些圖像被送進(jìn)核心引擎?！暗鬃荘addleOCR的繁體中文識(shí)別模型?！贝笈掷蠋煷蜷_模型結(jié)構(gòu)圖“用的是SVTR網(wǎng)絡(luò)——一種基于Transformer的輕量級架構(gòu)。它先把圖像切成小方塊通過多層Transformer編碼器提取全局特征最后用線性分類器輸出每個(gè)位置的漢字?！薄跋啾葌鹘y(tǒng)CRNNSVTR有兩個(gè)優(yōu)勢?！倍谌鐢?shù)家珍“一是并行計(jì)算速度快二是全局感受野對形近字和上下文把握更好。遇到‘己’和‘已’它會(huì)利用前后文判斷‘自己’還是‘已經(jīng)’概率分布完全不同?！薄搬槍偶覀冏隽巳齻€(gè)定制優(yōu)化。”大胖老師掰著手指“第一字庫擴(kuò)展。默認(rèn)繁體模型覆蓋約2.5萬字但古籍有Unicode擴(kuò)展區(qū)的生僻字。我們補(bǔ)充了這些字把字庫擴(kuò)展到3.5萬基本覆蓋康熙字典常用部分?！薄暗诙苤M字處理?！倍诮舆^話“康熙缺筆‘玄’乾隆缺筆‘弘’這些半殘字符正常模型很難識(shí)別。我們用了數(shù)據(jù)增強(qiáng)——訓(xùn)練時(shí)隨機(jī)擦除筆畫模擬缺筆強(qiáng)迫模型根據(jù)殘余筆畫和上下文推斷原字。同時(shí)后處理加載避諱字映射表自動(dòng)補(bǔ)全?！薄暗谌Q排數(shù)據(jù)微調(diào)。雖然版面分析把豎排旋轉(zhuǎn)成橫排了但豎排文本的字符間距、行間距跟橫排還是有微妙差異。我們用幾萬張豎排古籍的真實(shí)標(biāo)注數(shù)據(jù)對模型又做了一輪微調(diào)讓它更適應(yīng)‘旋轉(zhuǎn)后的橫排’的字符分布。”七、第五車間預(yù)覽后處理與輸出識(shí)別出來的原始文本還要經(jīng)過精細(xì)加工。大胖老師快速預(yù)覽了第五車間的功能?！暗谝坏拦ば蛑眯哦葮?biāo)注與校對輔助。OCR對每個(gè)字都有置信度打分低于0.85的字標(biāo)記為黃色高亮。校對人員只需重點(diǎn)看黃字效率提升數(shù)倍。全自動(dòng)場景下低置信度字用語言模型做替換預(yù)測——比如‘已所不欲’自動(dòng)糾正為‘己所不欲’?！薄暗诙篱喿x順序重建。前面已述跨頁段落還會(huì)根據(jù)上下文自動(dòng)合并?！薄暗谌离p層PDF生成。底層是原始圖片上面疊加透明文字層文字坐標(biāo)由版面分析提供。生成用的是PyMuPDF——插入透明文本框字體白色、字號極小既不影響閱讀又能被搜索和復(fù)制?！薄皩?dǎo)出格式有三種純文本TXT適合引用帶格式Word適合編輯雙層PDF適合閱讀和存檔。以后還會(huì)增加ALTO XML導(dǎo)出方便對接圖書館元數(shù)據(jù)系統(tǒng)?！卑?、整條流水線跑起來從PDF到雙層PDF的9分鐘大胖老師決定當(dāng)場演示一次完整流程。小菜從文件夾里隨機(jī)挑了一本掃描版PDF——光緒刻本《讀史方輿紀(jì)要》80頁。拖進(jìn)系統(tǒng)點(diǎn)擊“開始識(shí)別”。屏幕上的日志開始滾動(dòng)“PDF解析中… 80頁已拆分。”“圖像預(yù)處理… 自適應(yīng)二值化完成?！薄鞍婷娣治鲋小?檢測到文字塊1420個(gè)其中豎排塊占比96%夾注塊103個(gè)。”“OCR識(shí)別中… 當(dāng)前進(jìn)度45/80平均每頁7秒?！薄昂筇幚怼?生成雙層PDF?！币还不思s9分鐘。輸出的雙層PDF在屏幕上打開小菜試著搜索“荊州”二字瞬間跳轉(zhuǎn)到第12頁對應(yīng)的文字被高亮。他驚呼“真的能搜而且位置好準(zhǔn)”二黑湊過去看了一下置信度“95.3%不錯(cuò)。不過這里有個(gè)異體字‘峽’的異體映射表還得再補(bǔ)一條?！贝笈掷蠋燑c(diǎn)頭“記錄一下下一個(gè)版本加進(jìn)去?！本拧槭裁催@套架構(gòu)對古籍這么“友好”二黑的深度總結(jié)二黑站起來在白板上寫了一條公式古籍OCR 通用OCR 版面理解 領(lǐng)域知識(shí)“通用OCR能認(rèn)字但不懂版面版面分析能分塊但不理解古文排版規(guī)則領(lǐng)域知識(shí)藏在后處理的規(guī)則和微調(diào)數(shù)據(jù)里。文淵慧典的架構(gòu)就是把這三樣?xùn)|西焊在一起了。這不是在造更厲害的識(shí)別模型而是在造一整套‘理解古籍’的智能系統(tǒng)?！贝笈掷蠋煗M意地補(bǔ)充“而且整套系統(tǒng)跑在CPU上不需要GPU。PyMuPDF是C寫的跑得飛快OpenCV是C底層圖像處理秒級PaddleOCR的CPU推理用MKLDNN加速一頁7秒。一條離線流水線全天無休只耗電。這就是我們?yōu)槭裁锤艺f王大姐的十年前老電腦也能用。”小菜最后總結(jié)“所以整個(gè)架構(gòu)就像一家自動(dòng)化工廠。PyMuPDF是卸貨區(qū)OpenCV是清洗整形車間PPStructure是分揀質(zhì)檢PaddleOCR是精細(xì)加工后處理是包裝出品。大胖老師和二黑是總設(shè)計(jì)師兼維修工。”大胖老師哈哈大笑“那王大姐是什么”“廠長?！毙〔苏f“她只要按下開關(guān)整條線就轟隆隆地轉(zhuǎn)起來?！贝巴鈱W(xué)校圖書館的燈次第亮起。在某個(gè)角落里王大姐正把新掃的一批古籍拖進(jìn)文淵慧典的界面。進(jìn)度條在走她的茶還沒涼。下期預(yù)告小菜合上筆記本意猶未盡“老師版面分析那塊你講了四個(gè)模型但每個(gè)模型怎么針對古籍做優(yōu)化的細(xì)節(jié)還沒完全展開呢。還有閱讀順序重建那個(gè)‘分列排隊(duì)、列內(nèi)插隊(duì)’算法我也想聽更細(xì)的?！倍谝蔡痤^“尤其是PPStructure在古籍面前踩過的坑。比如明萬歷刻本那種幾乎看不見的‘隱形欄線’乾隆朱墨套印本的紅黑雙色分離還有手抄本的字跡粘連——這些實(shí)戰(zhàn)案例足夠單開一講了。”大胖老師拍板“那就下期專門講版面分析的繡花功夫。主題就叫——”《PPStructure的繡花功夫布局檢測、方向分類、文本檢測、閱讀順序重建——文淵慧典版面分析深度拆解》“小菜把你那個(gè)‘隱形欄線’的樣本準(zhǔn)備好。二黑把你上次寫的欄線濾波代碼整理一下。下期咱們把版面分析這個(gè)車間扒到螺絲釘級別。”小菜在筆記本上重重記下。窗外夜色已深實(shí)驗(yàn)室白板上畫滿了流程圖和公式大胖老師的保溫杯第三次續(xù)了水而二黑已經(jīng)打開IDE開始修改昨天發(fā)現(xiàn)的一個(gè)閱讀順序bug。本文為注水技術(shù)版您看看即可不必當(dāng)真寫此文字就是圖一樂-