簡介這份代碼包實(shí)現(xiàn)基于Faster R-CNNResNet-101的自下而上注意力模型面向圖像字幕與視覺問答VQA方向的研究者和開發(fā)者用以解決傳統(tǒng)CNN網(wǎng)格特征難以聚焦顯著物體區(qū)域的問題。模型借助Visual Genome的物體與屬性標(biāo)注進(jìn)行多GPU訓(xùn)練預(yù)訓(xùn)練權(quán)重可直接輸出顯著圖像區(qū)域的特征替代注意力式字幕與VQA模型中的CNN特征論文據(jù)此取得CIDEr 117.9、BLEU_4 36.9與70.3%的VQA總體準(zhǔn)確率。壓縮包共981個文件、約14.27MB以C源碼、Caffe網(wǎng)絡(luò)配置prototxt、Python腳本、CUDA核與Shell腳本為主另含Jupyter Notebook示例、Markdown說明及預(yù)訓(xùn)練權(quán)重覆蓋數(shù)據(jù)準(zhǔn)備、訓(xùn)練配置到特征提取各環(huán)節(jié)。已有753人學(xué)習(xí)讀者可獲得完整的Faster R-CNN訓(xùn)練流水線、顯著區(qū)域特征提取腳本與示例配置便于在自有數(shù)據(jù)上復(fù)現(xiàn)自下而上注意力特征并接入下游字幕或VQA模型。1. 從“整圖特征總差點(diǎn)意思”說起Faster R-CNN 加 Visual Genome 的自下而上注意模型能解決什么很多人第一次把 Faster R-CNN 的區(qū)域特征接到圖像字幕和 VQA 任務(wù)上都會遇到一個反直覺結(jié)果整圖池化看起來也能跑但一換到小目標(biāo)、遮擋和屬性問答就露餡。這套資源圍繞 Visual Genome 的區(qū)域標(biāo)注訓(xùn)練自下而上注意模型用 Caffe 做檢測與特征抽取再把區(qū)域特征送進(jìn) image captioning 和 visual question answering 分支MSCOCO 圖像常被拿來跑端到端驗(yàn)證Jupyter Notebook 負(fù)責(zé)把抽特征、訓(xùn)練和推理串成可復(fù)現(xiàn)的實(shí)驗(yàn)記錄。它適合已經(jīng)跑過基礎(chǔ) CNN 文本模型、想弄明白區(qū)域級注意到底怎么落地的人也適合需要一套可改參數(shù)、可看中間產(chǎn)物的工程樣本來排查指標(biāo)不漲的原因。2. 資源拆解與運(yùn)行底座Caffe、Faster R-CNN 與 Visual Genome 標(biāo)注怎么對齊2.1 這套資源由哪幾塊拼起來檢測器、特征、詞表與 Notebook這套資源不是單一模型文件而是“檢測器 區(qū)域特征 任務(wù)頭 實(shí)驗(yàn)記錄”的組合。Faster R-CNN 負(fù)責(zé)在圖像上產(chǎn)生候選框Visual Genome 的區(qū)域描述和屬性標(biāo)注讓候選框不只是物體框還能承載“什么顏色、什么動作、什么關(guān)系”這類語義VQA 和 image captioning 任務(wù)頭再消費(fèi)這些區(qū)域特征。Caffe 在這里的角色偏工程底座檢測網(wǎng)絡(luò)配置、權(quán)重加載和前向推理都圍繞它展開所以環(huán)境沒對齊時后面訓(xùn)練任務(wù)頭再花哨也沒有意義。Jupyter Notebook 則把抽特征、訓(xùn)練、推理切成可觀察的單元格適合調(diào)參和排查中間產(chǎn)物。模塊職責(zé)輸入輸出常見誤用Faster R-CNN 檢測器產(chǎn)生候選區(qū)域并做 ROI 特征原始圖像、檢測配置、權(quán)重區(qū)域框、分?jǐn)?shù)、區(qū)域特征直接把整圖特征當(dāng)區(qū)域特征用Visual Genome 標(biāo)注適配對齊區(qū)域描述、屬性與圖像區(qū)域標(biāo)注文件、圖像 ID區(qū)域語義標(biāo)簽、屬性表圖像 ID 與標(biāo)注 ID 沒統(tǒng)一VQA 任務(wù)頭問題編碼與區(qū)域注意分類問題詞表、區(qū)域特征、答案詞表答案分?jǐn)?shù)答案未歸一化就進(jìn)詞表圖像字幕任務(wù)頭區(qū)域特征解碼成句子區(qū)域特征、字幕詞表字幕序列時間步和區(qū)域數(shù)錯位Jupyter Notebook串聯(lián)抽特征、訓(xùn)練、推理配置、緩存、小樣本可復(fù)現(xiàn)實(shí)驗(yàn)記錄單元格亂序執(zhí)行后不回看我一般先驗(yàn)證檢測器輸出再碰任務(wù)頭。做法是抽 20 到 50 張圖打印每張圖的候選框數(shù)量、分?jǐn)?shù)分布和特征范數(shù)如果框數(shù)普遍為 0或者特征范數(shù)全是 0先別懷疑注意模塊回到檢測閾值和預(yù)處理查。這個順序能省掉大量“訓(xùn)練不漲”的假排查。資源里的 Notebook 適合當(dāng)實(shí)驗(yàn)記錄但不適合當(dāng)黑匣子每個單元格的輸入輸出要能對上否則換一臺機(jī)器就會翻車。2.2 環(huán)境與目錄約定Caffe 編譯、Python 依賴和權(quán)重放置Caffe 環(huán)境最容易出問題的地方不是編譯命令本身而是 Python 解釋器和依賴路徑混用。我的習(xí)慣是給這套資源單獨(dú)建一個工作目錄把檢測配置、權(quán)重、數(shù)據(jù)軟鏈接、輸出特征和 Notebook 分開放編譯 Caffe 時只把當(dāng)前環(huán)境需要的 Python 路徑寫進(jìn)配置不把系統(tǒng)里多個 Python 混在一起。下面這段腳本是目錄初始化和編譯前的檢查思路不是唯一寫法重點(diǎn)是每一步都能單獨(dú)驗(yàn)證。# 工作目錄按“配置、權(quán)重、數(shù)據(jù)、輸出、代碼”分開避免路徑互相污染 mkdir -p /workspace/region-attn/{configs,weights,data,outputs,notebooks} # 先確認(rèn)當(dāng)前 shell 的 python 和 pip 指向同一套環(huán)境 which python python -c import sys; print(sys.executable) # 進(jìn)入 Caffe 源碼目錄后按機(jī)器情況改 Makefile.config # 關(guān)鍵項(xiàng)CPU_ONLY、BLAS、PYTHON_INCLUDE、PYTHON_LIB、USE_OPENCV cd /workspace/region-attn/caffe make clean make -j$(nproc) make pycaffe # 把 pycaffe 加進(jìn)當(dāng)前環(huán)境的搜索路徑不要寫死到系統(tǒng)全局 export PYTHONPATH/workspace/region-attn/caffe/python:$PYTHONPATH python -c import caffe; print(caffe.__file__)這段腳本的邏輯說明先建目錄是為了讓后面所有路徑都有明確歸屬which python和sys.executable用來確認(rèn)解釋器一致避免編譯時用了一個 Python、運(yùn)行時又用另一個make pycaffe只編譯 Python 接口失敗時先看Makefile.config里的 Python 頭文件和庫路徑PYTHONPATH只對當(dāng)前 shell 生效適合臨時驗(yàn)證。參數(shù)上CPU_ONLY只在沒有可用 GPU 或只想驗(yàn)證流程時打開打開后特征抽取會慢很多USE_OPENCV和 BLAS 的選擇按機(jī)器實(shí)際庫來不要照抄別人的配置。權(quán)重放置也要有約定檢測權(quán)重放weights/配置文件放configs/數(shù)據(jù)用軟鏈接指向data/輸出統(tǒng)一落outputs/。這樣 Notebook 里只寫相對outputs/的路徑換機(jī)器時改一個根目錄即可。提示先跑單張圖的前向確認(rèn)caffe能導(dǎo)入、權(quán)重能加載、輸出 blob 名稱對得上再批量抽特征。2.3 數(shù)據(jù)契約MSCOCO 圖像、Visual Genome 屬性與 VQA 問答的字段映射數(shù)據(jù)契約沒定好后面所有指標(biāo)都不可信。MSCOCO 圖像通常用image_id關(guān)聯(lián)字幕和 VQA 問答Visual Genome 的區(qū)域標(biāo)注則有自己的圖像 ID 和區(qū)域 ID這兩套 ID 不能靠文件名猜必須有顯式映射表。VQA 分支還要把問題、答案、圖像 ID 綁在一起答案要做小寫、去標(biāo)點(diǎn)、數(shù)字歸一化否則同一個答案會裂成多個類別。下面這段代碼是一個最小映射骨架重點(diǎn)是先把字段關(guān)系跑通再談模型結(jié)構(gòu)。import json import re from collections import Counter # 答案歸一化小寫、去首尾空白、壓縮標(biāo)點(diǎn)數(shù)字單獨(dú)處理 def norm_answer(text): text text.lower().strip() text re.sub(r[^\w\s], , text) text re.sub(r\s, , text) return text # 讀取 VQA 標(biāo)注構(gòu)建 image_id - 問答列表 with open(data/vqa_annotations.json, r, encodingutf-8) as f: vqa json.load(f) # 讀取圖像 ID 映射外部 ID 到本地文件名不要假設(shè)文件名就是 ID with open(data/image_id_map.json, r, encodingutf-8) as f: id_map json.load(f) answer_counter Counter() samples [] for item in vqa[annotations]: image_key str(item[image_id]) if image_key not in id_map: continue answers [norm_answer(a[answer]) for a in item[answers]] answer_counter.update(answers) samples.append({ image_path: id_map[image_key], question: item[question].strip(), answers: answers, }) # 只保留出現(xiàn)次數(shù)達(dá)到閾值的答案低頻答案歸入占位類 min_freq 5 vocab {a for a, c in answer_counter.items() if c min_freq} for s in samples: s[answer_label] next((a for a in s[answers] if a in vocab), __unk__) print(samples:, len(samples), answers:, len(vocab)) print(samples[0])邏輯說明norm_answer把答案統(tǒng)一成可比較形式避免“Yes”“yes”“yes.”被當(dāng)成三類image_id_map是外部 ID 到本地路徑的橋缺了它就會出現(xiàn)“標(biāo)注有、圖像找不到”的靜默丟樣本min_freq控制答案詞表大小太小會引入大量低頻類太大會把有效答案壓進(jìn)__unk__。參數(shù)上min_freq可以從 5 到 10 之間試具體看數(shù)據(jù)規(guī)模問題長度和答案長度要在詞表構(gòu)建時統(tǒng)計分布不要拍腦袋截斷。字段映射建議固定成一張表image_id對圖像question_id對問答region_id對區(qū)域answer對歸一化答案attribute對 Visual Genome 屬性。每次換數(shù)據(jù)先跑一遍空值、重復(fù) ID 和缺失圖像檢查這比后面調(diào)學(xué)習(xí)率有用得多。3. 從候選框到區(qū)域特征用 Faster R-CNN 抽取自下而上注意特征的參數(shù)與落盤3.1 為什么不用整圖池化區(qū)域級特征的選型理由與參數(shù)邊界整圖池化把一張圖壓成一個向量優(yōu)點(diǎn)是簡單缺點(diǎn)是所有區(qū)域共享同一份表示遇到“左邊那只貓是什么顏色”這種問題時模型只能靠問題文本硬猜。自下而上注意的不同點(diǎn)在于候選區(qū)域來自檢測器的目標(biāo)性不是任務(wù)頭自己學(xué)出來的軟注意力Faster R-CNN 的 RPN 先給出可能包含物體的框再對每個框做 ROI 池化得到一組區(qū)域特征。VQA 和 image captioning 任務(wù)頭再在這組特征上做選擇。這個結(jié)構(gòu)適合區(qū)域級語義明顯的場景但不適合把所有希望都壓在“區(qū)域數(shù)越多越好”上框太多會引入背景噪聲框太少會漏小目標(biāo)。參數(shù)常見范圍作用調(diào)大后的風(fēng)險score_thresh0.2 到 0.5過濾低分候選框框太少小目標(biāo)被漏掉nms_thresh0.3 到 0.5抑制重疊框閾值過高會留下重復(fù)區(qū)域max_regions10 到 50控制每圖區(qū)域數(shù)顯存和后續(xù)注意計算量上升min_box_size8 到 32 像素過濾過小框小目標(biāo)召回下降特征維度按檢測器輸出ROI 池化后的通道數(shù)維度不匹配會直接報錯選型理由要落到任務(wù)上VQA 需要區(qū)域和問題的交互圖像字幕需要區(qū)域序列解碼二者都吃“區(qū)域質(zhì)量”。我一般先把score_thresh設(shè)得稍低保證召回再用nms_thresh和max_regions控制數(shù)量如果任務(wù)頭顯存吃緊優(yōu)先降max_regions不要一上來砍特征維度。特征維度必須和任務(wù)頭輸入層一致改檢測器輸出通道后要同步改任務(wù)頭否則訓(xùn)練時會在第一個全連接層報形狀錯誤。3.2 特征抽取腳本配置文件、閾值、NMS 與輸出格式特征抽取腳本的核心不是“調(diào)一次前向”而是把預(yù)處理、候選框過濾、NMS 和輸出鍵名固定下來。下面是一個 Caffe 前向的骨架寫法具體 blob 名稱要按資源里的檢測配置調(diào)整不要直接照抄 blob 名先在單張圖上打印net.blobs.keys()和輸出形狀。import numpy as np import caffe import cv2 # 檢測配置和權(quán)重按資源包實(shí)際路徑填寫 net caffe.Net(configs/detector.prototxt, weights/detector.caffemodel, caffe.TEST) # 常見預(yù)處理減均值、通道順序按訓(xùn)練配置來別把 BGR/RGB 弄反 mean np.array([104.0, 117.0, 123.0], dtypenp.float32) def preprocess(img_path, target_size600): img cv2.imread(img_path) h, w img.shape[:2] scale target_size / max(h, w) img cv2.resize(img, (int(w * scale), int(h * scale))) img img.astype(np.float32) - mean img img.transpose(2, 0, 1) # HWC - CHW return img[None, :, :, :] def nms(boxes, scores, thresh0.4): # 簡化版 NMS按分?jǐn)?shù)排序后依次抑制重疊框 order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(boxes[i, 0], boxes[order[1:], 0]) yy1 np.maximum(boxes[i, 1], boxes[order[1:], 1]) xx2 np.minimum(boxes[i, 2], boxes[order[1:], 2]) yy2 np.minimum(boxes[i, 3], boxes[order[1:], 3]) w np.maximum(0.0, xx2 - xx1) h np.maximum(0.0, yy2 - yy1) iou w * h / ( (boxes[i, 2] - boxes[i, 0]) * (boxes[i, 3] - boxes[i, 1]) (boxes[order[1:], 2] - boxes[order[1:], 0]) * (boxes[order[1:], 3] - boxes[order[1:], 1]) - w * h 1e-6 ) order order[1:][iou thresh] return keep def extract_one(img_path, score_thresh0.3, nms_thresh0.4, max_regions30): blob preprocess(img_path) net.blobs[data].reshape(1, *blob.shape[1:]) net.blobs[data].data[...] blob net.forward() # 這里的 blob 名要按檢測配置替換先打印 net.blobs.keys() 確認(rèn) boxes net.blobs[rois].data.copy() scores net.blobs[scores].data.copy().reshape(-1) feats net.blobs[pool5].data.copy() keep np.where(scores score_thresh)[0] keep keep[nms(boxes[keep], scores[keep], nms_thresh)][:max_regions] return boxes[keep], scores[keep], feats[keep] boxes, scores, feats extract_one(data/sample.jpg) print(boxes.shape, scores.shape, feats.shape)邏輯說明preprocess里的均值和通道順序必須和檢測器訓(xùn)練時一致BGR/RGB 弄反是典型“特征看起來有值但指標(biāo)不漲”的原因nms用來壓掉同一物體的重復(fù)框nms_thresh越小抑制越強(qiáng)extract_one先按score_thresh過濾再 NMS最后截斷到max_regions。參數(shù)上target_size影響小目標(biāo)召回和顯存圖像長邊太小會漏小物體太大則單圖前向變慢max_regions要和任務(wù)頭的區(qū)域位置編碼或注意層容量匹配。代碼里故意保留了“blob 名要確認(rèn)”的注釋因?yàn)椴煌瑱z測配置的輸出層命名不完全一樣直接照抄很容易拿到空數(shù)組。抽完一張圖后先打印框數(shù)和分?jǐn)?shù)分布再批量跑。3.3 特征落盤與校驗(yàn)HDF5/TSV 的組織、維度與抽樣檢查區(qū)域特征落盤要有穩(wěn)定鍵名和可校驗(yàn)的維度。常見做法是按圖像 ID 建 HDF5 數(shù)據(jù)集每個數(shù)據(jù)集存boxes、scores、features三個數(shù)組如果后續(xù)要按區(qū)域做檢索再額外落一份 TSV 記錄圖像 ID、區(qū)域序號和分?jǐn)?shù)。鍵名統(tǒng)一用補(bǔ)零后的字符串或整數(shù)別一邊用000123、一邊用123。下面這段校驗(yàn)代碼適合放在抽特征之后先跑小樣本再全量。import h5py import numpy as np def save_region_features(path, image_id, boxes, scores, feats): # 統(tǒng)一鍵名格式避免 HDF5 里同時出現(xiàn) 123 和 000123 key str(image_id).zfill(6) with h5py.File(path, a) as f: if key in f: del f[key] grp f.create_group(key) grp.create_dataset(boxes, databoxes.astype(np.float32)) grp.create_dataset(scores, datascores.astype(np.float32)) grp.create_dataset(features, datafeats.astype(np.float32)) def check_h5(path, sample_n20): with h5py.File(path, r) as f: keys list(f.keys())[:sample_n] for k in keys: feats f[k][features][:] boxes f[k][boxes][:] zero_ratio float((np.abs(feats).sum(axis1) 0).mean()) print(k, regions:, feats.shape[0], dim:, feats.shape[1], zero_ratio:, round(zero_ratio, 3), boxes:, boxes.shape) check_h5(outputs/region_features.h5)邏輯說明save_region_features用補(bǔ)零鍵名統(tǒng)一格式重復(fù)寫入時先刪舊組避免調(diào)試時讀到上一次的臟數(shù)據(jù)check_h5抽樣看區(qū)域數(shù)、特征維度和全零比例zero_ratio高通常意味著候選框沒取到、預(yù)處理出錯或 ROI 層輸入不對。參數(shù)上sample_n不用太大20 到 50 個鍵就能看出問題如果特征維度在不同圖像之間不一致先查max_regions截斷邏輯和 ROI 池化輸出不要直接進(jìn)訓(xùn)練。落盤路徑建議按數(shù)據(jù)切分分文件例如訓(xùn)練集和驗(yàn)證集各一個 HDF5避免一個文件過大后隨機(jī)讀變慢。4. 把區(qū)域特征接到 VQA 與圖像字幕訓(xùn)練、推理與 Jupyter Notebook 工作流4.1 VQA 分支問題編碼、區(qū)域注意與答案詞表VQA 分支不是把問題向量和圖像向量拼起來就完事。常見做法是先用 LSTM 或 GRU 編碼問題得到每個時間步的隱狀態(tài)再用區(qū)域特征和問題向量算注意分?jǐn)?shù)對 K 個區(qū)域做 softmax 加權(quán)最后把加權(quán)區(qū)域向量和問題向量送進(jìn)分類層預(yù)測答案。這里的區(qū)域注意是任務(wù)頭自己學(xué)的軟注意和檢測器產(chǎn)生的“自下而上”候選區(qū)域是兩層概念前者決定看哪些區(qū)域后者決定有哪些區(qū)域可選。答案詞表要在訓(xùn)練前固定低頻答案歸入__unk__評估時對歸一化后的答案做匹配。import torch import torch.nn as nn class VQANet(nn.Module): def __init__(self, vocab_size, region_dim2048, hidden_dim512, num_answers1000): super().__init__() self.embed nn.Embedding(vocab_size, 300) self.question_encoder nn.LSTM(300, hidden_dim, batch_firstTrue) self.region_proj nn.Linear(region_dim, hidden_dim) self.attn nn.Linear(hidden_dim, 1) self.classifier nn.Linear(hidden_dim * 2, num_answers) def forward(self, question_ids, region_feats, region_maskNone): # question_ids: [B, L], region_feats: [B, K, D] q self.embed(question_ids) _, (h, _) self.question_encoder(q) q_vec h[-1] # [B, H] r self.region_proj(region_feats) # [B, K, H] score self.attn(torch.tanh(r q_vec.unsqueeze(1))).squeeze(-1) # [B, K] if region_mask is not None: score score.masked_fill(~region_mask, -1e9) weight torch.softmax(score, dim1) attended (r * weight.unsqueeze(-1)).sum(dim1) # [B, H] logits self.classifier(torch.cat([attended, q_vec], dim1)) return logits邏輯說明question_encoder取最后一個時間步的隱狀態(tài)作為問題向量region_proj把檢測特征投到同一維度attn給每個區(qū)域打分masked_fill用來屏蔽無效區(qū)域classifier接加權(quán)區(qū)域向量和問題向量。參數(shù)上hidden_dim要和區(qū)域特征維度解耦區(qū)域維度大時先投影再注意num_answers由答案詞表決定不要訓(xùn)練中途改region_mask在變長區(qū)域數(shù)時很重要沒有它會把補(bǔ)齊的零區(qū)域也算進(jìn) softmax。訓(xùn)練時先用小學(xué)習(xí)率跑通一個 batch確認(rèn) logits 形狀和標(biāo)簽范圍對得上再開全量。4.2 圖像字幕分支解碼器輸入、時間步對齊與 beam search圖像字幕分支的常見結(jié)構(gòu)是“區(qū)域特征編碼 文本解碼”。解碼器每個時間步輸入上一個詞和區(qū)域上下文輸出下一個詞分布。時間步對齊最容易出錯的地方是訓(xùn)練和推理不一致訓(xùn)練用 teacher forcing喂真實(shí)上一個詞推理用模型自己生成的上一個詞如果位置編碼或起始符沒對齊就會生成重復(fù)詞或空序列。區(qū)域特征可以取平均也可以做注意加權(quán)我一般先用平均池化跑通基線再換注意池化看提升。def beam_search(model, region_feats, start_id, end_id, vocab_size, beam_size3, max_len30, length_penalty0.7): # region_feats: [1, K, D]這里只演示單圖解碼流程 beams [([start_id], 0.0)] for _ in range(max_len): candidates [] for seq, score in beams: if seq[-1] end_id: candidates.append((seq, score)) continue logits model.decode_step(region_feats, seq) # [vocab_size] log_probs torch.log_softmax(logits, dim-1) topk torch.topk(log_probs, beam_size) for logp, token in zip(topk.values.tolist(), topk.indices.tolist()): candidates.append((seq [token], score logp)) # 按長度歸一化后的分?jǐn)?shù)排序避免長句被系統(tǒng)性壓低 candidates.sort(keylambda x: x[1] / (len(x[0]) ** length_penalty), reverseTrue) beams candidates[:beam_size] return beams[0][0]邏輯說明beam_search保留beam_size條候選序列每一步對每條序列取 top-k 詞擴(kuò)展length_penalty用來平衡長句和短句分?jǐn)?shù)取值小于 1 時更鼓勵長句max_len防止無限生成。參數(shù)上beam_size從 3 到 5 比較常見太大推理變慢length_penalty在 0.6 到 1.0 之間試字幕任務(wù)里太大會生成啰嗦句子。訓(xùn)練時decode_step的輸入序列要包含起始符推理時不要把真實(shí)字幕混進(jìn)去否則離線指標(biāo)會虛高。4.3 Jupyter Notebook 的執(zhí)行順序與中間產(chǎn)物緩存Notebook 的風(fēng)險是“看起來能跑”實(shí)際單元格順序已經(jīng)亂了。我的習(xí)慣是把抽特征、構(gòu)建詞表、訓(xùn)練、推理分成四個固定段落每段開頭檢查輸入文件是否存在輸出寫到帶時間戳或參數(shù)名的目錄。批量執(zhí)行用nbconvert不要靠手動點(diǎn)“全部運(yùn)行”來保證可復(fù)現(xiàn)如果 Notebook 里有大模型或大特征先清緩存再執(zhí)行避免讀到上一次的中間產(chǎn)物。# 用參數(shù)化方式執(zhí)行 Notebook輸出到獨(dú)立目錄避免覆蓋上一次結(jié)果 jupyter nbconvert --to notebook --execute notebooks/pipeline.ipynb \ --output outputs/run_001/pipeline_executed.ipynb \ --ExecutePreprocessor.timeout1800邏輯說明--execute會從頭執(zhí)行所有單元格能暴露單元格順序問題--output把執(zhí)行后的 Notebook 單獨(dú)落盤方便對比中間產(chǎn)物timeout按特征抽取或訓(xùn)練規(guī)模調(diào)整。參數(shù)上run_001這種目錄名要能對應(yīng)到配置不要用“最終版”這類不可回溯的命名。Notebook 里讀取路徑盡量用絕對路徑或從環(huán)境變量取根目錄相對路徑在本機(jī)沒問題換目錄執(zhí)行就會報找不到文件。每次改完單元格順序先重啟內(nèi)核再全量執(zhí)行一次這個動作能擋掉很多“結(jié)果不一致”的假問題。5. 避坑與排查特征、路徑、顯存和指標(biāo)的四類翻車現(xiàn)場5.1 特征全零或維度錯位從候選框閾值到 HDF5 鍵名現(xiàn)象抽完特征用腳本檢查發(fā)現(xiàn)某些圖像的區(qū)域特征全零或者訓(xùn)練時報features維度不匹配更隱蔽的是 HDF5 里能讀到鍵但鍵對應(yīng)的圖像 ID 和標(biāo)注對不上。原因常見有三類。第一score_thresh設(shè)得過高單圖沒有任何候選框通過過濾后續(xù)數(shù)組變成空第二預(yù)處理通道順序或均值不對檢測器輸出分?jǐn)?shù)整體偏低看起來像“模型不行”第三HDF5 鍵名一邊補(bǔ)零一邊不補(bǔ)零訓(xùn)練時按123取落盤時存成000123取不到就返回空數(shù)組。維度錯位多半是改了檢測器輸出通道或max_regions截斷邏輯任務(wù)頭輸入層沒同步。解決先在單圖上打印候選框數(shù)量、分?jǐn)?shù)最大值和特征范數(shù)不要批量跑完再猜。把score_thresh臨時降到 0.1 看框數(shù)是否恢復(fù)恢復(fù)說明閾值問題不恢復(fù)就查預(yù)處理和 blob 名。HDF5 鍵名統(tǒng)一用同一個函數(shù)生成讀寫都走它不要手寫字符串。任務(wù)頭輸入維度從配置文件讀不在代碼里寫死。下面這段檢查腳本可以放在抽特征之后。import h5py import numpy as np with h5py.File(outputs/region_features.h5, r) as f: bad [] for k in list(f.keys())[:100]: feats f[k][features][:] if feats.size 0 or np.abs(feats).sum() 0: bad.append((k, empty_or_zero)) elif feats.ndim ! 2: bad.append((k, bad_ndim)) print(bad samples:, bad[:10], count:, len(bad))這段腳本只做粗篩empty_or_zero指向候選框或特征寫入問題bad_ndim指向形狀問題。參數(shù)上抽樣 100 個鍵足夠發(fā)現(xiàn)系統(tǒng)性問題如果壞樣本集中在某個圖像 ID 段優(yōu)先查那批圖像的路徑和后綴。5.2 Caffe 環(huán)境與 GPU 顯存編譯、driver 與 batch 的連鎖反應(yīng)現(xiàn)象import caffe報找不到模塊或者前向跑到一半顯存溢出有時同一臺機(jī)器昨天能跑今天換了個 shell 就導(dǎo)入失敗。原因PYTHONPATH只在當(dāng)前 shell 生效換終端后失效編譯時用的 Python 和運(yùn)行時不是同一個解釋器CPU_ONLY配置和實(shí)際運(yùn)行模式不一致GPU 顯存被其他進(jìn)程占用或者單圖輸入尺寸、max_regions太大。Caffe 的報錯有時不夠直白導(dǎo)入失敗和顯存溢出容易被混為一談。解決按“導(dǎo)入、加載權(quán)重、單圖前向、批量前向”四層驗(yàn)證。導(dǎo)入失敗先看sys.path和caffe.__file__加載權(quán)重失敗看配置文件里的層名和權(quán)重是否匹配單圖前向失敗看輸入 blob 形狀批量才溢出就降 batch 或max_regions。顯存問題先用nvidia-smi看占用不要盲目重啟。我的血淚經(jīng)驗(yàn)是不要把PYTHONPATH寫進(jìn) Notebook 的第一個單元格就以為萬事大吉換內(nèi)核后要重新確認(rèn)。# 分層驗(yàn)證導(dǎo)入、路徑、單圖前向 python -c import caffe, sys; print(sys.executable); print(caffe.__file__) python -c import caffe; netcaffe.Net(configs/detector.prototxt,weights/detector.caffemodel,caffe.TEST); print(list(net.blobs.keys())[:5])參數(shù)上單圖驗(yàn)證時把輸入長邊調(diào)小、max_regions調(diào)低先確認(rèn)流程能走通再逐步放大到正式配置。不要用“能導(dǎo)入”代替“能前向”這兩步失敗原因完全不同。5.3 Notebook 狀態(tài)與路徑污染內(nèi)核重啟、相對路徑與緩存現(xiàn)象Notebook 里同樣的代碼第一次跑正常改了一個參數(shù)再跑結(jié)果對不上換目錄執(zhí)行時報文件找不到訓(xùn)練 loss 曲線和上次幾乎一樣懷疑模型沒更新。原因單元格亂序執(zhí)行變量還停留在舊狀態(tài)相對路徑依賴當(dāng)前工作目錄nbconvert和手動執(zhí)行的 cwd 可能不同中間特征或詞表緩存沒有按參數(shù)區(qū)分新實(shí)驗(yàn)讀到了舊文件。Notebook 的“全部運(yùn)行”不等于“干凈運(yùn)行”內(nèi)核里的舊變量不會自動清掉。解決每個實(shí)驗(yàn)開始前重啟內(nèi)核輸出目錄帶參數(shù)指紋讀寫路徑統(tǒng)一從環(huán)境變量或配置根目錄拼不在單元格里寫../data。批量執(zhí)行用nbconvert執(zhí)行后檢查輸出 Notebook 里的關(guān)鍵打印。緩存文件按score_thresh、max_regions、數(shù)據(jù)切分命名參數(shù)變了就換目錄。下面是一個路徑約定示例。import os from pathlib import Path ROOT Path(os.environ.get(REGION_ATTN_ROOT, /workspace/region-attn)) RUN_NAME vqa_k30_nms04_s03 OUT ROOT / outputs / RUN_NAME OUT.mkdir(parentsTrue, exist_okTrue) feature_path OUT / region_features.h5 print(feature_path:, feature_path)這段代碼把根目錄和運(yùn)行名分開RUN_NAME里帶上關(guān)鍵參數(shù)換參數(shù)就不會覆蓋舊結(jié)果。參數(shù)上REGION_ATTN_ROOT適合在本地和遠(yuǎn)程環(huán)境切換RUN_NAME不要用日期單獨(dú)命名要能看出區(qū)域數(shù)和閾值。5.4 指標(biāo)不漲的假象答案歸一化、詞表覆蓋與評估切分現(xiàn)象訓(xùn)練 loss 在降但 VQA 準(zhǔn)確率幾乎不動圖像字幕的 BLEU 或 CIDEr 看起來隨機(jī)波動換個隨機(jī)種子結(jié)果差很多。原因答案沒有歸一化yes、Yes、yes.被當(dāng)成不同類模型學(xué)到的是噪聲答案詞表覆蓋太低大量樣本落到__unk__準(zhǔn)確率自然上不去評估切分和訓(xùn)練切分有重疊或者評估時用了訓(xùn)練集詞表之外的答案映射字幕評估沒有固定解碼參數(shù)beam size 和長度懲罰一變指標(biāo)就漂。解決先統(tǒng)計答案頻次和詞表覆蓋率再看混淆矩陣。答案歸一化放在構(gòu)建詞表之前不要在評估時臨時改min_freq調(diào)大后觀察__unk__比例比例過高就降閾值或做答案聚類。評估切分固定成文件不要每次隨機(jī)切。字幕評估固定 beam size、max length 和 length penalty記錄在實(shí)驗(yàn)配置里。指標(biāo)不漲時先跑一個極小樣本過擬合如果小樣本都過擬合不了問題在數(shù)據(jù)管道或標(biāo)簽對齊不在模型容量。from collections import Counter answers [yes, Yes, yes., no, no, two, 2] norm [a.lower().strip().rstrip(.) for a in answers] counter Counter(norm) coverage sum(c for a, c in counter.items() if c 2) / len(norm) print(counter, coverage:, coverage)這段腳本只演示歸一化和覆蓋率計算coverage低說明低頻答案占比高需要調(diào)整詞表策略。參數(shù)上min_freq不要只看訓(xùn)練集驗(yàn)證集里出現(xiàn)但訓(xùn)練集沒有的答案要?dú)w入__unk__否則評估會泄漏。6. 進(jìn)階驗(yàn)證把區(qū)域數(shù)量、NMS 閾值與注意可視化做成可回滾實(shí)驗(yàn)6.1 三組參數(shù)的可回滾掃描區(qū)域數(shù)K、NMS 閾值和score_thresh是這套資源里最值得做小樣本掃描的三個參數(shù)。不要一上來全量訓(xùn)練先固定其他變量用 200 到 500 張圖跑三組配置觀察候選框數(shù)量分布、特征全零比例和任務(wù)頭小樣本過擬合能力。每組配置輸出到獨(dú)立目錄指標(biāo)和中間產(chǎn)物都能回滾。實(shí)驗(yàn)max_regionsnms_threshscore_thresh觀察點(diǎn)回滾條件A200.40.3框數(shù)是否夠小目標(biāo)小目標(biāo)漏檢明顯B300.50.2召回與噪聲平衡重復(fù)框過多、顯存漲C500.40.3任務(wù)頭上限訓(xùn)練變慢但指標(biāo)不漲掃描時固定隨機(jī)種子和數(shù)據(jù)切分記錄每組的驗(yàn)證指標(biāo)和單圖推理耗時。如果 B 組指標(biāo)最好但顯存吃緊優(yōu)先降K而不是砍特征維度如果 C 組沒有提升說明任務(wù)頭對區(qū)域數(shù)不敏感回到注意層結(jié)構(gòu)查。6.2 注意可視化與抽樣驗(yàn)證注意權(quán)重是排查“模型到底看哪”的直接手段。取一個驗(yàn)證樣本打印 top-5 區(qū)域的坐標(biāo)、分?jǐn)?shù)和注意權(quán)重和原圖對照如果權(quán)重集中在背景框先查候選框質(zhì)量和score_thresh不要急著改注意層。我一般會把可視化結(jié)果和特征文件一起落盤方便下次對比。# 假設(shè) weight 是 [K] 的注意權(quán)重boxes 是 [K, 4] topk weight.argsort(descendingTrue)[:5] for idx in topk.tolist(): print(box:, boxes[idx].tolist(), score:, float(scores[idx]), attn:, float(weight[idx]))這段代碼只打印 top-5參數(shù)上不需要畫圖也能判斷注意是否合理如果 top 區(qū)域全是邊緣框回到檢測閾值和 NMS。我后來每次接類似任務(wù)都先把K、NMS 閾值和score_thresh做成命令行參數(shù)跑三組小樣本再決定是否全量訓(xùn)練這套習(xí)慣讓我少返工很多次。如果你手上正好有這套資源先按第 3 章抽一小批特征再對照注意權(quán)重看區(qū)域質(zhì)量別直接沖全量訓(xùn)練。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取