據(jù)增強(qiáng)實戰(zhàn)：albumentations一鍵生成圖片與XML標(biāo)注)
這段時間被問得最多的一個問題就是畢設(shè)跑YOLO數(shù)據(jù)集只有一兩百張模型訓(xùn)出來mAP低得沒法看怎么辦前陣子某同學(xué)的課題是做一個常見目標(biāo)的檢測系統(tǒng)原始標(biāo)注圖片一共才280張里面兩個類別數(shù)量還不均衡。我讓他先別急著換網(wǎng)絡(luò)結(jié)構(gòu)也別去翻更大的公開數(shù)據(jù)集先把數(shù)據(jù)增強(qiáng)做了。他照著一套腳本批量生成了圖片和對應(yīng)的XML標(biāo)注兩周后mAP從0.4出頭提到了0.6左右論文里的對比實驗也有了著落。這篇文章就是把這套思路完整寫出來為什么YOLO小樣本會崩、怎么用自動數(shù)據(jù)增強(qiáng)生成圖片XML、增強(qiáng)腳本怎么設(shè)計不踩坑以及增強(qiáng)完之后訓(xùn)練參數(shù)怎么跟進(jìn)。1. 畢設(shè)小樣本困境為什么YOLO模型一訓(xùn)就廢1.1 數(shù)據(jù)量少時模型到底在學(xué)什么很多人有個誤區(qū)覺得YOLO這種模型丟進(jìn)去幾張圖就能學(xué)會目標(biāo)長什么樣。實際上目標(biāo)檢測模型參數(shù)動輒幾百萬它需要從大量樣本中歸納出什么特征屬于目標(biāo)和什么特征屬于背景。數(shù)據(jù)量只有一兩百張時模型很容易走捷徑——記住訓(xùn)練圖中目標(biāo)周圍的背景紋理、顏色分布這些不該學(xué)的東西。典型表現(xiàn)就是訓(xùn)練集loss一直降驗證集mAP波動很大換個隨機(jī)種子結(jié)果能差好幾個點(diǎn)。我習(xí)慣打個比方給小孩看兩本帶插畫的故事書然后讓他去判斷一群照片里哪張是貓。書里兩只貓恰好都在沙發(fā)上他很可能把沙發(fā)色當(dāng)成判斷依據(jù)換到草地背景就開始瞎猜。YOLO在小數(shù)據(jù)集上的行為和這個非常像它不是沒學(xué)會是學(xué)歪了。1.2 手做增強(qiáng)為什么不可控不少同學(xué)的直覺是先復(fù)制圖片再用圖像處理軟件或手機(jī)修圖改改亮度、加個濾鏡然后手動重新標(biāo)注一遍。這種做法的問題很直接。第一效率極低。300張圖手動改完再標(biāo)XML一天能做完就算不錯而且人的注意力有限框的位置很容易標(biāo)偏。第二不可復(fù)現(xiàn)。每張圖的變換參數(shù)都是隨緣的論文里寫進(jìn)行了數(shù)據(jù)增強(qiáng)別人問到底做了哪些操作、參數(shù)多少根本說不清楚。第三容易漏標(biāo)。改圖之后忘了同步XML訓(xùn)練時YOLO把沒標(biāo)注的目標(biāo)當(dāng)背景學(xué)習(xí)反而干擾模型。自動化的意義不光是省時間更重要的是可復(fù)現(xiàn)、可審計。腳本一跑每張增強(qiáng)圖怎么生成的、用了幾種變換、原圖和新圖的對應(yīng)關(guān)系全部可控這個在畢設(shè)答辯和論文實驗描述里是很加分的點(diǎn)。標(biāo)題里說一鍵生成圖片XML本質(zhì)上就是把數(shù)據(jù)準(zhǔn)備環(huán)節(jié)從手工勞動變成程序化流水線。2. 增強(qiáng)方案選型三種常見路子為什么選albumentations2.1 從零手寫增強(qiáng)腳本的代價很多同學(xué)第一反應(yīng)是用OpenCV自己寫翻轉(zhuǎn)、改亮度、加噪聲都不難二三十行代碼能跑。問題出在坐標(biāo)同步上。水平翻轉(zhuǎn)時框坐標(biāo)是xmin_new W - 1 - xmax_old、xmax_new W - 1 - xmin_old這個還好說。一旦加上旋轉(zhuǎn)、隨機(jī)裁剪、縮放坐標(biāo)變換的公式就要成倍增加而且每個函數(shù)都得自己處理邊界越界、框被裁掉一半、面積過小這些情況。我見過一個同學(xué)手寫增強(qiáng)翻轉(zhuǎn)和亮度都正常加了旋轉(zhuǎn)之后訓(xùn)練出來的模型檢測框全是歪的。排查半天發(fā)現(xiàn)他旋轉(zhuǎn)圖片時忘了旋轉(zhuǎn)標(biāo)注框YOLO拿錯誤的框去算損失等于用垃圾標(biāo)簽訓(xùn)模型。這類bug非常隱蔽因為單看圖片看不出問題標(biāo)注框只在訓(xùn)練時才被讀取。2.2 在albumentations和imgaug之間做選擇成熟的開源增強(qiáng)庫有很多我最終選擇了albumentations主要基于以下幾點(diǎn)考慮。albumentations把變換圖片和同步變換標(biāo)注框封裝在了一起。Compose里聲明一個bbox_params傳入格式說明和標(biāo)簽字段之后所有增強(qiáng)都會自動更新框坐標(biāo)不用自己管理任何公式。它支持pascal_voc格式也就是XML里用的xmin, ymin, xmax, ymax可以直接對接VOC標(biāo)注不需要額外寫轉(zhuǎn)換層。albumentations的API設(shè)計接近字典輸入和輸出結(jié)構(gòu)清晰傳入image和bboxes拿回變換后的結(jié)果每一步都能打印中間狀態(tài)排查問題方便很多。對比imgaug它的功能確實更豐富但對bbox格式的要求更嚴(yán)格文檔維護(hù)狀態(tài)也比早期差了一些。對一個畢設(shè)項目來說能快速跑通、不容易出坐標(biāo)bug、社區(qū)資料多比功能堆砌重要得多。2.3 離線增強(qiáng)優(yōu)于在線增強(qiáng)的取舍點(diǎn)YOLO訓(xùn)練本身也支持在線增強(qiáng)——每個epoch讀圖時隨機(jī)變換。那為什么還要離線生成圖片XML這里要搞清兩者定位不同。在線增強(qiáng)的好處是省存儲、epoch之間數(shù)據(jù)還能變化但壞處是訓(xùn)練時沒法直觀檢查增強(qiáng)效果而且你沒法把增強(qiáng)后的數(shù)據(jù)集單獨(dú)拿出來提交、復(fù)用或者給其他人一起訓(xùn)練。畢設(shè)場景里離線增強(qiáng)有幾個實際好處生成完可以人工抽查確保每張圖質(zhì)量正?？梢栽谡撐睦锩鞔_寫出原始數(shù)據(jù)集800張增強(qiáng)后3000張這種硬數(shù)字還可以把增強(qiáng)數(shù)據(jù)集直接喂給后續(xù)算法對比不用每次訓(xùn)練都重復(fù)算增強(qiáng)。我采用的策略是離線先擴(kuò)到3到5倍訓(xùn)練時YOLO自帶的在線增強(qiáng)強(qiáng)度保持默認(rèn)或稍微調(diào)低兩者不沖突。3. 核心實現(xiàn)圖片和XML如何同步變形3.1 標(biāo)注統(tǒng)一格式先看懂XML內(nèi)部結(jié)構(gòu)YOLO最常用的標(biāo)注格式有兩種YOLO的txt格式一行一個目標(biāo)內(nèi)容是類別 cx cy w h歸一化到0到1另一種是VOC的XML格式XML里直接記錄像素坐標(biāo)。標(biāo)題說生成圖片XML那就要按VOC格式來處理。一個標(biāo)準(zhǔn)的VOC XML結(jié)構(gòu)里有幾個關(guān)鍵節(jié)點(diǎn)size節(jié)點(diǎn)記錄圖片的width、height、depth。這個信息至關(guān)重要因為做翻轉(zhuǎn)、縮放、裁剪時所有坐標(biāo)運(yùn)算都依賴原始寬高。object節(jié)點(diǎn)每個目標(biāo)一個包含name類別名和bndbox子節(jié)點(diǎn)里面是xmin、ymin、xmax、ymax都是像素坐標(biāo)。filename節(jié)點(diǎn)記錄對應(yīng)圖片的文件名生成增強(qiáng)圖時要同步改成新文件名。解析XML用Python自帶的xml.etree.ElementTree就夠了不需要第三方庫。很多同學(xué)在標(biāo)注階段用LabelImg導(dǎo)出XML自動就是VOC格式可以直接拿來做輸入。3.2 坐標(biāo)跟著圖片走的兩個關(guān)鍵操作為什么增強(qiáng)后框會錯位因為圖片的每個像素都變了位置標(biāo)注坐標(biāo)必須跟著變。以水平翻轉(zhuǎn)為例原圖寬度為W原框區(qū)域是[xmin, ymin, xmax, ymax]翻轉(zhuǎn)之后圖片上原來在x位置的像素會跑到W - 1 - x的位置所以新坐標(biāo)是xmin_new W - 1 - xmax_old xmax_new W - 1 - xmin_old ymin_new ymin_old ymax_new ymax_old旋轉(zhuǎn)90度就麻煩一些。順時針旋轉(zhuǎn)90度后圖片長寬互換原坐標(biāo)(x, y)在新圖中的位置是(H - 1 - y, x)這意味著原來的xmin會變成新圖里的ymin原來的ymax會變成新圖里的ymax同時還要加偏移和反轉(zhuǎn)。每次寫這種映射都很容易漏掉某個方向。這也是我堅持用albumentations的核心原因這類幾何變換的坐標(biāo)映射是檢測領(lǐng)域的高頻bug自己手寫一遍等于把成熟庫踩過的坑重新踩一遍。albumentations內(nèi)部已經(jīng)按變換矩陣算好了bbox映射我們要做的是正確傳參而不是重復(fù)造輪子。3.3 用albumentations安全處理bbox的四步套路用albumentations做帶標(biāo)注的增強(qiáng)流程可以固定成四步任何項目都是這個套路。第一步用ET.parse讀取XML把圖片寬高和所有目標(biāo)的[xmin, ymin, xmax, ymax]、類別名提取出來。第二步把提取的boxes拼成列表類別名拼成另一個列表順序必須一一對應(yīng)。第三步構(gòu)造A.Compose增強(qiáng)管道并傳入bbox_params聲明格式第四步調(diào)用pipeline(image..., bboxes..., labels...)從返回值里取出增強(qiáng)后的圖、新框坐標(biāo)、新標(biāo)簽。bbox_params里有三個參數(shù)很關(guān)鍵formatpascal_voc告訴庫傳入的坐標(biāo)是像素值的xmin, ymin, xmax, ymax不是歸一化格式。label_fields[labels]聲明labels列表和bboxes一一對應(yīng)這樣篩選掉被裁掉的框時對應(yīng)的標(biāo)簽也會同步移除。min_visibility和min_area濾波參數(shù)。比如min_visibility0.3表示增強(qiáng)后框至少還有30%面積可見否則丟棄min_area4表示框面積小于4像素就丟棄。這兩個參數(shù)能自動剔除那些被裁剪到幾乎不可見的退化樣本。3.4 完整腳本一鍵批量生成圖片XML下面這個腳本是我在實際項目里整理過的版本核心邏輯可以直接跑。我加了比較多的注釋重點(diǎn)是展示怎么把XML解析、增強(qiáng)、XML回寫三個環(huán)節(jié)串起來。import os import glob import xml.etree.ElementTree as ET import cv2 import albumentations as A TARGET_SHORT_SIDE 640 OUTPUT_DIR augmented_output INPUT_DIR annotations # 存放原始XML的目錄 IMAGE_DIR images # 與XML同名的原始圖片目錄 PER_IMAGE 5 # 每張原圖生成幾個增強(qiáng)版本 def parse_voc_xml(xml_path): 解析VOC XML返回寬高以及boxes、labels列表 tree ET.parse(xml_path) root tree.getroot() w int(root.find(size/width).text) h int(root.find(size/height).text) d int(root.find(size/depth).text) boxes [] labels [] for obj in root.iter(object): name obj.find(name).text bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) boxes.append([xmin, ymin, xmax, ymax]) labels.append(name) return w, h, d, boxes, labels def write_voc_xml(img_path, xml_path, size, boxes, labels): 把增強(qiáng)后的信息寫回VOC XML root ET.Element(annotation) folder ET.SubElement(root, folder) folder.text os.path.basename(os.path.dirname(img_path)) filename ET.SubElement(root, filename) filename.text os.path.basename(img_path) path ET.SubElement(root, path) path.text img_path source ET.SubElement(root, source) database ET.SubElement(source, database) database.text Unknown size_el ET.SubElement(root, size) ET.SubElement(size_el, width).text str(size[0]) ET.SubElement(size_el, height).text str(size[1]) ET.SubElement(size_el, depth).text str(size[2]) ET.SubElement(root, segmented).text 0 for box, label in zip(boxes, labels): obj ET.SubElement(root, object) ET.SubElement(obj, name).text label ET.SubElement(obj, pose).text Unspecified ET.SubElement(obj, truncated).text 0 ET.SubElement(obj, difficult).text 0 bndbox ET.SubElement(obj, bndbox) # 轉(zhuǎn)成整數(shù)避免浮點(diǎn)坐標(biāo)寫入XML ET.SubElement(bndbox, xmin).text str(int(round(box[0]))) ET.SubElement(bndbox, ymin).text str(int(round(box[1]))) ET.SubElement(bndbox, xmax).text str(int(round(box[2]))) ET.SubElement(bndbox, ymax).text str(int(round(box[3]))) tree ET.ElementTree(root) tree.write(xml_path, encodingutf-8, xml_declarationTrue) def build_pipeline(): 構(gòu)造增強(qiáng)管道。像素級增強(qiáng)幾何增強(qiáng)最后的統(tǒng)一尺寸處理 return A.Compose([ A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2, p0.6), A.HueSaturationValue(hue_shift_limit20, sat_shift_limit30, val_shift_limit20, p0.4), A.RandomGamma(gamma_limit(80, 120), p0.3), A.GaussNoise(var_limit(10.0, 40.0), p0.3), A.GaussianBlur(blur_limit(3, 5), p0.2), # 模擬遮擋讓模型學(xué)習(xí)缺了一部分的目標(biāo) A.CoarseDropout(max_holes6, max_height48, max_width48, fill_value0, p0.3), # 隨機(jī)裁剪并縮放能保留至少30%可見面積的框 A.RandomSizedBBoxSafeCrop(width640, height640, erosion_rate0.2, p0.5), A.HorizontalFlip(p0.5), # 只旋轉(zhuǎn)90/270整倍數(shù)避免產(chǎn)生斜框 A.Rotate(limit[90, 270], p0.2), A.RandomScale(scale_limit(-0.3, 0.3), p0.5), # 統(tǒng)一輸出短邊方便后續(xù)YOLO訓(xùn)練直接讀圖 A.LongestMaxSize(max_size1024), A.PadIfNeeded(min_height640, min_width640, border_mode0, value114), ], bbox_paramsA.BboxParams( formatpascal_voc, label_fields[labels], min_visibility0.3, min_area4, )) def process_one_xml(xml_path, output_dir, per_image): base_name os.path.splitext(os.path.basename(xml_path))[0] img_path os.path.join(IMAGE_DIR, base_name .jpg) if not os.path.exists(img_path): img_path os.path.join(IMAGE_DIR, base_name .png) image cv2.imread(img_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) h, w, d, boxes, labels parse_voc_xml(xml_path) # 保護(hù)原始圖片太小時先整體放大到訓(xùn)練尺寸附近 if min(h, w) TARGET_SHORT_SIDE: pre_resize A.Compose([ A.LongestMaxSize(max_sizeTARGET_SHORT_SIDE) ], bbox_paramsA.BboxParams(formatpascal_voc, label_fields[labels])) resized pre_resize(imageimage, bboxesboxes, labelslabels) image resized[image] boxes resized[bboxes] labels resized[labels] pipeline build_pipeline() generated 0 for idx in range(per_image): transformed pipeline(imageimage, bboxesboxes, labelslabels) aug_img transformed[image] aug_boxes transformed[bboxes] aug_labels transformed[labels] # 總會出現(xiàn)某些增強(qiáng)版本把目標(biāo)全裁掉的情況直接跳過 if len(aug_boxes) 0: continue aug_img cv2.cvtColor(aug_img, cv2.COLOR_RGB2BGR) new_base f{base_name}_aug{idx:02d} out_img_path os.path.join(output_dir, new_base .jpg) out_xml_path os.path.join(output_dir, new_base .xml) cv2.imwrite(out_img_path, aug_img) out_h, out_w aug_img.shape[:2] write_voc_xml(out_img_path, out_xml_path, (out_w, out_h, 3), aug_boxes, aug_labels) generated 1 return generated def main(): os.makedirs(OUTPUT_DIR, exist_okTrue) xml_files glob.glob(os.path.join(INPUT_DIR, *.xml)) print(f找到 {len(xml_files)} 個標(biāo)注文件) total 0 for xml_file in xml_files: total process_one_xml(xml_file, OUTPUT_DIR, PER_IMAGE) print(f增強(qiáng)完成共生成 {total} 張圖片XML) if __name__ __main__: main()腳本里的A.LongestMaxSize(max_size1024)和A.PadIfNeeded是很多人容易忽略的組合。前者把圖片最長邊限制到1024避免增強(qiáng)后的圖尺寸過大導(dǎo)致顯存爆炸后者把短邊補(bǔ)到640并填充灰色像素這樣訓(xùn)練時不會因為尺寸太小觸發(fā)某些增強(qiáng)報錯。填充值114是YOLO里常用的灰色實測很穩(wěn)。這里有一個實用經(jīng)驗CoarseDropout的fill_value我寫的是0也就是黑色塊。如果原始圖片整體偏淺色純黑塊會顯得很突兀。你可以把fill_value改成(114, 114, 114)或者用fill_valuerandom讓每個塊隨機(jī)填色這樣模擬遮擋時更接近真實場景。論文里如果對比了遮擋魯棒性實驗這個參數(shù)會直接影響結(jié)果值得提前想好。4. 增強(qiáng)策略設(shè)計別讓模型吃同一盤菜4.1 哪些增強(qiáng)完全不動坐標(biāo)很多初學(xué)者以為所有增強(qiáng)都要處理坐標(biāo)其實有一類增強(qiáng)完全不涉及坐標(biāo)變化像素級變換。亮度、對比度、色相飽和度、伽馬校正、高斯噪聲、高斯模糊、CLAHE這些只改變像素值不改變像素位置所以標(biāo)注框原封不動。這類增強(qiáng)嵌入到管道里非常安全幾乎不會出bug建議優(yōu)先用足。我項目中常用的像素級增強(qiáng)就三個RandomBrightnessContrast模擬不同光照HueSaturationValue模擬不同色調(diào)環(huán)境GaussNoise模擬傳感器噪聲。這三個組合起來一張白天拍的圖能衍生出多種光照條件YOLO對這些變化很敏感多來幾張效果立竿見影。像素級增強(qiáng)的一個隱藏好處是計算開銷小。跑增強(qiáng)腳本通常不需要GPUCPU幾分鐘能處理上千張圖。我之前幫某同學(xué)調(diào)增強(qiáng)一開始他以為要等很久實際上幾百張圖的像素級增強(qiáng)不到一分鐘就跑完了。4.2 需要重算坐標(biāo)的空間增強(qiáng)怎么搭配幾何變換類增強(qiáng)是核心難點(diǎn)但也是提升泛化能力最猛的手段。常用組合有這么幾個思路。水平翻轉(zhuǎn)是最常見的對絕大多數(shù)物體都成立實現(xiàn)代價低。注意不是所有目標(biāo)都適合翻轉(zhuǎn)比如文本檢測、帶方向性的標(biāo)識物翻轉(zhuǎn)后語義就變了這類場景要關(guān)掉HorizontalFlip。旋轉(zhuǎn)建議只做90度和270度整倍數(shù)。原因很實際VOC標(biāo)注的bndbox是軸對齊矩形不支持帶角度的傾斜框。如果旋轉(zhuǎn)一個任意角度比如37度目標(biāo)的實際區(qū)域變成傾斜的但XML里只能用垂直矩形去包住它結(jié)果是框里塞進(jìn)大量背景。模型拿著這種標(biāo)簽訓(xùn)練很容易把背景特征也學(xué)進(jìn)去不如不做。如果確實需要任意角度旋轉(zhuǎn)就得同時引入旋轉(zhuǎn)框標(biāo)注格式那屬于另一個課題了。隨機(jī)裁剪配合縮放也是很實用的組合。RandomSizedBBoxSafeCrop會隨機(jī)選一個區(qū)域裁剪后縮放到指定大小同時保證可見面積大于設(shè)定閾值的框才被保留。這個增強(qiáng)能模擬目標(biāo)出現(xiàn)在畫面不同位置、不同尺度的分布對提升小目標(biāo)檢測效果特別有幫助。4.3 隨機(jī)組合的概率與增強(qiáng)倍數(shù)控制管道里的每個增強(qiáng)都帶一個p概率這個參數(shù)值得認(rèn)真調(diào)而不是默認(rèn)0.5一把梭。如果一個管道里十個增強(qiáng)全部p等于0.5最終輸出的圖片可能同時疊加了七八種變換真實感會變得很差顏色像糖水片噪聲糊成一片。模型在這種異常分布上練出來遇到正常拍攝的測試圖反而容易失準(zhǔn)。我的經(jīng)驗是像素級變換的p控制在0.3到0.6之間空間級變換的p控制在0.2到0.5之間遮擋類控制在0.2到0.3。每一步的概率別太高讓增強(qiáng)結(jié)果偶爾發(fā)生而不是每張都發(fā)生這樣同一張原圖生成的幾個副本才有差異化多樣性才夠。增強(qiáng)倍數(shù)上我的建議是控制在原始數(shù)據(jù)的3到5倍。某同學(xué)原始280張每張生成5個版本得到1400張效果已經(jīng)很好。如果每張生成10倍甚至20倍你會得到大量內(nèi)容高度相似的圖片模型反復(fù)看同一批增強(qiáng)副本照樣會過擬合而且訓(xùn)練時間成倍增加。邊際收益遞減非常明顯這個后面實測部分會看到數(shù)據(jù)。另外要留意類別不均衡問題。如果原始數(shù)據(jù)里A類有200個框B類只有50個框增強(qiáng)時要按類別去看生成后的框數(shù)量而不是只看圖片數(shù)量。我一般會在增強(qiáng)后寫個小統(tǒng)計腳本數(shù)一下每類object出現(xiàn)的次數(shù)確保增強(qiáng)后各類比例沒有進(jìn)一步失衡。如果某一類在裁剪增強(qiáng)中被大量裁掉就要考慮給那類樣本降低RandomSizedBBoxSafeCrop的觸發(fā)概率。5. 產(chǎn)出檢查與訓(xùn)練集成5.1 增強(qiáng)后必須做的三項質(zhì)檢腳本跑通只是第一步真正讓人放心的是增強(qiáng)之后的數(shù)據(jù)檢查。我見過太多同學(xué)增強(qiáng)完不做任何驗證直接開訓(xùn)練最后效果差了都不知道是增強(qiáng)的鍋還是模型的鍋。至少要做三項質(zhì)檢。第一項可視化抽查。寫一個畫框腳本讀取增強(qiáng)后的圖片和XML把標(biāo)注框畫到圖上隨機(jī)抽20張肉眼檢查。重點(diǎn)看框是否還在目標(biāo)上、是否明顯偏大偏小、圖片顏色是否正常、有沒有目標(biāo)被裁掉但框還殘留的情況。這一步能過濾掉九成坐標(biāo)錯位問題。import cv2 import xml.etree.ElementTree as ET def draw_boxes(img_path, xml_path): img cv2.imread(img_path) tree ET.parse(xml_path) root tree.getroot() for obj in root.iter(object): label obj.find(name).text b obj.find(bndbox) xmin int(b.find(xmin).text) ymin int(b.find(ymin).text) xmax int(b.find(xmax).text) ymax int(b.find(ymax).text) cv2.rectangle(img, (xmin, ymin), (xmax, ymax), (0, 255, 0), 2) cv2.putText(img, label, (xmin, max(ymin - 5, 0)), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1) return img第二項規(guī)則校驗。寫一段腳本檢查每個XML里的框是否越界xmin 0、ymin 0、xmax width、ymax height、xmax xmin、ymax ymin。albumentations雖然會自動過濾大部分越界框但像素級別的小越界或浮點(diǎn)取整誤差仍然可能出現(xiàn)校驗一遍成本很低。第三項文件配對檢查。確保每張.jpg都有同名.xml反之亦然。訓(xùn)練腳本遍歷目錄時如果發(fā)現(xiàn)孤兒文件輕則警告重則直接中斷。這個小問題在畢設(shè)項目里發(fā)生的頻率比想象中高。5.2 數(shù)據(jù)劃分與原圖泄漏問題數(shù)據(jù)增強(qiáng)之后怎么劃分訓(xùn)練集和驗證集是個比想象中更重要的細(xì)節(jié)。常見錯誤是先把所有原始圖片和所有增強(qiáng)副本混在一起再按比例隨機(jī)劃分訓(xùn)練集、驗證集。這會造成嚴(yán)重的信息泄漏同一張原圖生成的好幾個增強(qiáng)副本如果一部分在訓(xùn)練集、一部分在驗證集模型等于提前見過驗證集的內(nèi)容驗證指標(biāo)會虛高很多。論文里寫出來很難站住腳答辯時被問到也不好解釋。正確的做法是先劃分原始數(shù)據(jù)集。比如原始280張按7比2比1分成訓(xùn)練、驗證、測試然后只對訓(xùn)練集執(zhí)行增強(qiáng)驗證集和測試集保持原始不動。增強(qiáng)后訓(xùn)練樣本可能變成上千張但驗證集還是那幾十張原始圖這樣評估結(jié)果才是可信的。實現(xiàn)層面我習(xí)慣給增強(qiáng)輸出加統(tǒng)一前綴比如aug_這樣os.listdir一眼能分清原始和增強(qiáng)。訓(xùn)練時YOLO內(nèi)部把增強(qiáng)副本放到訓(xùn)練數(shù)據(jù)目錄即可驗證數(shù)據(jù)單獨(dú)放一個目錄不要混。6. 實測效果與調(diào)參建議6.1 某畢設(shè)項目的增強(qiáng)前后對比講一個我實際參與過的模擬項目課題目的是檢測某工廠場景下的兩類目標(biāo)原始數(shù)據(jù)集280張單類占比大概7比3。用YOLOv5s作為基準(zhǔn)圖片尺寸640x640訓(xùn)練100輪結(jié)果如下。實驗配置訓(xùn)練樣本量mAP0.5備注原始數(shù)據(jù)集2800.47小類目標(biāo)檢出率很低原始像素級增強(qiáng)11200.55光照變化帶來的提升原始像素級幾何增強(qiáng)14000.62翻轉(zhuǎn)、裁剪、縮放起主要作用原始全套增強(qiáng)10倍28000.63相對5倍提升不到兩個點(diǎn)可以看到從0.47到0.62這個跨越很關(guān)鍵論文里足夠作為核心對比出現(xiàn)但從0.62到0.63邊際收益幾乎消失訓(xùn)練時間翻倍卻換不來明顯回報。這就是我之前反復(fù)強(qiáng)調(diào)增強(qiáng)倍數(shù)別貪多的原因。這個數(shù)字不一定對你完全適用不同的目標(biāo)、背景復(fù)雜度下提升幅度差異很大但先加基礎(chǔ)增強(qiáng)效果好再加倍數(shù)、加復(fù)雜度這個思路是通用的。6.2 增強(qiáng)后YOLO訓(xùn)練參數(shù)怎么跟進(jìn)數(shù)據(jù)量變了訓(xùn)練參數(shù)不能原封不動地繼續(xù)用。第一個要調(diào)整的是epoch數(shù)量。增強(qiáng)后每個epoch看到的樣本多了,如果epoch數(shù)不變相當(dāng)于訓(xùn)練總步數(shù)成倍增加有過擬合風(fēng)險。我通常的做法是總epoch適當(dāng)減半比如原來100輪現(xiàn)在60到80輪然后開啟早停盯驗證集mAP走勢。第二個要注意的是在線增強(qiáng)強(qiáng)度。YOLOv5、YOLOv8自帶的在線增強(qiáng)mosaic、mixup、HSV擾動、隨機(jī)仿射在這時候可以適當(dāng)調(diào)低尤其是mosaic。因為離線增強(qiáng)已經(jīng)產(chǎn)生了大量空間上的多樣性在線再來一次過強(qiáng)的mosaic容易讓模型在變形過的樣本上反復(fù)折騰。我一般把hsv_h、hsv_s、hsv_v調(diào)低到默認(rèn)的一半degrees保持0flipud關(guān)閉進(jìn)一步降低訓(xùn)練集和真實場景的分布差距。第三個是batch size。顯存沒變的情況下增強(qiáng)后圖片尺寸如果不是完全統(tǒng)一我的腳本允許一定范圍的尺寸變化batch size要保守一點(diǎn)。實際跑的時候盯著顯存占用溢出就回調(diào)不要盲目拉滿。6.3 進(jìn)階方向小目標(biāo)增強(qiáng)和分階段擴(kuò)圖如果做完基礎(chǔ)增強(qiáng)后發(fā)現(xiàn)小目標(biāo)檢測效果還是差可以加一個針對性增強(qiáng)思路對小目標(biāo)區(qū)域的裁剪放大。做法是遍歷XML篩選出框?qū)捀咻^小的目標(biāo)把目標(biāo)周圍區(qū)域裁剪下來放大到640x640再和原圖一起加入訓(xùn)練集。這等于讓模型多看了幾遍小目標(biāo)特寫能明顯改善小目標(biāo)漏檢。另一個思路是分兩階段擴(kuò)圖先只做像素級增強(qiáng)訓(xùn)一個基線觀察失敗樣本集中在哪些場景再有針對性地加幾何增強(qiáng)而不是一開始就把所有變換全部鋪上去。我?guī)湍惩瑢W(xué)調(diào)試時就是這么一步步來的先發(fā)現(xiàn)夜間樣幾乎全靠像素級增強(qiáng)在撐之后又發(fā)現(xiàn)側(cè)視角度目標(biāo)不好檢于是給Rotate的p提高了一點(diǎn)。整個過程有依據(jù)效果也可解釋寫完實驗記錄后論文的數(shù)據(jù)增強(qiáng)策略部分素材非常充分。再分享一個細(xì)節(jié)增強(qiáng)腳本跑完之后把生成的增強(qiáng)圖按類別文件數(shù)、標(biāo)注框數(shù)、每張圖目標(biāo)數(shù)量都統(tǒng)計一遍存成一個statistics.csv。論文里寫數(shù)據(jù)預(yù)處理的表格時直接引用這個表比臨時數(shù)數(shù)靠譜得多。最后說一點(diǎn)個人習(xí)慣。每次配好增強(qiáng)管道我不會直接全量跑幾百張而是先挑3到5張有代表性的原圖跑一遍打開生成的圖檢查十幾秒確認(rèn)框?qū)R、顏色正常、沒有全黑塊之后再放開全量跑。整個檢查過程不超過五分鐘卻能避免一次錯誤的批量生成。數(shù)據(jù)增強(qiáng)不是把圖變多就完事了它決定了模型見過什么樣的世界。你給YOLO看的訓(xùn)練數(shù)據(jù)越接近它將來要面對的真實畫面它給你的結(jié)果就越穩(wěn)定。帶著這個認(rèn)知去做增強(qiáng)比多開幾個腳本參數(shù)重要得多。 YOLO小樣本數(shù)據(jù)增強(qiáng)實戰(zhàn)：albumentations一鍵生成圖片與XML標(biāo)注
這段時間被問得最多的一個問題就是畢設(shè)跑YOLO數(shù)據(jù)集只有一兩百張模型訓(xùn)出來mAP低得沒法看怎么辦前陣子某同學(xué)的課題是做一個常見目標(biāo)的檢測系統(tǒng)原始標(biāo)注圖片一共才280張里面兩個類別數(shù)量還不均衡。我讓他先別急著換網(wǎng)絡(luò)結(jié)構(gòu)也別去翻更大的公開數(shù)據(jù)集先把數(shù)據(jù)增強(qiáng)做了。他照著一套腳本批量生成了圖片和對應(yīng)的XML標(biāo)注兩周后mAP從0.4出頭提到了0.6左右論文里的對比實驗也有了著落。這篇文章就是把這套思路完整寫出來為什么YOLO小樣本會崩、怎么用自動數(shù)據(jù)增強(qiáng)生成圖片XML、增強(qiáng)腳本怎么設(shè)計不踩坑以及增強(qiáng)完之后訓(xùn)練參數(shù)怎么跟進(jìn)。1. 畢設(shè)小樣本困境為什么YOLO模型一訓(xùn)就廢1.1 數(shù)據(jù)量少時模型到底在學(xué)什么很多人有個誤區(qū)覺得YOLO這種模型丟進(jìn)去幾張圖就能學(xué)會目標(biāo)長什么樣。實際上目標(biāo)檢測模型參數(shù)動輒幾百萬它需要從大量樣本中歸納出什么特征屬于目標(biāo)和什么特征屬于背景。數(shù)據(jù)量只有一兩百張時模型很容易走捷徑——記住訓(xùn)練圖中目標(biāo)周圍的背景紋理、顏色分布這些不該學(xué)的東西。典型表現(xiàn)就是訓(xùn)練集loss一直降驗證集mAP波動很大換個隨機(jī)種子結(jié)果能差好幾個點(diǎn)。我習(xí)慣打個比方給小孩看兩本帶插畫的故事書然后讓他去判斷一群照片里哪張是貓。書里兩只貓恰好都在沙發(fā)上他很可能把沙發(fā)色當(dāng)成判斷依據(jù)換到草地背景就開始瞎猜。YOLO在小數(shù)據(jù)集上的行為和這個非常像它不是沒學(xué)會是學(xué)歪了。1.2 手做增強(qiáng)為什么不可控不少同學(xué)的直覺是先復(fù)制圖片再用圖像處理軟件或手機(jī)修圖改改亮度、加個濾鏡然后手動重新標(biāo)注一遍。這種做法的問題很直接。第一效率極低。300張圖手動改完再標(biāo)XML一天能做完就算不錯而且人的注意力有限框的位置很容易標(biāo)偏。第二不可復(fù)現(xiàn)。每張圖的變換參數(shù)都是隨緣的論文里寫進(jìn)行了數(shù)據(jù)增強(qiáng)別人問到底做了哪些操作、參數(shù)多少根本說不清楚。第三容易漏標(biāo)。改圖之后忘了同步XML訓(xùn)練時YOLO把沒標(biāo)注的目標(biāo)當(dāng)背景學(xué)習(xí)反而干擾模型。自動化的意義不光是省時間更重要的是可復(fù)現(xiàn)、可審計。腳本一跑每張增強(qiáng)圖怎么生成的、用了幾種變換、原圖和新圖的對應(yīng)關(guān)系全部可控這個在畢設(shè)答辯和論文實驗描述里是很加分的點(diǎn)。標(biāo)題里說一鍵生成圖片XML本質(zhì)上就是把數(shù)據(jù)準(zhǔn)備環(huán)節(jié)從手工勞動變成程序化流水線。2. 增強(qiáng)方案選型三種常見路子為什么選albumentations2.1 從零手寫增強(qiáng)腳本的代價很多同學(xué)第一反應(yīng)是用OpenCV自己寫翻轉(zhuǎn)、改亮度、加噪聲都不難二三十行代碼能跑。問題出在坐標(biāo)同步上。水平翻轉(zhuǎn)時框坐標(biāo)是xmin_new W - 1 - xmax_old、xmax_new W - 1 - xmin_old這個還好說。一旦加上旋轉(zhuǎn)、隨機(jī)裁剪、縮放坐標(biāo)變換的公式就要成倍增加而且每個函數(shù)都得自己處理邊界越界、框被裁掉一半、面積過小這些情況。我見過一個同學(xué)手寫增強(qiáng)翻轉(zhuǎn)和亮度都正常加了旋轉(zhuǎn)之后訓(xùn)練出來的模型檢測框全是歪的。排查半天發(fā)現(xiàn)他旋轉(zhuǎn)圖片時忘了旋轉(zhuǎn)標(biāo)注框YOLO拿錯誤的框去算損失等于用垃圾標(biāo)簽訓(xùn)模型。這類bug非常隱蔽因為單看圖片看不出問題標(biāo)注框只在訓(xùn)練時才被讀取。2.2 在albumentations和imgaug之間做選擇成熟的開源增強(qiáng)庫有很多我最終選擇了albumentations主要基于以下幾點(diǎn)考慮。albumentations把變換圖片和同步變換標(biāo)注框封裝在了一起。Compose里聲明一個bbox_params傳入格式說明和標(biāo)簽字段之后所有增強(qiáng)都會自動更新框坐標(biāo)不用自己管理任何公式。它支持pascal_voc格式也就是XML里用的xmin, ymin, xmax, ymax可以直接對接VOC標(biāo)注不需要額外寫轉(zhuǎn)換層。albumentations的API設(shè)計接近字典輸入和輸出結(jié)構(gòu)清晰傳入image和bboxes拿回變換后的結(jié)果每一步都能打印中間狀態(tài)排查問題方便很多。對比imgaug它的功能確實更豐富但對bbox格式的要求更嚴(yán)格文檔維護(hù)狀態(tài)也比早期差了一些。對一個畢設(shè)項目來說能快速跑通、不容易出坐標(biāo)bug、社區(qū)資料多比功能堆砌重要得多。2.3 離線增強(qiáng)優(yōu)于在線增強(qiáng)的取舍點(diǎn)YOLO訓(xùn)練本身也支持在線增強(qiáng)——每個epoch讀圖時隨機(jī)變換。那為什么還要離線生成圖片XML這里要搞清兩者定位不同。在線增強(qiáng)的好處是省存儲、epoch之間數(shù)據(jù)還能變化但壞處是訓(xùn)練時沒法直觀檢查增強(qiáng)效果而且你沒法把增強(qiáng)后的數(shù)據(jù)集單獨(dú)拿出來提交、復(fù)用或者給其他人一起訓(xùn)練。畢設(shè)場景里離線增強(qiáng)有幾個實際好處生成完可以人工抽查確保每張圖質(zhì)量正?？梢栽谡撐睦锩鞔_寫出原始數(shù)據(jù)集800張增強(qiáng)后3000張這種硬數(shù)字還可以把增強(qiáng)數(shù)據(jù)集直接喂給后續(xù)算法對比不用每次訓(xùn)練都重復(fù)算增強(qiáng)。我采用的策略是離線先擴(kuò)到3到5倍訓(xùn)練時YOLO自帶的在線增強(qiáng)強(qiáng)度保持默認(rèn)或稍微調(diào)低兩者不沖突。3. 核心實現(xiàn)圖片和XML如何同步變形3.1 標(biāo)注統(tǒng)一格式先看懂XML內(nèi)部結(jié)構(gòu)YOLO最常用的標(biāo)注格式有兩種YOLO的txt格式一行一個目標(biāo)內(nèi)容是類別 cx cy w h歸一化到0到1另一種是VOC的XML格式XML里直接記錄像素坐標(biāo)。標(biāo)題說生成圖片XML那就要按VOC格式來處理。一個標(biāo)準(zhǔn)的VOC XML結(jié)構(gòu)里有幾個關(guān)鍵節(jié)點(diǎn)size節(jié)點(diǎn)記錄圖片的width、height、depth。這個信息至關(guān)重要因為做翻轉(zhuǎn)、縮放、裁剪時所有坐標(biāo)運(yùn)算都依賴原始寬高。object節(jié)點(diǎn)每個目標(biāo)一個包含name類別名和bndbox子節(jié)點(diǎn)里面是xmin、ymin、xmax、ymax都是像素坐標(biāo)。filename節(jié)點(diǎn)記錄對應(yīng)圖片的文件名生成增強(qiáng)圖時要同步改成新文件名。解析XML用Python自帶的xml.etree.ElementTree就夠了不需要第三方庫。很多同學(xué)在標(biāo)注階段用LabelImg導(dǎo)出XML自動就是VOC格式可以直接拿來做輸入。3.2 坐標(biāo)跟著圖片走的兩個關(guān)鍵操作為什么增強(qiáng)后框會錯位因為圖片的每個像素都變了位置標(biāo)注坐標(biāo)必須跟著變。以水平翻轉(zhuǎn)為例原圖寬度為W原框區(qū)域是[xmin, ymin, xmax, ymax]翻轉(zhuǎn)之后圖片上原來在x位置的像素會跑到W - 1 - x的位置所以新坐標(biāo)是xmin_new W - 1 - xmax_old xmax_new W - 1 - xmin_old ymin_new ymin_old ymax_new ymax_old旋轉(zhuǎn)90度就麻煩一些。順時針旋轉(zhuǎn)90度后圖片長寬互換原坐標(biāo)(x, y)在新圖中的位置是(H - 1 - y, x)這意味著原來的xmin會變成新圖里的ymin原來的ymax會變成新圖里的ymax同時還要加偏移和反轉(zhuǎn)。每次寫這種映射都很容易漏掉某個方向。這也是我堅持用albumentations的核心原因這類幾何變換的坐標(biāo)映射是檢測領(lǐng)域的高頻bug自己手寫一遍等于把成熟庫踩過的坑重新踩一遍。albumentations內(nèi)部已經(jīng)按變換矩陣算好了bbox映射我們要做的是正確傳參而不是重復(fù)造輪子。3.3 用albumentations安全處理bbox的四步套路用albumentations做帶標(biāo)注的增強(qiáng)流程可以固定成四步任何項目都是這個套路。第一步用ET.parse讀取XML把圖片寬高和所有目標(biāo)的[xmin, ymin, xmax, ymax]、類別名提取出來。第二步把提取的boxes拼成列表類別名拼成另一個列表順序必須一一對應(yīng)。第三步構(gòu)造A.Compose增強(qiáng)管道并傳入bbox_params聲明格式第四步調(diào)用pipeline(image..., bboxes..., labels...)從返回值里取出增強(qiáng)后的圖、新框坐標(biāo)、新標(biāo)簽。bbox_params里有三個參數(shù)很關(guān)鍵formatpascal_voc告訴庫傳入的坐標(biāo)是像素值的xmin, ymin, xmax, ymax不是歸一化格式。label_fields[labels]聲明labels列表和bboxes一一對應(yīng)這樣篩選掉被裁掉的框時對應(yīng)的標(biāo)簽也會同步移除。min_visibility和min_area濾波參數(shù)。比如min_visibility0.3表示增強(qiáng)后框至少還有30%面積可見否則丟棄min_area4表示框面積小于4像素就丟棄。這兩個參數(shù)能自動剔除那些被裁剪到幾乎不可見的退化樣本。3.4 完整腳本一鍵批量生成圖片XML下面這個腳本是我在實際項目里整理過的版本核心邏輯可以直接跑。我加了比較多的注釋重點(diǎn)是展示怎么把XML解析、增強(qiáng)、XML回寫三個環(huán)節(jié)串起來。import os import glob import xml.etree.ElementTree as ET import cv2 import albumentations as A TARGET_SHORT_SIDE 640 OUTPUT_DIR augmented_output INPUT_DIR annotations # 存放原始XML的目錄 IMAGE_DIR images # 與XML同名的原始圖片目錄 PER_IMAGE 5 # 每張原圖生成幾個增強(qiáng)版本 def parse_voc_xml(xml_path): 解析VOC XML返回寬高以及boxes、labels列表 tree ET.parse(xml_path) root tree.getroot() w int(root.find(size/width).text) h int(root.find(size/height).text) d int(root.find(size/depth).text) boxes [] labels [] for obj in root.iter(object): name obj.find(name).text bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) boxes.append([xmin, ymin, xmax, ymax]) labels.append(name) return w, h, d, boxes, labels def write_voc_xml(img_path, xml_path, size, boxes, labels): 把增強(qiáng)后的信息寫回VOC XML root ET.Element(annotation) folder ET.SubElement(root, folder) folder.text os.path.basename(os.path.dirname(img_path)) filename ET.SubElement(root, filename) filename.text os.path.basename(img_path) path ET.SubElement(root, path) path.text img_path source ET.SubElement(root, source) database ET.SubElement(source, database) database.text Unknown size_el ET.SubElement(root, size) ET.SubElement(size_el, width).text str(size[0]) ET.SubElement(size_el, height).text str(size[1]) ET.SubElement(size_el, depth).text str(size[2]) ET.SubElement(root, segmented).text 0 for box, label in zip(boxes, labels): obj ET.SubElement(root, object) ET.SubElement(obj, name).text label ET.SubElement(obj, pose).text Unspecified ET.SubElement(obj, truncated).text 0 ET.SubElement(obj, difficult).text 0 bndbox ET.SubElement(obj, bndbox) # 轉(zhuǎn)成整數(shù)避免浮點(diǎn)坐標(biāo)寫入XML ET.SubElement(bndbox, xmin).text str(int(round(box[0]))) ET.SubElement(bndbox, ymin).text str(int(round(box[1]))) ET.SubElement(bndbox, xmax).text str(int(round(box[2]))) ET.SubElement(bndbox, ymax).text str(int(round(box[3]))) tree ET.ElementTree(root) tree.write(xml_path, encodingutf-8, xml_declarationTrue) def build_pipeline(): 構(gòu)造增強(qiáng)管道。像素級增強(qiáng)幾何增強(qiáng)最后的統(tǒng)一尺寸處理 return A.Compose([ A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2, p0.6), A.HueSaturationValue(hue_shift_limit20, sat_shift_limit30, val_shift_limit20, p0.4), A.RandomGamma(gamma_limit(80, 120), p0.3), A.GaussNoise(var_limit(10.0, 40.0), p0.3), A.GaussianBlur(blur_limit(3, 5), p0.2), # 模擬遮擋讓模型學(xué)習(xí)缺了一部分的目標(biāo) A.CoarseDropout(max_holes6, max_height48, max_width48, fill_value0, p0.3), # 隨機(jī)裁剪并縮放能保留至少30%可見面積的框 A.RandomSizedBBoxSafeCrop(width640, height640, erosion_rate0.2, p0.5), A.HorizontalFlip(p0.5), # 只旋轉(zhuǎn)90/270整倍數(shù)避免產(chǎn)生斜框 A.Rotate(limit[90, 270], p0.2), A.RandomScale(scale_limit(-0.3, 0.3), p0.5), # 統(tǒng)一輸出短邊方便后續(xù)YOLO訓(xùn)練直接讀圖 A.LongestMaxSize(max_size1024), A.PadIfNeeded(min_height640, min_width640, border_mode0, value114), ], bbox_paramsA.BboxParams( formatpascal_voc, label_fields[labels], min_visibility0.3, min_area4, )) def process_one_xml(xml_path, output_dir, per_image): base_name os.path.splitext(os.path.basename(xml_path))[0] img_path os.path.join(IMAGE_DIR, base_name .jpg) if not os.path.exists(img_path): img_path os.path.join(IMAGE_DIR, base_name .png) image cv2.imread(img_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) h, w, d, boxes, labels parse_voc_xml(xml_path) # 保護(hù)原始圖片太小時先整體放大到訓(xùn)練尺寸附近 if min(h, w) TARGET_SHORT_SIDE: pre_resize A.Compose([ A.LongestMaxSize(max_sizeTARGET_SHORT_SIDE) ], bbox_paramsA.BboxParams(formatpascal_voc, label_fields[labels])) resized pre_resize(imageimage, bboxesboxes, labelslabels) image resized[image] boxes resized[bboxes] labels resized[labels] pipeline build_pipeline() generated 0 for idx in range(per_image): transformed pipeline(imageimage, bboxesboxes, labelslabels) aug_img transformed[image] aug_boxes transformed[bboxes] aug_labels transformed[labels] # 總會出現(xiàn)某些增強(qiáng)版本把目標(biāo)全裁掉的情況直接跳過 if len(aug_boxes) 0: continue aug_img cv2.cvtColor(aug_img, cv2.COLOR_RGB2BGR) new_base f{base_name}_aug{idx:02d} out_img_path os.path.join(output_dir, new_base .jpg) out_xml_path os.path.join(output_dir, new_base .xml) cv2.imwrite(out_img_path, aug_img) out_h, out_w aug_img.shape[:2] write_voc_xml(out_img_path, out_xml_path, (out_w, out_h, 3), aug_boxes, aug_labels) generated 1 return generated def main(): os.makedirs(OUTPUT_DIR, exist_okTrue) xml_files glob.glob(os.path.join(INPUT_DIR, *.xml)) print(f找到 {len(xml_files)} 個標(biāo)注文件) total 0 for xml_file in xml_files: total process_one_xml(xml_file, OUTPUT_DIR, PER_IMAGE) print(f增強(qiáng)完成共生成 {total} 張圖片XML) if __name__ __main__: main()腳本里的A.LongestMaxSize(max_size1024)和A.PadIfNeeded是很多人容易忽略的組合。前者把圖片最長邊限制到1024避免增強(qiáng)后的圖尺寸過大導(dǎo)致顯存爆炸后者把短邊補(bǔ)到640并填充灰色像素這樣訓(xùn)練時不會因為尺寸太小觸發(fā)某些增強(qiáng)報錯。填充值114是YOLO里常用的灰色實測很穩(wěn)。這里有一個實用經(jīng)驗CoarseDropout的fill_value我寫的是0也就是黑色塊。如果原始圖片整體偏淺色純黑塊會顯得很突兀。你可以把fill_value改成(114, 114, 114)或者用fill_valuerandom讓每個塊隨機(jī)填色這樣模擬遮擋時更接近真實場景。論文里如果對比了遮擋魯棒性實驗這個參數(shù)會直接影響結(jié)果值得提前想好。4. 增強(qiáng)策略設(shè)計別讓模型吃同一盤菜4.1 哪些增強(qiáng)完全不動坐標(biāo)很多初學(xué)者以為所有增強(qiáng)都要處理坐標(biāo)其實有一類增強(qiáng)完全不涉及坐標(biāo)變化像素級變換。亮度、對比度、色相飽和度、伽馬校正、高斯噪聲、高斯模糊、CLAHE這些只改變像素值不改變像素位置所以標(biāo)注框原封不動。這類增強(qiáng)嵌入到管道里非常安全幾乎不會出bug建議優(yōu)先用足。我項目中常用的像素級增強(qiáng)就三個RandomBrightnessContrast模擬不同光照HueSaturationValue模擬不同色調(diào)環(huán)境GaussNoise模擬傳感器噪聲。這三個組合起來一張白天拍的圖能衍生出多種光照條件YOLO對這些變化很敏感多來幾張效果立竿見影。像素級增強(qiáng)的一個隱藏好處是計算開銷小。跑增強(qiáng)腳本通常不需要GPUCPU幾分鐘能處理上千張圖。我之前幫某同學(xué)調(diào)增強(qiáng)一開始他以為要等很久實際上幾百張圖的像素級增強(qiáng)不到一分鐘就跑完了。4.2 需要重算坐標(biāo)的空間增強(qiáng)怎么搭配幾何變換類增強(qiáng)是核心難點(diǎn)但也是提升泛化能力最猛的手段。常用組合有這么幾個思路。水平翻轉(zhuǎn)是最常見的對絕大多數(shù)物體都成立實現(xiàn)代價低。注意不是所有目標(biāo)都適合翻轉(zhuǎn)比如文本檢測、帶方向性的標(biāo)識物翻轉(zhuǎn)后語義就變了這類場景要關(guān)掉HorizontalFlip。旋轉(zhuǎn)建議只做90度和270度整倍數(shù)。原因很實際VOC標(biāo)注的bndbox是軸對齊矩形不支持帶角度的傾斜框。如果旋轉(zhuǎn)一個任意角度比如37度目標(biāo)的實際區(qū)域變成傾斜的但XML里只能用垂直矩形去包住它結(jié)果是框里塞進(jìn)大量背景。模型拿著這種標(biāo)簽訓(xùn)練很容易把背景特征也學(xué)進(jìn)去不如不做。如果確實需要任意角度旋轉(zhuǎn)就得同時引入旋轉(zhuǎn)框標(biāo)注格式那屬于另一個課題了。隨機(jī)裁剪配合縮放也是很實用的組合。RandomSizedBBoxSafeCrop會隨機(jī)選一個區(qū)域裁剪后縮放到指定大小同時保證可見面積大于設(shè)定閾值的框才被保留。這個增強(qiáng)能模擬目標(biāo)出現(xiàn)在畫面不同位置、不同尺度的分布對提升小目標(biāo)檢測效果特別有幫助。4.3 隨機(jī)組合的概率與增強(qiáng)倍數(shù)控制管道里的每個增強(qiáng)都帶一個p概率這個參數(shù)值得認(rèn)真調(diào)而不是默認(rèn)0.5一把梭。如果一個管道里十個增強(qiáng)全部p等于0.5最終輸出的圖片可能同時疊加了七八種變換真實感會變得很差顏色像糖水片噪聲糊成一片。模型在這種異常分布上練出來遇到正常拍攝的測試圖反而容易失準(zhǔn)。我的經(jīng)驗是像素級變換的p控制在0.3到0.6之間空間級變換的p控制在0.2到0.5之間遮擋類控制在0.2到0.3。每一步的概率別太高讓增強(qiáng)結(jié)果偶爾發(fā)生而不是每張都發(fā)生這樣同一張原圖生成的幾個副本才有差異化多樣性才夠。增強(qiáng)倍數(shù)上我的建議是控制在原始數(shù)據(jù)的3到5倍。某同學(xué)原始280張每張生成5個版本得到1400張效果已經(jīng)很好。如果每張生成10倍甚至20倍你會得到大量內(nèi)容高度相似的圖片模型反復(fù)看同一批增強(qiáng)副本照樣會過擬合而且訓(xùn)練時間成倍增加。邊際收益遞減非常明顯這個后面實測部分會看到數(shù)據(jù)。另外要留意類別不均衡問題。如果原始數(shù)據(jù)里A類有200個框B類只有50個框增強(qiáng)時要按類別去看生成后的框數(shù)量而不是只看圖片數(shù)量。我一般會在增強(qiáng)后寫個小統(tǒng)計腳本數(shù)一下每類object出現(xiàn)的次數(shù)確保增強(qiáng)后各類比例沒有進(jìn)一步失衡。如果某一類在裁剪增強(qiáng)中被大量裁掉就要考慮給那類樣本降低RandomSizedBBoxSafeCrop的觸發(fā)概率。5. 產(chǎn)出檢查與訓(xùn)練集成5.1 增強(qiáng)后必須做的三項質(zhì)檢腳本跑通只是第一步真正讓人放心的是增強(qiáng)之后的數(shù)據(jù)檢查。我見過太多同學(xué)增強(qiáng)完不做任何驗證直接開訓(xùn)練最后效果差了都不知道是增強(qiáng)的鍋還是模型的鍋。至少要做三項質(zhì)檢。第一項可視化抽查。寫一個畫框腳本讀取增強(qiáng)后的圖片和XML把標(biāo)注框畫到圖上隨機(jī)抽20張肉眼檢查。重點(diǎn)看框是否還在目標(biāo)上、是否明顯偏大偏小、圖片顏色是否正常、有沒有目標(biāo)被裁掉但框還殘留的情況。這一步能過濾掉九成坐標(biāo)錯位問題。import cv2 import xml.etree.ElementTree as ET def draw_boxes(img_path, xml_path): img cv2.imread(img_path) tree ET.parse(xml_path) root tree.getroot() for obj in root.iter(object): label obj.find(name).text b obj.find(bndbox) xmin int(b.find(xmin).text) ymin int(b.find(ymin).text) xmax int(b.find(xmax).text) ymax int(b.find(ymax).text) cv2.rectangle(img, (xmin, ymin), (xmax, ymax), (0, 255, 0), 2) cv2.putText(img, label, (xmin, max(ymin - 5, 0)), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1) return img第二項規(guī)則校驗。寫一段腳本檢查每個XML里的框是否越界xmin 0、ymin 0、xmax width、ymax height、xmax xmin、ymax ymin。albumentations雖然會自動過濾大部分越界框但像素級別的小越界或浮點(diǎn)取整誤差仍然可能出現(xiàn)校驗一遍成本很低。第三項文件配對檢查。確保每張.jpg都有同名.xml反之亦然。訓(xùn)練腳本遍歷目錄時如果發(fā)現(xiàn)孤兒文件輕則警告重則直接中斷。這個小問題在畢設(shè)項目里發(fā)生的頻率比想象中高。5.2 數(shù)據(jù)劃分與原圖泄漏問題數(shù)據(jù)增強(qiáng)之后怎么劃分訓(xùn)練集和驗證集是個比想象中更重要的細(xì)節(jié)。常見錯誤是先把所有原始圖片和所有增強(qiáng)副本混在一起再按比例隨機(jī)劃分訓(xùn)練集、驗證集。這會造成嚴(yán)重的信息泄漏同一張原圖生成的好幾個增強(qiáng)副本如果一部分在訓(xùn)練集、一部分在驗證集模型等于提前見過驗證集的內(nèi)容驗證指標(biāo)會虛高很多。論文里寫出來很難站住腳答辯時被問到也不好解釋。正確的做法是先劃分原始數(shù)據(jù)集。比如原始280張按7比2比1分成訓(xùn)練、驗證、測試然后只對訓(xùn)練集執(zhí)行增強(qiáng)驗證集和測試集保持原始不動。增強(qiáng)后訓(xùn)練樣本可能變成上千張但驗證集還是那幾十張原始圖這樣評估結(jié)果才是可信的。實現(xiàn)層面我習(xí)慣給增強(qiáng)輸出加統(tǒng)一前綴比如aug_這樣os.listdir一眼能分清原始和增強(qiáng)。訓(xùn)練時YOLO內(nèi)部把增強(qiáng)副本放到訓(xùn)練數(shù)據(jù)目錄即可驗證數(shù)據(jù)單獨(dú)放一個目錄不要混。6. 實測效果與調(diào)參建議6.1 某畢設(shè)項目的增強(qiáng)前后對比講一個我實際參與過的模擬項目課題目的是檢測某工廠場景下的兩類目標(biāo)原始數(shù)據(jù)集280張單類占比大概7比3。用YOLOv5s作為基準(zhǔn)圖片尺寸640x640訓(xùn)練100輪結(jié)果如下。實驗配置訓(xùn)練樣本量mAP0.5備注原始數(shù)據(jù)集2800.47小類目標(biāo)檢出率很低原始像素級增強(qiáng)11200.55光照變化帶來的提升原始像素級幾何增強(qiáng)14000.62翻轉(zhuǎn)、裁剪、縮放起主要作用原始全套增強(qiáng)10倍28000.63相對5倍提升不到兩個點(diǎn)可以看到從0.47到0.62這個跨越很關(guān)鍵論文里足夠作為核心對比出現(xiàn)但從0.62到0.63邊際收益幾乎消失訓(xùn)練時間翻倍卻換不來明顯回報。這就是我之前反復(fù)強(qiáng)調(diào)增強(qiáng)倍數(shù)別貪多的原因。這個數(shù)字不一定對你完全適用不同的目標(biāo)、背景復(fù)雜度下提升幅度差異很大但先加基礎(chǔ)增強(qiáng)效果好再加倍數(shù)、加復(fù)雜度這個思路是通用的。6.2 增強(qiáng)后YOLO訓(xùn)練參數(shù)怎么跟進(jìn)數(shù)據(jù)量變了訓(xùn)練參數(shù)不能原封不動地繼續(xù)用。第一個要調(diào)整的是epoch數(shù)量。增強(qiáng)后每個epoch看到的樣本多了,如果epoch數(shù)不變相當(dāng)于訓(xùn)練總步數(shù)成倍增加有過擬合風(fēng)險。我通常的做法是總epoch適當(dāng)減半比如原來100輪現(xiàn)在60到80輪然后開啟早停盯驗證集mAP走勢。第二個要注意的是在線增強(qiáng)強(qiáng)度。YOLOv5、YOLOv8自帶的在線增強(qiáng)mosaic、mixup、HSV擾動、隨機(jī)仿射在這時候可以適當(dāng)調(diào)低尤其是mosaic。因為離線增強(qiáng)已經(jīng)產(chǎn)生了大量空間上的多樣性在線再來一次過強(qiáng)的mosaic容易讓模型在變形過的樣本上反復(fù)折騰。我一般把hsv_h、hsv_s、hsv_v調(diào)低到默認(rèn)的一半degrees保持0flipud關(guān)閉進(jìn)一步降低訓(xùn)練集和真實場景的分布差距。第三個是batch size。顯存沒變的情況下增強(qiáng)后圖片尺寸如果不是完全統(tǒng)一我的腳本允許一定范圍的尺寸變化batch size要保守一點(diǎn)。實際跑的時候盯著顯存占用溢出就回調(diào)不要盲目拉滿。6.3 進(jìn)階方向小目標(biāo)增強(qiáng)和分階段擴(kuò)圖如果做完基礎(chǔ)增強(qiáng)后發(fā)現(xiàn)小目標(biāo)檢測效果還是差可以加一個針對性增強(qiáng)思路對小目標(biāo)區(qū)域的裁剪放大。做法是遍歷XML篩選出框?qū)捀咻^小的目標(biāo)把目標(biāo)周圍區(qū)域裁剪下來放大到640x640再和原圖一起加入訓(xùn)練集。這等于讓模型多看了幾遍小目標(biāo)特寫能明顯改善小目標(biāo)漏檢。另一個思路是分兩階段擴(kuò)圖先只做像素級增強(qiáng)訓(xùn)一個基線觀察失敗樣本集中在哪些場景再有針對性地加幾何增強(qiáng)而不是一開始就把所有變換全部鋪上去。我?guī)湍惩瑢W(xué)調(diào)試時就是這么一步步來的先發(fā)現(xiàn)夜間樣幾乎全靠像素級增強(qiáng)在撐之后又發(fā)現(xiàn)側(cè)視角度目標(biāo)不好檢于是給Rotate的p提高了一點(diǎn)。整個過程有依據(jù)效果也可解釋寫完實驗記錄后論文的數(shù)據(jù)增強(qiáng)策略部分素材非常充分。再分享一個細(xì)節(jié)增強(qiáng)腳本跑完之后把生成的增強(qiáng)圖按類別文件數(shù)、標(biāo)注框數(shù)、每張圖目標(biāo)數(shù)量都統(tǒng)計一遍存成一個statistics.csv。論文里寫數(shù)據(jù)預(yù)處理的表格時直接引用這個表比臨時數(shù)數(shù)靠譜得多。最后說一點(diǎn)個人習(xí)慣。每次配好增強(qiáng)管道我不會直接全量跑幾百張而是先挑3到5張有代表性的原圖跑一遍打開生成的圖檢查十幾秒確認(rèn)框?qū)R、顏色正常、沒有全黑塊之后再放開全量跑。整個檢查過程不超過五分鐘卻能避免一次錯誤的批量生成。數(shù)據(jù)增強(qiáng)不是把圖變多就完事了它決定了模型見過什么樣的世界。你給YOLO看的訓(xùn)練數(shù)據(jù)越接近它將來要面對的真實畫面它給你的結(jié)果就越穩(wěn)定。帶著這個認(rèn)知去做增強(qiáng)比多開幾個腳本參數(shù)重要得多。