1. 項(xiàng)目概述為什么我們需要CUHK-SYSU行人搜索數(shù)據(jù)集在計(jì)算機(jī)視覺領(lǐng)域尤其是安防監(jiān)控、智能零售和智慧城市等應(yīng)用場景中“行人搜索”是一個(gè)既基礎(chǔ)又極具挑戰(zhàn)性的任務(wù)。它不同于單純的行人檢測只框出畫面中的人或行人重識(shí)別在跨攝像頭場景下匹配同一個(gè)人而是將兩者結(jié)合首先在復(fù)雜的、未經(jīng)裁剪的大尺度圖像中定位出行人然后從這些定位出的行人中找到與給定查詢?nèi)宋锿ǔＪ且粡埐眉艉玫男腥藞D片身份相同的個(gè)體。你可以把它想象成在一個(gè)大型商場或交通樞紐的監(jiān)控畫面里不僅要“看到”所有人還要“認(rèn)出”那個(gè)穿著紅色外套、背著藍(lán)色書包的特定目標(biāo)。十年前這個(gè)領(lǐng)域的研究者面臨一個(gè)尷尬的境地要么用檢測數(shù)據(jù)集如VOC、COCO和重識(shí)別數(shù)據(jù)集如Market-1501拼湊著用流程割裂效果不佳要么自己費(fèi)時(shí)費(fèi)力去采集和標(biāo)注數(shù)據(jù)。正是在這樣的背景下CUHK-SYSU數(shù)據(jù)集應(yīng)運(yùn)而生。它由香港中文大學(xué)和中山大學(xué)聯(lián)合發(fā)布是首個(gè)大規(guī)模、專門為行人搜索任務(wù)設(shè)計(jì)的公開數(shù)據(jù)集。它的出現(xiàn)為這個(gè)子領(lǐng)域的研究樹立了一個(gè)統(tǒng)一的基準(zhǔn)極大地推動(dòng)了相關(guān)算法的發(fā)展。簡單說如果你想做行人搜索相關(guān)的研究或工程驗(yàn)證CUHK-SYSU幾乎是繞不開的“必修課”。它定義了任務(wù)的標(biāo)準(zhǔn)形式也包含了現(xiàn)實(shí)場景中會(huì)遇到的絕大多數(shù)挑戰(zhàn)遮擋、姿態(tài)變化、光照差異、背景雜亂以及海量的干擾項(xiàng)。2. 數(shù)據(jù)集核心結(jié)構(gòu)與設(shè)計(jì)邏輯拆解理解一個(gè)數(shù)據(jù)集絕不能只看它包含了多少張圖片或多少個(gè)標(biāo)注框更要理解其設(shè)計(jì)者構(gòu)建它的邏輯和意圖。CUHK-SYSU的設(shè)計(jì)充滿了巧思其結(jié)構(gòu)直接反映了行人搜索任務(wù)的核心難點(diǎn)。2.1 數(shù)據(jù)來源與場景構(gòu)成數(shù)據(jù)集主要包含兩部分圖像源一是從電影、電視劇中截取的幀二是從街頭實(shí)地拍攝的監(jiān)控風(fēng)格圖像。這種混合來源的設(shè)計(jì)非常關(guān)鍵。影視劇片段提供了豐富的室內(nèi)外場景、多樣的服裝、復(fù)雜的社交互動(dòng)以及相對(duì)清晰的畫面質(zhì)量。而街頭拍攝的圖像則更貼近真實(shí)的安防監(jiān)控條件存在更多的運(yùn)動(dòng)模糊、低分辨率、強(qiáng)烈光照變化和極其復(fù)雜的背景。兩者結(jié)合確保了數(shù)據(jù)集既能覆蓋算法需要學(xué)習(xí)的豐富外觀特征又能考驗(yàn)其在真實(shí)惡劣條件下的魯棒性。整個(gè)數(shù)據(jù)集包含18,184張全景圖像Gallery Images和96,143個(gè)手工標(biāo)注的行人邊界框。更重要的是它提供了8,432個(gè)不同的行人身份Identity以及2,900個(gè)作為查詢Query的行人實(shí)例。平均每張全景圖里有超過5個(gè)人這模擬了真實(shí)監(jiān)控畫面中人群密集的場景。2.2 查詢集Query Set與圖庫集Gallery Set的定義這是行人搜索數(shù)據(jù)集最核心的結(jié)構(gòu)也是其區(qū)別于檢測或重識(shí)別數(shù)據(jù)集的關(guān)鍵。查詢集你可以把它理解成“要找的人的照片”。它由2,900張經(jīng)過裁剪的、只包含目標(biāo)行人的圖片組成。每張查詢圖片對(duì)應(yīng)一個(gè)唯一的行人ID。在任務(wù)中算法會(huì)依次接收這些查詢圖片然后去龐大的圖庫集中尋找同一個(gè)人。圖庫集這就是“要被搜索的監(jiān)控畫面全集”。它由18,184張未經(jīng)裁剪的原始圖像組成。每張圖里包含數(shù)量不等的行人每個(gè)行人都被標(biāo)注了邊界框和身份ID如果是未知身份或無法標(biāo)注則標(biāo)記為“-1”。任務(wù)流程因此非常清晰給定一張查詢圖片算法需要在所有圖庫圖像的所有標(biāo)注框中找出那些與查詢ID相同的框。這要求算法必須同時(shí)完成“檢測”在圖庫圖像中找到所有行人框和“重識(shí)別”判斷這些框的身份是否與查詢匹配兩個(gè)子任務(wù)。2.3 標(biāo)注信息的深度解析數(shù)據(jù)集的標(biāo)注文件通常是一個(gè).mat或.json文件是寶藏所在。我們以常見的格式為例深入看看里面有什么圖庫標(biāo)注通常是一個(gè)列表列表中的每個(gè)元素對(duì)應(yīng)一張圖庫圖像。每個(gè)元素包含img_path: 圖像路徑。boxes: 一個(gè)N x 4的矩陣表示這張圖里N個(gè)行人檢測框的坐標(biāo)[x_top_left, y_top_left, width, height]。gt_pids: 一個(gè)長度為N的列表表示每個(gè)框?qū)?yīng)的行人身份ID。-1表示該行人身份未知或不是關(guān)注的查詢目標(biāo)即干擾項(xiàng)。gt_bbox和gt_pid有時(shí)會(huì)分開表示但含義相同。查詢標(biāo)注也是一個(gè)列表每個(gè)元素對(duì)應(yīng)一個(gè)查詢。img_path: 查詢圖片的路徑。pid: 該查詢目標(biāo)的身份ID。cam_id(可選): 攝像頭ID在評(píng)估跨攝像頭性能時(shí)有用。bbox(可選): 有時(shí)會(huì)提供該查詢目標(biāo)在原圖中的邊界框坐標(biāo)主要用于分析。注意不同版本的數(shù)據(jù)集如原始版、或經(jīng)過社區(qū)處理的PyTorch友好版標(biāo)注格式可能有細(xì)微差別使用前務(wù)必仔細(xì)閱讀其自述文件。一個(gè)常見的“坑”是坐標(biāo)格式可能是[x1, y1, x2, y2]右下角坐標(biāo)而非[x1, y1, w, h]寬高在數(shù)據(jù)加載時(shí)需要進(jìn)行統(tǒng)一轉(zhuǎn)換。2.4 訓(xùn)練集與測試集的劃分CUHK-SYSU采用了身份不相交的劃分方式這是行人重識(shí)別領(lǐng)域的標(biāo)準(zhǔn)做法以確保評(píng)估的公正性。訓(xùn)練集包含11,206張圖庫圖像和5,532個(gè)查詢身份。這些身份對(duì)應(yīng)的行人只會(huì)出現(xiàn)在訓(xùn)練集中。測試集包含6,978張圖庫圖像和2,900個(gè)查詢身份。測試集的身份與訓(xùn)練集完全互斥。這意味著算法在測試階段遇到的都是“從未見過”的新行人這迫使模型必須學(xué)習(xí)到泛化性強(qiáng)的行人特征表示而不是簡單地記住訓(xùn)練集里人的樣子。3. 數(shù)據(jù)集的核心挑戰(zhàn)與算法評(píng)價(jià)指標(biāo)一個(gè)優(yōu)秀的數(shù)據(jù)集其價(jià)值在于它能精準(zhǔn)地暴露算法的弱點(diǎn)。CUHK-SYSU在設(shè)計(jì)時(shí)就內(nèi)置了多個(gè)現(xiàn)實(shí)世界的挑戰(zhàn)。3.1 內(nèi)置的四大現(xiàn)實(shí)挑戰(zhàn)跨場景與光照變化從明亮的室外街道到昏暗的室內(nèi)走廊從影視劇的均勻打光到監(jiān)控?cái)z像頭的逆光、側(cè)光要求模型對(duì)光照變化不敏感。姿態(tài)與視角多樣性行人以正面、背面、側(cè)面、蹲下、奔跑等各種姿態(tài)出現(xiàn)攝像頭視角也有高低、遠(yuǎn)近之分。嚴(yán)重遮擋這是監(jiān)控場景中最常見也最棘手的問題。行人可能被車輛、建筑物、其他行人部分甚至大部分遮擋。數(shù)據(jù)集中有大量此類樣本直接考驗(yàn)?zāi)Ｐ吞幚聿煌暾庥^信息的能力。海量干擾項(xiàng)Distractors每張圖庫圖像平均有5個(gè)以上的行人而目標(biāo)可能只出現(xiàn)一次。算法需要在成百上千個(gè)無關(guān)的候選框中做出正確選擇這要求模型具有極高的判別力。3.2 評(píng)價(jià)指標(biāo)詳解mAP與Top-k行人搜索任務(wù)的評(píng)價(jià)綜合了檢測和重識(shí)別的性能主要采用以下指標(biāo)平均精度均值Mean Average Precision, mAP這是最核心、最綜合的指標(biāo)。對(duì)于每個(gè)查詢算法會(huì)返回在圖庫中檢索到的所有邊界框并按與查詢的相似度排序。計(jì)算這個(gè)排序列表的Average Precision (AP)然后對(duì)所有查詢的AP取平均即得到mAP。mAP同時(shí)考慮了檢索的準(zhǔn)確率Precision和召回率Recall。一個(gè)高mAP意味著算法不僅能找到大部分目標(biāo)高召回而且返回的結(jié)果中正確目標(biāo)排得很靠前高準(zhǔn)確率。計(jì)算過程簡述對(duì)于單個(gè)查詢算法返回一個(gè)排序列表。我們從上到下遍歷這個(gè)列表每遇到一個(gè)正確匹配True Positive就計(jì)算當(dāng)前的準(zhǔn)確率到當(dāng)前位置為止正確結(jié)果數(shù) / 已檢查結(jié)果數(shù)。然后以召回率為橫軸準(zhǔn)確率為縱軸可以畫出一條鋸齒狀的曲線。這條曲線下的面積就是該查詢的AP。對(duì)所有查詢的AP取平均即得mAP。Top-k 命中率Top-k Accuracy這是一個(gè)更直觀的指標(biāo)。它檢查在算法返回的前k個(gè)最相似結(jié)果中是否至少包含一個(gè)正確匹配。常用的有Top-1和Top-5。Top-1排名第一的結(jié)果是否正確。這非常嚴(yán)格。Top-5前五個(gè)結(jié)果中是否包含正確答案。這在實(shí)用中更有意義因?yàn)樵趯?shí)際安防系統(tǒng)中操作員通常愿意查看前幾個(gè)候選。在CUHK-SYSU的論文和大多數(shù)后續(xù)研究中mAP是衡量算法性能的首要指標(biāo)因?yàn)樗萒op-k更能全面反映算法在整個(gè)檢索列表上的質(zhì)量。4. 數(shù)據(jù)準(zhǔn)備與預(yù)處理實(shí)戰(zhàn)指南拿到數(shù)據(jù)集壓縮包后如何將其轉(zhuǎn)換成深度學(xué)習(xí)框架如PyTorch, TensorFlow可以高效讀取的格式是項(xiàng)目的第一步也是容易踩坑的一步。4.1 數(shù)據(jù)下載與目錄結(jié)構(gòu)組織通常從官網(wǎng)或?qū)W術(shù)資源站下載的數(shù)據(jù)集是一個(gè)壓縮包解壓后結(jié)構(gòu)可能比較原始。我強(qiáng)烈建議按照以下邏輯重新組織目錄這會(huì)給后續(xù)的代碼編寫帶來巨大便利。CUHK-SYSU/ ├── dataset/ │ ├── gallery/ # 存放所有18,184張?jiān)紙D庫圖像 │ │ ├── scene1/ │ │ ├── scene2/ │ │ └── ... │ ├── query/ # 存放所有2,900張裁剪好的查詢圖像 │ └── train/ # 可選將訓(xùn)練集圖像鏈接或復(fù)制到這里便于管理 ├── annotation/ │ ├── train.mat # 官方訓(xùn)練集標(biāo)注 │ ├── test.mat # 官方測試集標(biāo)注 │ └── all_bbox.json # 社區(qū)常見的JSON格式轉(zhuǎn)換版更易用 └── splits/ # 存放自己劃分的數(shù)據(jù)集列表文件 ├── train_list.txt └── test_list.txt實(shí)操心得不要直接在原始圖像目錄上進(jìn)行操作。先完整備份一份原始數(shù)據(jù)。所有的預(yù)處理如裁剪、縮放都應(yīng)該生成新的文件保留原始數(shù)據(jù)以備不時(shí)之需。4.2 標(biāo)注文件解析與格式轉(zhuǎn)換官方標(biāo)注通常是MATLAB的.mat文件。如果你用Python可以用scipy.io.loadmat來加載。但.mat文件在非MATLAB環(huán)境下處理起來并不優(yōu)雅。一個(gè)常見的做法是將其轉(zhuǎn)換為JSON或Pickle格式。import scipy.io as sio import json import os # 加載MAT文件 mat_data sio.loadmat(annotation/train.mat) # 注意.mat文件中的變量名需要打開查看確認(rèn)常見的是‘train’或‘gallery’ train_gallery mat_data[train] # 這可能是一個(gè)結(jié)構(gòu)化數(shù)組 # 轉(zhuǎn)換為Python字典列表 gallery_list [] for i in range(len(train_gallery)): item train_gallery[i] img_path item[img_path][0] # 注意MATLAB字符串的索引方式 boxes item[boxes][0] # N x 4 gt_pids item[gt_pids][0].flatten() # N, # 處理-1標(biāo)簽有時(shí)需要轉(zhuǎn)換為0或一個(gè)特定的背景ID gallery_list.append({ img_path: img_path, boxes: boxes.tolist(), gt_pids: gt_pids.tolist() }) # 保存為JSON with open(annotation/train_gallery.json, w) as f: json.dump(gallery_list, f)關(guān)鍵點(diǎn)仔細(xì)檢查gt_pids中的-1。在訓(xùn)練檢測器時(shí)通常需要將-1視為背景類或直接忽略。在訓(xùn)練聯(lián)合模型時(shí)需要設(shè)計(jì)好損失函數(shù)確保這些“干擾項(xiàng)”不被錯(cuò)誤地優(yōu)化。4.3 構(gòu)建PyTorch Dataset類這是將數(shù)據(jù)喂給模型的核心環(huán)節(jié)。一個(gè)健壯的Dataset類需要處理好圖像讀取、數(shù)據(jù)增強(qiáng)、標(biāo)簽對(duì)齊等。import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class PersonSearchDataset(Dataset): def __init__(self, gallery_json, query_json, transformNone, is_trainingTrue): Args: gallery_json: 圖庫標(biāo)注列表 query_json: 查詢標(biāo)注列表 transform: 圖像增強(qiáng)變換 is_training: 是否為訓(xùn)練模式訓(xùn)練時(shí)需返回查詢-圖庫對(duì) self.gallery_data self._load_annotations(gallery_json) self.query_data self._load_annotations(query_json) self.transform transform self.is_training is_training # 為訓(xùn)練構(gòu)建查詢-正樣本對(duì)索引簡化示例 if is_training: self.pid_to_gallery_indices self._build_pid_index() def _load_annotations(self, json_path): # 加載并預(yù)處理標(biāo)注 with open(json_path, r) as f: data json.load(f) # 可能需要的預(yù)處理路徑補(bǔ)全坐標(biāo)格式轉(zhuǎn)換 for item in data: item[img_path] os.path.join(dataset, item[img_path]) return data def _build_pid_index(self): # 建立一個(gè)字典將行人ID映射到圖庫中所有包含該ID的圖像索引和框索引 pid_index {} for gallery_idx, gallery_item in enumerate(self.gallery_data): for box_idx, pid in enumerate(gallery_item[gt_pids]): if pid ! -1: # 忽略干擾項(xiàng) if pid not in pid_index: pid_index[pid] [] pid_index[pid].append((gallery_idx, box_idx)) return pid_index def __len__(self): return len(self.query_data) if self.is_training else len(self.gallery_data) def __getitem__(self, idx): if self.is_training: # 訓(xùn)練時(shí)返回一個(gè)查詢圖像和對(duì)應(yīng)的一個(gè)正樣本圖庫區(qū)域以及可能的負(fù)樣本 query_item self.query_data[idx] query_pid query_item[pid] query_img Image.open(query_item[img_path]).convert(RGB) # 隨機(jī)選擇一個(gè)包含該pid的正樣本圖庫框 pos_gallery_infos self.pid_to_gallery_indices.get(query_pid, []) if not pos_gallery_infos: # 如果找不到正樣本可能該查詢只出現(xiàn)在查詢集回退到查詢圖像本身或其他策略 pos_gallery_idx, pos_box_idx idx, 0 else: pos_gallery_idx, pos_box_idx random.choice(pos_gallery_infos) gallery_item self.gallery_data[pos_gallery_idx] gallery_img_full Image.open(gallery_item[img_path]).convert(RGB) pos_box gallery_item[boxes][pos_box_idx] # [x1, y1, w, h] # 裁剪出正樣本區(qū)域 pos_gallery_patch gallery_img_full.crop((pos_box[0], pos_box[1], pos_box[0]pos_box[2], pos_box[1]pos_box[3])) if self.transform: query_img self.transform(query_img) pos_gallery_patch self.transform(pos_gallery_patch) return query_img, pos_gallery_patch, query_pid else: # 測試/推理時(shí)返回整張圖庫圖像及其所有標(biāo)注框用于評(píng)估檢測和檢索 gallery_item self.gallery_data[idx] img Image.open(gallery_item[img_path]).convert(RGB) boxes torch.tensor(gallery_item[boxes], dtypetorch.float32) pids torch.tensor(gallery_item[gt_pids], dtypetorch.long) if self.transform: img self.transform(img) return img, boxes, pids, gallery_item[img_path]這個(gè)Dataset類是一個(gè)高度簡化的示例真實(shí)的實(shí)現(xiàn)會(huì)更復(fù)雜需要處理批量采樣如PK采樣即每個(gè)批次包含P個(gè)身份每個(gè)身份K張圖片、更復(fù)雜的數(shù)據(jù)增強(qiáng)、以及測試時(shí)的高效圖像處理。5. 基于CUHK-SYSU的算法訓(xùn)練核心要點(diǎn)與調(diào)參經(jīng)驗(yàn)有了數(shù)據(jù)管道下一步就是設(shè)計(jì)或選擇模型進(jìn)行訓(xùn)練。行人搜索的主流方法分為“兩階段”和“一階段”。5.1 兩階段 vs. 一階段方法兩階段方法這是早期和許多經(jīng)典工作采用的范式。第一階段用一個(gè)現(xiàn)成的檢測器如Faster R-CNN在圖庫圖像中提取所有行人候選框。第二階段用一個(gè)獨(dú)立的行人重識(shí)別網(wǎng)絡(luò)如ResNet-50 全局池化對(duì)每個(gè)候選框提取特征然后與查詢特征計(jì)算相似度排序。優(yōu)點(diǎn)模塊清晰可以分別利用檢測和ReID領(lǐng)域的最優(yōu)模型。缺點(diǎn)流程冗長速度慢檢測誤差會(huì)傳播到ReID階段且兩個(gè)階段的目標(biāo)分類/定位 vs. 特征度量可能不一致。一階段端到端方法這是當(dāng)前的研究熱點(diǎn)。設(shè)計(jì)一個(gè)統(tǒng)一的網(wǎng)絡(luò)共享主干特征同時(shí)輸出檢測框和對(duì)應(yīng)的ReID特征向量。代表工作有OIMOnline Instance MatchingNPSM等。優(yōu)點(diǎn)效率高聯(lián)合優(yōu)化可能獲得更好的特征表示避免了誤差傳播。缺點(diǎn)模型設(shè)計(jì)更復(fù)雜訓(xùn)練難度大需要精心設(shè)計(jì)損失函數(shù)來平衡檢測和ReID任務(wù)。對(duì)于初學(xué)者或工程落地我建議從兩階段方法開始。它雖然不夠“優(yōu)雅”但更穩(wěn)定更容易調(diào)試和理解每一部分的問題所在。5.2 損失函數(shù)設(shè)計(jì)多任務(wù)學(xué)習(xí)的平衡術(shù)無論是兩階段還是一階段損失函數(shù)都至關(guān)重要。檢測損失對(duì)于兩階段方法就是檢測器本身的損失如Faster R-CNN的RPN損失和ROI損失。對(duì)于一階段方法通常是在特征圖上應(yīng)用類似YOLO或FCOS的檢測頭使用分類損失如Focal Loss和回歸損失如GIoU Loss。重識(shí)別損失這是提升檢索精度的關(guān)鍵。常見的有身份分類損失ID Loss將每個(gè)行人ID視為一個(gè)獨(dú)立的類別在特征后接一個(gè)全連接層進(jìn)行分類。這是最直接的方式能學(xué)習(xí)到判別性特征。CUHK-SYSU有上千個(gè)ID所以這是一個(gè)大規(guī)模分類問題。三元組損失Triplet Loss拉近同一ID錨點(diǎn)與正樣本的特征距離推遠(yuǎn)不同ID錨點(diǎn)與負(fù)樣本的特征距離。它對(duì)樣本采樣非常敏感。在線實(shí)例匹配損失OIM Loss這是一階段經(jīng)典論文OIM提出的。它維護(hù)一個(gè)動(dòng)態(tài)的查找表Look-up Table存儲(chǔ)所有ID的特征原型和一個(gè)環(huán)形隊(duì)列存儲(chǔ)未標(biāo)記的干擾項(xiàng)特征。通過計(jì)算相似度并優(yōu)化對(duì)數(shù)似然能同時(shí)利用標(biāo)注ID和大量未標(biāo)注的干擾項(xiàng)進(jìn)行學(xué)習(xí)非常適合CUHK-SYSU這種有大量pid-1干擾項(xiàng)的數(shù)據(jù)集。實(shí)操心得在訓(xùn)練初期優(yōu)先使用ID Loss它收斂穩(wěn)定能快速為網(wǎng)絡(luò)提供一個(gè)好的特征初始化。在模型有一定基礎(chǔ)后可以引入OIM Loss或Triplet Loss作為輔助進(jìn)一步優(yōu)化特征空間的結(jié)構(gòu)。損失函數(shù)的權(quán)重需要仔細(xì)調(diào)校檢測損失和ReID損失的平衡比例如1:1, 1:2需要通過驗(yàn)證集mAP來調(diào)整。5.3 數(shù)據(jù)增強(qiáng)策略針對(duì)行人搜索的特化處理通用的圖像增強(qiáng)如隨機(jī)翻轉(zhuǎn)、裁剪、色彩抖動(dòng)是基礎(chǔ)。但對(duì)于行人搜索需要更有針對(duì)性的策略遮擋模擬Random Erasing / CutOut隨機(jī)擦除圖像中的矩形區(qū)域強(qiáng)制模型不依賴于局部紋理而學(xué)習(xí)更全局、魯棒的特征。這對(duì)處理CUHK-SYSU中的真實(shí)遮擋非常有效。姿態(tài)不變性增強(qiáng)雖然不直接改變姿態(tài)但可以通過姿態(tài)估計(jì)模型如OpenPose獲取關(guān)鍵點(diǎn)然后進(jìn)行基于姿態(tài)的對(duì)抗性訓(xùn)練讓特征對(duì)姿態(tài)變化更不敏感。這是一個(gè)高級(jí)技巧?？绶直媛视?xùn)練由于數(shù)據(jù)集中圖像分辨率不一在訓(xùn)練時(shí)可以將圖像隨機(jī)縮放到一個(gè)范圍如[256, 512]而不是固定尺寸增強(qiáng)模型對(duì)尺度變化的適應(yīng)性。5.4 關(guān)鍵超參數(shù)設(shè)置參考以下是一些在PyTorch環(huán)境下使用ResNet-50作為主干網(wǎng)絡(luò)訓(xùn)練兩階段模型時(shí)的經(jīng)驗(yàn)性參數(shù)超參數(shù)推薦值/范圍說明與調(diào)整建議初始學(xué)習(xí)率3.5e-4對(duì)于Adam優(yōu)化器這是一個(gè)不錯(cuò)的起點(diǎn)。如果使用SGD可以從0.01開始。批量大小16在GPU內(nèi)存允許下盡可能大。對(duì)于兩階段模型這是指查詢圖像的數(shù)量。圖庫圖像通常以更大批次單獨(dú)處理。圖像尺寸384 x 128行人圖像的常見高寬比。也可以嘗試256x128或512x256。固定比例比固定尺寸更重要。優(yōu)化器Adam在行人ReID任務(wù)上Adam通常比SGD收斂更快、更穩(wěn)定。學(xué)習(xí)率調(diào)度Cosine Annealing或MultiStepLR在總epoch的[40, 70]處衰減0.1。Cosine Annealing通常效果更好?？傆?xùn)練輪數(shù)80-120需要足夠輪數(shù)使模型充分收斂可通過驗(yàn)證集mAP不再上升來判斷。檢測模型預(yù)訓(xùn)練COCO預(yù)訓(xùn)練權(quán)重強(qiáng)烈建議使用在COCO上預(yù)訓(xùn)練的檢測器如Faster R-CNN而不是ImageNet分類預(yù)訓(xùn)練。前者具有更強(qiáng)的定位能力。ReID主干預(yù)訓(xùn)練ImageNet預(yù)訓(xùn)練權(quán)重標(biāo)準(zhǔn)做法。注意以上參數(shù)僅為起點(diǎn)。最重要的調(diào)參依據(jù)是驗(yàn)證集可以從訓(xùn)練集中劃出一部分如20%的mAP。每次只調(diào)整一個(gè)參數(shù)觀察其變化趨勢。6. 評(píng)估流程、常見問題與排查技巧訓(xùn)練完成后在測試集上進(jìn)行標(biāo)準(zhǔn)評(píng)估是檢驗(yàn)成果的最后一步。這個(gè)過程也最容易出現(xiàn)問題。6.1 標(biāo)準(zhǔn)評(píng)估流程復(fù)現(xiàn)評(píng)估腳本需要嚴(yán)格按照數(shù)據(jù)集的官方設(shè)定來寫核心步驟如下特征提取使用訓(xùn)練好的模型為所有查詢圖像提取特征向量通常是一個(gè)2048維或512維的向量。使用同一個(gè)模型為所有測試集圖庫圖像提取特征。這里有兩種策略(a) 用訓(xùn)練好的檢測器先檢測出所有框再對(duì)每個(gè)框提特征(b) 如果是一階段模型可能直接輸出框和特征。相似度計(jì)算對(duì)于每個(gè)查詢特征計(jì)算它與所有圖庫框特征的余弦距離或歐氏距離。余弦距離更常用因?yàn)樗鼘?duì)特征幅值不敏感只關(guān)注方向。排序與匹配對(duì)每個(gè)查詢根據(jù)相似度對(duì)所有圖庫框進(jìn)行降序排序相似度越高排名越前。計(jì)算指標(biāo)根據(jù)排序結(jié)果和真實(shí)標(biāo)簽計(jì)算該查詢的AP。遍歷所有查詢計(jì)算平均APmAP和Top-k命中率。6.2 常見問題排查表在評(píng)估時(shí)如果你的結(jié)果遠(yuǎn)低于論文中的基準(zhǔn)例如經(jīng)典方法mAP應(yīng)在75%以上Top-1在80%左右請(qǐng)按以下順序排查問題現(xiàn)象可能原因排查與解決思路mAP極低10%1. 特征提取錯(cuò)誤如用了錯(cuò)誤的層。2. 查詢和圖庫特征維度不一致或未歸一化。3. 數(shù)據(jù)預(yù)處理不一致訓(xùn)練和評(píng)估的Resize、歸一化參數(shù)不同。4. 標(biāo)簽ID對(duì)應(yīng)錯(cuò)誤。1. 檢查模型forward函數(shù)確保提取的是池化后的特征向量而非分類logits。2. 確保查詢和圖庫特征都進(jìn)行了L2歸一化feat F.normalize(feat, p2, dim1)。3. 確保評(píng)估時(shí)使用的transform與訓(xùn)練時(shí)驗(yàn)證階段的完全一致通常只做Resize和ToTensor不做隨機(jī)增強(qiáng)。4. 打印幾個(gè)樣本的查詢PID和匹配到的圖庫PID檢查對(duì)應(yīng)關(guān)系是否正確。Top-1尚可但mAP很低模型傾向于將最像的排在第一位但對(duì)后續(xù)的正樣本排序混亂。這通常意味著模型判別力不足無法很好地區(qū)分相似的不同個(gè)體。1.加強(qiáng)難負(fù)樣本挖掘在訓(xùn)練中引入更困難的三元組樣本。2.調(diào)整損失函數(shù)權(quán)重增加OIM Loss或Triplet Loss的權(quán)重迫使特征空間更分散。3.使用BNNeck等結(jié)構(gòu)在特征層后、分類層前加入一個(gè)批歸一化層分離分類任務(wù)和度量學(xué)習(xí)任務(wù)的特征空間。訓(xùn)練損失震蕩不降1. 學(xué)習(xí)率過高。2. 批量大小太小。3. 數(shù)據(jù)中存在異常標(biāo)簽或損壞圖像。1. 將學(xué)習(xí)率降低一個(gè)數(shù)量級(jí)如從3e-4降到3e-5試試。2. 嘗試梯度累積來模擬更大批量。3. 檢查數(shù)據(jù)加載流程確保圖像能正常打開標(biāo)簽值在合理范圍內(nèi)。驗(yàn)證集mAP早早就飽和1. 模型容量不足網(wǎng)絡(luò)太淺。2. 數(shù)據(jù)增強(qiáng)不夠?qū)е逻^擬合。3. 身份分類損失占主導(dǎo)模型只學(xué)會(huì)了區(qū)分訓(xùn)練ID但特征泛化性差。1. 換用更深的骨干網(wǎng)絡(luò)如ResNet-101。2. 增強(qiáng)數(shù)據(jù)增強(qiáng)力度特別是加入Random Erasing。3. 在訓(xùn)練中后期降低ID Loss權(quán)重提升度量學(xué)習(xí)損失的權(quán)重。6.3 一個(gè)實(shí)用的Debug技巧可視化檢索結(jié)果當(dāng)指標(biāo)不正常時(shí)最直觀的方法是可視化幾個(gè)查詢的檢索結(jié)果。def visualize_retrieval(query_img_path, top_k_indices, gallery_data, save_pathretrieval_result.jpg): 可視化一個(gè)查詢的前K個(gè)檢索結(jié)果。 query_img_path: 查詢圖片路徑 top_k_indices: 檢索到的top K個(gè)圖庫框的索引列表每個(gè)索引可能包含圖庫圖像索引框索引 gallery_data: 圖庫標(biāo)注數(shù)據(jù)列表 import matplotlib.pyplot as plt query_img Image.open(query_img_path) fig, axes plt.subplots(1, 6, figsize(20, 5)) # 1行顯示查詢前5個(gè)結(jié)果 axes[0].imshow(query_img) axes[0].set_title(Query) axes[0].axis(off) for i, (g_idx, b_idx) in enumerate(top_k_indices[:5]): gallery_item gallery_data[g_idx] gallery_img Image.open(gallery_item[img_path]) box gallery_item[boxes][b_idx] # 裁剪框 patch gallery_img.crop((box[0], box[1], box[0]box[2], box[1]box[3])) axes[i1].imshow(patch) pid gallery_item[gt_pids][b_idx] # 用顏色標(biāo)記是否正確匹配假設(shè)你知道查詢的gt_pid color green if pid query_pid else red axes[i1].set_title(fRank {i1}\nPID:{pid}, colorcolor) axes[i1].axis(off) plt.tight_layout() plt.savefig(save_path) plt.show()通過觀察錯(cuò)誤匹配的樣本你可以直觀地看到模型在哪里出了問題是姿勢差異大是遮擋嚴(yán)重還是背景干擾太強(qiáng)這能為你后續(xù)的模型改進(jìn)提供最直接的靈感。7. 超越基準(zhǔn)針對(duì)CUHK-SYSU的進(jìn)階優(yōu)化思路當(dāng)你跑通基線模型后可以嘗試以下方向進(jìn)行優(yōu)化以追求更高的性能或更好的實(shí)用性。7.1 引入更強(qiáng)的檢測骨干網(wǎng)絡(luò)兩階段方法的性能上限很大程度上受限于檢測器。可以考慮更換檢測器將Faster R-CNN更換為性能更強(qiáng)的Cascade R-CNN或Dynamic R-CNN它們能提供更高質(zhì)量的候選框。使用Transformer檢測器如DETR或Deformable DETR。這類檢測器沒有NMS后處理能提供更全局的特征理解可能對(duì)嚴(yán)重遮擋的場景有奇效。不過訓(xùn)練難度和計(jì)算成本也更高。7.2 設(shè)計(jì)更高效的ReID特征學(xué)習(xí)模塊局部特征學(xué)習(xí)全局池化會(huì)丟失空間細(xì)節(jié)?？梢砸胨角蟹諴art-based方法將最后的特征圖水平切成若干塊分別提取特征再融合?；蛘呤褂米⒁饬C(jī)制如Non-local Transformer Block讓模型自適應(yīng)地關(guān)注有判別力的局部區(qū)域。度量學(xué)習(xí)改進(jìn)除了基礎(chǔ)的ID Loss和Triplet Loss可以探索ArcFace Loss、Circle Loss等更先進(jìn)的度量學(xué)習(xí)損失它們能優(yōu)化特征空間中的角度邊際獲得更具判別性的特征。重排序Re-ranking這是一個(gè)后處理技巧不改變模型但能穩(wěn)定提升mAP幾個(gè)點(diǎn)。它利用檢索結(jié)果中頂部的樣本之間的相互關(guān)系如k-reciprocal nearest neighbors對(duì)初始排序進(jìn)行二次優(yōu)化。在CUHK-SYSU上重排序通常能帶來2-4%的mAP提升。7.3 利用未標(biāo)注的干擾項(xiàng)-1標(biāo)簽CUHK-SYSU中大量的pid-1的框是“免費(fèi)的”未標(biāo)注數(shù)據(jù)。OIM Loss已經(jīng)利用了這一點(diǎn)。你可以更進(jìn)一步無監(jiān)督/自監(jiān)督學(xué)習(xí)將這些干擾項(xiàng)視為無標(biāo)簽數(shù)據(jù)應(yīng)用對(duì)比學(xué)習(xí)如MoCo, SimCLR的思路讓模型學(xué)習(xí)到更通用的行人表示。偽標(biāo)簽生成用訓(xùn)練好的模型對(duì)這些干擾項(xiàng)進(jìn)行預(yù)測將高置信度的預(yù)測結(jié)果作為偽標(biāo)簽加入下一輪的訓(xùn)練中進(jìn)行迭代式自訓(xùn)練。處理CUHK-SYSU數(shù)據(jù)集的過程是一個(gè)典型的從數(shù)據(jù)理解、管道搭建、模型訓(xùn)練到問題排查的完整深度學(xué)習(xí)項(xiàng)目閉環(huán)。它涉及計(jì)算機(jī)視覺中目標(biāo)檢測和重識(shí)別兩個(gè)核心領(lǐng)域?qū)こ虒?shí)現(xiàn)和理論理解都有一定要求。我最深的體會(huì)是數(shù)據(jù)決定了天花板而代碼實(shí)現(xiàn)和調(diào)參技巧決定了你能多接近這個(gè)天花板。很多時(shí)候性能上不去不是模型不夠新而是數(shù)據(jù)預(yù)處理的一個(gè)小bug或者是損失函數(shù)權(quán)重比例沒有調(diào)好。耐心地做好每一步仔細(xì)地分析每一個(gè)中間結(jié)果你就能從這個(gè)經(jīng)典數(shù)據(jù)集中收獲遠(yuǎn)超一個(gè)簡單模型復(fù)現(xiàn)的寶貴經(jīng)驗(yàn)。