你拿一段5分鐘的視頻丟給主流多模態(tài)大模型讓它把內(nèi)容完整描述出來(lái)。輸出可能是一段流暢的段落讀起來(lái)幾乎沒(méi)有破綻但你越對(duì)照視頻越覺(jué)得不對(duì)勁某個(gè)關(guān)鍵行為被一筆帶過(guò)某個(gè)時(shí)間點(diǎn)上的因果順序被寫(xiě)反。這種體驗(yàn)很常見(jiàn)也是CLIP-CC-Bench這類(lèi)新基準(zhǔn)想解決的問(wèn)題——長(zhǎng)視頻段落描述的評(píng)估到底應(yīng)該怎么設(shè)計(jì)模型并不是簡(jiǎn)單地“沒(méi)看懂”而是評(píng)估粒度從一開(kāi)始可能就不太對(duì)。最近看到一個(gè)新的基準(zhǔn)名字進(jìn)入視野CLIP-CC-Bench。從名字看它沿用了CLIP的語(yǔ)義對(duì)齊思路目標(biāo)落在長(zhǎng)視頻段落描述評(píng)估上并且明確把“多粒度”作為核心屬性。這類(lèi)工作真正想解決的不是“模型能不能描述視頻”而是“我們能不能在正確的粒度上評(píng)價(jià)模型”。下面把這個(gè)問(wèn)題拆開(kāi)講。1. 長(zhǎng)視頻段落描述評(píng)估難在哪里1.1 不是“能不能理解”的問(wèn)題而是“從哪個(gè)尺度理解”的問(wèn)題我們經(jīng)常把視頻語(yǔ)言模型評(píng)測(cè)想象成一道有點(diǎn)像“看圖說(shuō)話(huà)”的題目給模型看一段視頻讓它輸出一段文字然后拿這段文字和人工寫(xiě)的參考描述比一下相似度。但長(zhǎng)視頻場(chǎng)景下這個(gè)思路會(huì)很快失效。原因在于一段5分鐘的視頻不是一個(gè)均勻的輸入。它里面可能有場(chǎng)景切換、鏡頭運(yùn)動(dòng)、人物進(jìn)出、事件因果、轉(zhuǎn)場(chǎng)與停頓。模型不是只看一幀也不是只看一個(gè)鏡頭而是需要把時(shí)間軸上的視覺(jué)信息整合成一段描述。這時(shí)候“理解”這個(gè)概念被分成了好幾層它能不能判斷視頻里發(fā)生了什么能不能判斷這些事發(fā)生在哪個(gè)時(shí)間段能不能把這件事與該事件前后的狀態(tài)聯(lián)系起來(lái)能不能用自然語(yǔ)言把這種關(guān)系表達(dá)出來(lái)?；\統(tǒng)問(wèn)一句“描述得怎么樣”回答不了這些問(wèn)題。所以更準(zhǔn)確的說(shuō)法是長(zhǎng)視頻段落描述評(píng)估難在“尺度錯(cuò)配”。模型輸出的是整段視頻的一段話(huà)但人類(lèi)在評(píng)價(jià)時(shí)會(huì)自動(dòng)關(guān)注具體段落和具體事件。比如你看完某段描述發(fā)現(xiàn)“把前半段的物體安到了后半段的場(chǎng)景里”你其實(shí)是在用“時(shí)間區(qū)間”去對(duì)照模型輸出。但傳統(tǒng)評(píng)估指標(biāo)通常沒(méi)有時(shí)間區(qū)間這個(gè)概念它只會(huì)告訴你“這兩個(gè)句子語(yǔ)義上有多少重合”。這就會(huì)帶來(lái)很奇怪的現(xiàn)場(chǎng)模型漏掉一段關(guān)鍵內(nèi)容但因?yàn)樗哑渌糠终f(shuō)得很好最終分?jǐn)?shù)仍然不低。1.2 整段式評(píng)估為什么容易掩蓋關(guān)鍵錯(cuò)誤把“一個(gè)視頻”作為最小評(píng)估單元是很多評(píng)測(cè)的默認(rèn)做法。這樣做的好處是簡(jiǎn)單、成本低、統(tǒng)計(jì)方便。但壞處也很明顯信息被大量平均化。舉個(gè)例子一段視頻里有三個(gè)主要事件先是運(yùn)動(dòng)員做準(zhǔn)備活動(dòng)然后進(jìn)行比賽最后頒獎(jiǎng)。如果模型只描述了準(zhǔn)備活動(dòng)和頒獎(jiǎng)漏掉了比賽本身整段描述讀起來(lái)依然通順句子層面的相似度也可能不錯(cuò)。但你從真實(shí)使用角度去看這個(gè)輸出是失敗的因?yàn)橛脩?hù)最想看到的是比賽過(guò)程中的關(guān)鍵事件。整段評(píng)估無(wú)法暴露這種失敗因?yàn)樗鼪](méi)有要求模型在正確的位置輸出正確的描述。更麻煩的是不同的模型可能在“漏”的地方不一樣。有的模型擅長(zhǎng)捕捉動(dòng)作類(lèi)事件卻忽略物體類(lèi)細(xì)節(jié)有的模型能給出準(zhǔn)確的時(shí)間順序但對(duì)視覺(jué)外觀描述很泛。如果你只用一個(gè)總分去比較兩個(gè)模型你看到的可能是“差不多”但實(shí)際它們的錯(cuò)誤模式差異很大。而只有建立以“段落”“事件”為單位的評(píng)估才能把這些差異暴露出來(lái)。這也是為什么CLIP-CC-Bench這類(lèi)工作要把“多粒度”放在臺(tái)面上。2. 多粒度基準(zhǔn)設(shè)計(jì)的基礎(chǔ)先把“粒度”拆清楚2.1 視頻級(jí)、段落級(jí)、事件級(jí)三種粒度的差異“多粒度”聽(tīng)起來(lái)是一個(gè)很高級(jí)的詞但本質(zhì)上并不復(fù)雜它指的不是讓模型輸出任意長(zhǎng)度的描述而是在評(píng)估時(shí)把視頻內(nèi)容劃分成不同尺度的單元再讓模型輸出對(duì)應(yīng)尺度的描述。常見(jiàn)的有三種視頻級(jí)整段視頻對(duì)應(yīng)一段完整描述。適合回答“這個(gè)視頻大概講了什么”用于推薦、檢索、摘要等場(chǎng)景。段落級(jí)按鏡頭、場(chǎng)景或時(shí)間軸切成若干段落每段對(duì)應(yīng)一段描述。適合回答“每個(gè)階段分別發(fā)生了什么”用于視頻剪輯、內(nèi)容歸檔、分鏡理解。事件級(jí)以某個(gè)語(yǔ)義完整的事件為單元比如“一個(gè)人走進(jìn)房間”“兩個(gè)人開(kāi)始交談”“屏幕上出現(xiàn)了一串?dāng)?shù)字”。適合回答“具體事件的時(shí)間、位置、參與者”用于視頻問(wèn)答、目標(biāo)跟蹤、內(nèi)容審核等。可以這樣理解視頻級(jí)是粗顆粒段落級(jí)是中顆粒事件級(jí)是細(xì)顆粒。三者的評(píng)估重點(diǎn)不同。視頻級(jí)關(guān)注整體語(yǔ)義覆蓋段落級(jí)關(guān)注時(shí)間邊界和內(nèi)容連續(xù)性事件級(jí)關(guān)注事件元素是否齊全、時(shí)序是否準(zhǔn)確。2.2 為什么標(biāo)題偏偏強(qiáng)調(diào)“多粒度”而不是“多任務(wù)”有些評(píng)測(cè)同時(shí)包含很多個(gè)任務(wù)比如視頻問(wèn)答、視頻摘要、視頻分類(lèi)、視頻檢索它們也叫“多任務(wù)基準(zhǔn)”。但CLIP-CC-Bench強(qiáng)調(diào)的“多粒度”不是任務(wù)種類(lèi)的增加而是評(píng)估容器的變化。關(guān)鍵差別在于多任務(wù)評(píng)估問(wèn)的是“模型能不能做不同的事情”多粒度評(píng)估問(wèn)的是“模型對(duì)同一段內(nèi)容能不能在不同尺度上都具備穩(wěn)定的理解”。后者的難度更高因?yàn)槟Ｐ涂赡茉谀骋粋€(gè)粒度上表現(xiàn)很好在另一個(gè)粒度上卻崩潰。比如一個(gè)模型可以輕松回答“這個(gè)視頻里的人在做什么運(yùn)動(dòng)”但你讓它按時(shí)間順序描述“第40秒到第70秒發(fā)生了什么”它可能就會(huì)卡殼因?yàn)橹虚g有場(chǎng)景切換模型未必能把視覺(jué)信息和對(duì)應(yīng)時(shí)間區(qū)間對(duì)齊。所以設(shè)計(jì)一個(gè)多粒度基準(zhǔn)本質(zhì)上是把“視頻理解能力”切成可分別觀測(cè)的軸時(shí)間定位能力、段落切分能力、事件抽取能力、文本生成能力。它不是在給模型出一道更難的題而是在給模型做一次“能力體檢”。這也是為什么這類(lèi)基準(zhǔn)的價(jià)值不能只用榜單分?jǐn)?shù)來(lái)衡量而是要看它能不能幫助研究者找到模型的薄弱層。3. CLIP-CC-Bench的出現(xiàn)它試圖解決什么3.1 CLIP語(yǔ)義空間與長(zhǎng)視頻評(píng)估的結(jié)合點(diǎn)CLIP這類(lèi)模型的核心能力是把圖像和文本映射到同一個(gè)向量空間。這個(gè)東西在圖像分類(lèi)、圖文檢索里已經(jīng)用得很多了很多人也很熟悉一段文本和一張圖在語(yǔ)義相近時(shí)向量距離會(huì)拉近。但要把它用到長(zhǎng)視頻段落描述評(píng)估上不能只是把視頻抽幾幀、算個(gè)相似度就結(jié)束。因?yàn)橐曨l有長(zhǎng)度、有時(shí)間軸、有段落邊界一個(gè)段落描述對(duì)應(yīng)的是某一段時(shí)間窗口內(nèi)的視覺(jué)信息而不是整個(gè)視頻的平均語(yǔ)義。CLIP-CC-Bench如果把CLIP語(yǔ)義空間引入評(píng)估大概率是把它當(dāng)作“匹配工具”把模型生成的段落描述與某個(gè)視頻區(qū)間的參考描述做語(yǔ)義匹配同時(shí)判斷這個(gè)區(qū)間定位準(zhǔn)不準(zhǔn)。這個(gè)設(shè)計(jì)思路的進(jìn)步在于評(píng)估不再只是“文本和文本比”而是“文本和視頻時(shí)間段比”。它把大模型輸出的描述放回視頻時(shí)間軸里做對(duì)齊而不是懸浮在句子上空。這樣能回答比“像不像”更關(guān)鍵的問(wèn)題“說(shuō)得對(duì)但是不是對(duì)的這一段時(shí)間”這個(gè)問(wèn)題在長(zhǎng)視頻場(chǎng)景中非常重要。比如一個(gè)模型把“打完球之后喝水”寫(xiě)成了“開(kāi)始打球時(shí)喝水”句子語(yǔ)義上可能仍然高度相關(guān)但時(shí)間定位錯(cuò)了這在實(shí)際應(yīng)用里屬于事實(shí)性錯(cuò)誤。3.2 段落描述評(píng)估的關(guān)鍵閉環(huán)生成、定位、匹配、打分圍繞CLIP-CC-Bench這樣的基準(zhǔn)一個(gè)完整的評(píng)估流程大致應(yīng)該是一個(gè)閉環(huán)而不是簡(jiǎn)單的“輸入視頻—輸出分?jǐn)?shù)”兩條線(xiàn)。我一般會(huì)把閉環(huán)拆成四步生成段落描述模型輸出一段或若干段自然語(yǔ)言描述。定位時(shí)間區(qū)間判斷這段描述對(duì)應(yīng)視頻中的哪個(gè)段落通常由標(biāo)注數(shù)據(jù)或模型預(yù)測(cè)提供時(shí)間邊界。與參考描述匹配把模型輸出與人工參考描述做語(yǔ)義匹配例如在CLIP語(yǔ)義空間中計(jì)算相似度也可以用文本匹配模型輔助。給出多粒度得分分別計(jì)算視頻級(jí)、段落級(jí)、事件級(jí)的表現(xiàn)并輸出錯(cuò)誤類(lèi)型。第2步往往最容易被忽略。很多評(píng)測(cè)默認(rèn)模型輸出的描述是對(duì)應(yīng)整段視頻的但長(zhǎng)視頻里模型輸出的每句話(huà)未必覆蓋整段視頻可能只覆蓋某一段。如果不做時(shí)間定位后面所有打分都會(huì)失真。CLIP-CC-Bench把“段落”寫(xiě)進(jìn)名稱(chēng)里也是在提示這個(gè)關(guān)鍵評(píng)估模型輸出時(shí)要明確這句話(huà)到底寫(xiě)的是哪個(gè)時(shí)間段的內(nèi)容。3.3 注意不要把一個(gè)新基準(zhǔn)神化每當(dāng)一個(gè)“新基準(zhǔn)”出現(xiàn)社區(qū)里很容易出現(xiàn)兩種傾向一種是“太好了以后就用它了”另一種是“又一個(gè)刷榜玩具”。這兩種都過(guò)于極端。首先CLIP-CC-Bench能提供一個(gè)相對(duì)標(biāo)準(zhǔn)化的評(píng)估框架這當(dāng)然是好事。但一個(gè)新基準(zhǔn)能不能在社區(qū)中真正普及還取決于很多因素?cái)?shù)據(jù)規(guī)模、標(biāo)注質(zhì)量、語(yǔ)言覆蓋面、公開(kāi)接口、評(píng)測(cè)成本以及它能不能經(jīng)受住跨模型跨場(chǎng)景的穩(wěn)定性檢驗(yàn)。這些信息要看論文和開(kāi)源倉(cāng)庫(kù)的具體說(shuō)明不能只看標(biāo)題就下結(jié)論。其次即使一個(gè)模型在某個(gè)多粒度基準(zhǔn)上拿了高分也不代表它在所有長(zhǎng)視頻場(chǎng)景里都好用?；鶞?zhǔn)數(shù)據(jù)通常來(lái)自特定視頻分布可能是開(kāi)放域視頻也可能是某個(gè)垂直領(lǐng)域標(biāo)注者對(duì)“事件邊界”的理解也可能有差異。所以真正理性的用法是把這類(lèi)基準(zhǔn)當(dāng)作“參考系之一”和具體業(yè)務(wù)數(shù)據(jù)結(jié)合著看。別急著把宣傳語(yǔ)當(dāng)成能力保證。4. 從評(píng)測(cè)視角看多粒度基準(zhǔn)應(yīng)該怎么用4.1 先跑通一條小樣本評(píng)估流程不管CLIP-CC-Bench未來(lái)提供的是離線(xiàn)工具包還是在線(xiàn)評(píng)測(cè)接口使用方式都應(yīng)該遵循同一個(gè)原則先跑小樣本再?zèng)Q定要不要擴(kuò)量。直接在全量數(shù)據(jù)集上跑容易遇到數(shù)據(jù)格式不兼容、接口調(diào)用失敗、輸出粒度不符合要求、參考標(biāo)注不能完全對(duì)齊等問(wèn)題。尤其當(dāng)模型輸出是自由文本時(shí)清洗和歸一化的成本會(huì)比想象中高。如果是自建評(píng)測(cè)流程我建議先準(zhǔn)備10到20個(gè)代表性視頻。不需要追求數(shù)量但要覆蓋不同類(lèi)型的長(zhǎng)視頻有人物對(duì)話(huà)、有場(chǎng)景切換、有長(zhǎng)時(shí)間無(wú)動(dòng)作畫(huà)面、有多個(gè)并行事件。然后讓模型分別生成視頻級(jí)描述和段落級(jí)描述再與標(biāo)注好的參考段落對(duì)比。這一步的目的不是測(cè)出精確數(shù)值而是驗(yàn)證評(píng)估鏈路是否通暢。你以為的“參考描述”可能和模型輸出結(jié)構(gòu)差別很大比如參考描述按時(shí)間順序逐條列出模型輸出卻是連貫敘述這就需要在匹配前做句子切分或時(shí)間戳映射。流程跑順之后再擴(kuò)大樣本否則遇到大量邊界情況時(shí)你很難分清是模型能力問(wèn)題還是評(píng)估工具問(wèn)題。4.2 評(píng)估結(jié)果要拆著看不是只有一個(gè)總分多粒度基準(zhǔn)最大的一個(gè)好處是可以把“一個(gè)總分”拆成“一組分?jǐn)?shù)”。使用者在看結(jié)果時(shí)也要習(xí)慣按維度去看。評(píng)估維度典型問(wèn)題推薦指標(biāo)視頻級(jí)描述整體語(yǔ)義是否覆蓋核心內(nèi)容文本相似度、關(guān)鍵詞覆蓋率段落級(jí)描述每個(gè)段落是否有對(duì)應(yīng)描述、描述是否準(zhǔn)確平均段落相似度、段落邊界一致性事件級(jí)描述具體事件是否被提到、事件元素是否齊全事件召回率、元素準(zhǔn)確率時(shí)間定位描述對(duì)應(yīng)的時(shí)間區(qū)間是否與標(biāo)注一致時(shí)間重疊率、邊界誤差生成質(zhì)量句子是否通順、是否存在冗余和幻覺(jué)語(yǔ)言流暢度、人工可讀性評(píng)分如果你只告訴我“CLIP-CC-Bench得分是0.7”我沒(méi)有辦法判斷模型到底強(qiáng)在哪里。但如果告訴我“這個(gè)模型在視頻級(jí)描述上得分很高但事件級(jí)召回率非常低”我立刻知道它擅長(zhǎng)宏觀概括卻缺乏對(duì)具體事件的捕捉能力。這種能力畫(huà)像才是評(píng)估的最終價(jià)值。4.3 單次對(duì)齊檢查理解時(shí)間邊界、內(nèi)容邊界和輸出邊界使用多粒度評(píng)估時(shí)最容易忽略的一項(xiàng)是“對(duì)齊檢查”。簡(jiǎn)單來(lái)說(shuō)就是隨機(jī)抽取若干條模型輸出人工判斷它到底有沒(méi)有在正確的時(shí)間邊界內(nèi)描述正確的內(nèi)容。這一步聽(tīng)起來(lái)很原始但非常有效。具體做法是取一個(gè)模型輸出句子記錄它是從哪一段視頻中生成的然后播放那一段視頻人工判斷這句話(huà)是否準(zhǔn)確、是否完整。如果這句話(huà)看起來(lái)像是一段通用描述放進(jìn)任何視頻段落都能成立那就需要注意了——模型可能是在“打太極”并沒(méi)有真正理解具體內(nèi)容。這種案例的出現(xiàn)頻率比分?jǐn)?shù)更能說(shuō)明問(wèn)題。多粒度基準(zhǔn)強(qiáng)調(diào)“段落”本質(zhì)上就是想通過(guò)更細(xì)的評(píng)估單元把這類(lèi)“正確廢話(huà)”趕出高分區(qū)間。5. 在多模態(tài)模型上做段落評(píng)估的落地建議5.1 構(gòu)建自己的評(píng)估集時(shí)先解決三類(lèi)標(biāo)注不一致如果你不打算直接使用現(xiàn)成基準(zhǔn)而是想為自己的項(xiàng)目做一套長(zhǎng)視頻段落評(píng)估集最先要面對(duì)的問(wèn)題不是模型而是標(biāo)注。標(biāo)注不一致會(huì)直接影響評(píng)估結(jié)果而且這種問(wèn)題在小樣本階段不太明顯一旦擴(kuò)量就會(huì)變成災(zāi)難。第一類(lèi)是段落邊界不一致。兩個(gè)標(biāo)注者對(duì)“從第幾分幾秒開(kāi)始算一個(gè)新段落”往往會(huì)有不同意見(jiàn)。有人按鏡頭切換有人按語(yǔ)義結(jié)束有人按說(shuō)話(huà)人變化。如果標(biāo)注規(guī)范不明確模型輸出的段落就很難和參考對(duì)齊。建議在標(biāo)注前約定好切分規(guī)則優(yōu)先按鏡頭切換其次按語(yǔ)義場(chǎng)景再按事件完整性。第二類(lèi)是描述詳略不一致。同樣一個(gè)事件有人寫(xiě)成“一個(gè)人走進(jìn)房間”有人寫(xiě)成“一個(gè)穿藍(lán)色衣服的男人推開(kāi)門(mén)走進(jìn)左邊的房間”。兩種描述都對(duì)但信息量差距很大。如果不控制描述層級(jí)相似度計(jì)算會(huì)很不穩(wěn)定。建議為每個(gè)段落規(guī)定參考描述的粒度上限比如事件級(jí)描述不超過(guò)兩個(gè)短句段落級(jí)描述不超過(guò)三個(gè)短句。第三類(lèi)是時(shí)間戳與內(nèi)容不一致。標(biāo)注者可能把描述內(nèi)容對(duì)應(yīng)到了錯(cuò)誤的時(shí)間區(qū)間。時(shí)間戳一旦錯(cuò)誤后續(xù)所有“時(shí)間對(duì)齊”指標(biāo)都會(huì)失真。建議在標(biāo)注完成后增加一輪“時(shí)間戳抽檢”隨機(jī)抽取10%的數(shù)據(jù)由第二人校核。多粒度評(píng)估能力越細(xì)對(duì)標(biāo)注一致性的要求就越高這一點(diǎn)繞不過(guò)去。5.2 一個(gè)可復(fù)用的多粒度評(píng)估流程基于前面那些討論可以沉淀出一個(gè)相對(duì)通用的流程適用于大多數(shù)長(zhǎng)視頻段落描述評(píng)估任務(wù)定義評(píng)估目標(biāo)先明確你是要評(píng)估視頻級(jí)摘要、事件定位還是段落描述。不同目標(biāo)決定了你要用什么粒度。準(zhǔn)備參考標(biāo)注至少包含兩樣?xùn)|西文本描述和時(shí)間區(qū)間。做不到雙人標(biāo)注時(shí)也要用程序做一次邊界一致性校驗(yàn)。統(tǒng)一模型輸入輸出格式明確模型輸入是不是完整視頻、有沒(méi)有額外的時(shí)間提示模型輸出是自由文本還是結(jié)構(gòu)化JSON。這會(huì)影響后續(xù)解析。做語(yǔ)義匹配用CLIP或類(lèi)似模型計(jì)算候選描述與參考描述的相似度。如果候選輸出包含多個(gè)句子可以先按句切分再與參考段落做最大化匹配。計(jì)算時(shí)間對(duì)齊指標(biāo)給每個(gè)匹配上的段落計(jì)算時(shí)間重疊率判斷模型是否把描述放到了正確的時(shí)間段。人工抽檢錯(cuò)例隨機(jī)抽取高分和低分樣本各若干條人工分析錯(cuò)誤是發(fā)生在“沒(méi)看到”“沒(méi)定位”“沒(méi)表達(dá)”中的哪一層。如果CLIP-CC-Bench后續(xù)提供了評(píng)測(cè)接口這個(gè)流程大部分可以自動(dòng)化但第1步和第6步最好不要省。很多團(tuán)隊(duì)拿到一個(gè)現(xiàn)成基準(zhǔn)就直接開(kāi)跑最后只得到一個(gè)分?jǐn)?shù)完全不知道分?jǐn)?shù)背后的含義。這個(gè)習(xí)慣不太好。5.3 指標(biāo)之外還要看錯(cuò)例類(lèi)型評(píng)估結(jié)果出來(lái)之后會(huì)出現(xiàn)幾種常見(jiàn)的錯(cuò)例類(lèi)型。第一種是“位置正確但表述模糊”模型看到了那個(gè)事件但描述得泛泛而談。第二種是“表述流暢但位置錯(cuò)誤”模型寫(xiě)了一段很像回事的話(huà)但它對(duì)應(yīng)的時(shí)間區(qū)間完全不對(duì)。第三種是“事實(shí)混雜”把不同段落的事件拼在一起單獨(dú)看每個(gè)句子都說(shuō)得通放到時(shí)間軸上就漏洞百出。前兩種還比較好發(fā)現(xiàn)第三種最隱蔽。因?yàn)槿绻豢磫尉淠憧赡苡X(jué)得模型理解得不錯(cuò)只有把它放回時(shí)間軸上做段落級(jí)對(duì)比才會(huì)發(fā)現(xiàn)事件歸屬混亂。這也是多粒度評(píng)估相對(duì)單粒度評(píng)估的一個(gè)核心優(yōu)勢(shì)它逼著模型和評(píng)測(cè)者都必須面對(duì)“時(shí)間位置”這件事。如果你在自己的評(píng)測(cè)里發(fā)現(xiàn)大量第三種錯(cuò)例那說(shuō)明模型的長(zhǎng)視頻上下文建模還是有明顯短板不要再被整段描述的流暢度迷惑。6. 回到主判斷多粒度基準(zhǔn)改變的不是測(cè)評(píng)方法而是對(duì)長(zhǎng)視頻模型的認(rèn)知方式6.1 從“模型能描述視頻”走向“模型能不能在正確的時(shí)間粒度上描述”CLIP-CC-Bench這個(gè)名字本身不是最重要的。重要的是它背后代表的一類(lèi)趨勢(shì)長(zhǎng)視頻模型評(píng)測(cè)開(kāi)始從“整體語(yǔ)義是否接近”走向“分段、定位、匹配、驗(yàn)證”的精細(xì)路徑。這意味著我們對(duì)一個(gè)視頻語(yǔ)言模型的認(rèn)知方式會(huì)發(fā)生改變。以前我們習(xí)慣問(wèn)“這個(gè)模型看得懂視頻嗎”現(xiàn)在更準(zhǔn)確的問(wèn)題是“它在事件級(jí)、段落級(jí)、視頻級(jí)上分別表現(xiàn)如何”。一個(gè)模型可能在宏觀摘要上很優(yōu)秀卻在時(shí)間定位上一塌糊涂另一個(gè)模型可能事件抽取能力很強(qiáng)但生成摘要時(shí)組織混亂。沒(méi)有多粒度評(píng)估這兩種模型會(huì)在同一個(gè)總分上打平。有了多粒度評(píng)估它們的差異會(huì)立刻浮現(xiàn)。這種變化不僅影響研究者也會(huì)影響普通使用者的選型判斷。當(dāng)你要給一個(gè)長(zhǎng)視頻處理系統(tǒng)接入模型時(shí)你不能只看演示視頻里的驚艷效果而要看它在你關(guān)心的那個(gè)粒度上是否穩(wěn)定。如果你需要按鏡頭生成描述那么段落級(jí)和時(shí)間對(duì)齊指標(biāo)就比總分更重要如果你只是需要視頻標(biāo)題視頻級(jí)指標(biāo)就足夠。多粒度基準(zhǔn)提供的就是這種“按需查看能力”的便利。6.2 下一步最該做的事情如果你對(duì)CLIP-CC-Bench感興趣下一步不是急著去跑榜而是先回到自己的實(shí)際場(chǎng)景里想一想你最需要評(píng)估的長(zhǎng)視頻能力是哪一個(gè)粒度是整段視頻的摘要還是某個(gè)時(shí)間區(qū)間內(nèi)的動(dòng)作描述你現(xiàn)有的評(píng)估流程能不能回答“模型是在正確的時(shí)間段里描述了正確的內(nèi)容”這個(gè)問(wèn)題如果答案還不清晰建議先用手里的幾段視頻和現(xiàn)成多模態(tài)模型跑一次小規(guī)模人工對(duì)照。不需要復(fù)雜的基準(zhǔn)工具只需要一個(gè)人、幾段帶時(shí)間戳的視頻、一份簡(jiǎn)單標(biāo)注模板就能看出很多問(wèn)題。等你想明白了粒度、時(shí)間邊界、參考描述格式這些基礎(chǔ)問(wèn)題再去接觸CLIP-CC-Bench這樣的多粒度基準(zhǔn)收獲會(huì)完全不同。工具會(huì)更新基準(zhǔn)會(huì)迭代但“先定義清楚你在評(píng)價(jià)什么能力再選擇評(píng)價(jià)尺度”的思路不會(huì)過(guò)時(shí)。長(zhǎng)視頻段落描述評(píng)估這件事表面上是在考模型實(shí)際上也是在考評(píng)測(cè)設(shè)計(jì)者對(duì)人機(jī)交互邊界的理解。把粒度想清楚比多刷幾個(gè)高分榜單更重要。