VisualAD: Language-Free Zero-Shot Anomaly Detection via Vision Transformer論文地址https://arxiv.org/abs/2603.07952項目頁面https://github.com/7HHHHH/VisualAD學術交流922230617目錄1. 引言3. 方法3.1 問題設定3.2 空間感知交叉注意力SCA3.3 自對齊函數(shù)與異常評分3.4 訓練目標4. 實驗4.1 實驗設置4.2 與最先進方法的性能比較4.3 消融研究4.4 可視化1. 引言零樣本異常檢測zero-shot anomaly detectionZSAD旨在不使用任何類別內(nèi)圖像訓練的情況下檢測未見類別的異常從而將異常檢測與逐類別數(shù)據(jù)收集負擔解耦。在此背景下大規(guī)模預訓練模型為 ZSAD 提供了可行路徑。預訓練視覺-語言模型如 CLIP通過在共享embedding空間中對齊視覺與文本語義展現(xiàn)出強遷移性。利用此特性一系列工作將表示正常與異常的提示輸入文本編碼器并將所得文本embedding與圖像特征對比以實現(xiàn)開集異常檢測。該范式下的文本提示通常分為兩類手工設計類如 WinCLIP依賴固定模板將類別上下文詞與狀態(tài)描述詞結(jié)合以表達正常與異常狀態(tài)雖無需訓練且易用但對措辭敏感且可能難以覆蓋多樣異常模式?？蓪W習類如 AnomalyCLIP將上下文詞參數(shù)化為可訓練向量在小規(guī)模輔助數(shù)據(jù)集上優(yōu)化得到可跨類別泛化的對象無關正常/異常表示。盡管方式不同這些方法暗示一個簡單原則異常可由兩組對應正常與異常的參考特征來描述。然而該原則引出一個問題若最終決策僅由正常和異常兩組潛在向量決定語言模態(tài)是否真的不可或缺從純視覺角度看異常表現(xiàn)為紋理、形狀或顏色上的結(jié)構(gòu)或統(tǒng)計偏差這些都可在視覺域內(nèi)捕獲。為驗證此假設本文對 AnomalyCLIP 進行了小規(guī)模改動移除文本編碼器直接優(yōu)化兩個表示正常與異常的可學習向量。所得檢測性能幾乎未降而可訓練參數(shù)數(shù)量減少超過 99%。如上圖所示訓練輪次間的評估曲線在泛化行為上呈現(xiàn)明顯差異本文的純視覺變體穩(wěn)定提升并保持平滑上升趨勢而原始 AnomalyCLIP 在各輪次間波動顯著。該發(fā)現(xiàn)表明在基于 CLIP 的 ZSAD 流程中文本提示可能主要作為塑造一對判別性視覺原型的間接途徑而非提供必要的語義基礎。受此觀察啟發(fā)本文提出 VisualAD——一個基于凍結(jié) Vision Transformer 的純視覺零樣本異常檢測框架。VisualAD 不依賴文本編碼器而是直接在 ViT token 序列中引入兩個可學習 token異常 token 和正常 token。通過多層自注意力這些 token 與 patch token 交互逐漸獲取正常與異常的高層概念同時引導 patch 突出異常相關線索。為使高層語義 token 與跨層細粒度圖像特征對齊本文采用空間感知交叉注意力Spatial-AwareCross-AttentionSCA模塊為 token 提供顯式空間線索和局部細節(jié)并配合輕量級自對齊函數(shù)Self-Alignment FunctionSAF實現(xiàn)為小型 MLP在 token-patch 對齊前重新校準 patch 特征。與直接對齊到 patch 級特征的方法不同SCA 利用細粒度視覺證據(jù)動態(tài)更新 token從而提升 ZSAD 性能。本文通過整合多個更新后 token 與跨層重新校準后 patch 特征之間的對齊結(jié)果來合成異常圖并從異常得分最高的前 1% 像素中獲取圖像級異常判定。貢獻總結(jié)如下重新審視文本在零樣本異常檢測中的必要性表明判別性異常特征可僅從視覺線索中學習。提出 VisualAD一個純 ViT 的零樣本異常檢測框架在凍結(jié)主干中注入兩個可學習 token使其通過多層自注意力與 patch token 交互編碼正常與異常。提出 SCA 和 SAF 模塊其中 SCA 向 token 注入顯式空間證據(jù)SAF 重新校準 patch 特征實現(xiàn)穩(wěn)定的多層對齊和改進的定位。在工業(yè)和醫(yī)學基準上的大量實驗證明了其對未見類別和數(shù)據(jù)集的強零樣本泛化能力。3. 方法3.1 問題設定本文遵循零樣本異常檢測協(xié)議。模型在可見類別 C_s來自工業(yè)數(shù)據(jù)集上以監(jiān)督方式訓練并直接評估于未見類別 C_u?來自其他工業(yè)或醫(yī)學數(shù)據(jù)集。根據(jù)定義 Cu∩Cs?輔助訓練類別與測試類別來自不同數(shù)據(jù)集存在顯著領域偏移。該設定評估跨域泛化能力無需任何類別特定的微調(diào)。如上圖所示本文提出 VisualAD一個基于凍結(jié) Vision Transformer 的零樣本異常檢測框架。給定如 ViT-L/14336px 的主干網(wǎng)絡本文插入兩個可學習全局 token即異常 token t_a 和正常 token t_n?直接在視覺特征空間中編碼異常與正常。輸入序列為其中t_c 為類別 token{p_i}_{i1}^N 為圖像 patch token所有 token 均為 d 維。為捕獲多樣空間與語義線索本文從一組中間層 L{l_1, …, l_K} 中提取特征默認對 ViT-L/14 使用 {6,12,18,24}。對每個選定層引入空間感知交叉注意力SCA模塊從 patch 特征中聚合局部空間證據(jù)以增強 token 表示。同時輕量級自對齊函數(shù)SAF在該層重新校準 patch 特征。增強后的 token 與 SAF 重新校準的 patch 共同生成層間異常圖并在各層間融合。像素級和圖像級異常得分從融合圖中獲得。訓練與推理共享相同計算路徑無文本編碼器或跨模態(tài)對齊。3.2 空間感知交叉注意力SCA全局 token 編碼高層語義但缺乏顯式空間基礎。為在保持 ViT 流程完整的同時注入局部證據(jù)本文在每個選定層 ? 應用單個 SCA 模塊。給定 patch 特征 P_? ∈ R^{B×N×d}B 為批量大小N 為 patch 數(shù)量d 為特征維度首先添加層特定的可學習位置編碼 E_pos^(?)?使模塊能夠區(qū)分空間不同區(qū)域。為高效聚合空間線索SCA 采用 m 個可學習 anchor query Q_anchor ∈ R^{m×d}其中 m?N。為清晰起見省略batch維度記 P_?^pos? ∈ R^{N×d}。交叉注意力權(quán)重與 anchor 聚合特征計算如下其中A_? ∈ R^{m×N} 為空間注意力分布U_? ∈ R^{m×d} 為 anchor 聚合特征其第 i 行記為 a_i?。隨后SCA 通過 token 引導的門控機制將 anchor 特征適配到每個 token。計算門控向量其中t∈{t_a?, t_n?} 為增強前的全局 tokenW_g 在各 anchor 間共享。增強后 token 為α 為可學習殘差縮放因子g_i(t) 為 g(t) 的第 i 項。該公式在保留全局 token 語義角色的同時以 anchor 特定方式選擇性注入空間信息。本文為每個 ?∈L 獨立實例化 SCA產(chǎn)生 ~t_a^(?) 和 ~t_n^(?)?隨后與重新校準的 patch 特征匹配以形成層間異常圖。由于注意力和門控為每張圖像重新計算SCA 動態(tài)調(diào)整全局 token 的異常敏感性以適應每個測試樣本的局部結(jié)構(gòu)。3.3 自對齊函數(shù)與異常評分除 SCA 外本文使用可學習的自對齊函數(shù)Self-Alignment FunctionSAF精煉 patch 表示。對每個選定層 ?SAF 實現(xiàn)為單隱層 MLP隱層維度與輸入尺寸相同其中F_? 表示層 ? 的 SAF。該非線性重新校準使 patch 特征與不斷演化的正常和異常 token 對齊。隨后通過自對齊的余弦對比計算 patch 級異常得分。使用 ?2 歸一化特征層 ? 第 i 個 patch 的得分為得分重塑為空間圖 H_? ∈ R^{H×W} 并上采樣至輸入尺寸。多層融合得到最終異常圖圖像級異常得分 S 通過取前 k 個最異常像素的平均值計算其中 k?0.01HW? 表示所有像素的 1% 向下取整H(i) 為 H 中第 i 大值。至此完成 VisualAD 中異常圖與圖像級得分的構(gòu)建。3.4 訓練目標本文在統(tǒng)一目標下聯(lián)合優(yōu)化圖像級分類、像素級分割和 token 對比分離同時保持 ViT 主干凍結(jié)僅更新異常/正常 token t_a?,t_n?、SCA 模塊和每層變換 {F_??}。對于圖像級監(jiān)督對得分 S 應用二元交叉熵對于像素級監(jiān)督在每個選定層圖上結(jié)合 Focal Loss 和 Dice Loss其中^M^(?)σ(H_??) 為預測掩碼M 為二值真實掩碼為顯式分離異常與正常 token在最大層索引 L即 L 中最大元素處施加余弦間隔懲罰鼓勵其相似度低于 ?0.5對應角距離大于 120°總損失為訓練與推理嚴格共享同一流程包括層集合 L、SCA、變換 F_??、跨層融合和 top-k 聚合無文本分支或跨模態(tài)對齊。4. 實驗4.1 實驗設置數(shù)據(jù)集為評估 ZSAD 性能在 13 個真實數(shù)據(jù)集上實驗涵蓋工業(yè)和醫(yī)學領域。工業(yè)領域采用 MVTec-AD、VisA、BTAD、KSDD2、DAGM 和 DTD-Synthetic醫(yī)學領域采用 OCT17、BrainMRI、BrainAD、HIS、CVC-ClinicDB、Endo 和 Kvasir覆蓋多樣成像模態(tài)和任務。OCT17 包含視網(wǎng)膜 OCT 用于疾病分類BrainMRI 和 BrainAD 提供腦 MRI 用于腫瘤或病變分類HIS 為組織病理圖像用于異常組織分析CVC-ClinicDB、Endo 和 Kvasir 為結(jié)腸鏡數(shù)據(jù)集帶像素級息肉分割標注。遵循先前工作在一個工業(yè)數(shù)據(jù)集上訓練直接在其他工業(yè)和醫(yī)學數(shù)據(jù)集上推理無需進一步微調(diào)。因 VisA 包含與其他類別不相交的對象類別將其用作輔助訓練集。評估 VisA 自身時在 MVTec-AD 上微調(diào)。評估指標分類報告圖像級 AUROC、最大 F1?F1?-max和 AP。分割評估像素級 AUROC、F1?-max、AP 和 Per-Region OverlapPRO以評估定位能力。實現(xiàn)細節(jié)采用公開主干CLIPViT-L/14336px和 DINOv2ViT-L/14。輸入圖像縮放至 518×518。從 24 層視覺編碼器中提取層 {6,12,18,24} 的 patch token。SCA 中 anchor query 數(shù)默認 m4。VisualAD 使用 Adam 優(yōu)化器初始學習率 1×10?3批量大小 8。4.2 與最先進方法的性能比較本文比較 VisualAD 與五種最先進方法WinCLIP、APRIL-GAN、CLIP-AD、AnomalyCLIP 和 AdaCLIP。由于本文方法可適配多種主干報告了 CLIP 的 ViT-L/14336px 和 DINOv2ViT-L/14的結(jié)果以展示其在不同視覺架構(gòu)上的靈活性。表 1 報告了工業(yè)和醫(yī)學基準上的定量 ZSAD 結(jié)果。與現(xiàn)有方法相比VisualAD 在幾乎所有數(shù)據(jù)集的圖像和像素級別均達到最先進性能。尤其在工業(yè)數(shù)據(jù)集上使用 CLIP ViT-L/14336px 的 VisualAD 在所有分類指標上取得最佳結(jié)果。進一步觀察到基于 CLIP 和基于 DINOv2 的 VisualAD 實例呈現(xiàn)互補優(yōu)勢前者略偏向圖像級分類后者在像素級分割上表現(xiàn)更強。圖 3 可視化了來自代表性工業(yè)和醫(yī)學數(shù)據(jù)集的異常圖與其他方法相比VisualAD 提供了更清晰、更精確的異常定位。4.3 消融研究模塊消融實驗結(jié)果如表 2 所示移除任意單個組件都會導致性能持續(xù)下降表明每個模塊都對框架有積極貢獻。去除 SCA 會削弱空間對齊和細粒度證據(jù)聚合能力而移除 SAF 則會破壞高層語義的非線性重校準同時移除兩者時性能下降最為顯著凸顯了二者之間的互補作用。在損失函數(shù)消融實驗中排除 Focal、Dice 或 Ctr 目標中的任一一項均會導致明顯性能下降說明混合監(jiān)督機制有效平衡了分類關注、區(qū)域一致性與特征可分離性。總體而言完整模型在圖像級和像素級上均取得了最優(yōu)結(jié)果驗證了所有組件的有效性及其協(xié)同效應。不同預訓練視覺主干的影響圖 4 比較了從 small 到 large 規(guī)模的 CLIP 和 DINO 變體。更大主干和更高輸入分辨率通常帶來像素級和樣本級指標的持續(xù)提升。在 CLIP 系列中 ViT-L/14336px 取得最佳樣本級結(jié)果而在 DINO 系列中 ViT-g/14 取得最高像素級精度。anchor 數(shù)量的影響如表 3 所示像素級上anchor 從 1 增至 4 時 AUROC、F1?-max 和 AP 穩(wěn)步提升m4 取得最強整體結(jié)果。超過 4如 8-32則引入冗余略微降低像素級精度表明過多 anchor 會稀釋空間聚焦而非增強。圖像級指標趨勢較平緩m16 雖提供最高 AUROC、F1F1?-max 和 AP但相對 m4 的提升在 1-2 個百分點內(nèi)。因此默認采用 m4在像素級精度與圖像級魯棒性間取得平衡。不同層組合的影響如表 4 所示單層中中層{18}相比淺層或深層產(chǎn)生更強表示在局部細節(jié)與全局語義間達到最佳平衡。多層組合性能持續(xù)提升{6,12,18} 已在像素和樣本級指標上帶來明顯增益擴展至 {6,12,18,24} 進一步提升穩(wěn)定性和整體精度。表明多層特征集成有效捕獲跨尺度互補信息帶來更魯棒的異常定位與分類。SCA 中位置建模的影響如表 5 所示比較了六種變體無位置編碼、可學習 1D 絕對 embedding、固定 1D 正弦編碼、可學習 2D 絕對 embedding、固定 2D 正弦編碼和可學習 2D 相對位置偏置。簡單的可學習 1D 絕對 embedding 在所有指標上取得最佳整體權(quán)衡而更復雜的 2D 或相對公式僅帶來微小增益甚至損害穩(wěn)定性。因此默認采用可學習 1D 絕對變體。4.4 可視化層間 anchor 注意力圖 6 展示了地毯carpet上的層間 anchor 注意力。同一層內(nèi)各 anchor 一致關注幾乎相同的空間區(qū)域表明穩(wěn)定連貫的局部證據(jù)?？鐚涌搓P注點以結(jié)構(gòu)化方式轉(zhuǎn)移中層如層 12強調(diào)細粒度缺陷邊界和細微紋理擾動深層如層 24則突出更廣泛的正常區(qū)域。該遞進反映了凍結(jié) ViT 編碼器的層次特性中層 anchor 捕獲細節(jié)不規(guī)則性高層 anchor 編碼整體正常模式產(chǎn)生互補線索增強異常定位。特征表示演變圖 5 繪制了三種配置下的 PCA 分布。原始 CLIP 特征中正常與異常樣本大量重疊PC1 僅占 8.8%表明可分離性差。引入可學習正常和異常 token 后 PC1 略升至 9.0%指示判別方向初步出現(xiàn)。應用 SAF 后 PC1 升至 89.1%方差集中于單一主軸清晰分離兩個類別。異常聚類也更緊湊并遠離正常聚類。表明 token 提供初始判別結(jié)構(gòu)而 SAF 增強類內(nèi)緊湊性并擴大類間間隔。