目標(biāo)檢測(cè)精度上限與影響因素分析一、概述二、目標(biāo)框周圍上下文對(duì)圖像分類精度的影響2.1實(shí)驗(yàn)設(shè)置2.2實(shí)驗(yàn)結(jié)果三、目標(biāo)檢測(cè)錯(cuò)誤類型分析3.1四種檢測(cè)錯(cuò)誤3.2每種錯(cuò)誤對(duì)檢測(cè)精度的影響程度分析四、目標(biāo)檢測(cè)精度上限分析4.1分析前提4.2分析上限的兩種策略4.3兩種策略結(jié)果對(duì)比4.3.1第一種策略得出的上限4.3.2第二種策略得出的上限4.4VOC數(shù)據(jù)集上限4.5FASHION數(shù)據(jù)集上限4.6COCO數(shù)據(jù)集上限五、上下文對(duì)目標(biāo)識(shí)別精度的影響5.1替換或刪除背景的影響5.2將目標(biāo)框置于異常背景的影響5.3裁剪、模糊、翻轉(zhuǎn)的影響一、概述本文主要對(duì)一篇2019年分析目標(biāo)檢測(cè)精度上限的論文進(jìn)行介紹論文題目為《Empirical Upper Bound in Object Detection and More》論文地址https://arxiv.org/abs/1911.12451該論文既不是綜述類文章也不是提出了一種能夠達(dá)到更高精度的新的算法而是進(jìn)行了大量實(shí)驗(yàn)通過(guò)實(shí)驗(yàn)數(shù)據(jù)的分析比對(duì)對(duì)影響目標(biāo)檢測(cè)精度的因素進(jìn)行了分析同時(shí)對(duì)深度學(xué)習(xí)算法所能夠達(dá)到的精度上限進(jìn)行了預(yù)測(cè)。論文預(yù)測(cè)在COCO的val2017數(shù)據(jù)集上mAP值上限為78.2%VOC (test2007)數(shù)據(jù)集上mAP值上限為91.6%。論文提出影響目標(biāo)檢測(cè)精度的最大原因是分類錯(cuò)誤而不是定位偏差過(guò)大。二、目標(biāo)框周圍上下文對(duì)圖像分類精度的影響2.1實(shí)驗(yàn)設(shè)置論文首先研究了圖像分類任務(wù)而不是目標(biāo)檢測(cè)任務(wù)探討目標(biāo)框周圍的上下文信息對(duì)分類精度的影響。使用ResNet152作為分類模型輸入模型的圖片數(shù)據(jù)集分為三種分別進(jìn)行訓(xùn)練原始目標(biāo)框原始目標(biāo)框加上周圍上下文擴(kuò)大目標(biāo)框的寬高只有周圍上下文將目標(biāo)框刪除如下圖所示目標(biāo)框統(tǒng)一大小為224×224模型訓(xùn)練15輪。2.2實(shí)驗(yàn)結(jié)果在原始目標(biāo)框上進(jìn)行分類測(cè)試top1精度如下圖所示從實(shí)驗(yàn)結(jié)果可看出原始目標(biāo)檢測(cè)框包含了分類所需的最多信息目標(biāo)框縮小會(huì)損失一部分信息導(dǎo)致分類精度下降目標(biāo)框擴(kuò)大將會(huì)帶來(lái)一些無(wú)關(guān)信息也會(huì)降低分類精度。三、目標(biāo)檢測(cè)錯(cuò)誤類型分析3.1四種檢測(cè)錯(cuò)誤論文中將目標(biāo)檢測(cè)錯(cuò)誤的情況分為了4種分別為分類錯(cuò)誤將背景當(dāng)成了目標(biāo)這種情況下檢測(cè)框與真實(shí)框之間的IoU小于0.1定位不準(zhǔn)確這種情況下檢測(cè)框與真實(shí)框之間的IoU大于0.1且小于0.5重復(fù)檢測(cè)就是說(shuō)如果一個(gè)檢測(cè)框與真實(shí)框的IoU大于0.5但是這個(gè)真實(shí)框已經(jīng)被分配那么就是重復(fù)檢測(cè)丟失目標(biāo)就是真實(shí)框與任何檢測(cè)框的IoU都小于0.1真實(shí)框沒(méi)有被檢測(cè)到。如下圖所示3.2每種錯(cuò)誤對(duì)檢測(cè)精度的影響程度分析每種錯(cuò)誤對(duì)檢測(cè)精度的影響程度如下圖所示上圖分別在三種數(shù)據(jù)集上使用三種模型進(jìn)行了實(shí)驗(yàn)結(jié)果表明分類錯(cuò)誤對(duì)檢測(cè)精度也就是mAP值的影響最重要。第二重要的是目標(biāo)丟失其實(shí)也屬于分類錯(cuò)誤。剩下的第三第四影響很小分別是定位不準(zhǔn)和重復(fù)檢測(cè)。四、目標(biāo)檢測(cè)精度上限分析4.1分析前提首先從前一節(jié)的實(shí)驗(yàn)得出結(jié)論降低目標(biāo)檢測(cè)精度的最重要因素是分類錯(cuò)誤而定位不準(zhǔn)的問(wèn)題影響很小因此論文中在研究目標(biāo)檢測(cè)上限時(shí)假設(shè)定位問(wèn)題已經(jīng)解決即檢測(cè)到的目標(biāo)框與真實(shí)框完全重合接下來(lái)要考慮的問(wèn)題就是如何提高目標(biāo)框的分類準(zhǔn)確率從而得出AP值的上限。4.2分析上限的兩種策略第一種策略利用目標(biāo)框周圍上下文信息來(lái)提高分類準(zhǔn)確率從而分析出AP值上限。簡(jiǎn)而言之使用目標(biāo)框訓(xùn)練出一個(gè)最佳分類器使用最佳分類器對(duì)目標(biāo)框進(jìn)行判斷得出置信度分?jǐn)?shù)然后根據(jù)這個(gè)置信度分?jǐn)?shù)計(jì)算AP值。第二節(jié)進(jìn)行的目標(biāo)框上下文信息對(duì)分類精度的影響實(shí)驗(yàn)就是用在第一種策略中通過(guò)該實(shí)驗(yàn)得出最佳分類器。第二種策略在目標(biāo)框周圍搜索其他的檢測(cè)框這些檢測(cè)框要求與目標(biāo)框的IoU不低于設(shè)定的閾值對(duì)這些檢測(cè)框進(jìn)行分類將置信度分?jǐn)?shù)最高的作為目標(biāo)框的分類結(jié)果或者對(duì)這些檢測(cè)框的分類結(jié)果進(jìn)行投票票數(shù)最高的類別作為目標(biāo)框的分類結(jié)果。4.3兩種策略結(jié)果對(duì)比4.3.1第一種策略得出的上限第一種策略得出的不同數(shù)據(jù)集下的AP值上限如下圖所示IoU閾值不同下的檢測(cè)上限AP值不變這是因?yàn)榉治錾舷薜那疤峋褪嵌ㄎ粏?wèn)題得到解決檢測(cè)框完全與真實(shí)框重合。4.3.2第二種策略得出的上限第二種策略得出的不同數(shù)據(jù)集下的AP值上限如下圖所示從圖中可看出第二種策略得出的AP上限值在大多數(shù)情況下比第一種策略得出的AP上限值要低。論文分析這是因?yàn)榈诙N策略引入了目標(biāo)框周圍的信息而這些信息包含了一些噪聲會(huì)導(dǎo)致分類精度降低。因此論文使用第一種策略來(lái)探討目標(biāo)檢測(cè)AP值上限。4.4VOC數(shù)據(jù)集上限VOC數(shù)據(jù)集上限如下圖所示上圖展示了兩種計(jì)算AP值的評(píng)估代碼左圖是VOC評(píng)估代碼右圖是COCO評(píng)估代碼論文結(jié)論中是使用的COCO評(píng)估代碼得出的mAP上限為91.6%。4.5FASHION數(shù)據(jù)集上限FASHION數(shù)據(jù)集上限如下圖所示mAP上限為71.2%。4.6COCO數(shù)據(jù)集上限COCO數(shù)據(jù)集上限如下圖所示mAP上限為78.2%。五、上下文對(duì)目標(biāo)識(shí)別精度的影響這一節(jié)屬于論文中的額外章節(jié)部分并不是在分析目標(biāo)檢測(cè)精度上限而是分析目標(biāo)框周圍上下文對(duì)目標(biāo)檢測(cè)AP值的影響。5.1替換或刪除背景的影響通過(guò)將目標(biāo)框外背景替換為白色或噪聲或者將背景直接刪除只留下目標(biāo)框?qū)Ρ華P值如下圖所示實(shí)驗(yàn)結(jié)果表明周圍背景信息對(duì)小目標(biāo)的檢測(cè)AP值的影響非常明顯而將周圍背景信息替換或刪除后大目標(biāo)的AP值反而有所上升。5.2將目標(biāo)框置于異常背景的影響將目標(biāo)框置于異常背景指的是例如將一艘船置于街道上結(jié)果如下圖所示5.3裁剪、模糊、翻轉(zhuǎn)的影響