介紹目標(biāo)檢測(cè)支持許多視覺任務(wù),如實(shí)例分割、姿態(tài)估計(jì)、跟蹤和動(dòng)作識(shí)別,這些計(jì)算機(jī)視覺任務(wù)在監(jiān)控、自動(dòng)駕駛和視覺答疑等領(lǐng)域有著廣泛的應(yīng)用。隨著這種廣泛的實(shí)際應(yīng)用,目標(biāo)檢測(cè)自然成為一個(gè)活躍的研究領(lǐng)域。我們?cè)贔ynd的研究團(tuán)隊(duì)一直在訓(xùn)練一個(gè)行人檢測(cè)模型來支持我們的目標(biāo)跟蹤模型。在本文中,我們將介紹如何選擇一個(gè)模型架構(gòu),創(chuàng)建一個(gè)數(shù)據(jù)集,并為我們的特定用例進(jìn)行行人檢測(cè)模型的訓(xùn)練。什么是目標(biāo)檢測(cè)目標(biāo)檢測(cè)是一種計(jì)算機(jī)視覺技術(shù),它允許我們識(shí)別和定位圖像或視頻中的物體。目標(biāo)檢測(cè)可以理解為兩部分,目標(biāo)定位和目標(biāo)分類。定位可以理解為預(yù)測(cè)對(duì)象在圖像中的確切位置(邊界框),而分類則是定義它屬于哪個(gè)類(人/車/狗等)。

目標(biāo)檢測(cè)方法解決目標(biāo)檢測(cè)的方法有很多種,可以分為三類。級(jí)聯(lián)檢測(cè)器:該模型有兩種網(wǎng)絡(luò)類型,一種是RPN網(wǎng)絡(luò),另一種是檢測(cè)網(wǎng)絡(luò)。一些典型的例子是RCNN系列。帶錨框的單級(jí)檢測(cè)器:這類的檢測(cè)器沒有單獨(dú)的RPN網(wǎng)絡(luò),而是依賴于預(yù)定義的錨框。YOLO系列就是這種檢測(cè)器。無錨框的單級(jí)檢測(cè)器:這是一種解決目標(biāo)檢測(cè)問題的新方法,這種網(wǎng)絡(luò)是端到端可微的,不依賴于感興趣區(qū)域(ROI),塑造了新研究的思路。要了解更多,可以閱讀CornerNet或CenterNet論文。什么是COCO數(shù)據(jù)集為了比較這些模型,廣泛使用了一個(gè)稱為COCO(commonobjectsincontext)的公共數(shù)據(jù)集,這是一個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集,有80個(gè)類和150多萬個(gè)對(duì)象實(shí)例,因此該數(shù)據(jù)集是初始模型選擇的一個(gè)非常好的基準(zhǔn)。如何評(píng)估性能評(píng)估性能我們需要評(píng)價(jià)目標(biāo)檢測(cè)任務(wù)的各種指標(biāo),包括:PASCAL VOC挑戰(zhàn)(Everingham等人。2010年)COCO目標(biāo)檢測(cè)挑戰(zhàn)(Lin等人。2014年)開放圖像挑戰(zhàn)賽(Kuznetsova 2018)。要理解這些指標(biāo),你需要先去理解一些基本概念,如精確度、召回率和IOU。以下是公式的簡(jiǎn)要定義。平均精度

AP可定義為插值精度召回曲線下的面積,可使用以下公式計(jì)算:

mAPAP的計(jì)算只涉及一個(gè)類,然而,在目標(biāo)檢測(cè)中,通常存在K>1類。平均精度(Mean average precision,mAP)定義為所有K類中AP的平均值:

TIDETIDE是一個(gè)易于使用的通用工具箱,用于計(jì)算和評(píng)估對(duì)象檢測(cè)和實(shí)例分割對(duì)整體性能的影響。TIDE有助于更詳細(xì)地了解模型錯(cuò)誤,僅使用mAP值是不可能找出哪個(gè)錯(cuò)誤段導(dǎo)致的。TIDE可以繪制簡(jiǎn)單的圖表,使分析變得輕松。https://youtu．be/McYFYU3PXcU實(shí)際問題陳述我們的任務(wù)是檢測(cè)零售店閉路電視視頻源中的人體邊界框,這是跟蹤模型的一個(gè)基礎(chǔ)模型,且其檢測(cè)所產(chǎn)生的所有誤差都會(huì)傳遞到跟蹤模型中。以下是在這類視頻中檢測(cè)的一些主要挑戰(zhàn)。挑戰(zhàn)視角:CCTV是頂裝式的,與普通照片的前視圖不同,它有一個(gè)角度人群:商店/商店有時(shí)會(huì)有非常擁擠的場(chǎng)景背景雜亂:零售店有更多的分散注意力或雜亂的東西(對(duì)于我們的模特來說),比如衣服、架子、人體模型等等,這些都會(huì)導(dǎo)致誤報(bào)。照明條件:店內(nèi)照明條件與室外攝影不同圖像質(zhì)量:來自CCTVs的視頻幀有時(shí)會(huì)非常差,并且可能會(huì)出現(xiàn)運(yùn)動(dòng)模糊測(cè)試集創(chuàng)建我們創(chuàng)建了一個(gè)驗(yàn)證集,其中包含來自零售閉路電視視頻的視頻幀。我們使用行人邊界框?qū)�框架進(jìn)行注釋,并使用mAP@0．50 iou閾值在整個(gè)訓(xùn)練迭代中測(cè)試模型。第一個(gè)人體檢測(cè)模型我們的第一個(gè)模型是一個(gè)COCO預(yù)訓(xùn)練的模型,它將“person”作為其中的一個(gè)類。我們?cè)诿糠N方法中列出了2個(gè)模型,并基于COCO-mAP-val和推理時(shí)間對(duì)它們進(jìn)行了評(píng)估。

我們選擇YOLOv5是因?yàn)樗�的單�?jí)特性(快速推理)和在COCO mAP val上的良好性能,它還有YOLOv5m和YOLOv5s等更快的版本。YOLOv5YOLO系列屬于單階段目標(biāo)探測(cè)器,與RCNN不同,它沒有單獨(dú)的區(qū)域建議網(wǎng)絡(luò)(RPN),并且依賴于不同尺度的錨框。架構(gòu)可分為三個(gè)部分:骨架、頸部和頭部。利用CSP(Cross-Stage Partial Networks)作為主干,從輸入圖像中提取特征。PANet被用作收集特征金字塔的主干,頭部是最終的檢測(cè)層,它使用特征上的錨框來檢測(cè)對(duì)象。YOLO架構(gòu)使用的激活函數(shù)是Google Brains在2017年提出的Swish的變體,它看起來與ReLU非常相同,但與ReLU不同,它在x=0附近是平滑的。

損失函數(shù)是具有Logits損失的二元交叉熵性能0．48 mAP@0．50 IOU(在我們的測(cè)試集上)分析這個(gè)現(xiàn)成的模型不能很好地執(zhí)行,因?yàn)槟Ｐ褪窃贑OCO數(shù)據(jù)集上訓(xùn)練的,而COCO數(shù)據(jù)集包含一些不必要的類,包含人體實(shí)例的圖像數(shù)量較少,人群密度也較小。此外,包含人體實(shí)例的圖像分布與閉路電視視頻幀中的圖像分布有很大不同。結(jié)論我們需要更多的數(shù)據(jù)來訓(xùn)練包含更多擁擠場(chǎng)景和攝像機(jī)視角介于45?-60?(類似于CCTV)的模型。收集公共數(shù)據(jù)我們的下一步是收集包含行人/行人邊界框的公共可用數(shù)據(jù)集。有很多數(shù)據(jù)集可用于人體檢測(cè),但我們需要一些關(guān)于數(shù)據(jù)集的附加信息,如視角、圖像質(zhì)量、人體密度和背景等,以獲取數(shù)據(jù)集的分布信息。我們可以看到,滿足我們確切需求的數(shù)據(jù)集并不多,但我們?nèi)匀豢梢允褂眠@些數(shù)據(jù)集,因?yàn)槿梭w邊界框的基本要求已經(jīng)得到滿足。在下載了所有的數(shù)據(jù)集之后,我們把它轉(zhuǎn)換成一個(gè)通用的COCO格式進(jìn)行檢測(cè)。第二個(gè)人體檢測(cè)模型我們用收集到的所有公共數(shù)據(jù)集訓(xùn)練模型。