行人檢測資源

(轉載,未找到原出處,如侵刪或提醒增加出處,謝謝!)

行人檢測資源(上)綜述文獻 http://www.cvrobot.net/pedestrian-detection-resource-1-summary-review-survey/

行人檢測資源(下)代碼數據 http://www.cvrobot.net/pedestrian-detection-resource-2-code-and-dataset/


        行人檢測具有極其廣泛的應用:智能輔助駕駛,智能監控,行人分析以及智能機器人等領域。從2005年以來行人檢測進入了一個快速的發展階段,但是也存在很多問題還有待解決,主要還是在性能和速度方面還不能達到一個權衡。近年,以谷歌爲首的自動駕駛技術的研發正如火如荼的進行,這也迫切需要能對行人進行快速有效的檢測,以保證自動駕駛期間對行人的安全不會產生威脅。

1   行人檢測的現狀

        大概可以分爲兩類

1.1    基於背景建模

        利用背景建模方法,提取出前景運動的目標,在目標區域內進行特徵提取,然後利用分類器進行分類,判斷是否包含行人;背景建模目前主要存在的問題:

        1)必須適應環境的變化(比如光照的變化造成圖像色度的變化);

        2)相機抖動引起畫面的抖動(比如手持相機拍照時候的移動);

        3)圖像中密集出現的物體(比如樹葉或樹幹等密集出現的物體,要正確的檢測出來);

        4)必須能夠正確的檢測出背景物體的改變(比如新停下的車必須及時的歸爲背景物體,而有靜止開始移動的物體也需要及時的檢測出來)。

        5)物體檢測中往往會出現Ghost區域,Ghost區域也就是指當一個原本靜止的物體開始運動,背靜差檢測算法可能會將原來該物體所覆蓋的區域錯誤的檢測爲運動的,這塊區域就成爲Ghost,當然原來運動的物體變爲靜止的也會引入Ghost區域,Ghost區域在檢測中必須被儘快的消除。

1.2    基於統計學習的方法

        這也是目前行人檢測最常用的方法,根據大量的樣本構建行人檢測分類器。提取的特徵主要有目標的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經網絡、SVM、adaboost以及現在被計算機視覺視爲寵兒的深度學習。

        統計學習目前存在的難點:

        1)行人的姿態、服飾各不相同、複雜的背景、不同的行人尺度以及不同的光照環境。

        2)提取的特徵在特徵空間中的分佈不夠緊湊;

        3)分類器的性能受訓練樣本的影響較大;

        4)離線訓練時的負樣本無法涵蓋所有真實應用場景的情況;

         目前的行人檢測基本上都是基於法國研究人員Dalal在2005的CVPR發表的HOG+SVM的行人檢測算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。HOG+SVM作爲經典算法也集成到opencv裏面去了,可以直接調用實現行人檢測

        爲了解決速度問題可以採用背景差分法的統計學習行人檢測,前提是背景建模的方法足夠有效(即效果好速度快),目前獲得比較好的檢測效果的方法通常採用多特徵融合的方法以及級聯分類器。(常用的特徵有Harry-like、Hog特徵、LBP特徵、Edgelet特徵、CSS特徵、COV特徵、積分通道特徵以及CENTRIST特徵)。

2    綜述類的文章

2.1    行人檢測十年回顧

        Ten Years of Pedestrian Detection, What Have We Learned?

        一篇2014年ECCV的文章,是對pedestrian detectiond過去十年發展的回顧,從dataset,main approaches的角度分析了近10年的40多篇論文提出的方法,並對提高feature複雜度的影響進行了評估

        下載:http://rodrigob.github.io/documents/2014_eccvw_ten_years_of_pedestrian_detection_with_supplementary_material.pdf

        學習筆記:http://blog.csdn.net/mduke/article/details/46582443

2.2    P.Dollar  PAMI 2012上的綜述

        P.Dollar, C. Wojek,B. Schiele, et al. Pedestrian detection: an evaluation of the state of the art [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743-761.

        2012年PAMI上發表的一篇關於行人檢測的綜述性文章,PDF格式,共20頁,對常見的16種行人檢測算法進行了簡單描述,並在6個公開測試庫上進行測試,給出了各種方法的優缺點及適用情況。另外,指出了未來行人檢測的發展方向和趨勢。

        下載:http://vision.ucsd.edu/~pdollar/files/papers/DollarPAMI12peds.pdf

2.3    CVPR2010 HOF和CSS

        https://www.d2.mpi-inf.mpg.de/CVPR10Pedestrians

        New Features and Insights for Pedestrian Detection

        文中使用改進的HOG,即HOF和CSS(color self similarity)特徵,使用HIK SVM分類器。 本文的作者是德國人:Stefen Walk。目前Stefan Walk在蘇黎世聯邦理工大學任教。

2.4    Integral Channel Features

        加州理工學院2009年行人檢測的文章:Integral Channel Features(積分通道特徵)

        這篇文章與2012年PAMI綜述文章是同一作者。作者:Piotr Dollar

        Paper下載:http://pages.ucsd.edu/~ztu/publication/dollarBMVC09ChnFtrs_0.pdf

        中文筆記:http://blog.csdn.net/carson2005/article/details/8455837

2.5    The Fastest Pedestrian Detector in the West

        Dollar 在 2010 年 BMVC 的 《The fastest pedestrian detector in the west》 一文中提出了一種新的思想,這種思想只需要訓練一個標準 model,檢測 N/K(K ≈10) 然後其餘的 N-N/K 種大小的圖片的特徵不需要再進行這種複雜的計算,而是跟據這 N/K 次的結果, 由另外一種簡單的算法給估計出來,這種思想實現的 基礎是大小相近的圖像的特徵可以被足夠精確的估計出來

        下載:http://vision.ucsd.edu/sites/default/files/FPDW_0.pdf

2.6    DPM算法做目標檢測

        CVPR2008:A Discriminatively Trained, Multiscale, Deformable Part Model

        PAMI2010:Object Detection with Discriminatively Trained Part Based Models

        CVPR2010:Cascade Object Detection with Deformable Part Models

        以上三篇文章,都是作者研究DPM算法做目標檢測的文章,有源代碼可以下載。

        作者的個人主頁:http://cs.brown.edu/~pff/papers/

2.7    利用DPM模型,檢測粘連

        Detection and Tracking of Occluded People

        IJCV2014年的文章,利用DPM模型,檢測粘連情況很嚴重的行人,效果很好。

        下載:http://www.bmva.org/bmvc/2012/BMVC/paper009/

2.8    UDN算法

        ICCV2013:

        1)Joint Deep Learning for Pedestrian Detection

        2)Multi-Stage Contextual Deep Learning for Pedestrian Detection

        簡 稱UDN算法,從文中描述的檢測效果來看,該方法是所有方法中最好的,並且,效果遠超過其他方法。經過對論文和該算法源碼的研究,該算法是與作者另外一篇 論文的方法 ,另外的論文算法做圖片掃描,得到矩形框,然後用該方法對矩形框進行進一步確認,以及降低誤警率和漏警率。另外的論文是:Multi-Stage Contextual Deep Learning for Pedestrian Detection。

        這篇文章是用深度學習的CNN做candidate window的確認。而主要的行人檢測的算法還是HOG+CSS+adaboost。

        香港中文大學,Joint Deep Learning for Pedestrian Detection,行人檢測論文的相關資源:http://www.ee.cuhk.edu.hk/~wlouyang/projects/ouyangWiccv13Joint/index.html

2.9    Monocular pedestrian detection

         Enzweiler, and D.Gavrila. Monocular pedestrian detection: survey and experiments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009,  31(12): 2179-2195.

        下載:http://www.gavrila.net/pami09.pdf

2.10       Survey of pedestrian detection for advanced driver assistance systems

        Geronimo, A. M.Lopez and A. D. Sappa, et al. Survey of pedestrian detection for advanced driver assistance systems [J].  IEEE Transactionson Pattern Analysis and Machine Intelligence,  2010, 32(7): 1239-1258.

         百度文庫下載:http://wenku.baidu.com/link?url=xLDWZTdLXT1_fiZoUzNFiyQtZTwnyL-lZHhTSI0B87vkIE6UEDrKz6iz8zpKmmPvZq7ktlX6WRxyVxcjk8B-ymgl53QBfzBEKgYPZmsi1l_

2.11       Vision-based Pedestrian Protection Systems for Intelligent Vehicles

        Geronimo, and A. M.Lopez. Vision-based Pedestrian Protection Systems for Intelligent Vehicles, BOOK, 2014.

        下載:http://bookzz.org/book/2167094/e21639

2.12       行人檢測技術綜述

        蘇鬆志, 李紹滋, 陳淑媛等. 行人檢測技術綜述[J]. 電子學報, 2012, 40(4): 814-820.

        下載:行人檢測技術綜述

2.13       車輛輔助駕駛系統中基於計算機視覺的行人檢測研究綜述

        賈慧星, 章毓晉.車輛輔助駕駛系統中基於計算機視覺的行人檢測研究綜述[J], 自動化學報, 2007, 33(1): 84-90.

        下載:車輛輔助駕駛系統中基於計算機視覺的行人檢測研究綜述

2.14       行人檢測系統研究新進展及關鍵技術展望

        許言午, 曹先彬,喬紅. 行人檢測系統研究新進展及關鍵技術展望[J], 電子學報, 2008, 36(5): 368-376.

        下載:行人檢測系統研究新進展及關鍵技術展望

2.15       基於視覺的人的運動識別綜述

         杜友田; 陳峯;徐文立; 李永彬;基於視覺的人的運動識別綜述, 電子學報,  2007. 35(1): 84-90.

        下載:基於視覺的人的運動識別綜述

2.16       基於機器學習的行人檢測關鍵技術研究

        朱文佳. 基於機器學習的行人檢測關鍵技術研究[D]. 第一章, 碩士學位論文, 上海交通大學. 2008. 指導教師: 戚飛虎.



        這是行人檢測相關資源的第二部分:源碼和數據集。考慮到實際應用的實時性要求,源碼主要是C/C++的。源碼和數據集的網址,經過測試都可訪問,並註明了這些網址最後更新的日期,供學習和研究進行參考。(歡迎補充更多的資源)

1        Source Code

1.1    INRIA Object Detection and Localization Toolkit

http://pascal.inrialpes.fr/soft/olt/

Dalal於2005年提出了基於HOG特徵的行人檢測方法,行人檢測領域中的經典文章之一。HOG特徵目前也被用在其他的目標檢測與識別、圖像檢索和跟蹤等領域中。

更新:2008

1.2    Real-time Pedestrian Detection.

http://cs.nju.edu.cn/wujx/projects/C4/C4.htm

Jianxin Wu實現的快速行人檢測方法。

Real-Time Human Detection Using Contour Cues:

http://c2inet.sce.ntu.edu.sg/Jianxin/paper/ICRA_final.pdf

更新:2012

1.3    霍夫變換實現的多目標檢測

http://graphics.cs.msu.ru/en/science/research/machinelearning/hough

Olga Barinova, CVPR 2010 Paper: On detection of multiple object instances using Hough Transforms

源碼:C++

更新:2010

1.4    HIKSVM

http://ttic.uchicago.edu/~smaji/projects/fiksvm/

Classification Using Intersection Kernel SVMs is efficient

HOG+LBP+HIKSVM, 行人檢測的經典方法.

源碼:C/C++

更新:2012

1.5    GroundHOG

http://www.mmp.rwth-aachen.de/projects/groundhog

GPU-based Object Detection with Geometric Constraints, In: ICVS, 2011.  CUDA版本的HOG+SVM,

源碼:C/C++

更新:2011

1.6    doppia code

https://bitbucket.org/rodrigob/doppia

這是一個代碼集合,包含如下:

Pedestrian detection at 100 frames per second, R. Benenson.  CVPR, 2012. 實時的

Stixels estimation without depth map computation

Fast stixels estimation for fast pedestrian detection

Seeking the strongest rigid detector

Ten years of pedestrian detection, what have we learned?

Face detection without bells and whistles

源碼:C/C++

更新:2015

1.7    Multiple camera pedestrian detection.

POM: Occupancy map estimation for people detection

http://cvlab.epfl.ch/software/pom/

Paper:Multi-Camera People Tracking with a Probabilistic Occupancy Map

源碼:?

更新:2014

1.8    Pitor Dollar Detector.

Piotr’s Computer Vision Matlab Toolbox

http://vision.ucsd.edu/~pdollar/toolbox/doc/index.html

The toolbox is divided into 7 parts, arranged by directory:

channels Robust image features, including HOG, for fast object detection.

classify Fast clustering, random ferns, RBF functions, PCA, etc.

detector Aggregate Channel Features (ACF) object detection code.

filters Routines for filtering images.

images Routines for manipulating and displaying images.

matlab General Matlab functions that should have been a part of Matlab.

videos Routines for annotating and displaying videos.

源碼:matlab

更新:2014

2        DataSets

2.1    MIT數據庫

http://cbcl.mit.edu/software-datasets/PedestrianData.html

介紹:該數據庫爲較早公開的行人數據庫,共924張行人圖片(ppm格式,寬高爲64×128),肩到腳的距離約80象素。該數據庫只含正面和背面兩個視角,無負樣本,未區分訓練集和測試集。Dalal等採用“HOG+SVM”,在該數據庫上的檢測準確率接近100%。

更新:2000

2.2    INRIA Person Dataset

http://pascal.inrialpes.fr/data/human/

介紹:該數據庫是“HOG+SVM”的作者Dalal創建的,該數據庫是目前使用最多的靜態行人檢測數據庫,提供原始圖片及相應的標註文件。訓練集有正樣本614張(包含2416個行人),負樣本1218張;測試集有正樣本288張(包含1126個行人),負樣本453張。圖片中人體大部分爲站立姿勢且高度大於100個象素,部分標註可能不正確。圖片主要來源於GRAZ-01、個人照片及google,因此圖片的清晰度較高。在XP操作系統下部分訓練或者測試圖片無法看清楚,但可用OpenCV正常讀取和顯示。

更新:2005

2.3    Daimler行人數據庫

http://www.gavrila.net/Research/Pedestrian_Detection/Daimler_Pedestrian_Benchmark_D/

該數據庫採用車載攝像機獲取,分爲檢測和分類兩個數據集。檢測數據集的訓練樣本集有正樣本大小爲18×36和48×96的圖片各15560(3915×4)張,行人的最小高度爲72個象素;負樣本6744張(大小爲640×480或360×288)。測試集爲一段27分鐘左右的視頻(分辨率爲640×480),共21790張圖片,包含56492個行人。分類數據庫有三個訓練集和兩個測試集,每個數據集有4800張行人圖片,5000張非行人圖片,大小均爲18×36,另外還有3個輔助的非行人圖片集,各1200張圖片。

更新:2009?

2.4    Caltech Pedestrian Detection

http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

該數據庫是目前規模較大的行人數據庫,採用車載攝像頭拍攝,約10個小時左右,視頻的分辨率爲640×480,30幀/秒。標註了約250,000幀(約137分鐘),350000個矩形框,2300個行人,另外還對矩形框之間的時間對應關係及其遮擋的情況進行標註。數據集分爲set00~set10,其中set00~set05爲訓練集,set06~set10爲測試集(標註信息尚未公開)。性能評估方法有以下三種:(1)用外部數據進行訓練,在set06~set10進行測試;(2)6-fold交叉驗證,選擇其中的5個做訓練,另外一個做測試,調整參數,最後給出訓練集上的性能;(3)用set00~set05訓練,set06~set10做測試。由於測試集的標註信息沒有公開,需要提交給Pitor Dollar。結果提交方法爲每30幀做一個測試,將結果保存在txt文檔中(文件的命名方式爲I00029.txt I00059.txt ……),每個txt文件中的每行表示檢測到一個行人,格式爲“[left, top,width, height, score]”。如果沒有檢測到任何行人,則txt文檔爲空。該數據庫還提供了相應的Matlab工具包,包括視頻標註信息的讀取、畫ROC(Receiver Operatingcharacteristic Curve)曲線圖和非極大值抑制等工具。

更新:2014

2.5    TUD行人數據庫

https://www.mpi-inf.mpg.de/departments/multi-cue-onboard-pedestrian-detection/

介紹:TUD行人數據庫爲評估運動信息在行人檢測中的作用,提供圖像對以便計算光流信息。訓練集的正樣本爲1092對圖像(圖片大小爲720×576,包含1776個行人);負樣本爲192對非行人圖像(手持攝像機85對,車載攝像機107對);另外還提供26對車載攝像機拍攝的圖像(包含183個行人)作爲附加訓練集。測試集有508對圖像(圖像對的時間間隔爲1秒,分辨率爲640×480),共有1326個行人。Andriluka等也構建了一個數據庫用於驗證他們提出的檢測與跟蹤相結合的行人檢測技術。該數據集的訓練集提供了行人的矩形框信息、分割掩膜及其各部位(腳、小腿、大腿、軀幹和頭部)的大小和位置信息。測試集爲250張圖片(包含311個完全可見的行人)用於測試檢測器的性能,2個視頻序列(TUD-Campus和TUD-Crossing)用於評估跟蹤器的性能。

更新:2010

2.6    NICTA行人數據庫

http://www.nicta.com.au/category/research/computer-vision/tools/automap-datasets/

該數據庫是目前規模較大的靜態圖像行人數據庫,25551張含單人的圖片,5207張高分辨率非行人圖片,數據庫中已分好訓練集和測試集,方便不同分類器的比較。Overett等用“RealBoost+Haar”評估訓練樣本的平移、旋轉和寬高比等各種因素對分類性能的影響:(1)行人高度至少要大於40個象素;(2)在低分辨率下,對於Haar特徵來說,增加樣本寬度的性能好於增加樣本高度的性能;(3)訓練圖片的大小要大於行人的實際大小,即背景信息有助於提高性能;(4)對訓練樣本進行平移提高檢測性能,旋轉對性能的提高影響不大。以上的結論對於構建行人數據庫具有很好的指導意義。

更新:2008

2.7    ETHZ行人數據庫

Robust Multi-Person Tracking from Mobile Platforms

https://data.vision.ee.ethz.ch/cvl/aess/dataset/

Ess等構建了基於雙目視覺的行人數據庫用於多人的行人檢測與跟蹤研究。該數據庫採用一對車載的AVT Marlins F033C攝像頭進行拍攝,分辨率爲640×480,幀率13-14fps,給出標定信息和行人標註信息,深度信息採用置信度傳播方法獲取。

更新:2010

2.8    CVC行人數據庫

http://www.cvc.uab.es/adas/site/?q=node/7

該數據庫目前包含三個數據集(CVC-01、CVC-02和CVC-Virtual),主要用於車輛輔助駕駛中的行人檢測研究。CVC-01[Geronimo,2007]有1000個行人樣本,6175個非行人樣本(來自於圖片中公路區域中的非行人圖片,不像有的行人數據庫非行人樣本爲天空、沙灘和樹木等自然圖像)。CVC-02包含三個子數據集(CVC-02-CG、CVC-02-Classification和CVC-02-System),分別針對行人檢測的三個不同任務:感興趣區域的產生、分類和系統性能評估。圖像的採集採用Bumblebee2立體彩色視覺系統,分辨率640×480,焦距6mm,對距離攝像頭0~50m的行人進行標註,最小的行人圖片爲12×24。CVC-02-CG主要針對候選區域的產生,有100張彩色圖像,包含深度和3D點信息;CVC-02-Classification主要針對行人分類,訓練集有1016張正樣本,7650張負樣本,測試集分爲基於切割窗口的分類(570張行人,7500張非行人)和整張圖片的檢測(250張包含行人的圖片,共587個行人);CVC-02-System主要用於系統的性能評估,包含15個視頻序列(4364幀),7983個行人。CVC-Virtual是通過Half-Life 2圖像引擎產生的虛擬行人數據集,共包含1678虛擬行人,2048個非行人圖片用於測試。

更新:2015,目前已經更新到CVC-08了。

2.9    USC行人數據庫

http://iris.usc.edu/Vision-Users/OldUsers/bowu/DatasetWebpage/dataset.html

該數據庫包含三組數據集(USC-A、USC-B和USC-C),以XML格式提供標註信息。USC-A[Wu, 2005]的圖片來自於網絡,共205張圖片,313個站立的行人,行人間不存在相互遮擋,拍攝角度爲正面或者背面;USC-B的圖片主要來自於CAVIAR視頻庫,包括各種視角的行人,行人之間有的相互遮擋,共54張圖片,271個行人;USC-C有100張圖片來自網絡的圖片,232個行人(多角度),行人之間無相互遮擋。

更新:2007

3        其他資料

1:Video:Pedestrian Detection: The State of the Art

http://research.microsoft.com/apps/video/default.aspx?id=135046&r=1

A video talk byPitor Dollar. Pitor Dollar做了很多關於行人檢測方法的研究,他們研究小組的Caltech Pedestrian Dataset也很出名。

2:Statistical and Structural Recognition of Human Actions. ECCV, 2010 Tutorial, by Ivan Laptev and Greg Mori. (注:要用爬牆軟件才能訪問到)

3: Human Action Recognition in realistic scenarios, 一份很好的碩士生畢業論文開題資料。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章