深度學習數據集處理系列
本文介紹一些常用的深度學習關於圖像處理方面的常用公開數據集的下載鏈接,以及數據集的簡單介紹。
MNIST數據集
- MNIST數據集MNIST是一個入門級的計算機視覺數據集,它包含各種手寫數字圖片:
- 相當於深度學習入門的“Hello World!”。下載下來的數據集被分成兩部分:60000行的訓練數據集(mnist.train)和10000行的測試數據集(mnist.test)。非常適合初學者入門深度學習,在tensorflow中文文檔中有MNIST的教程!
CIFAR10數據集
- CIFAR10數據集適用於對Tensorflow有豐富經驗的用戶,並假定用戶有機器學習相關領域的專業知識和經驗。也就是說你對深度學習有了相當的基礎後,來學習CIFAR10利用卷積神經網絡的相關的訓練的步驟,就不會感覺那麼的困難了。
- CIFAR10數據集着重於建立一個規範的網絡組織結構,訓練並進行評估,爲建立更大規模更加複雜的模型提供一個範例。選擇CIFAR-10是因爲它的複雜程度足以用來檢驗TensorFlow中的大部分功能,並可將其擴展爲更大的模型。與此同時由於模型較小所以訓練速度很快,比較適合用來測試新的想法,檢驗新的技術。具體教程可以參考Tensorflow中文文檔。
ImageNet數據集
- ImageNet數據集ImageNet是一個按照WordNet層次結構(目前只有名詞)組織的圖像數據庫,其中層次結構的每個節點都由成百上千個圖像來描述。目前,平均每個節點有500多個圖像。希望Imagenet將成爲研究人員、教育工作者、學生和所有分享我們對圖片的熱情的人的有用資源。
- 目前VGG、ALEXNET、MobileNet、ResNet等系列的網絡都會選擇利用ImageNet的數據集進行網絡的性能測試,在它們的Paper上一般會比較在ISLVRC(ImageNet子集)上1000分類的性能如何·,ImageNet數據集較大,大約150G。
Pascal voc2007數據集
- 作爲標準數據集,Pascal voc2007 是衡量圖像分類識別能力的基準。vgg、faster-rcnn、yolo -v1、 yolo-v2、SSD都以此數據集爲最爲演示樣例。VOC數據集共包含:訓練集(5011幅),測試集(4952幅),共計9963幅圖,共包含20個種類。
fashion-mnist數據集
- fashion-MNIST包含60,000個訓練圖像和10,000個測試圖像。它是一個類似MNIST的時尚產品數據庫。開發人員認爲MNIST已被過度使用,因此他們將其作爲該數據集的直接替代品。每張圖片都以灰度顯示,並與10個類別的標籤相關聯。
- 包括10類,總共70000張圖片。
OpenImages 數據集
- Open Images Dataset是一個包含超過900萬個鏈接圖像的數據集。其中包含9,011,219張圖像的訓練集,41,260張圖像的驗證集以及125,436張圖像的測試集。它的圖像種類跨越數千個類別,且有圖像層級的標註框進行註釋。
- 大小爲500G,9,011,219張超過5k標籤的圖像。
MS-COCO數據集
- 該數據集主要有的特點如下:(1)Object segmentation(2)Recognition in Context(3)Multiple objects per image(4)More than 300,000 images(5)More than 2 Million instances(6)80 object categories(7)5 captions per image(8)Keypoints on 100,000 people。
- 數據集以scene understanding爲目標,主要從複雜的日常場景中截取,圖像中的目標通過精確的segmentation進行位置的標定。圖像包括91類目標,328,000影像和2,500,000個label。
- 主要解決3個問題:目標檢測,目標之間的上下文關係,目標的2維上的精確定位。