如何下載kaggle上的數據集
下載kaggle數據集一共有兩種方法,一種是直接下載,一種是用kaggle提供的API進行下載
1 直接下載
這裏以10 monkey數據集介紹:
1、10 monkey數據集在kaggle的地址
https://www.kaggle.com/slothkong/10-monkey-species
2、直接下載
這種直接點擊下載即可
2 通過kaggle提供的API下載數據集
有些數據集是沒有提供這種 直接下載的button,例如下面要下載的Cifar10數據集,值提供下載的API地址。
2.1 Cifar10 數據集地址
https://www.kaggle.com/c/cifar-10/data
2.2 kaggle如何通過kaggle提供的API下載數據集
1、安裝kaggle
pip installl kaggle
2、下載kaggle.json文件
點擊My account
,進去之後,點擊Create New API Token
就可以下載kaggle.json
文件了
3、把下載的kaggle.json
文件放到用戶目錄下
根據上面的提示Ensure kaggle.json is in the location ~/.kaggle/kaggle.json to use the API.
,下載的kaggle.json文件要放到用戶目錄下的隱藏文件.kaggle
文件夾下,我在安裝完kaggle之後是沒有看到這個文件夾,如果沒有就手動創建一下即可。
4、用kaggle下載Cifar-10 數據集
然後直接在命令行下輸入下面命令即可下載數據集
kaggle competitions download -c cifar-10
3 錯誤 : 404 - Not Found
我在下載cifar-10數據集的時候,出現了404 - Not Found
錯誤,但是我用上面的10 monkey
測試下載是正常的
kaggle datasets download -d slothkong/10-monkey-species
解決方法:
這個問題是由於kaggle的版本導致的,應該是一個bug,我默認下載的最新kaggle版本是
1.5.6
,把版本降低即可,我將版本降爲1.5.3
,解決了這個問題
pip install -U kaggle==1.5.3