【算法競賽】如何從Kaggle下載數據 - Jupyter Notebook

01、安裝Kaggle API

將下面語句在Jupyter notebook或者Terminal中運行;
在Terminal中運行時需要根據平臺進行調整;(depending on your platform you may need to modify this slightly to either add source activate fastai or similar, or prefix pip with a path. Have a look at how conda install is called for your platform in the appropriate Returning to work section of https://course.fast.ai/. (Depending on your environment, you may also need to append “–user” to the command.)

! {sys.executable} -m pip install kaggle --upgrade

02、下載Kaggle的授權

登錄你的Kaggle賬戶,點擊My Account,下拉找到Create New API Token,點擊下載kaggle.json文件

03、上傳Kaggle.json文件

點擊upload上傳Kaggle.json文件至當前Jupyter notebook所在的地方,並運行下面兩行命令;(如果是Windows,則運行後兩行)

! mkdir -p ~/.kaggle/
! mv kaggle.json ~/.kaggle/

# For Windows, uncomment these two commands
# ! mkdir %userprofile%\.kaggle
# ! move kaggle.json %userprofile%\.kaggle

04、接受競賽規則

在Kaggle中,進入你要下載數據的比賽,點擊接受競賽規則;(否則下載不成功)
在這裏插入圖片描述

05、創建保存數據的路徑 並 下載

path = Config.data_path()/'planet'
path.mkdir(parents=True, exist_ok=True)
path

本命令以planet competition爲例

! kaggle competitions download -c planet-understanding-the-amazon-from-space -f train-jpg.tar.7z -p {path}  
! kaggle competitions download -c planet-understanding-the-amazon-from-space -f train_v2.csv -p {path}  
! unzip -q -n {path}/train_v2.csv.zip -d {path}

命令結合具體比賽進行修改;其中 “kaggle competitions download -c planet-understanding-the-amazon-from-space“可以在對應競賽頁面data的API中找到,具體文件也有列表;
在這裏插入圖片描述

06. 解壓文件

! 7za -bd -y -so x {path}/train-jpg.tar.7z | tar xf - -C {path.as_posix()}

如果沒有安裝對應的解壓程序,記得先安裝,此數據是7zip壓縮的

! install --yes --prefix {sys.prefix} -c haasad eidl7zip

**

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章