如何在google colab加載kaggle數據

參考https://medium.com/@yvettewu.dw/tutorial-kaggle-api-google-colaboratory-1a054a382de0

從本地上傳到colab上十分慢,可以在colab下直接配置kaggle API方便下載。

  1. 首先要有kaggle賬號,然後在My Account下找到Create New API Token。這個會下載一個json文件到本地機器上,打開json文件的形式應該如下所示:

    {“username”:”YOUR-USER-NAME”,”key”:”SOMETHING-VERY-LONG”}
  2. 接着在colab中創建一個文件,當前文件路徑爲/content,運行!pip install kaggle。這個文件上直接可以運行的是python語法,要運行命令行只需在命令前加上!,比如!ls, !pwd
  3. 然後依次運行下面命令,最好一個cell一條命令跑:

    第一個cell運行:!mkdir .kaggle
    第二個cell運行:
    import json
    token = {“username”:”YOUR-USER-NAME”,”key”:”SOMETHING-VERY-LONG”}
    with open(‘/content/.kaggle/kaggle.json’, ‘w’) as file:
        json.dump(token, file)
    第三個cell運行:
    !chmod 600 /content/.kaggle/kaggle.json
    第四個cell運行:
    !cp /content/.kaggle/kaggle.json ~/.kaggle/kaggle.json
    第五個cell運行:
    !kaggle config set -n path -v{/content}
  4. 下載數據演示:我想下載dogs-vs-cats這個數據集。 需要複製Download All旁邊的API.然後在cell中運行命令kaggle competitions download -c dogs-vs-cats -p /content。最後的-p /content是指定文件的存儲路徑。值得一提的是,colab上的下載速度真的快。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章