深度學習實驗環境配置記錄(ubuntu+docker+python+conda+pytorch)

ubuntu下安裝docker

參考鏈接 :菜根譚

安裝

• 由於apt官方庫裏的docker版本可能比較舊，所以先卸載可能存在的舊版本
  sudo apt-get remove docker docker-engine docker-ce docker.io

• 更新apt包索引
  sudo apt-get update

• 安裝以下包以使apt可以通過HTTPS使用存儲庫（repository）
  sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common

• 添加Docker官方的GPG密鑰：
  curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

• 使用下面的命令來設置stable存儲庫：
  sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

• 再更新一下apt包索引：
  sudo apt-get update

• 安裝最新版本的Docker CE：
  sudo apt-get install -y docker-ce

• 列出可用的版本：
  apt-cache madison docker-ce
  

• 選擇要安裝的特定版本，第二列是版本字符串，第三列是存儲庫名稱，它指示包來自哪個存儲庫，以及擴展它的穩定性級別。要安裝一個特定的版本，將版本字符串附加到包名中，並通過等號(=)分隔它們：
  sudo apt-get install docker-ce=<VERSION>

驗證

• 查看docker服務是否啓動：
  systemctl status docker

• 若未啓動，則啓動docker服務：
  sudo systemctl start docker

• 經典的hello world：
  sudo docker run hello-world

docker 添加容器

參考鏈接: 菜鳥教程

• 查看docker是否安裝成功
  docker
• 使用 ubuntu 鏡像啓動一個容器
  docker run -it ubuntu /bin/bash

-i: 交互式操作。
-t: 終端。
ubuntu: ubuntu 鏡像。
/bin/bash：放在鏡像名後的是命令，這裏我們希望有個交互式 Shell，因此用的是 /bin/bash。

• docker 退出容器
  exit
• docker 查看所有的容器
  docker ps -a
  
• docker 查看正在運行的容器
  docker ps
  
• docker 啓動已經停止的容器
  docker start xxxx

xxx 爲容器的container ID

• docker 停止容器
  docker stop xxxx

• docker 進入容器
  docker attach xxxx 或者 docker exec -it xxxx /bin/bash(exit之後,容器仍然保持啓動狀態)
  

docker容器配置

• 搜索和anaconda相關的容器
  docker search anaconda
  

• 選擇需要的容器,並pull下來,我們這裏選擇用第一個continuumio/anaconda3
  docker pull continuumio/anaconda3
  

• 查看所有的容器
  docker images
  
  可以看到我們剛纔pull的容器已經位列其中了 .

• 進入容器
  docker run -ti continuumio/anaconda3 /bin/bash

• 查看conda list
  conda list
  

• 查看conda 虛擬環境
  conda env list
  

• 拷貝一個已有的虛擬環境到新的虛擬環境
  conda create -n new_name --clone exist_name

• 創建一個新的虛擬環境,同時制定Python版本…
  conda create -n env_name python=3.6
  

• 激活新的虛擬環境
  conda activate eug
  

conda 安裝 pytorch

參考鏈接: Plenari

• 添加Anaconda的TUNA鏡像
  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
• 設置搜索時顯示通道地址
  conda config --set show_channel_urls yes
• pytorch GPU的命令如圖所示：
  conda install pytorch torchvision cudatoolkit=10.1 -c pytorch
• pytorch CPU的命令如圖所示
  conda install pytorch-cpu -c
pytorch pip3 install torchvision
  

實驗項目準備

• 拷貝實驗項目數據集到docker的容器中,在服務器上執行
  docker cp DukeMTMC-VideoReID.zip 521fa25090a7:/home/
  
• 通過git clone 項目
  git clone https://.......
  

剩下的工作就不用我說了 …

附錄

附錄的故事太長,簡直一言難盡.
做完剛纔的哪些準備之後,發現, 沒有顯卡驅動,沒有cuda.
所以 ,最開始docker search 的時候,還是先search一下帶pytorch的容器吧. 這樣裏面的顯卡環境是配置好了的.
最後在帶pytorch的容器裏 還是安裝了一下 pytorch-GPU
參考鏈接:pytorch.org

conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

最後就是看你的項目還需要什麼了, 缺什麼就裝什麼
大多數都通過conda install 進行安裝. 值得一提的是,metric_learning 用conda安裝不上, 靈機一動 pip install 就可以啦.