Ubuntu Linux: 深度學習研究最低調、最專業的搭檔

Introduction

ubuntu的官方教程

Motivation

快速掌握使用terminal 控制Ubuntu開展深度學習流程,輕鬆使用雲端服務器資源。持續更新哦

What is Linux?

Linux 內核最初只是由芬蘭人林納斯·託瓦茲(Linus Torvalds)在赫爾辛基大學上學時出於個人愛好而編寫的。Linux 英文解釋爲 Linux is not Unix。
Linux 能運行主要的 UNIX 工具軟件、應用程序和網絡協議。它支持 32 位和 64 位硬件。Linux 繼承了 Unix 以網絡爲核心的設計思想,是一個性能穩定的多用戶網絡操作系統。
Linux 的發行版就是將 Linux 內核與應用軟件做一個打包。目前市面上較知名的發行版有:Ubuntu、RedHat、CentOS、Debian、Fedora、SuSE、OpenSUSE、Arch Linux、SolusOS 等。
Linux 發行版本

Why Ubuntu?

很多時候, 機深度學習的開發是基於 Linux 的, 所以 Linux 的一些使用技巧就必不可少. 深度學習的許多模塊, 比如 Tensorflow, Pytorch, 都是 Linux 支持最好. Ubuntu是相對容易入門的Linux發行版之一,更新速度快,對硬件支持良好(比如雷電3接口驅動等)。

查看你的電腦

查看存儲空間

df:顯示磁盤分區上可以使用的磁盤空間

df -a 查看全部文件系統,單位默認KB

du : 顯示每個文件和目錄的磁盤使用空間~~~文件的大小。

命令參數:

-a #顯示目錄中文件的大小 單位 KB 。

-b #顯示目錄中文件的大小,以字節byte爲單位。

-c #顯示目錄中文件的大小,同時也顯示總和;單位KB。

-k 、 -m 、#顯示目錄中文件的大小,-k 單位KB,-m 單位MB.

-s #僅顯示目錄的總值,單位KB。

-h #以K M G爲單位顯示,提高可讀性~~~(最常用的一個~也可能只用這一個就滿足需求了)

通過命令du -h –max-depth=1 *,可以查看當前目錄下各文件、文件夾的大小,這個比較實用。

(最簡單的查看方法可以使用ls -ll、ls-lh命令進行查看,當使用ls -ll,會顯示成字節大小,而ls- lh會以KB、MB等爲單位進行顯示,這樣比較直觀一些。)

free 可以顯示Linux系統中空閒的、已用的物理內存及swap內存,及被內核使用的buffer。

1.命令格式:

free [參數]

2.命令功能:

free 命令顯示系統使用和空閒的內存情況,包括物理內存、交互區內存(swap)和內核緩衝區內存。共享內存將被忽略

3.命令參數:

-b  以Byte爲單位顯示內存使用情況。

-k  以KB爲單位顯示內存使用情況。

-m  以MB爲單位顯示內存使用情況。

-g 以GB爲單位顯示內存使用情況。

-o  不顯示緩衝區調節列。

-s<間隔秒數>  持續觀察內存使用狀況。

-t  顯示內存總和列。

-V  顯示版本信息。

在Ubuntu上安裝軟件

源與軟件倉庫(Software Repository)

在windows下安裝軟件,我們只需要有EXE文件,然後雙擊,下一步直接OK就可以了。但在LINUX下,不是這樣的。每個LINUX的發行版,比如UBUNTU,都會維護一個自己的軟件倉庫,我們常用的幾乎所有軟件都在這裏面。這裏面的軟件絕對安全,而且絕對能夠正常安裝。
那我們要怎麼安裝呢?在UBUNTU下,我們維護一個源列表,源列表裏面都是一些網址信息,這每一條網址就是一個源,這個地址指向的數據標識着這臺源服務器上有哪些軟件可以安裝使用。

編輯源列表 /etc/apt/sources.list

sudo gedit /etc/apt/sources.list

/etc/apt/sources.list這個文件里加入或者註釋(行前加#號)掉一些源後,保存。這時候,我們的源列表裏指向的軟件就會增加或減少一部分。
接一下要做的就是:

更新軟件列表 apt-get update

sudo apt-get update

這個命令,會訪問源列表裏的每個網址,並讀取軟件列表,然後保存在本地電腦。我們在新立得軟件包管理器裏看到的軟件列表,都是通過update命令更新的。
update後,可能需要upgrade一下。

升級本地軟件 apt-get upgrade

sudo apt-get upgrade

這個命令,會把本地已安裝的軟件,與剛下載的軟件列表裏對應軟件進行對比,如果發現已安裝的軟件版本太低,就會提示你更新。如果你的軟件都是最新版本,會提示:

升級了 0 個軟件包,新安裝了 0 個軟件包,要卸載 0 個軟件包,有 0 個軟件包未被升級。

總而言之,update是更新軟件列表,upgrade是更新軟件。

Ubuntu新機必備軟件安裝

中文輸入法

搜狗for Linux官方安裝指南:https://pinyin.sogou.com/linux/help.php

環境變量

ubuntu環境變量的三種設置方法
shell、bash shell

常用路徑

字體:/usr/share/fonts/

文件操作

cat

concatenate files and print on the standard output,cat命令主要用來查看文件內容,創建文件,文件合併,追加文件內容等功能。

  • 1、cat f1.txt,查看f1.txt文件的內容。
  • 2、cat -n f1.txt,查看f1.txt文件的內容,並且由1開始對所有輸出行進行編號。
  • 3、cat -b f1.txt,查看f1.txt文件的內容,用法與-n相似,只不過對於空白行不編號。
  • 4、cat -s f1.txt,當遇到有連續兩行或兩行以上的空白行,就代換爲一行的空白行。
  • 5、cat -e f1.txt,在輸出內容的每一行後面加一個$符號。
  • 6、cat f1.txt f2.txt,同時顯示f1.txt和f2.txt文件內容,注意文件名之間以空格分隔,而不是逗號。
  • 7、cat -n f1.txt>f2.txt,對f1.txt文件中每一行加上行號後然後寫入到f2.txt中,會覆蓋原來的內容,文件不存在則創建它。
  • 8、cat -n f1.txt>>f2.txt,對f1.txt文件中每一行加上行號後然後追加到f2.txt中去,不會覆蓋原來的內容,文件不存在則創建它。

刪除

在Ubuntu中好多文件或文件夾是不能使用右鍵刪除的,因此知道刪除文件或文件夾的rm命令顯得尤爲重要。
rm命令的語法:

rm [選項] 文件名或文件夾名

rm命令的一些[選項]:

選項 解釋
-f、–force 強力刪除,不要求確認
-i 每刪除一個文件或進入一個子目錄都要求確認
-I 在刪除超過三個文件或者遞歸刪除前要求確認
-r、-R 遞歸刪除子目錄
-d、-dir 刪除空目錄
-v、-verbose 顯示刪除結果

常用的幾個rm命令

刪除一個空目錄

rm -d 目錄名
rm -dir 目錄名

刪除一個非空目錄

rm -r 目錄名

刪除文件

rm 文件名

刪除文件(使用超級管理員權限)

要注意的是,直接使用rm命令的話通常會報沒有權限修改的錯,這時候可以在命令前面加上sudo命令就有權限去修改了。sudo顧名思義就是su-do,就是su(super user)管理員去do(執行)的意思,有了管理員權限之後就可以爲所欲爲了。

sudo rm 文件名

查看已安裝軟件/卸載已安裝軟件/管理軟件佔用空間

主要使用dpkg命令,“dpkg ”是“Debian Packager ”的簡寫。爲 “Debian” 專門開發的套件管理系統,方便軟件的安裝、更新及移除。所有源自“Debian”的“Linux ”發行版都使用 “dpkg”,例如 “Ubuntu”、“Knoppix ”等。
dpkg是Debian軟件包管理器的基礎,它被伊恩·默多克創建於1993年。dpkg與RPM十分相似,同樣被用於安裝、卸載和供給.deb軟件包相關的信息。dpkg本身是一個底層的工具。上層的工具,如APT,被用於從遠程獲取軟件包以及處理複雜的軟件包關係。 “dpkg”是“Debian Package”的簡寫。

1. 查看安裝的所有軟件

查看所有軟件

dpkg -l

dpkg -l | less 分頁顯示,按上下箭頭或回車查找;字母q爲退出

dpkg -l | grep dove* 使用*號時,建議文件名要在4個字以上
dpkg -l | grep <完整文件名> 例如:

查看模糊名軟件

dpkg -l *360

在這裏插入圖片描述

顯示所有安裝包的統計信息

可以統計已經安裝包的數量,大小,佔用空間等:

apt-cache stats

2. 查看軟件安裝的路徑,目錄和文件

dpkg -L <完整文件名>
dpkg -L | grep <完整文件名>

有錯也可嘗試用

 whereis <完整文件名>

3. 軟件卸載

3.1、如果是從Ubuntu Software Center安裝的,進入center,找到那個軟件,很明顯會有“卸載”的按鈕;
3.2、如果是tar、gz、zip之類解壓就能用,免安裝的,直接刪除;
3.3、如果是自己下載的deb包安裝,或者通過apt-get install安裝、或者通過添加ppa安裝,使用sudo apt-get autoremove software-name來卸載,爲了一次卸乾淨,可以再加上一個參數sudo apt-get autoremove --purge software-name
3.4、如果是通過configure然後make & make install,也可以直接刪除;
4. 清除所有已刪除包的殘餘配置文件:可以清除舊版本的軟件殘留無用的配置。

dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P

4.清理無用的安裝包

先修理系統安裝的包

sudo apt --fix-broken install

然後自動清理即可

sudo apt-get autoremove

pytorch、tensorflow等開發框架安裝與虛擬環境管理與使用技巧

請參考我的博客:“Anaconda虛擬環境管理、深度學習開發框架搭建、win+ubuntu雙系統安裝”

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章