ubuntu20.04[centos7、win類似]記錄

以下是舊寫博客年前重新翻新總結

1 各種軟件

1.1 永中office

ubuntu20.04 的WPS不太靈而且慢用這吧https://www.yozosoft.com

1.2 deepin-wine-ubuntu

https://github.com/wszqkzqk/deepin-wine-ubuntu,這個挺好用。可以安裝QQ、微信、百度雲盤等

1.3 ubuntu ssh

sudo apt-get install openssh-server

1.4 花生殼映射

#說明和下載地址
http://service.oray.com/question/4287.html
http://b.oray.com
# 查看狀態
phddns status
# 啓動
phddns start

1.5 ubuntu H.264 (High Profile) decoder

sudo apt-get install ubuntu-restricted-extras

2 環境配置

2.1 ubuntu更新源

在軟件和更新選擇即可：

2.2 java安裝

java只需要解壓到/usr/local/下即可,然後配置環境變量，見下冊。

tar zxvf jdk-8u121-linux-x64.tar.gz
sudo mv jdk1.8.0_121 /usr/local

2.3 ubuntu 配置開機啓動腳本程序

【慎重注意】一般最好不要用rc.local 或 fstab這種系統級的去添加開機操作了，很危險導致無法啓動程序，這時候啓動不了，就用救援模式去恢復去掉吧

vim /lib/systemd/system/rc-local.service

在rc-local.service下添加如下內容：

[Unit]
Description=/etc/rc.local Compatibility
Documentation=man:systemd-rc-local-generator(8)
ConditionFileIsExecutable=/etc/rc.local
After=network.target

[Service]
Type=forking
ExecStart=/etc/rc.local start
TimeoutSec=0
RemainAfterExit=yes
GuessMainPID=no
# 添加部分-------------------------------
[Install]  
WantedBy=multi-user.target  
Alias=rc-local.service
#-------------------------------------

#創建rc.local文件,並添加執行權限
sudo touch /etc/rc.local
sudo chmod +x /etc/rc.local
# 創建系統軟鏈接
sudo ln -s /lib/systemd/system/rc-local.service /etc/systemd/system/

在/etc/rc.local中添加需要啓動的腳本：

# /etc/rc.local中添加,記得首行必須添加#!bin/bash
#!bin/bash
chmod -R 755 /data1
sudo mount /dev/sdb2 /data1

測試以下開機啓動腳本

sudo systemctl enable rc-local
sudo systemctl start rc-local.service
sudo systemctl status rc-local.service

2.4 centos7 配置開機啓動腳本程序

在/etc/rc.local下添加：

sh /etc/rc.d/start.sh
# 以kaldi用戶名去運行/home/kaldi/start/start.sh
sh kaldi -l -c "sh /home/kaldi/start/start.sh"

使用**kaldi用戶名**創建/home/kaldi/start/start.sh內容如下，並隨後增加其執行權限：

#bin/bash
# TODO 設置程序遇到錯誤就立馬退出
set -euov pipefail
#進入/data1下
cd /data1
jupyter lab   &
exit 0

chmod -R 755 /etc/rc.d/start.sh
使用**root用戶名**創建/home/kaldi/start/start.sh內容如下，並隨後增加其執行權限：

#bin/bash
# TODO 設置程序遇到錯誤就立馬退出
set -euov pipefail
mount -t ext4 /dev/sda6 /data1
exit 0

chmod -R 755 /home/kaldi/start/start.sh

2.5 ubuntu(centos)環境變量設置

# 在vim ~/.bashrc下添加
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64"
export CUDA_HOME=/usr/local/cuda

export PATH="/home/anjos/python3/bin:$PATH"

export KEBA_HOME="/home/kaldi/python3/lib/python3.7/site-packages/keba"
export BAT_HOME="/home/kaldi/python3/lib/python3.7/site-packages/bat"

export TERM=xterm
# 配置快捷方式
alias ll='ls -la'
alias la='ls -lh'
alias l='ls -lh'
alias 7zz='7za a -t7z -r'
alias 7zu='7za X'

egdb () { emacs --eval "(gdb \"gdb --annotate=3 -i=mi $*\")";}

# 讓環境變量生效
source ~/.bashrc

2.6 win環境變量java設置

win7JDK環境變量配置系統變量如下：
(1) 新建->變量名：JAVA_HOME 變量值爲JDK安裝路徑：

C:\Program Files\Java\jdk1.8.0_121

(2)編輯 ->變量名：Path 在變量值的最前面加上：

%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

(3)新建 ->變量名：CLASSPATH 變量值：

.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

3 nvidia驅動

3.1 ubuntu安裝CUDA和nvidia驅動

一定記得gcc降級。
參考這個吧Ubuntu 20.04 CUDA&cuDNN安裝方法
centos也一樣的類似。

3.2 ubuntu選擇默認gcc

apt-get install gcc-7 g++-7
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 100
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 50
# 查看默認gcc版本
sudo update-alternatives --config gcc

3.3 卸載一切nvidia

yum clean all
yum remove "*cublas*" "cuda*"
yum remove "*nvidia*"

3.4 手動選擇驅動

3.5 安裝cuda(可選擇.run模式最簡單,驅動不要選就行)

cuda下載地址

# 注意這是rpm模式
rpm -ivh cuda-repo-rhel7-10-2-local-10.2.89-440.33.01-1.0-1.x86_64.rpm
rpm -ivh nvidia-driver-local-repo-rhel7-418.87.01-1.0-1.x86_64.rpm.rpm
yum install -y nvidia-driver
yum install cuda -y

3.6 安裝cudnn

cudnn下載地址

tar xvzf cudnn-10.2-linux-x64-v7.6.5.32.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda-10.2/include/
sudo cp -r cuda/lib64/libcudnn* /usr/local/cuda-10.2/lib64/

4 python3.7

4.1 linux

安裝python之前ubuntu和centos各自要安裝一些基礎庫哦：

# ubuntu
sudo apt-get install openssl libssl-dev zlibc zlib1g-dev

# centos
yum install openssl openssl-devel zlib*

【切記】不要將/bin/python3給刪除,不然apt-get update會報錯
Python-3.7.7.tgz源碼下載地址

wget https://www.python.org/ftp/python/3.7.7/Python-3.7.7.tgz
tar zxvf Python-3.7.7.tgz
bash ./configure --with-ssl --prefix=/home/anjos/python3
make -j${nproc} & make install
make clean
rm -rvf ./Python-3.7.7

4.2 win

python-3.7.7-amd64源碼下載地址
配置python系統環境變量：
新建： PYTHON_HOME值爲： C:\python37
Path 前面加上 C:\python37;C:\python37\Scripts
【python各種庫(whl格式)】下載地址：
http://www.lfd.uci.edu/~gohlke/pythonlibs
window numpy，需要單獨安裝mkl版本，numpy-1.18.2+mkl-cp37-cp37m-win_amd64.whl
https://pypi.python.org/pypi
【pip升級自己】pip install --upgrade pip
【查看已經安裝過的庫】pip list

4.3 配置源

linux下：

mkdir -p ~/.pip
vim ~/.pip/pip.conf

win下: C:\Users\Anjos\pip\pip.ini (記得創建這個文件哦)
在C盤
裏面內容均爲如下：

[global]
timeout = 6000
index-url = https://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com

4.4 各種庫

# 注意,window的numpy請自行去http://www.lfd.uci.edu/~gohlke/pythonlibs下載
# 注意,python3.8沒有tensorflow1.15系列哦
pip3 install pandas xlrd xlwt openpyxl xlsxwriter scikit_learn scikit-image \
scipy matplotlib opencv_python protobuf tqdm asq regex h5py wheel \
pillow nose pyyaml jupyter jupyterlab pyhanlp \
jieba tensorflow-gpu==1.15.0 keras

4.5 配置pyhanlp

去http://nlp.hankcs.com/download.php?file=data下載data-for-17.5.zip到如下目錄：
linux下：~/python3/lib/python3.7/site-packages/pyhanlp/static
win下:C:\Python37\Lib\site-packages\pyhanlp\static

#用如下命令測試即可
from pyhanlp import *
sentence="我愛你"
terms = HanLP.segment(sentence)  
for term in terms:
	print(term.word,term.nature)

5 ubuntu docker容器

docker詳細文檔可參考這個

5.1 安裝docker

具體參考:https://www.cnblogs.com/songxi/p/12788249.html，這裏只記命令，centos請參考：https://docs.docker.com/engine/install/

sudo apt-get remove docker docker-engine docker.io containerd runc
sudo apt-get update
sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  bionic \
  stable"
 sudo apt-get install docker-ce docker-ce-cli containerd.io

5.2 安裝nvidia-docker

【切記】一定要先安裝nvidia驅動哦，cuda無所謂，不需要安裝
安裝請參考https://github.com/NVIDIA/nvidia-docker/wiki/Installation-(Native-GPU-Support)
Install the repository for your distribution by following the instructions here.
Install the nvidia-container-toolkit package:

# ubuntu
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# centos
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | \
  sudo tee /etc/yum.repos.d/nvidia-docker.repo
sudo yum install -y nvidia-container-toolkit

5.3 docker hub源配置

docker hub在國外下載速度慢的（家裏如果不是光線）就可以配置阿里源。

5.4 啓動GPU docker

【切記】安裝好docker和nvidia-docker後要重啓哦，不然啓動的容器會報無法找到special GPU
Docker Hub
nvidia/cuda:10.2-cudnn7-devel-centos7 鏡像地址

# 創建一個鏡像
sudo docker run --gpus all --name anjos -d -it -p 5000:22 \
-v /data1:/data1 -v /data:/data \
nvidia/cuda:10.2-cudnn7-devel-centos7 /bin/bash
# 啓動
sudo docker start anjos
# 進入(用id也可以)
sudo docker exec -it anjos bash
# 刪除鏡像
sudo docker rmi imageid
# 刪除容器
sudo docker rm containerid
# 查看所有容器
sudo docker ps -a
# 查看所有已經成功啓動的容器
sudo docker ps