K8S PV/PVC安裝
1.NFS 服務端安裝
NFS 服務需要依賴 RPC 服務,所以這裏 NFS 服務端需要安裝 rpcbind 和 nfs-utils,由於我選用的爲 CentOS 系統,所以可以使用 yum 快速的安裝。
首先,確認下服務端系統是否已安裝 NFS
輸入
rpm -qa nfs-utils
輸出
nfs-utils-1.3.0-0.54.el7.x86_64
rpcbind-0.2.0-38.el7.x86_64
若輸出爲空,則說明未安裝
安裝流程
- 安裝 NFS 服務
yum install -y nfs-utils rpcbind
- 在服務端創建一個共享目錄 /data/share ,作爲客戶端掛載的遠端入口,然後設置權限
mkdir -p /data/share
chmod 777 /data/share
- 然後,修改 NFS 配置文件 /etc/exports
vim /etc/exports
寫入以下內容
/data/share 192.168.179.137/24(rw,sync,insecure,no_subtree_check,no_root_squash)
目錄 ip(權限)
我配置了將 /data/share 文件目錄設置爲允許 IP 爲該 10.222.77.0/24 區間的客戶端掛載,當然,如果客戶端 IP 不在該區間也想要掛載的話,可以設置 IP 區間更大或者設置爲 * 即允許所有客戶端掛載,例如:/home (ro,sync,insecure,no_root_squash) 設置 /home 目錄允許所有客戶端只讀掛載
權限參數 | 說明 |
---|---|
ro | 只讀訪問 |
rw | 讀寫訪問 |
sync | 所有數據在請求時寫入共享 |
async | nfs 在寫入數據前可以響應請求 |
secure | nfs 通過 1024 以下的安全 TCP/IP 端口發送 |
insecure | nfs 通過 1024 以上的端口發送 |
wdelay | 如果多個用戶要寫入 nfs 目錄,則歸組寫入(默認) |
no_wdelay | 如果多個用戶要寫入 nfs 目錄,則立即寫入,當使用 async 時,無需此設置 |
hide | 在 nfs 共享目錄中不共享其子目錄 |
no_hide | 共享 nfs 目錄的子目錄 |
subtree_check | 如果共享 /usr/bin 之類的子目錄時,強制 nfs 檢查父目錄的權限(默認) |
no_subtree_check | 不檢查父目錄權限 |
all_squash | 共享文件的 UID 和 GID 映射匿名用戶 anonymous,適合公用目錄 |
no_all_squash | 保留共享文件的 UID 和 GID(默認) |
root_squash | root 用戶的所有請求映射成如 anonymous 用戶一樣的權限(默認) |
no_root_squash | root 用戶具有根目錄的完全管理訪問權限 |
anonuid=xxx | 指定 nfs 服務器 /etc/passwd 文件中匿名用戶的 UID |
anongid=xxx | 指定 nfs 服務器 /etc/passwd 文件中匿名用戶的 GID |
- 啓動 RPC 服務
service rpcbind start
查看 NFS 服務項 rpc 服務器註冊的端口列表
rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
注意:此時我們還沒有啓動 NFS 服務,只監聽了 111 端口,接着我們來啓動 NFS 服務,再來看下注冊的端口列表。
啓動 NFS 服務
service nfs start
啓動 NFS 服務後 rpc 服務已經啓用了對 NFS 的端口映射列表
rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 33745 status
100024 1 tcp 36980 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 38960 nlockmgr
100021 3 udp 38960 nlockmgr
100021 4 udp 38960 nlockmgr
100021 1 tcp 38362 nlockmgr
100021 3 tcp 38362 nlockmgr
100021 4 tcp 38362 nlockmgr
啓動了 NFS 服務後,rpc 註冊的端口列表明顯增多。OK 現在服務端都啓動起來了,在服務端看下是否正確加載了設置的 /etc/exports 配置。
showmount -e localhost
Export list for localhost:
/data/share 192.168.179.137/24
2.NFS 客戶端安裝
yum install -y nfs-utils
- 我們可以在客戶端查看下 NFS 服務端 (上邊服務端 IP 爲:10.222.77.86) 設置可共享的目錄信息。
showmount -e 192.168.179.137
Export list for 192.168.179.137:
/data/share 192.168.179.137/24
注意: 如果出現
clnt_create:RPC:Port mapper failure-Unable to receive: errno 113(No route to host)
需要關閉被訪問的NFS服務器上的防火牆和selinux
systemctl stop firewalld; iptables -F ;setenforce 0
-
在客戶端創建掛在目錄 /share
mkdir -p /share
chmod -R 777 /share
-
載遠端目錄到本地 /share 目錄
mount 10.222.77.86:/data/share /share
3.NFS 測試
我們在 NFS 服務端 /data/share 目錄下創建一個文件,看下客戶端是否能夠正確讀取並修改。
$ echo "This is NFS server." > /data/share/nfs.txt
# ll /data/share/
total 4
-rw-r--r-- 1 root root 20 Nov 5 16:49 nfs.txt
# 客戶端讀取
$ ll /share/
total 4
-rw-r--r-- 1 root root 20 Nov 5 16:49 nfs.txt
$ cat /share/nfs.txt
This is NFS server.
# 客戶端寫入
$ echo "This is NFS client." >> /share/nfs.txt
# 服務端讀取
$ cat /data/share/nfs.txt
This is NFS server.
This is NFS client.
4. K8S PV安裝
創建一個名爲 nfs-pv-mysql.yml 的配置文件
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-pv-mysql
spec:
# 設置容量
capacity:
storage: 5Gi
# 訪問模式
accessModes:
# 該卷能夠以讀寫模式被多個節點同時加載
- ReadWriteMany
# 回收策略,這裏是基礎擦除 `rm-rf/thevolume/*`
persistentVolumeReclaimPolicy: Recycle
nfs:
# NFS 服務端配置的路徑
path: "/data/share/"
# NFS 服務端地址
server: 192.168.0.49
readOnly: false
# 部署
kubectl create -f nfs-pv-mysql.yml
# 刪除
kubectl delete -f nfs-pv-mysql.yml
# 查看
kubectl get pv
配置說明
Capacity(容量)
一般來說,PV 會指定存儲容量。這裏需要使用 PV 的 capcity 屬性。目前存儲大小是唯一一個能夠被申請的指標,今後會加入更多屬性,例如 IOPS,吞吐能力等。
AccessModes(訪問模式)
只要資源提供者支持,持久卷能夠被用任何方式加載到主機上。每種存儲都會有不同的能力,每個 PV 的訪問模式也會被設置成爲該卷所支持的特定模式。例如 NFS 能夠支持多個讀寫客戶端,但是某個 NFS PV 可能會在服務器上以只讀方式使用。每個 PV 都有自己的一系列的訪問模式,這些訪問模式取決於 PV 的能力。訪問模式的可選範圍如下:
- ReadWriteOnce:該卷能夠以讀寫模式被加載到一個節點上
- ReadOnlyMany:該卷能夠以只讀模式加載到多個節點上
- ReadWriteMany:該卷能夠以讀寫模式被多個節點同時加載
在 CLI 下,訪問模式縮寫爲:
- RWO:ReadWriteOnce
- ROX:ReadOnlyMany
- RWX:ReadWriteMany
另外,一個卷不論支持多少種訪問模式,同時只能以一種訪問模式加載。例如一個 GCE Persistent Disk 既能支持 ReadWriteOnce,也能支持 ReadOnlyMany。
RecyclingPolicy(回收策略)
- Retain:人工重新申請
- Recycle:基礎擦除(rm-rf/thevolume/*)
- Delete:相關的存儲資產例如 AWS EBS,GCE PD 或者 OpenStack Cinder 卷一併刪除
只有 NFS 和 HostPath 支持 Recycle 策略,AWS EBS、GCE PD 以及 Cinder 卷支持 Delete 策略
階段(Phase)
一個卷會處於如下階段之一:
- Available:可用資源,尚未被綁定到 PVC 上
- Bound:該卷已經被綁定
- Released:PVC 已經被刪除,但該資源尚未被集羣回收
- Failed:該卷的自動回收過程失敗#定義 PVC
5. K8S PVC安裝
創建一個名爲 nfs-pvc-mysql-myshop.yml 的配置文件
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nfs-pvc-mysql-myshop
spec:
accessModes:
# 需要使用和 PV 一致的訪問模式
- ReadWriteMany
# 按需分配資源
resources:
requests:
storage: 1Gi
# 部署
kubectl create -f nfs-pvc-mysql-myshop.yml
# 刪除
kubectl delete -f nfs-pvc-mysql-myshop.yml
# 查看
kubectl get pvc
6. K8S PV/PVC 測試(以mysql爲例)
注意: 要確保每臺 Node 都安裝了 NFS 客戶端
創建一個名爲 mysql.yml 的配置文件
apiVersion: v1
kind: ConfigMap
metadata:
name: mysql-myshop-config
data:
# 這裏是鍵值對數據
mysqld.cnf: |
[client]
port=3306
[mysql]
no-auto-rehash
[mysqld]
skip-host-cache
skip-name-resolve
default-authentication-plugin=mysql_native_password
character-set-server=utf8mb4
collation-server=utf8mb4_general_ci
explicit_defaults_for_timestamp=true
lower_case_table_names=1
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: mysql-myshop
spec:
selector:
matchLabels:
app: mysql-myshop
replicas: 1
template:
metadata:
labels:
app: mysql-myshop
spec:
containers:
- name: mysql-myshop
image: mysql
imagePullPolicy: IfNotPresent
ports:
- containerPort: 3306
env:
- name: MYSQL_ROOT_PASSWORD
value: "123456"
volumeMounts:
# 以數據卷的形式掛載 MySQL 配置文件目錄
- name: cm-vol-myshop
mountPath: /etc/mysql/conf.d
- name: nfs-vol-myshop
mountPath: /var/lib/mysql
volumes:
# 將 ConfigMap 中的內容以文件形式掛載進數據卷
- name: cm-vol-myshop
configMap:
name: mysql-myshop-config
items:
# ConfigMap 中的 Key
- key: mysqld.cnf
# ConfigMap Key 匹配的 Value 寫入名爲 mysqld.cnf 的文件中
path: mysqld.cnf
- name: nfs-vol-myshop
persistentVolumeClaim:
claimName: nfs-pvc-mysql-myshop
---
apiVersion: v1
kind: Service
metadata:
name: mysql-myshop
spec:
ports:
- port: 3306
targetPort: 3306
nodePort: 32036
type: LoadBalancer
selector:
app: mysql-myshop
kubectl create -f mysql.yml
kubectl get pods (查看是否啓動成功)