K8S PV/PVC安裝

K8S PV/PVC安裝


1.NFS 服務端安裝

NFS 服務需要依賴 RPC 服務,所以這裏 NFS 服務端需要安裝 rpcbind 和 nfs-utils,由於我選用的爲 CentOS 系統,所以可以使用 yum 快速的安裝。

首先,確認下服務端系統是否已安裝 NFS

輸入
rpm -qa nfs-utils
輸出

nfs-utils-1.3.0-0.54.el7.x86_64
rpcbind-0.2.0-38.el7.x86_64

若輸出爲空,則說明未安裝

安裝流程
  1. 安裝 NFS 服務

yum install -y nfs-utils rpcbind

  1. 在服務端創建一個共享目錄 /data/share ,作爲客戶端掛載的遠端入口,然後設置權限

mkdir -p /data/share
chmod 777 /data/share

  1. 然後,修改 NFS 配置文件 /etc/exports

vim /etc/exports

寫入以下內容
/data/share 192.168.179.137/24(rw,sync,insecure,no_subtree_check,no_root_squash)
目錄 ip(權限)

我配置了將 /data/share 文件目錄設置爲允許 IP 爲該 10.222.77.0/24 區間的客戶端掛載,當然,如果客戶端 IP 不在該區間也想要掛載的話,可以設置 IP 區間更大或者設置爲 * 即允許所有客戶端掛載,例如:/home (ro,sync,insecure,no_root_squash) 設置 /home 目錄允許所有客戶端只讀掛載

權限參數 說明
ro 只讀訪問
rw 讀寫訪問
sync 所有數據在請求時寫入共享
async nfs 在寫入數據前可以響應請求
secure nfs 通過 1024 以下的安全 TCP/IP 端口發送
insecure nfs 通過 1024 以上的端口發送
wdelay 如果多個用戶要寫入 nfs 目錄,則歸組寫入(默認)
no_wdelay 如果多個用戶要寫入 nfs 目錄,則立即寫入,當使用 async 時,無需此設置
hide 在 nfs 共享目錄中不共享其子目錄
no_hide 共享 nfs 目錄的子目錄
subtree_check 如果共享 /usr/bin 之類的子目錄時,強制 nfs 檢查父目錄的權限(默認)
no_subtree_check 不檢查父目錄權限
all_squash 共享文件的 UID 和 GID 映射匿名用戶 anonymous,適合公用目錄
no_all_squash 保留共享文件的 UID 和 GID(默認)
root_squash root 用戶的所有請求映射成如 anonymous 用戶一樣的權限(默認)
no_root_squash root 用戶具有根目錄的完全管理訪問權限
anonuid=xxx 指定 nfs 服務器 /etc/passwd 文件中匿名用戶的 UID
anongid=xxx 指定 nfs 服務器 /etc/passwd 文件中匿名用戶的 GID
  1. 啓動 RPC 服務

service rpcbind start

查看 NFS 服務項 rpc 服務器註冊的端口列表
rpcinfo -p localhost

 program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper

注意:此時我們還沒有啓動 NFS 服務,只監聽了 111 端口,接着我們來啓動 NFS 服務,再來看下注冊的端口列表。

啓動 NFS 服務

service nfs start

啓動 NFS 服務後 rpc 服務已經啓用了對 NFS 的端口映射列表
rpcinfo -p localhost

program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp  33745  status
    100024    1   tcp  36980  status
    100005    1   udp  20048  mountd
    100005    1   tcp  20048  mountd
    100005    2   udp  20048  mountd
    100005    2   tcp  20048  mountd
    100005    3   udp  20048  mountd
    100005    3   tcp  20048  mountd
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    3   tcp   2049  nfs_acl
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100227    3   udp   2049  nfs_acl
    100021    1   udp  38960  nlockmgr
    100021    3   udp  38960  nlockmgr
    100021    4   udp  38960  nlockmgr
    100021    1   tcp  38362  nlockmgr
    100021    3   tcp  38362  nlockmgr
    100021    4   tcp  38362  nlockmgr

啓動了 NFS 服務後,rpc 註冊的端口列表明顯增多。OK 現在服務端都啓動起來了,在服務端看下是否正確加載了設置的 /etc/exports 配置。

showmount -e localhost

Export list for localhost: 
/data/share 192.168.179.137/24

2.NFS 客戶端安裝

yum install -y nfs-utils

  1. 我們可以在客戶端查看下 NFS 服務端 (上邊服務端 IP 爲:10.222.77.86) 設置可共享的目錄信息。
    showmount -e 192.168.179.137
Export list for 192.168.179.137: 
/data/share 192.168.179.137/24

注意: 如果出現
clnt_create:RPC:Port mapper failure-Unable to receive: errno 113(No route to host)
需要關閉被訪問的NFS服務器上的防火牆和selinux

systemctl stop firewalld; iptables -F ;setenforce 0

  1. 在客戶端創建掛在目錄 /share
    mkdir -p /share
    chmod -R 777 /share

  2. 載遠端目錄到本地 /share 目錄
    mount 10.222.77.86:/data/share /share

3.NFS 測試

我們在 NFS 服務端 /data/share 目錄下創建一個文件,看下客戶端是否能夠正確讀取並修改。

$ echo "This is NFS server." > /data/share/nfs.txt
# ll /data/share/
total 4
-rw-r--r-- 1 root root 20 Nov  5 16:49 nfs.txt

# 客戶端讀取
$ ll /share/
total 4
-rw-r--r-- 1 root root 20 Nov  5 16:49 nfs.txt
$ cat /share/nfs.txt
This is NFS server.

# 客戶端寫入
$ echo "This is NFS client." >> /share/nfs.txt

# 服務端讀取
$ cat /data/share/nfs.txt
This is NFS server.
This is NFS client.

4. K8S PV安裝

創建一個名爲 nfs-pv-mysql.yml 的配置文件

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv-mysql
spec:
  # 設置容量
  capacity:
    storage: 5Gi
  # 訪問模式
  accessModes:
    # 該卷能夠以讀寫模式被多個節點同時加載
    - ReadWriteMany
  # 回收策略,這裏是基礎擦除 `rm-rf/thevolume/*`
  persistentVolumeReclaimPolicy: Recycle
  nfs:
    # NFS 服務端配置的路徑
    path: "/data/share/"
    # NFS 服務端地址
    server: 192.168.0.49
    readOnly: false
# 部署
kubectl create -f nfs-pv-mysql.yml
# 刪除
kubectl delete -f nfs-pv-mysql.yml
# 查看
kubectl get pv

配置說明

Capacity(容量)

一般來說,PV 會指定存儲容量。這裏需要使用 PV 的 capcity 屬性。目前存儲大小是唯一一個能夠被申請的指標,今後會加入更多屬性,例如 IOPS,吞吐能力等。

AccessModes(訪問模式)

只要資源提供者支持,持久卷能夠被用任何方式加載到主機上。每種存儲都會有不同的能力,每個 PV 的訪問模式也會被設置成爲該卷所支持的特定模式。例如 NFS 能夠支持多個讀寫客戶端,但是某個 NFS PV 可能會在服務器上以只讀方式使用。每個 PV 都有自己的一系列的訪問模式,這些訪問模式取決於 PV 的能力。訪問模式的可選範圍如下:

  • ReadWriteOnce:該卷能夠以讀寫模式被加載到一個節點上
  • ReadOnlyMany:該卷能夠以只讀模式加載到多個節點上
  • ReadWriteMany:該卷能夠以讀寫模式被多個節點同時加載

在 CLI 下,訪問模式縮寫爲:

  • RWO:ReadWriteOnce
  • ROX:ReadOnlyMany
  • RWX:ReadWriteMany

另外,一個卷不論支持多少種訪問模式,同時只能以一種訪問模式加載。例如一個 GCE Persistent Disk 既能支持 ReadWriteOnce,也能支持 ReadOnlyMany。

RecyclingPolicy(回收策略)
  • Retain:人工重新申請
  • Recycle:基礎擦除(rm-rf/thevolume/*)
  • Delete:相關的存儲資產例如 AWS EBS,GCE PD 或者 OpenStack Cinder 卷一併刪除

只有 NFS 和 HostPath 支持 Recycle 策略,AWS EBS、GCE PD 以及 Cinder 卷支持 Delete 策略

階段(Phase)

一個卷會處於如下階段之一:

  • Available:可用資源,尚未被綁定到 PVC 上
  • Bound:該卷已經被綁定
  • Released:PVC 已經被刪除,但該資源尚未被集羣回收
  • Failed:該卷的自動回收過程失敗#定義 PVC

5. K8S PVC安裝

創建一個名爲 nfs-pvc-mysql-myshop.yml 的配置文件

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc-mysql-myshop
spec:
  accessModes:
  # 需要使用和 PV 一致的訪問模式
  - ReadWriteMany
  # 按需分配資源
  resources:
     requests:
       storage: 1Gi
# 部署
kubectl create -f nfs-pvc-mysql-myshop.yml
# 刪除
kubectl delete -f nfs-pvc-mysql-myshop.yml
# 查看
kubectl get pvc

6. K8S PV/PVC 測試(以mysql爲例)

注意: 要確保每臺 Node 都安裝了 NFS 客戶端

創建一個名爲 mysql.yml 的配置文件

apiVersion: v1
kind: ConfigMap
metadata:
  name: mysql-myshop-config
data:
  # 這裏是鍵值對數據
  mysqld.cnf: |
    [client]
    port=3306
    [mysql]
    no-auto-rehash
    [mysqld]
    skip-host-cache
    skip-name-resolve
    default-authentication-plugin=mysql_native_password
    character-set-server=utf8mb4
    collation-server=utf8mb4_general_ci
    explicit_defaults_for_timestamp=true
    lower_case_table_names=1
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql-myshop
spec:
  selector:
    matchLabels:
      app: mysql-myshop
  replicas: 1
  template:
    metadata:
      labels:
        app: mysql-myshop
    spec:
      containers:
        - name: mysql-myshop
          image: mysql
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3306
          env:
            - name: MYSQL_ROOT_PASSWORD
              value: "123456"
          volumeMounts:
            # 以數據卷的形式掛載 MySQL 配置文件目錄
            - name: cm-vol-myshop
              mountPath: /etc/mysql/conf.d
            - name: nfs-vol-myshop
              mountPath: /var/lib/mysql
      volumes:
        # 將 ConfigMap 中的內容以文件形式掛載進數據卷
        - name: cm-vol-myshop
          configMap:
            name: mysql-myshop-config
            items:
                # ConfigMap 中的 Key
              - key: mysqld.cnf
                # ConfigMap Key 匹配的 Value 寫入名爲 mysqld.cnf 的文件中
                path: mysqld.cnf
        - name: nfs-vol-myshop
          persistentVolumeClaim:
            claimName: nfs-pvc-mysql-myshop
---
apiVersion: v1
kind: Service
metadata:
  name: mysql-myshop
spec:
  ports:
    - port: 3306
      targetPort: 3306
      nodePort: 32036
  type: LoadBalancer
  selector:
    app: mysql-myshop
kubectl create -f mysql.yml
kubectl get pods (查看是否啓動成功)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章