本文不介紹iSCSI服務端的搭建過程,不然就會很累贅。主題就是怎麼去完成iscsi網絡存儲的掛載過程,並順帶介紹一些必要的概念。
1. iscsi介紹與initiator安裝
1.1 iSCSI介紹
iSCSI簡單來說,就是把SCSI指令通過TCP/IP協議封裝起來,在以太網中傳輸。iSCSI 可以實現在IP網絡上傳遞和運行SCSI協議,使其能夠在諸如高速千兆以太網上進行數據存取,實現了數據的網際傳遞和管理。基於iSCSI建立的存儲區域網(SAN)與基於光纖的FC-SAN相比,具有很好的性價比。
iSCSI屬於端到端的會話層協議,它定義的是SCSI到TCP/IP的映射(如下圖),即Initiator將SCSI指令和數據封裝成iSCSI協議數據單元,向下提交給TCP層,最後封裝成IP數據包在IP網絡上傳輸,到達Target後通過解封裝還原成SCSI指令和數據,再由存儲控制器發送到指定的驅動器,從而實現SCSI命令和數據在IP網絡上的透明傳輸。它整合了現有的存儲協議SCSI和網絡協議TCP/IP,實現了存儲與TCP/IP網絡的無縫融合。在本文中,將把發起器Initiator稱爲客戶端,將目標器Target稱爲服務端以方便理解。
iSCSI 服務端和客戶端的通訊就是一個在網絡上封包和解包的過程,在網絡的一端,數據包被封裝成包括TCP/IP頭、iSCSI 識別包和SCSI 數據三部分內容,傳輸到網絡另一端時,這三部分內容分別被順序地解開。爲了保證安全,iSCSI 有約定操作順序。在首次運行時,客戶端(initiator)設備需要登錄到服務端(target)中。任何一個接收到沒有執行登錄過程的客戶端的iSCSI PDU (iSCSI rotocol Data Units,iSCSI 協議數據單元)服務端都將生成一個協議錯誤,並且關閉連接。在關閉會話之前,服務端可能發送回一個被駁回的iSCSI PDU。
在工作時,iSCSI使SCSI數據塊由原來的SCSI總線連接擴展到internet上,這一過程有些產品通過硬件來實現,這種硬件產品被簡稱爲TOE(TCP Offload Engine),隨着近年來服務器芯片技術的不斷髮展,服務器處理能力日益強勁,目前更爲普遍的是通過軟件來實現SCSI數據塊的封裝過程。這種軟件通常被稱爲iSCSI Initiator軟件/驅動。Initiator軟件可以將以太網卡虛擬爲iSCSI卡,接受和發送iSCSI數據報文,通過普通以太網卡來進行網絡連接,但是需要佔用CPU資源。另外的TOE和HBA連接轉換方式都需要專門的硬件設備來完成,雖然相對昂貴但執行效率高,也可以減輕主機CPU的負載。本文客戶端採用Initiator驅動的連接方式。
1.2 Initiator安裝
在Linux 2.6內核中提供了iscsi驅動,iSCSI 驅動(driver)使主機擁有了通過IP網絡訪問存儲的能力,但還需要一個具體的客戶端工具(Linux用戶空間組件)初始化iSCSI驅動,即iscsi-initiator-utils,也是大家常說的open-iscsi。
# rpm -qa|grep iscsi
iscsi-initiator-utils-6.2.0.873-10.el6.x86_64
iscsi-initiator-utils-devel-6.2.0.873-10.el6.x86_64
# rpm -qi iscsi-initiator-utils
(yum install iscsi-initiator-utils iscsi-initiator-utils-devel)
這個安裝將iscsid
、iscsiadm
安裝到 /sbin
目錄下,它還將把默認的配置文件安裝到/etc/iscsi/
目錄下:
/etc/iscsi/iscsid.conf
:所有剛發起的iSCSI session默認都將使用這個文件中的參數設定。/etc/iscsi/initiatorname.iscsi
:軟件iSCSI initiator的intiator名稱配置文件。
確保iscsid和iscsi兩個服務器開機自啓動,chkconfig --list |grep iscsi
,在iscsi啓動的時候,iscsid和iscsiadm會讀取這兩個配置文件。
service iscsid [status|start]
service iscsi status 查看iscisi的信息,只有在連接成功後才輸出
這裏可能遇到start始終沒有啓動成功的信息輸出,請繼續往下執行discovery,一般會啓動iscsid。
1.3 open-iscsi initiator說明
open-iscsi包括兩個守護進程iscsid和iscsi,其中iscsid是主進程,iscsi進程則主要負責根據配置在系統啓動時進行發起端(Initiator)到服務端(target)的登錄,建立發起端與服務端的會話,使主機在啓動後即可使用通過iSCSI提供服務的存儲設備。
iscsid進程實現iSCSI協議的控制路徑以及相關管理功能。例如守護進程(指iscsid)可配置爲在系統啓動時基於持久化的iSCSI數據庫內容,自動重新開始發現(discovery)目標設備。
Open-iSCSI是通過以下iSCSI數據庫文件來實現永久配置的:
- Discovery (
/var/lib/iscsi/send_targets
)
在/var/lib/iscsi/send_targets
目錄下包含iSCSI portals的配置信息,每個portal對應一個文件,文件名爲“iSCSI portal IP,端口號”(例如172.29.88.61,3260)。 - Node (
/var/lib/iscsi/nodes
)
在/var/lib/iscsi/nodes
目錄下,生成一個或多個以iSCSI存儲服務器上的Target名命名的文件夾如iqn.2000-01.com.synology:themain-3rd.ittest,在該文件夾下有一個文件名爲“iSCSI portal IP,編號” (例如172.29.88.62,3260,0)的配置參數文件default,該文件中是initiator登錄target時要使用的參數,這些參數的設置是從/etc/iscsi/iscsi.conf中的參數設置繼承而來的,可以通過iscsiadm對某一個參數文件進行更改(需要先註銷到target的登錄)。
iscsiadm
是用來管理(更新、刪除、插入、查詢)iSCSI配置數據庫文件的命令行工具,用戶能夠用它對iSCSI nodes、sessions、connections和discovery records進行一系列的操作。
iSCSI node是一個在網絡上可用的SCSI設備標識符,在open-iscsi中利用術語node表示目標(target)上的門戶(portal)。一個target可以有多個portal,portal 由IP地址和端口構成。
2. 初次掛載網絡存儲
2.1 設置InitiatorName
initiator名稱用來唯一標識一個iSCSI Initiator端。保存此名稱的配置文件爲/etc/iscsi/initiatorname.iscsi
:
# vi /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2000-01.com.synology:themain-3rd.ittest
注意大小寫,同時,必須頂格寫,xxxx代表要設置的initiator名稱,請遵循iqn命名規範,格式爲iqn.domaindate.reverse.domain.name:optional_name。
2.2 iSCSI Initiator配置
iSCSI Initiator的配置文件爲/etc/iscsi/iscsid.conf
,在iSCSI initiator的iscsid進程啓動和執行iscsiadm命令時,將讀取這個配置文件的內容,獲取與SCSI目標進行交互的相關信息。
2.2.1 添加CHAP認證
本組下的各個設置項主要用來指定Initiator與target驗證方式。
vi /etc/iscsi/iscsid.conf
# To enable CHAP authentication set node.session.auth.authmethod
node.session.auth.authmethod = CHAP 去掉註釋
# To set a CHAP username and password for initiator
node.session.auth.username = ittest 修改爲網管提供的認證username/password
node.session.auth.password = Storageittest
上面是在我的環境中最爲簡單的一種CHAP(Challenge Handshake Authentication Protocol)認證方式,而且只驗證的節點會話initiator端。其實iSCSI驗證可以是雙向的,根據服務端的設置,可以驗證節點會話的target端(username_in),驗證發現會話的CHAP initiator,驗證發現會話的CHAP target。(節點會話node.session即登錄認證,發現會話discovery.sendtargets即查看)
2.2.2 其他配置項
處理CHAP認證需要關注外,其它的都保持默認即可,但是你需要知道可以修改如:
- 設置initiator與target端交互的超時時間
- 設置iscsid重試登錄節點的次數
- 是否開機啓動iscsid等待
2.3 掃描並登錄到iqn連接
open-iscsi initiator-utils提供的管理命令爲iscsiadm
,此命令包括discovery、node、session幾種模式,分別處理不同的情況。在客戶端使用Target提供的存儲空間前,必須在服務器上通過Initiator軟件執行以下步驟:發現目標設備 –> 登錄目標設備 –> 與目標設備建立會話,下面分別說明通過各個命令進行說明。
2.3.1 discovery sendtargets
可以通過sendtargets方式(根據iscsi服務器端使用的方式不同還有slp、isns)發現屬於你的iqn(iSCSI Qualified Name):
iscsiadm -m discovery -t sendtargets -p 172.29.88.62
iscsiadm -m discovery -t sendtargets -p 172.29.88.62:3260 |grep ittest
默認端口3260。discovery之前會自動啓動iscsid服務,有時候service iscsid start
啓動沒反應,可以通過這種方式啓動服務。
此命令查詢目標門戶(Portal)爲172.29.88.62:3260上的目標,查找成功後,返回相應的target ID,同時在/var/lib/iscsi/send_targets
和 /var/lib/iscsi/nodes
目錄下記錄相應的門戶和節點信息。使用iscsiadm -m node
命令,可以查看到發現的節點記錄。
2.3.2 node session login
在完成目標發現後,即可以登錄到相應的節點,使用目標設備提供的存儲空間:
# iscsiadm -m node -T iqn.2000-01.com.synology:themain-3rd.ittest -p 172.29.88.62 --login
-T
後面跟target名稱,--login
等同於-l
,
登錄目標節點成功後,即建立了initiator與target之間的會話(session),同時target提供的存儲設備也掛載到主機中,在/dev目錄下生成一個新的設備文件類似於sdb、sdc等。使用iscsiadm -m session -P 3
(與service iscsi status
相同)來查看連接會話信息。
2.4 使用磁盤 — lvm
LVM是非常流行的可修改磁盤分區大小的管理方式,可以根據你的需要使用使用lvm管理磁盤。
假設新存儲的設備路徑爲/dev/sdb
pvcreate /dev/sdb ## 在新存儲上建立物理卷
pvdisplay ## 查看物理卷狀態
vgcreate vg_ittest /dev/sdb ## 在該物理捲上建立名爲vg_test的卷組
vgdisplay ## 查看已建立的卷組狀態
lvcreate -l 100%FREE -n lv_static vg_ittest
在vg_ittest卷組上建立名爲lv_static的邏輯卷,-L可指定分區大小,此處-l表示使用全部空間
vgscan或lvdisplay ## 查看邏輯卷的狀態
vgchange -ay ## 使卷組處於激活狀態
mkfs.ext4 /dev/mapper/vg_ittest-lv_static ## 格式化已創建的邏輯卷,文件系統格式爲ext4
格式化完畢後,使用mount命令掛載即可:
mount -o acl,rw /dev/mapper/vg_ittest-lv_static /iscsi ## /iscsi爲事先建立的掛載點
也可以根據需求劃分成多個分區掛載。
開機自動掛載
vi /etc/rc.d/rc.local
iscsiadm -m node -T iqn.2000-01.com.synology:themain-3rd.ittest -p 172.29.88.62 --login
vgchange -ay && mount -o acl,rw /dev/mapper/vg_ittest-lv_static /iscsi
3. 維護操作
3.1 正常斷開重連網絡存儲
因爲磁盤上就是數據(一般網絡存儲用於備份),因此儘量減少異常斷開存儲的可能性,所以保險起見先卸載,再斷開連接(-u
)。
# umount /iscsi
# vgchange -an && vgscan
# iscsiadm -m session
# iscsiadm -m node -T iqn.2000-01.com.synology:themain-3rd.ittest -p 172.29.88.62 --logout
3.2 異常斷開恢復
如果使用LVM管理磁盤,由於網絡中斷,或主機突然關機,會導致網絡存儲異常斷開,下次啓動後重新連接可能會報如下錯誤:
# vgscan
Reading all physical volumes. This may take a while...
/dev/backupdrive1/backup: read failed after 0 of 4096 at 319836585984: Input/output error
/dev/backupdrive1/backup: read failed after 0 of 4096 at 319836643328: Input/output error
/dev/backupdrive1/backup: read failed after 0 of 4096 at 0: Input/output error
/dev/backupdrive1/backup: read failed after 0 of 4096 at 4096: Input/output error
Found volume group "backupdrive1" using metadata type lvm2
Found volume group "networkdrive" using metadata type lvm2
產生原因就是,在卷組(VG)失活(deactivate)之前就移除了外部的LVM設備。在你斷開連接之前,需要保證以下命令被執行:
# vgchange -an volume_group_name
解決方案就是,(假設你已經用vgchange -ay vg
命令來激活卷組,但仍有 Input/output error 的錯誤信息。)執行命令vgchange -an volume group name
,移除外部設備,稍候幾分鐘後再執行以下命令:
# vgscan
# vgchange -ay volume_group_name
3.3 進程數超標
iscsi存儲使用正常,但ps -ef|grep iscsi
則包含200+以上的類似於[iscsi_q_112]
進程,並且無法kill,使用service iscsi status
不斷輸出類似:
iscsiadm: could not read session targetname: 5
iscsiadm: could not find session info for session30
iscsiadm: could not read session targetname: 5
iscsiadm: could not find session info for session31
...
這個問題很糾結,但重啓服務器是可以解決的。網上資料很少,我猜想是iscsid服務端設置認證方面的問題。
4. iscsi的其它常用操作
-
列出所有target
iscsiadm -m node
-
連接所有target
iscsiadm -m node -L all
-
連接指定target
iscsiadm -m node -T iqn.... -p 172.29.88.62 --login
-
使用如下命令可以查看配置信息
iscsiadm -m node -o show -T iqn.2000-01.com.synology:rackstation.exservice-bak
-
查看目前 iSCSI target 連接狀態
iscsiadm -m session
iscsiadm: No active sessions.
(目前沒有已連接的 iSCSI target) -
斷開所有target
iscsiadm -m node -U all
-
斷開指定target
iscsiadm -m node -T iqn... -p 172.29.88.62 --logout
-
刪除所有node信息
iscsiadm -m node --op delete
-
刪除指定節點(/var/lib/iscsi/nodes目錄下,先斷開session)
iscsiadm -m node -o delete -name iqn.2012-01.cn.nayun:test-01
-
刪除一個目標(/var/lib/iscsi/send_targets目錄下)
iscsiadm --mode discovery -o delete -p 172.29.88.62:3260
參考
CentOS客戶端加載ISCSI磁盤
linux iscsi initiator 安裝配置
網路磁碟裝置: iSCSI 伺服器