iSCSI

本文主要介紹基於IP SAN的網絡存儲iSCSI。iSCSI技術以其低廉的構建成本和優秀的 存儲性能博得了很多CIO和存儲管理員的苒愛，目前陸續進入企業應用領域，推動了企業的存儲環境向集中式轉變。雖然，目前對於iSCSI應該在什麼樣的環境中使用還存在着諸多爭議，但是iSCSI的前途是光明的，在未來的存儲世界中，iSCSI—定會佔據重要的席位， 本文重點介紹iSCSI在Linux環境下的配置和使用，

1.1存儲的概念與術語

在存儲的世界裏，有各種各樣的名詞和術語，常見的有SCSI、FC、DAS、NAS、SAN等。 本節重點介紹與存儲相關的術語和知識。

1.1.1 SCSI 介紹

SCSI是小型計算機系統接口（Small Computer System Interface)的簡稱，SCSI作爲輸 入/輸出接口，主要用於硬盤、光盤、磁帶機、掃描儀、打印機等設備。

1.1.2 FC 介紹

FC是光纖通道（Fibre Channel)的簡稱，是一種適合於千兆數據傳輸的、成熟而安全的解決方案.與傳統的SCSI技術相比，FC提供更髙的數據傳輸速率，更遠的傳輸距離，更多的設備連接支持，更穩定的性能，更簡易的安裝。

1.1.3 DAS 介紹

DAS是直連式存儲（Direct-Attached Storage)的簡稱，是指將存儲設備通過SCS丨接口 或光纖通道直接連接到一臺計算機上。當服務器在地理上比較分散，很難通過遠程進行互連 時，DAS是比較好的解決方案。但是這種式存儲只能通過與之連接的主機進行訪問，不能實現數據與其他主機的共享，同時，DAS會佔用服務器操作系統資源，例如CPU資源、丨O資 源等，並且數據置越大，佔用操作系統資源就越嚴重。

1.1.4 NAS 介紹

網絡接入存儲（Network-Attached Storage)簡稱NAS,它通過網絡交換機連接存儲系統和服務器，建立專門用於數據存儲的私有網絡，用戶通TCP/IP協議訪問數據，採用業界標準的文件共享協議如NFS、HTTP、CIFS來實現基於文件級的數據共享。NAS存儲使文件共車訪問變得更方便和快捷，並且能很容易地增加存儲容量。通過專業化的文件服務器與存儲技術相結合，NAS爲那些需要共享大量文件數據的企業提供了一個高效的、高可靠的、 高性價比的解決方案。佴是NAS也有一定的侷限性，它會受到網絡帶寬和網絡擁堵的影響， 在一定程度上限制了NAS的網絡傳輸能力。

1.1.5 SAN 介紹

存儲區域網絡（Storage Area Network)簡稱SAN,它是一種通過光纖交換機、光纖路由器、光纖集線器等設備將磁盤陣列、磁帶等存儲設備與相關服務器連接起來的高速專用子網。

SAN由3個部分組成，分別是連接設備（如路由器、光纖交換機和Hub)、接口（如 SCSI、FC)、通信協議（如IP和SCSI)。這3個部分再加上存儲設備和服務器就構成了一個 SAN系統。SAN提供了一個靈活的、高性能的和高擴展性的存儲網絡環境，它可以更加有 效地傳輸海置的數據塊。由於採用了光纖接口，因此SAN還具有更髙的帶寬，同時，SAN 也使統一管理和集中控制實現簡化。現在SAN已經廣泛應用於ISP和銀行等，隨着用戶業 務量的增大，SAN的應用前景將越來越光明.

1.2 iSCSI的概念

       iSCSI,即internet SCSI,是IETF制丨了的一項標準，用干將SCSI數據塊映射爲以太網數據包。從根本上說，它是一種某幹IP Storage理論的新型存儲技術，該技術將存儲行業廣泛應用的SCSI接口技術與IP網絡技術相結合，可以在IP網絡上構建SAN。簡單地說，iSCSI就是在IP網絡上運行SCSI協議的一種網絡存儲技術。iSCSI技術最初由Cisco和IBM 兩家開發，並且得到了廣大IP存儲技術愛好者的大力支持，這幾年得到迅速的發展壯大。

       對於中小企業的存儲網絡來說，iSCSI是個非常好的選擇，首先，從技術實現來講， iSCSI是基於IP協議的技術標準，它允許網絡在TCP/IP協議上傳輸SCSI命令，實現SCSI 和TCP/IP協議的連接，這樣用戶就可以通過TCP/IP網絡來構建SAN,只需要不多的投資， 就可以方便、快捷地對信息和數據進行交互式傳輸和管理。但是，在iSCSI出現之前，構建 SAN的唯一技術是利用光纖通道，這要花費很大的建設成本，一般中小企業無法承擔。其次，iSCSI技術解決了傳輸效串、存儲容量、兼容性、開放性、安全性等方面的諸多問題，在性能上絕不輸給商業的存儲系統或光纖存儲網絡。

       iSCSI的優勢主要表現爲：首先，iSCSI沿用TCP/IP協議，而TCP/IP是在網絡方面最通用、最成熟的協議，且IP網絡的基礎建設非常完善，同時，SCSI技術是被磁盤和磁帶等設備廣泛採用的存儲標準，這兩點使iSCSI的建設費用和維護成本非常低廉：其次,iSCSI 支持一般的以太網交換機而不是特殊的光纖通道交換機，從而減少了異構網絡帶來的麻煩： 還有，iSCSI是通過IP封包傳輸存儲命令，因此可以在整個Internet上傳輸數據，沒有距離的限制。

1.3 FC SAN 與 IP SAN 註釋： FCoE：是思科專有的協議你懂得！

   在iSCSI技術出現後，通過IP技術搭建的存儲網絡也應運而生，SAN技術也就出現了兩種不間的實現方式，即FC SAN與IP SAN。簡單來說，以光纖搭建的存儲網絡就是FC SAN,以iSCSI技術搭建的存儲網絡叫做IP SAN,

作爲SAN的兩種實現方式，FCSAN與IPSAN各有優劣，下面從幾個方面分別闡述。

▲在數據傳輸方式上，FC SAN與IP SAN都採用塊協議方式來完成。這是它們的相同點。

▲在傳輸速度上，就目前的傳輸速率而言，FCSAN(2Gbit/s)最快，iSCSI(lGbit/s)次之。

▲在傳輸距離上, FC SAN理論上可以達到100公里，而事實上，傳輸超過50公里後， 就會出現瓶頸。而通過丨P網絡的iSCSI技術在理論上沒有距離的限制，即iSCSI可以 進行沒有距離限制的數據傳輸。

▲在管理及維護成本上，架設FCSAN網絡需要投入很多硬件成本，並且需要特定的工 具軟件進行操作管理，而IPSAN構建成本低廉，由幹iSCSI是通過IP網絡來傳輸數據和分配存儲資源的，因此只要在現有的網絡上進行管理和使用即可，這樣就可以省下大筆的管理費用及培訓成本。

其實IPSAN也面臨着一些不可迴避的困擾：首先，基於IP SAN的網絡存儲還沒有得到用戶的充分肯定：其次，IPSAN存儲需要專門的驅動和設備，幸運的是，一些傳統的光纖適配器廠商都發布了iSCSI HBA設備，同時Inter也推出了專用的IP存儲適配器，而 Microsoft、HP、Novell、SUN、AIX' Linux 也具有 iSCSI Initiator 軟件，並且免費供用戶使用：還有，在安全方面，IPSAN雖然有一套規範的安全機制，但是尚未得到用戶的認可。

這些問題和困擾雖然會妨礙iSCSI的發展，但是相信在未來的網絡存儲世界裏，IPSAN 絕對會擁有一席之地。

1.4 iSCSI的組成

一個簡單的iSCSI系統大致由以下部分組成：

▲ iSCSI Initiator 或者 iSCSI HBA

▲ iSCSI Target

▲以太網交換機

▲—臺或者多臺服務器

一個完整的iSCSI系統的拓撲結構如圖1.1所示：

在圖1-1中，iSCSI 服務器用來安裝iSCSI驅動程序，即安裝iSCSI Initiator; Storage Router可以是以太網交換機或者路由器：iSCSI存儲設備可以是iSCSI磁盤陣列，也可以是具有存儲功能的PC服務器，下面詳細介紹一下iSCSI Initiator與iSCSI Target的含義。

1.4.1 iSCSI Initiator

iSCSI Initiator是一個安裝在計算機上的軟件或硬件設備，它負責與iSCSI存儲設備進行通信。

iSCSI服務器與iSCSI存儲設備之間的連接方式有兩種：第一種是基於軟件的方式，即iSCSI Initiator軟件。在iSCSI服務器上安裝Initiator後，Initiator軟件可以將以太網卡虛擬爲iSCSI卡，進而接受和發送iSCSI數據報文，從而實現主機和iSCSI存儲設備之間的iSCSI協議和TCP/IP協議傳輸功能。這種方式只需以太網卡和以太網交換機，無需其他設備，因此成本是最低的。但是iSCSI報文和TCP/IP報文轉換需要消耗iSCSI服務器的一部分CPU資源,只有在低I/O和低帶寬性能要求的應用環境中才能使用這種方式。

第二種是硬件iSCSI HBA (Host Bus Adapter)卡方式，即iSCSI Initiator硬件。這種方式需要先購買iSCSI HBA卡，然後將其安裝在iSCSI服務器上，從而實現iSCSI服務器與交換機之間、iSCSI服務器與存儲設備之間的高效數據傳輸。與第一種方式相比，硬件iSCSI HBA卡方式不需要消耗iSCSI服務器的CPU資源，同時硬件設備是專用的，所以基於硬件的iSCSI Initiator可以提供更好的數據傳輸和存儲性能。但是，iSCSI HBA卡的價格比較昂貴，因此用戶要在性能和成本之間進行權衡。

iSCSI Initiator軟件一般都是免費的，Centos和RHEL對iSCSI Initiator的支持都非常不錯，現在的Linux發行版本都默認自帶了 iSCSI Initiator.

1.4.2 iSCSI Target

一個可以用於存儲數據的iSCSI磁盤陣列或者具有iSCSI功能的設備都可以被稱 爲“iSCSI Target”，因爲大多數操作系統都可以利用一些軟件將系統轉變爲一個“iSCSI Target".本文重點講述如何構建一個PC構架的iSCSI存儲系統。所謂PC構架就是選擇一個普通的、性能優良的、可支持多塊磁盤的PC (—般爲PC服務器），再選擇一款相對成熟穩定的iSCSI Target軟件，將iSCSI Target軟件安裝在PC服務器上，使普通的PC服務器轉變成一臺iSCSI存儲設備，並通過PC服務器的以太網卡對外提供iSCSI數據傳輸服務，

目前大多數iSCSI Target軟件都是收費的，例如DataCore Software的SANmelody, FalconStor Software 的 iSCSI Server for Windows 等，這些都是 Windows 平臺支持的。不過，也有一些Linux平臺的開源iSCSI Target軟件，例如iSCSI Enterprise Target,後面的內容會重點介紹這個軟件。

利用iSCSI Target軟件，可以將服務器的存儲空間分配給客戶機使用，客戶機可以像使用本地硬盤一樣使用iSCSI磁盤，包括對其進行分區、格式化及讀寫等，而且毎個客戶端都可以向iSCSI磁盤寫數據，互不干擾，並且不會破壞存儲到服務器中的數據。同時，iSCSI Target軟件對用戶權限控制非常靈活，支待配置文件。

我們知道，iSCSI是使用TCP/IP協議進行通信的，因此，將iSCSI兩端連接起來，僅僅需要一個以太網絡就可以了。由此可知，iSCSI的存儲性能和這個以太網絡有直接關係，所以最好在iSCSI網絡中使用千兆以太網交換機，劣質的網絡設備會嚴重影響存儲系統的性能，也就是說，要爲每個服務器配備髙質量的千兆以太網交換機，並提供兩個連接。對於iSCSI Target,應該爲每個獨立陣列中的兩個獨立端口配備交換機，最後將交換機連接起來， 採用這種配置方式，即使兩個交換機中的一個出現了故障，整個iSCSI存儲系統仍然能夠正常工作，這保證了存儲系統的不間斷運行。

1.5 iSCSI的工作原理

要理解iSCSI的工作原理，就必須知道iSCSI的層次結構。根據OSI模型，iSCSI的協 議自頂向下一共可以分爲三層，如圖1-2所示。

下面對每個分層進行簡單介紹。

▲ SCSI層：根據客戶端發出的請求建立SCSI CDB (命令描述塊），並傳給iSCSI層。 同時接收來自iSCSI層的CDB,並嚮應用返回數據

▲ iSCSI層：對SCSI CDB進行封裝，以便能夠在基於TCP/IP協議的網絡上進行傳輸，完成SCSI到TCP/IP的協議映射，這一層是iSCSI協議的核心 層。本文也主要針對這一層的配置和管理進行介紹。

▲ TCP/IP層：對IP報文進行路由和轉發，並且提供端到端的透明可靠的傳輸。 iSCSI協議定義了在TCP/IP網絡 發送、接收數據塊存儲數據的規則和方式。先發送端將SCSI命令和數據封裝到TCP/IP包中，然後通過IP網絡轉發，接收端收到TCP/IP包之後，將其還原爲SCSI命令和數據並執行，執行完成後，將返回的SCSI命令和數據再封裝到 TCP/IP包中,之後再傳回發送端。這樣就完成了數據傳輸的整個過程。

iSCSI的整個數據傳輸過程在用戶 看來是完全透明的，用戶使用遠端的存儲設備就像使用本地的硬盤設備一樣。不過，這只是理論狀態，實際iSCSI的數據傳輸速率並不能完全達到本地硬盤的數據傳輸速率，但差別並不明顯。而且這種網絡存儲模式還有一個優點是安全性髙，這對於數據集中存儲的iSCSI來說顯然非常審要。

圖1-3 顯示出 SCSI 如何通過 iSCSI 層映射到 TCP/IP，使 SCSI 脫離其並行總線結構.利用 SCSI 和 IP 實現網絡化存儲

環境Centos6.5

Target:

1、準備要共享的設備，這裏使用本地磁盤上的新分區：

建立所需要的新分區
# fdisk /dev/sda
# partprobe

2、安裝iscsi服務端：
# yum -y install scsi-target-utils

# service tgtd start
# chkconfig tgtd on
# netstat -tnlp | grep 3260

3、服務端配置管理工具tgtadm的使用：

tgtadm --lld [driver] --op [operation] --mode [mode] [OPTION]...

(1)、添加一個新的 target 且其ID爲 [id]， 名字爲 [name].
--lld [driver] --op new --mode target --tid=[id] --targetname [name]

(2)、顯示所有或某個特定的target:
--lld [driver] --op show --mode target [--tid=[id]]

(3)、向某ID爲[id]的設備上添加一個新的LUN，其號碼爲[lun]，且此設備提供給initiator使用。[path]是某“塊設備”的路徑，此塊設備也可以是raid或lvm設備。lun0已經被系統預留。
--lld [driver] --op new --mode=logicalunit --tid=[id] --lun=[lun] --backing-store [path]

(4)、刪除ID爲[id]的target:
--lld [driver] --op delete --mode target --tid=[id]

(5)、刪除target [id]中的LUN [lun]：
-lld [driver] --op delete --mode=logicalunit --tid=[id] --lun=[lun]

(6)、定義某target的基於主機的訪問控制列表，其中，[address]表示允許訪問此target的initiator客戶端的列表：
--lld [driver] --op bind --mode=target --tid=[id] --initiator-address=[address]

(7)、解除target [id]的訪問控制列表中[address]的訪問控制權限：
--lld [driver] --op unbind --mode=target --tid=[id] --initiator-address=[address]

例如：

(1)創建一個target:
# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2013-05.com.magedu:tsan.disk1


(2)顯示所有：
# tgtadm --lld iscsi --op show --mode target

(3)顯示剛創建的target:
# tgtadm --lld iscsi --op show --mode target --tid 1

(4)創建LUN，號碼爲1:
# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sda5

(5)開放給192.168.0.0/24網絡中的主機訪問：
# tgtadm --lld iscsi --op bind --mode target --tid 1 -I 172.16.0.0/16
其中的-I相當於--initiator-address

(6)Create a new account:
# tgtadm --lld iscsi --op new --mode account --user christina --password 123456
# tgtadm --lld iscsi --op show --mode account

Assign this account to a target:

# tgtadm --lld iscsi --op bind --mode account --tid 1 --user christina
# tgtadm --lld iscsi --op show --mode target

(7)Set up an outgoing account. First, you need to create a new account like the previous example

# tgtadm --lld iscsi --op new --mode account --user clyde --password 123456
# tgtadm --lld iscsi --op show --mode account

# tgtadm --lld iscsi --op bind --mode account --tid 1 --user clyde --outgoing
# tgtadm --lld iscsi --op show --mode target

客戶端配置:

# yum install iscsi-initiator-utils

# echo "InitiatorName=`iscsi-iname -p iqn.2014-04.com.firefox`" > /etc/iscsi/initiatorname.iscsi
# echo "InitiatorAlias=initiator1" >> /etc/iscsi/initiatorname.iscsi

# service iscsi start
# chkconfig iscsi on

2、iscsiadm工具的使用：

iscsiadm是個模式化的工具，其模式可通過-m或--mode選項指定，常見的模式有discoverydb、node、fw、session、host、iface幾個，如果沒有額外指定其它選項，則discoverydb和node會顯示其相關的所有記錄；session用於顯示所有的活動會話和連接，fw顯示所有的啓動固件值，host顯示所有的iSCSI主機，iface顯示/var/lib/iscsi/ifaces目錄中的所有ifaces設定。

iscsiadm -m discovery [ -d debug_level ] [ -P printlevel ] [ -I iface -t type -p ip:port [ -l ] ]
iscsiadm -m node [ -d debug_level ] [ -P printlevel ] [ -L all,manual,automatic ] [ -U all,manual,automatic ] [ [ -T tar-getname -p ip:port -I iface ] [ -l | -u | -R | -s] ] [ [ -o operation ]

-d, --debug=debug_level   顯示debug信息，級別爲0-8；
-l, --login
-t, --type=type  這裏可以使用的類型爲sendtargets(可簡寫爲st)、slp、fw和 isns，此選項僅用於discovery模式，且目前僅支持st、fw和isns；其中st表示允許每個iSCSI target發送一個可用target列表給initiator；
-p, --portal=ip[:port]  指定target服務的IP和端口；
-m, --mode op  可用的mode有discovery, node, fw, host iface 和 session
-T, --targetname=targetname  用於指定target的名字
-u, --logout
-o, --op=OPEARTION：指定針對discoverydb數據庫的操作，其僅能爲new、delete、update、show和nonpersistent其中之一；
-I, --interface=[iface]：指定執行操作的iSCSI接口，這些接口定義在/var/lib/iscsi/ifaces中；



# iscsiadm -m discovery -t sendtargets -p 192.168.0.11
# iscsiadm -m node -T iqn.2014-04.com.firefox:tsan.disk1 -p 172.16.249.7:3260 -l
Logging in to [iface: default, target: iqn.2014-04.com.firefox:tsan.disk1, portal: 172.16.249.7,3260] (multiple)
Login to [iface: default, target: iqn.2014-04.com.firefox:tsan.disk1, portal: 172.16.249.7,3260] successful.

[root@node5 ~]# fdisk  -l /dev/sd[a-z]
Disk /dev/sdb: 4078 MB, 4078715904 bytes
126 heads, 62 sectors/track, 1019 cylinders
Units = cylinders of 7812 * 512 = 3999744 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000
[root@node5 ~]# fdisk  /dev/sdb
[root@node5 ~]# cat /proc/partitions
[root@node5 ~]# mke2fs  -t ext4 /dev/sdb1

# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -u
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -o delete

查看會話相關信息：
# iscsiadm -m session -s

掛載時使用_netdev作爲選項


CHAP： 單向

創建服務端誰所需要的帳號，並實現單方向的認證：

1、在target端創建帳號christina，併爲其授予訪問某tid的權限：
# tgtadm --lld iscsi --op new --mode account --user mageedu --password 123456

接下來還要將用戶與某target進行綁定：
# tgtadm --lld iscsi --op bind --mode account --tid 1 --user mageedu

# tgtadm --lld iscsi --op show --mode account

2、編輯initiator端主配置文件，配置客戶端登錄target時使用此帳號和密碼：
# vim /etc/iscsi/iscsid.conf

取消如下項的註釋：
# node.session.auth.authmethod = CHAP
# node.session.auth.username = username
# node.session.auth.password = password

而後，將後兩項的用戶名密碼設置爲target端設置的用戶名和密碼：
node.session.auth.username = christina
node.session.auth.password = 123456

哪果此前尚未登錄過此target，接下來直接發現並登入即可。否則，則需要按照下面的第三步實現認證的啓用。

3、如果initiator端已經登錄過此target，此時還需要先註銷登錄後重啓iscsid服務，並在刪除此前生成的database後重新發現target，並重新登入，過程如下：

# iscsiadm -m session -r sid -u
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -u
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -o delete
# rm -rf -rf /var/lib/iscsi/send_targets/192.168.0.11,3260
# service iscsid restart
# iscsiadm -m discovery -t sendtargets -p 192.168.0.11
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -l

說明：其中的target名字和target主機地址可能需要按照您的實際情況修改。
FreeNAS
Openfiler
Nexenta
fence_manual
lvmconf --enable-cluster
cman
rgmanager
clvmd
創建一個GFS文件系統：
需要提供的信息：
1、鎖類型：
   lock_nolock
   lock_dlm
2、鎖文件的名字，通常即文件系統名
   cluster_name:fs_name
3、日誌的個數，通常一個節點對應一個日誌文件，但建議提供比節點數更多的日誌數目，以提供冗餘；
4、日誌文件大小
5、文件系統大小
Syntax: gfs_mkfs -p lock_dlm -t ClusterName:FSName -j Number -b block_size -J journal_size BlockDevice
如：
# gfs_mkfs -p lock_dlm -t gfscluster:gfslv -j 5 /dev/vg0/gfslv
可以通過其對應掛載點查看gfs文件系統屬性信息；
# gfs_tool df /mount_point
掛載GFS文件系統：
mount -o StdMountOpts,GFSOptions -t gfs DEVICE MOUNTPOINT
前提：掛載GFS文件的主機必須是對應集羣中的節點；
掛載GFS文件時有如下常用選項可用：
lockproto=[locl_dlm,lock_nolock]
locktable=clustername:fsname
upgrade # GFS版本升級時有用
acl
如果不想每一次啓用GFS時都得指定某選項，也可以通過類似如下命令爲其一次性指定:
# gfs_tool margs "lockproto=lock_dlm,acl"

載入相應的gfs模塊，並查看lv是否成功

# modprobe gfs
# modprobe gfs2
# chkconfig gfs on
# chkconfig gfs2 on
# chkconfig clvmd on
# /etc/init.d/gfs restart
# /etc/init.d/gfs2 restart
# /etc/init.d/clvmd restart
# lvscan
lvmconf --enale-cluster
Openfiler, NAS, SAN
FreeBSD, AIX, power 
/lib64
Openfiler: CentOS
    NAS: nfs, samba
    SAN: IPSAN
webGUI
FreeNAS:
    FreeBSD
tgtd
iscsitarget
tgtadm --lld iscsi --op new --mode account --user iscsiuser --password mypass
tgtadm --lld iscsi --op new --mode account --user myuser --password mypass
tgtadm --lld iscsi --op bind --mode account --tid 1 --user iscsiuser
tgtadm --lld iscsi --op bind --mode account --tid 1 --user myuser --outgoing
<target iqn.2012-11.com.magedu:tgt.target1>
   backing-store /dev/sdb
   incominguser iscsiuser mypass
   outgoinguser myuser    mypass
</target>
/etc/iscsi/iscsid.conf