一、什麼是多路徑
普通的電腦主機都是一個硬盤掛接到一個總線上，這裏是一對一的關係。而到了有光纖組成的SAN環境，或者由iSCSI組成的IPSAN環境，由於主機和存儲通過了光纖交換機或者多塊網卡及IP來連接，這樣的話，就構成了多對多的關係。也就是說，主機到存儲可以有多條路徑可以選擇。主機到存儲之間的IO由多條路徑可以選擇。每個主機到所對應的存儲可以經過幾條不同的路徑，如果是同時使用的話，I/O流量如何分配？其中一條路徑壞掉了，如何處理？還有在操作系統的角度來看，每條路徑，操作系統會認爲是一個實際存在的物理盤，但實際上只是通向同一個物理盤的不同路徑而已，這樣是在使用的時候，就給用戶帶來了困惑。多路徑軟件就是爲了解決上面的問題應運而生的。
多路徑的主要功能就是和存儲設備一起配合實現如下功能：
1.故障的切換和恢復
2.IO流量的負載均衡
3.磁盤的虛擬化
由於多路徑軟件是需要和存儲在一起配合使用的，不同的廠商基於不同的操作系統，都提供了不同的版本。並且有的廠商，軟件和硬件也不是一起賣的，如果要使用多路徑軟件的話，可能還需要向廠商購買license才行。比如EMC公司基於linux下的多路徑軟件，就需要單獨的購買license。好在， RedHat和Suse的2.6的內核中都自帶了免費的多路徑軟件包，並且可以免費使用，同時也是一個比較通用的包，可以支持大多數存儲廠商的設備，即使是一些不是出名的廠商，通過對配置文件進行稍作修改，也是可以支持並運行的很好的。
二、Linux下multipath介紹，需要以下工具包：
在CentOS 5中，最小安裝系統時multipath已經被安裝，查看multipath是否安裝如下：
1、device-mapper-multipath：即multipath-tools。主要提供multipathd和multipath等工具和 multipath.conf等配置文件。這些工具通過device mapper的ioctr的接口創建和配置multipath設備（調用device-mapper的用戶空間庫。創建的多路徑設備會在/dev /mapper中）。
2、 device-mapper：主要包括兩大部分：內核部分和用戶部分。內核部分主要由device mapper核心（dm.ko）和一些target driver（md-multipath.ko）。核心完成設備的映射，而target根據映射關係和自身特點具體處理從mappered device 下來的i/o。同時，在覈心部分，提供了一個接口，用戶通過ioctr可和內核部分通信，以指導內核驅動的行爲，比如如何創建mappered device，這些divece的屬性等。linux device mapper的用戶空間部分主要包括device-mapper這個包。其中包括dmsetup工具和一些幫助創建和配置mappered device的庫。這些庫主要抽象，封裝了與ioctr通信的接口，以便方便創建和配置mappered device。multipath-tool的程序中就需要調用這些庫。
3、dm-multipath.ko和dm.ko：dm.ko是device mapper驅動。它是實現multipath的基礎。dm-multipath其實是dm的一個target驅動。
4、scsi_id： 包含在udev程序包中，可以在multipath.conf中配置該程序來獲取scsi設備的序號。通過序號，便可以判斷多個路徑對應了同一設備。這個是多路徑實現的關鍵。scsi_id是通過sg驅動，向設備發送EVPD page80或page83 的inquery命令來查詢scsi設備的標識。但一些設備並不支持EVPD 的inquery命令，所以他們無法被用來生成multipath設備。但可以改寫scsi_id，爲不能提供scsi設備標識的設備虛擬一個標識符，並輸出到標準輸出。multipath程序在創建multipath設備時，會調用scsi_id，從其標準輸出中獲得該設備的scsi id。在改寫時，需要修改scsi_id程序的返回值爲0。因爲在multipath程序中，會檢查該直來確定scsi id是否已經成功得到。
三、multipath在CentOS 5中的基本配置過程：
1、安裝和加載多路徑軟件包
# yum –y install device-mapper device-mapper-multipath
# chkconfig –level 2345 multipathd on #設置成開機自啓動multipathd
# lsmod |grep dm_multipath #來檢查安裝是否正常
如果模塊沒有加載成功請使用下列命初始化DM，或重啓系統
---Use the following commands to initialize and start DM for the first time:
# modprobe dm-multipath
# modprobe dm-round-robin
# service multipathd start
# multipath –v2
2、配置multipath：
Multipath的配置文件是/etc/multipath.conf , 如需要multipath正常工作只需要如下配置即可：(如果需要更加詳細的配置，請看本文後續的介紹)
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
# vi /etc/multipath.conf
3、multipath基本操作命令
# /etc/init.d/multipathd start #開啓mulitipath服務
# multipath -F #刪除現有路徑
# multipath -v2 #格式化路徑
# multipath -ll #查看多路徑
如果配置正確的話就會在/dev/mapper/目錄下多出mpath0、mpath1等之類設備。
用fdisk -l命令可以看到多路徑軟件創建的磁盤，如下圖中的/dev/dm-[0-3]
4、multipath磁盤的基本操作
要對多路徑軟件生成的磁盤進行操作直接操作/dev/mapper/目錄下的磁盤就行.
在對多路徑軟件生成的磁盤進行分區之前最好運行一下pvcreate命令:
# pvcreate /dev/mapper/mpath0
# fdisk /dev/mapper/mpath0
用fdisk對多路徑軟件生成的磁盤進行分區保存時會有一個報錯,此報錯不用理會。
fdisk對多路徑軟件生成的磁盤進行分區之後，所生成的磁盤分區並沒有馬上添加到/dev/目錄下，此時我們要重啓IPSAN或者FCSAN的驅動，如果是用iscsi-initiator來連接IPSAN的重啓ISCSI服務就可以發現所生成的磁盤分區了
# service iscsi restart
# ls -l /dev/mapper/
如上圖中的mpath0p1和mpath1p1就是我們對multipath磁盤進行的分區
# mkfs.ext3 /dev/mapper/mpath0p1 #對mpath1p1分區格式化成ext3文件系統
# mount /dev/mapper/mpath0p1 /ipsan/ #掛載mpath1p1分區
四、multipath的高有配置
以上都是用multipath的默認配置來完成multipath的配置，比如映射設備的名稱，multipath負載均衡的方法都是默認設置。那有沒有按照我們自己定義的方法來配置multipath呢，當可以。
1、multipath.conf文件的配置
接下來的工作就是要編輯/etc/multipath.conf的配置文件
multipath.conf主要包括blacklist、multipaths、devices三部份的配置
blacklist配置
blacklist {
devnode "^sda"
}
Multipaths部分配置multipaths和devices兩部份的配置。
multipaths {
multipath {
wwid **************** #此值multipath -v3可以看到
alias iscsi-dm0 #映射後的別名,可以隨便取
path_grouping_policy multibus #路徑組策略
path_checker tur #決定路徑狀態的方法
path_selector "round-robin 0" #選擇那條路徑進行下一個IO操作的方法
}
}
Devices部分配置
devices {
device {
vendor "iSCSI-Enterprise" #廠商名稱
product "Virtual disk" #產品型號
path_grouping_policy multibus #默認的路徑組策略
getuid_callout "/sbin/scsi_id -g -u -s /block/%n" #獲得唯一設備號使用的默認程序
prio_callout "/sbin/acs_prio_alua %d" #獲取有限級數值使用的默認程序
path_checker readsector0 #決定路徑狀態的方法
path_selector "round-robin 0" #選擇那條路徑進行下一個IO操作的方法
failback immediate #故障恢復的模式
no_path_retry queue #在disable queue之前系統嘗試使用失效路徑的次數的數值
rr_min_io 100 #在當前的用戶組中，在切換到另外一條路徑之前的IO請求的數目
}
}
如下是一個完整的配置文件
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names no
}
multipaths {
multipath {
wwid 14945540000000000a67854c6270b4359c66c272e2f356321
alias iscsi-dm0
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid 14945540000000000dcca2eda91d70b81edbcfce2357f99ee
alias iscsi-dm1
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid 1494554000000000020f763489c165561101813333957ed96
alias iscsi-dm2
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid 14945540000000000919ca813020a195422ba3663e1f03cc3
alias iscsi-dm3
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}
devices {
device {
vendor "iSCSI-Enterprise"
product "Virtual disk"
path_grouping_policy multibus
getuid_callout "/sbin/scsi_id -g -u -s /block/%n"
path_checker readsector0
path_selector "round-robin 0"
}
}
獲取wwid的方法：
(1)默認情況下，將使用 /var/lib/multipath/bindings 內的配置設定具體每個多路徑設備名，如果在/etc/multipath.conf中有設定各wwid 別名，別名會覆蓋此設定。
(2)# multipath -v3命令查找
2、負載均衡測試
使用dd命令來對設備進行寫操作，並同時通過iostat來查看I／0狀態，命令及輸出如下：
# dd if=/dev/zero of=/dev/mapper/iscsi-dm1p1
開啓另外一個終端用以下命令查看IO情況
# iostat 10 10
通過上述輸出，我們看到，在對/dev/mapper/iscsi-dm1p1讀寫時，實際上是通過對/dev/md-1包含的當前active的所有設備，即/dev/sde1,/dev/shl這2條路徑來完成對實際的LUN的寫過程。
3、路徑切換測試
首先，我們拔掉服務器上一根網線，經過不到10秒，我們看到：MPIO成功地從上述“失敗”的路徑/dev/sel切換到了另外一條路徑/dev/sdh1上。
centos上iscsi+multipath多路徑存儲配置手冊
這是我在實際工程中所做的一個文檔，拿出來給大家分享，如有異議，歡迎探討。
目錄
一：客戶端安裝iscsi包。
二：zai共享存儲上爲服務器劃分磁盤空間。
三：啓用iscsi設備。
四：安裝dm-multipath包。
五：配置參數修改和測試。
一;客戶端添加iscsi 安裝包。
1、服務器安裝iscsi initiator包。安裝包從安裝光盤中找到
[email protected]~>rpm -qa |grep iscsi
iscsi-initiator-utils-6.2.0.868-0.7.el5
2、在/etc/iscsi/目錄下/etc/iscsi/initiatorname.iscsi
查看此文件可發現主機端的iqn號碼。在EVA command view管理軟件中添加HOST時需用到。
二:爲服務器劃分磁盤陣列的磁盤空間（即Virtual disk）
具體詳見存儲配置。
三:啓用ISCSI設備
1、在服務器端，啓動ISCSI服務：
[email protected]~>service iscsi start
2、查詢ISCSI設備（HP storageworks mpx100）target的iqn號碼：（必須）
[email protected]~>iscsiadm -m discovery -t sendtargets -p 192.168.14.1
192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38
3、登陸到ISCSI存儲設備
[root@localhost~]#Iscsiadm –m node –T iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p 192.168.14.1:3260 – l
上面命令是連續的，其中iqn號碼爲上面查詢得到的號碼，ip爲iscsi存儲中iscsi口對外映射的地址。
4、查看磁盤:
[root@localhost ~]# fdisk -l
Disk /dev/sda: 8795 MB, 8795105280 bytes
255 heads, 63 sectors/track, 1069 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 941 7558551 83 Linux
/dev/sda2 942 1068 1020127+ 82 Linux swap / Solaris
Disk /dev/sdb: 10.4 GB, 10487232000 bytes
255 heads, 63 sectors/track, 1275 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
得到新的盤符
5、同樣的方法添加另外一個ISCSI路徑的target 。
（說明：一個mpx100的一個ISCSI端口有一個iqn號和一個ip地址）
添加成功後fdisk –l 應該可以看到兩個盤符。他們的容量都一樣。這兩個盤符對應的是同一個磁盤陣列下的同一個LUN。
6：映射完成之後使用下面命令查看映射結果：
[email protected]~>iscsiadm -m node
192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38
192.168.14.3:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c
由於需要實現存儲設備的多路徑訪問及故障切換，故需要運行multipath服務，這個在centos中已經安裝好了。如沒有執行下面的命令。
（原理爲EVA4400中的一個真實的virtual disk通過與2個冗餘陣列控制器連接的2個MPX100B對外提供映射，故服務器上可以看到兩個物理磁盤，但此磁盤對應一個真實的一個真實的virtual disk，故這兩條路徑間可以實現故障切換和負載均衡）
rpm –ivh device-mapper-1.02.13-6.9.i686.rpm
rpm –ivh multipath-tools-0.4.7-34.18.i686.rpm
安裝完成後，使用命令modprobe dm_multipath來加載相應的模塊，
可以使用lsmod |grep dm_multipath來檢查安裝是否正常。
1： etc/multipath.conf 是多路徑軟件的配置文件，其中大部分配置是註釋掉的，可以將他保存爲備用，然後新建一個multipath.conf 文件，編輯新的配置文件：
實際有用的就是下面這些參數：其餘參數都可以註釋掉：
defaults {
user_friendly_names yes
udev_dir /dev
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
保存退出
2：啓動服務：
Service multipathd restart
啓動成功後，我們會在dev目錄下看到下面的目錄：
/dev/mapper/mpathn,
/dev/mpath/mpathn,
/dev/dm-n.
說明: 其中/dev/mapper/mpathn 是軟件虛擬出來的多路徑設備，這個可以被我們用來掛載使用。
/dev/mpath/mpathn 這個是udev設備管理器創建的，不能用來掛載。
/dev/dm-n 這個是軟件自身使用的，不能被軟件以外使用。不可掛載。
3： 用 multipath –ll 命令查看到兩條活躍路徑，他們之間互爲A/A 關係。斷掉其中一根線路，那麼系統自動切換到另外一條。
[email protected]~>multipath -ll
mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
\_ round-robin 0 [prio=2][active]
\_ 1:0:0:2 sdd 8:48 [active][ready]
\_ 2:0:0:2 sdf 8:80 [active][ready]
mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
\_ round-robin 0 [prio=2][active]
\_ 1:0:0:1 sdb 8:16 [active][ready]
\_ 2:0:0:1 sdc 8:32 [active][ready]
mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
\_ round-robin 0 [prio=2][active]
\_ 1:0:0:3 sde 8:64 [active][ready]
\_ 2:0:0:3 sdg 8:96 [active][ready]
4：在多路徑設備創建後，我們就可以像使用實際的物理設備樣使用多路徑設備了。前提是必須通過下面的命令將其標記爲物理卷。
pvcreate /dev/mapper/mpath1
5：然後對磁盤進行分區和格式化
fdisk /dev/mapper/mpath1
（說明：這裏有很多種說法，我這裏是自己經驗總結出來的，和官方文檔不同，如有異議歡迎討論）
分區之後，會在dev/mapper/目錄下創建新的塊設備，
/dev/mapper/mpath1p1 這個表示mpath1設備下面的分區1.
如果沒有看到或者不匹配，使用multipath –F 命令清除多路徑設備緩存後，再用multipath –v3 命令重新加載。
分區之後使用fdisk –l 命令查看磁盤會看到dm-1 磁盤下面已經有分區的信息了。
****************************************************
isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes
255 heads, 63 sectors/track, 267218 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/dm-1p1 1 121577 976567221 83 Linux
mkfs.ext3 /dev/mapper/mpath0p1
****************************************************
6：最後將磁盤mount掛載，就可以正常使用了。
7：將multipathd服務設置成開機自啓動
chkconfig multipathd on
8：注意事項：
刪除失效的iscsi 連接：
如果因爲錯誤配置等原因創建了iscsi 對應，系統不會自動刪除，需手動刪除。
例如：
[root@as-h-01 ~]# iscsiadm -m node
192.168.1.51:3260,1 iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2
我們看到上面有一個iscsi對應，但實際中這個對應已經失效，系統不會自動刪除。
刪除命名：
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2 -p 192.168.1.51:3260
如果其中一條鏈路出現故障，那麼在日誌裏面我們可以看到如下類似的信息：
[email protected]~>tail /var/log/messages
Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is down
Dec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is down
Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is down
Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is down
Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is down
[email protected]/etc>multipath -ll
sdc: checker msg is "readsector0 checker reports path is down"
sdf: checker msg is "readsector0 checker reports path is down"
sdg: checker msg is "readsector0 checker reports path is down"
mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
\_ round-robin 0 [prio=1][active]
\_ 1:0:0:2 sdd 8:48 [active][ready]
\_ 2:0:0:2 sdf 8:80 [failed][faulty]
mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
\_ round-robin 0 [prio=1][active]
\_ 1:0:0:1 sdb 8:16 [active][ready]
\_ 2:0:0:1 sdc 8:32 [failed][faulty]
mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
\_ round-robin 0 [prio=1][active]
\_ 1:0:0:3 sde 8:64 [active][ready]
\_ 2:0:0:3 sdg 8:96 [failed][faulty]
RHEL6 配置multipath多路徑軟件連存儲 2012-12-28 12:59:13
分類： LINUX
RHEL6與5在多路徑的配置上有一些小區別。scsi_id命令有些參數不再支持。在RHEL 6中獲取磁盤的wwid可以通過–whitelist參數獲取:[root@db1 ~]# scsi_id --whitelist /dev/sdg 360060160a2212f00f8139df761ece111
可以通過一條shell命令，來獲取系統所有磁盤的wwid：
# for i in `cat /proc/partitions ? awk {'print $4'} ?grep sd`; do echo "### $i: `scsi_id --whitelist /dev/$i`"; done
在RHEL 5中，可以通過如下方式獲取磁盤wwid：
# for i in `cat /proc/partitions ? awk {'print $4'} ?grep sd`; do echo "### $i: `scsi_id -g -u -s /block/$i`"; done
另外，RHEL 6中，多路徑配置文件也出現變化：
# multipath.conf written by anaconda
defaults {
user_friendly_names yes
}
blacklist {
devnode "^(ramrawloopfdmddm-srscdst)[0-9]*"
devnode "^hd[a-z]"
devnode "^dcssblk[0-9]*"
device {
vendor "DGC"
product "LUNZ"
}
device {
vendor "IBM"
product "S/390.*"
}
# don't count normal SATA devices as multipaths
device {
vendor "ATA"
}
# don't count 3ware devices as multipaths
device {
vendor "3ware"
}
device {
vendor "AMCC"
}
# nor highpoint devices
device {
vendor "HPT"
}
wwid "20080930-1"
wwid "20080930-1"
device {
vendor Cisco
product Virtual_CD_DVD
}
wwid "*" //其實可以註釋這項，這樣就不需要單獨填寫blacklist_exceptions
}
blacklist_exceptions { //排除在黑名單之外的wwid
wwid "360060160a2212f00a67e0b91f2dbe111"
wwid "360060160a2212f0044a0fc6ef5eae111"
}
multipaths {
multipath {
uid 0 //磁盤讀所屬用戶uid
gid 0 //磁盤所屬組gid
wwid "360060160a2212f00a67e0b91f2dbe111" //wwid號
mode 0600 //磁盤讀寫權限
}
multipath {
wwid "360060160a2212f0044a0fc6ef5eae111"
alias data //別名
}
... ... //還可以根據實際情況，配置其它磁盤的別名、uid、gid、mode etc...
}
配置完了之後，重啓multipathd服務，之後通過multipath -ll查看經過多路徑軟件綁定後的磁盤。
注意，如果要對磁盤進行格式化，請採用/dev/mapper/[alias]這類設備名進行fdisk。