第1章
DS3000在寫時最大吞吐量爲4Gbps
P29 SAS 最大爲12Gbps ---指SAS線分爲4股，每股最大3G，當第1股速度達到最大時，會用到第2股線；當4股線都用上時，最大速度爲12Gbps
是指DS3400使用FC時最高爲4Gbps
每根SAS線纜內有4個lane，每個lane是3Gbps，因此最大12Gbps--->SAS線的速率
類似於高速公路設計時速150公里，一輛車的最高時速80公里
SAS線纜就是這條高速公路，而DS3000就是這輛車
感覺這個比喻不是很貼切，也許可用另一個簡單的比喻---網卡10M，網線和交換機是100M
10Gbps僅用於交換機之間的互聯
FC拓撲：
支持以下幾種拓撲
point-to-point: HBA與storage device之間direct
Arbitrated loop: 用於FC設備之間互聯，最多126個設備；使用one-way ring通信，任何時刻只有2個設備能通訊；所有設備共享帶寬，因此不適合高性能需求
Switched fabric:concurrent data transfers
P27
FC協議分爲5層：FC0到FC4
▲FC0 is physical layer: cabling , connectors, signalling
▲FC1 is data link layer: encoding and decoding of signals
▲FC2 is network layer and defines the main FC protocols. define frame and transferred.
▲FC3 is the common services layer.
▲FC4 is application protocol mapping layer. FCP is used to encapsulate SCSI data into FC frame
P27
FC cable types:single-mode or multi-mode FC cables
IBM所有的存儲中都是使用多模矮波光纖--->多模短波光纖 (筆誤 10:39 2010-4-4)
Multi-mode: 多個光束能被同時的傳播；8Gbps 最遠150m；比較常見
Single-mode: 光纖直徑比多模的細，連接時的要求高；最遠50km，適用於長距離
FC World Wide Names (WWN)
WWN是FC設備的唯一標識
P27
SAS
SAS由傳統的並行SCSI(Parallel SCSI)發展而來
SAS用SCSI命令與附屬設備通信
SAS在全雙工下寫的速度爲3Gbps
當SAS設備連接在一起，形成一個SAS Domain，每個設備都有一個唯一的標識，這就是 WWN
WWN與SCSI ID有些相似，但仍有不同之處：
▲SCSI ID只有16個，而SAS 有16256個
▲SCSI ID在SCSI bus上是唯一的，而WWN在全局中是唯一的
P27
SAS expanders
Basically, SAS uses point-to-point serial links
use of SAS expanders,the number of devices in a SAS domain can greatly increase.
▲ Fan-out expanders : maximum of 128 devices
▲ Edge expanders : maximum of 128 devices on a single edge expander
SAS使用點對點的串行鏈路
如果要連接多個SAS設備，則需用到SAS擴充器
一個SAS Domain只能有一個Fan-out expanders, 上面可以連接128個Edge expanders，一個edge expander可以連接128個設備
所以最多可以連接128*128-128＝16256個設備
一個DS3000可以連接3個EXP3000，擴充到48塊硬盤
P28
SAS protocol layers: 4層
物理層The physical layer
鏈路層The link layer
端口層The port layer
傳輸層The transport layer
SAS的好處：
▲ SAS使用點到點的拓撲
▲ SAS的信號碰撞比SCSI小，提高了有效性
▲ SCSI一定要終結器，而SAS自動終結
▲ SAS比SCSI支持更長的線纜，更多的設備
SAS中也支持SATA硬盤
P29
SAS wide ports:
每個SAS端口包含4對全雙工的線路（通道）
一對通道以3Gbps的速率承載數據，當第一對通道忙，數據溢出時，其它通道來管理溢出的數據
當4對通道都在運載數據時，總的速率爲12Gbps
P30
SCSI使用的是Loop Topology, 當通信時，數據必須依次過每一個設備，速度慢；當有任何一個設備失敗時，引起整個環路問題
SAS使用 Pt-to-Pt Topology; 控制器與設備之間直連，單個設備失敗不會影響到整個控制器
P30 圖
P30
1.3 iSCSI disk attachment
iSCSI: 基於以太網和TCP/IP來傳輸封裝的SCSI命令和數據
成本低，適用於部門級
iSCSI也暗示着更低的性能和擴展性
以太網 1Gbps，而SAN 8Gbps
▲iSCSI需要更多的CPU和內存來運行封裝；爲了增強性能，最好用專用的iSCSI HBA卡來處理封裝
▲以太網速度慢 1Gbps
P31
1.3.1 iSCSI initiators and targets
iSCSI initiator 可以是一個 iSCSI HBA卡, 或者是一個通過以太網卡來進行iSCSI stack的軟件(例如微軟的iSCSI)
DS3300只支持 win2003 和 win2008上的 軟件Initiator
iSCSI HBA在系統中被歸類於存儲卡
P32
iSCSI naming
iSCSI 的 Initiaor 和 Target 必須有唯一的名字
命名方式：
▲IQN
▲EUI
iSCSI尋址
iSCSI地址主要是用於發現期間，端口3260
P32
1.3.2 iSCSI discovery
Initiator用來查找哪些Target可用的一個過程
static discovery：管理員手工在iSCSI軟件或HBA卡里面定義Target的節點名/IP地址/Port等
Queries to known iSCSI servers:Initiator發出一個SendTargets的命令，Target回覆這個命令
Queries to an Internet Storage Name Server (iSNS): Target先在iSNS中註冊，Initiator發出查詢，經授權的會被報告
Service Location Protocol (SLP)：
定位iSCSI Target 位置；有三種代理
User agent (UA):工作在client (iSCSI initiator)上，與service (iSCSI target)建立聯繫
Service agent (SA):運行在iSCSI target上廣告服務和容量信息
Directory agent (DA):從iSCSI target上的廣告中收集服務信息
P33
1.3.3 iSCSI security considerations
SAN不直接面向以太網用戶
iSCSI直接使用以太網，易受***和闖入
iSCSI connection authentication：認證是可選的，Target可認證Initiator, Initiator也可認證Target；
每一個會話連接都是可以被認證的
P34
IP Security (IPSec)
基於packet level來保護數據安全
Transport mode：IP報頭(IP header)不會被加密，不會影響路由；而包的其它部分會被加密
Tunnel mode：包含IP報頭的整個包被加密，會封裝成一個新的IP包
IPSec通常用於***
第2章
P35
Storage Manager V10.35 (controller code Version 07.35 is a non-concurrent upgrade and it must be done offline).
支持:
支持超過2TB logical drives：注意是邏輯設備，要確定OS是否支持超過2T的邏輯設備
RAID 6
超過30個設備來建立RAID 0或RAID 1 ,最大48個
分區數量：7.35支持32個分區； 7.35以前支持16個分區
發生緊急情況時，將診斷數據保存在客戶機上
控制器上支持IPV6
支持數量不限的Global Hot Spares.
在不同的DS3000上安全地移動陣列而不丟失數據
在Windows中不再支持RDAC, 取而代之的是MPIO/DSM
第3章
P41
DS3000系列由 DS3200 ,DS3300, DS3400 和 EXP3000 組成
入門級: DS3000
中間級: DS4000
企業級: DS6000
DS3200 DS3300 DS3400均支持450G SAS 和 1TB SATA 硬盤
最大都能支持48個硬盤
各自的主機端口不同：
DS3200: 主機端口使用 SAS
DS3300: 主機端口使用 iSCSI
DS3400: 主機端口使用 FC
P43
DS3000系列中，每個設備可以連接3個擴展櫃，每個擴展櫃12個硬盤；加上設備自身的12個硬盤，因此，最大爲48個硬盤
DS3000系列爲 2U，包含1個或2個RAID控制器(DS3000系列都有單控和雙控之分)，2路冗餘電源(每個電源2個風扉作冗餘 P44)
EXP3000 爲2U，標配1個ESM,另一個爲可選件，2路冗餘電源（每個電源2個風扇作冗餘)
注意，DS3000系列中的磁盤安裝方向是橫向的!!!!!
DS3000系列支持RAID級別有 0 1 3 5 6 10
每一個控制器的cache爲512MB,可升級到1GB
每一個控制器有一個cache電池，可支持3天
在雙控制器配置中，(從後面看)，左邊的是A控制器，右邊的是B控制器
P44
DS3000的RAID控制器的端口：
串口Serial Port：用來排錯
每個DS有2個電源，每個電源有2個風扇，都是相互冗餘的
P44
3.2.1 DS3200
標準的DS3200 RAID控制器只有一個SAS口；（SAS爲3Gbps)
安裝DS3200 SAS 2-Port Daughter card 將提供兩個額外的端口
P45
3.2.2 DS3300
DS3300提供 2個 1Gbps 的 iSCSI口
最多可連接32個主機
（支持16種主機類型）
P46
3.2.3 DS3400
DS3400也有單控/雙控之分
每個控制器上有 2個 4Gbps 的 FC port
3.2.4 EXP3000
EXP3000是一個 2U 的 SAS Disk drive enclosure
可插12個SAS 3.5-inch Disk drive
每個DS3000可以連接3個 EXP3000
每個EXP3000有 1個 或 2個 EMS, 2個電源模塊(每個電源2個風扉作冗餘）
Environmental Services Module (ESM)：
一個ESM上有 2個 SAS Port, 分別標爲 In 和 Out，
用 In 連接 DS3000 或 另一個 EXP3000的 Out 上
EXP3000上只標配 1個 EMS；另一個爲可選件
當EXP3000連接到一個雙控的DS3000上，則必須安裝 2個 ESM
在升級微碼時要做兼容性檢查，並且要先升級SM軟件
P49
DS3000 Parition Expansion License：DS3000系列中，標準配置爲4個存儲分區，最大32個(需要Parition Expansion License)
DS3000 FlashCopy Expansion License: 這個License用來啓用Flashcopy；標準配置：已啓動2個FlashCopy；最多爲64個
DS3000 VolumeCopy License：最多128個
P50
3.4 DS3000 Storage Manager
用來管理DS3000的軟件
▲Host server
▲Management station
Out-of-band：也叫直連管理(direct-attached management)
IN-band：也叫主機附加管理host-attached management.只有DS3400可使用帶內管理
P51
3.4.1 DS3000 Storage Manager components
Storage Manager Client (SMclient)
Storage Manager Agent (SMagent)
Storage Manager Utility (SMutil)：安裝在主機上
P53
Multipath support：
當DS3000爲雙控時，推薦在主機上安裝 2張 HAB卡
Ds3000在windows下使用MPIO/DSM來作多路徑支持，windows中不再支持RDAC
DS3000在Linux下不包含多路徑支持，RDAC在Linux下叫做MPP
P54
3.4.2 Management methods
帶內管理 和 帶外管理 各有優缺點
In-band management：
不需要用到管理 以太網口，也不需要管理TCP/IP
不能配置最大數量的邏輯設備，因爲有一個是爲了訪問邏輯設備而保留的，但並不會出問題，因爲所有的客戶都不會用到那麼多的LUN
在主機上安裝SMagent，讓client通過TCP/IP來連接主機，主機通過I/O來連接DS3400
缺點：需要一個單獨的access logical drive，因此分區數量爲允許的最大分區數量減去1個
Access logical drive：
帶內管理時，每一個存儲分區中都要用到一個access logical drive，因此，可用的LUN爲最大數量的LUN 減 1個
Out-of-band management
在控制器上要配置IP地址，建議其IP地址被單獨劃開
優勢：
不需要一個access logical drive，所以主機上能使用到所有的logical drive
如果I/O路徑失敗，仍能夠通過帶外管理訪問到DS3000，便於排錯，並且幾乎有帶內管理的所有功能
當帶內管理不能使用時(如主機上的SMagent不能用),則可使用帶外管理
推薦同時使用兩種管理方法
第4章
P59
DS3000可以連接3個EXP3000擴展櫃，且controller自動設置enclosure ID
可以改變 enclosure ID；
因爲enclosure ID是用來確定硬盤的硬件地址的，所以enclosure 的ID必須唯一
enclosure ID默認出廠值是 85
如果要改變它，建議改成 80 或 更高的值 (有些存儲子系統不支持低於80的值),有效值爲0-99
在雙控的DS3000中，兩個控制器必須有相同的enclosure ID
在雙ESM的EXP3000中，兩個ESM必須有相的enclosure ID
P60
4.2 SAS Cabling
SAS線纜是用來連接DS3000和EXP3000的
DS3000控制器和EXP3000 ESM都支持 迷你SAS 4x 多通道連接器
DS3000 Controller and EXP3000 ESM all support mini-SAS 4X multilane connectors
IBM的SAS線 長度 有 1m 和 3m 兩種
避免將SAS線拉得過緊
避免與其它可能會損傷SAS線的設備放在一起
避免在線上掛其它重物
P61
4.3 EXP3000 attachment
▲ 連接 DS3000上的drive-side SAS port 到 EXP3000上的SAS In 端口上
▲ 連接 EXP3000上的 SAS Out 端口到下一個 EXP3000的 SAS In 上
P62
一個單控的DS3000連接3個單ESM的EXP3000
當有任一個EXP3000故障或者SAS線斷掉，則有一些擴展櫃將與DS3000失去連接
P62
雙控制器的DS3000和雙ESM的EXP3000
在左邊使用 top-to-bottom 順序
右邊使用 bottom-to-top 順序
這樣可以避免單點失效
如果SAS線連接錯了，設備將不能工作；會被控制器軟硬件檢測到，在SM中會有警報日誌
▲ 不要把SAS線 連接在DS3000的主機端口上，應該連接在設備端口上
▲ 不要把一個EXP3000的 IN 端口 連接到另一個EXP3000的 IN端口上
▲ 不要把一個EXP3000的 OUT端口 連接到另一個EXP3000的 OUT端口上
▲ 不要在一個單一的EXP3000中將SAS端口互聯
如果左邊和右邊都使用 top-to-bottom 的連接方式，
雖然技術上是正確的，但並不是最優化的方法；因爲這樣沒有冗餘，
當某一個EXP3000失效後，將導致整個擴展櫃與DS3000失去聯繫
P64
每個DS3000 RAID 控制器有一個以太網口，用於帶外管理
如果是雙控制器，則要能訪問到兩個控制器的以太網口，否則不能管理擴展櫃
If you have a dual controller DS3000 subsystem, make sure the management workstation can access the management port on each controller. If only one controller is assessable by the management machine, the DS3000 Storage Manager will not be able to manage the enclosure.
強烈建議使用一個專用的LAN地址段來做帶外管理
爲安全起見，爲DS3000設置密碼
P64
主機使用 SAS HBA卡 來連接DS3200
一個DS3200控制器最多提供3個SAS主機端口
當主機使用雙HBA卡時，一個雙控DS3200可以接3臺主機
當主機使用單HBA卡時，一個雙控DS3200可以接6臺主機(因爲沒有冗餘性，所以不推薦此方法)
P64
DS3300 — iSCSI
只要將DS3300連接到以太網交換機，主機也連接到以太網交換機中即可
P65
DS3400-Fibre Channel
DS3400每控制器有2個FC端口，可直連兩臺主機；或連接到SAN網絡中
需要在每一個FC端口上安裝一個SFP模塊，用來轉換光電信號
先移除FC線，再移除SFP模塊
DS3400只支持短波SFP模塊(short wave SFP module)，不支持長波SFP模塊
P67
Direct-attached DS3400
主機上安裝兩塊 FC HBA卡，分別連到DS3400的兩個控制器中，這種冗餘適合集羣服務器
Switch-attached Ds3400
1.使用一臺SAN交換機，主機的雙FC HBA卡連接到 SAN交換機，DS3400兩個控制器上的共4個FC端口也連到交換機上
2.使用兩個SAN交換機，每臺主機的一塊FC HBA卡連接到A交換上，另一塊FC HBA卡連接到B交換機上
P69
4.6 Power cabling
爲保險起見，將DS3000的每一個電源線接到不同的電源中
P70
綠燈：正常
黃燈：黃燈亮時，有故障；黃燈閃光時，某些操作正在進行
藍燈：藍燈亮時，可移除組件
4.7 DS3000 Front and Power LEDs
Power LEDs
- DC power LED (Green) 燈亮時說明DC電源被打開
- OK to remove LED (Blue) 燈亮時可以安全的移除電源
- Fault LED (amber) 燈亮時說明風扇失效或者另一個冗餘電源沒有打開
- AC power LED (Green) AC電源接通
Front Panel LEDs
- Power-on LED (Green) 燈亮 電源打開
- System locator LED (Blue) 燈亮時，SM軟件在查找DS3000
– Over temperature LED (amber)
– System error LED (amber) 燈亮時，有錯誤發生，如電源，控制器 或 硬盤
– Hard disk drive activity LED (green) 每個硬盤都有此燈，燈閃時，硬盤在活動
– Hard disk drive status LED (amber) 每個硬盤都有此燈，長亮時，硬盤失效；燈閃時，硬盤在識別或重建一個活動
P71
打開電源順序
1.SAN交換機
2.EXP3000擴展櫃：可能要花幾分鐘
3.DS3000：當配置大時，可能要花10分鐘才能完全起動
4.Host server
如果沒有安裝任何磁盤，則不要打開DS3000電源，否則可能會出現a new Feature Enable Identifier (FEI) will be generated
關機順序的倒序，如果主機不能關機，則先卸載邏輯盤
關主機--->關DS3000--->關擴展櫃--->關SAN交換機
第5章
P75
DS3000 subsystems support RAID levels 0, 1, 3, 5, 6, and 10.
RAID 1 is a mirrored set without parity
RAID 3 用一塊專用盤來存放校驗
RAID 3 突破 RAID1 的兩塊盤限制，利用率爲 (N-1)/N
RAID 3 在校驗盤上存在瓶頸，因爲每一次寫操作，都需要重新計算校驗和更新檢驗
RAID 3 已經很少使用 (RAID3 is rarely used)
RAID 6 is a striped set with dual distributed parity,
RAID 6 is slower than RAID 5, but may be faster in random reads thanks to the spreading of data over one more disks.
RAID6在寫時比RAID5慢
RAID 10 就是RAID 1+0
RAID 10 可以擴展鏡像到4個或更多的磁盤上
RAID 10 提供極好的數據可用性，唯一的缺點就是隻有50%的磁盤利用率
RAID 10 is also known as RAID 1 + 0.
RAID 10 is a way to expand mirroring onto four or more disk drives.
RAID 10 provides excellent data availability.The only drawback is that the usable capacity is only 50% of total storage capacity.
主機將邏輯設備看作是物理驅動器
一般的，除了集羣之外，一個邏輯驅動器只分配給一臺主機
Segment size：
8-512KB之間
雖然segment size大小可以修改，但最好在創建邏輯設備之前就決定segment size的大小
SM set a default block size to 64KB
數據庫的block size設爲32--128KB之間較合適
大的文件環境中(如流媒體或CAD;),推薦block size 大於128KB
web server or file and print server，設置爲16-64KB之間
P81
Enclosure loss protection
只有RAID 1 3 5 10 能夠被Enclosure loss protection
RAID0不能被“擴展櫃丟失保護”
當陣列中有磁盤失效後，陣列會降級，直到失效的磁盤被替換且在新的磁盤上完成重新構造
爲了增強可用性，強烈推薦使用Hot spare drive
正常情況下，Hot spare drive不參與陣列
當陣列中有盤失效，Hot Spare將自動的使用一個替換盤來立即重新重建數據
當重建完成後，陣列將從降級模式回到正常狀態
Host spare也將成爲陣列中的成員
要考慮到Hot spare盤的大小要足夠大
自動分配Hot spare只適用於未配置的存儲
Storage Partitioning: 除集羣外，一個邏輯設備只屬於一個主機
DS3000中標配爲4個分區，最大32個(需parition expansion license)
P84
SM可以安裝在:
P93
DS3000的控制器先嚐試從DHCP獲得IP地址，如果失敗，則使用默認的IP地址
– 192.168.128.101 for the first controller.
– 192.168.128.102 for the second controller.
P96
5.4.2 Renaming the storage subsystem
如果已有主機使用邏輯驅動器，此不應該可變存儲子系統名稱；因爲有些OS使用子subsystem name（就是DS3000的名稱）來識別
5.4.3 Setting a storage subsystem password
默認沒有密碼
5.4.4 (Optional) Viewing and enabling Premium Features
要求firmware在v6.70.23.00以上
P100
5.4.5 (Optional) Changing the network configuration
Tools > Configure Ethernet Managemant Ports
即設置控制器的IP地址
P102
SM中刪除一個子系統： 右鍵--->Remove
第6章
P105
P114
6.2 安裝SM on Linux
需要單獨安裝 RDAC包
tar xzvf ibm_sw_xxx.tgz
./SMIA-LINUX-xx.xx.bin -?
P115
6.2.2 在LINUX下用GUI安裝SM
與windows下雷同
P120
6.2.3
#sh SMIA-LINUX-xx.xx.bin -i console
第7章
P125
連接DS3200，使用 SAS HBA
連接DS3300，使用 iSCSI HBA (或 iSCSI software initator)
連接DS3400，使用 FC HBA
每個HBA卡也需要配置(類似於RAID卡)
▲ROM-based configuration utility
▲OS based HBA configuration utility
HBA的標識很重要 The HBA identifier (WWN or IQN) is very important
HBA BIOS默認爲打開的，建議關閉，除非是從DS3000啓動
P128
7.2 Multipath support
兩塊HBA卡實現多路徑，自動冗餘
在windows/LINUX上使用iSCSI software initator訪問兩個及多個iSCSI port，需要安裝 RDAC/MPP/MPIO
(Win03/08---MPIO ; LINUX---RDAC ; AIX---MPIO)
P128
7.2.1 Microsoft MPIO
在安裝SM時，有一個 Storage Manager 3 RDAC (consists of M$ MPIO and DS3000 DSM)
Linux RDAC is not included with DS3000 Storage Manager for Linux;
需要單獨安裝
DS3400在08年以後支持AIX 5.2 5.3 6.1 and VIOS 1.5.2, 需要購買license
AIX下已安裝MPIO，包名爲devices.common.IBM.mpio
第8章
P135
啓動SM後，會有一個Task Assistant
重新顯示任務助手
▲ View -> Task Assistant 中顯示 任務助手
▲ Right-click your management host in the left pane and select Task Assistant
▲ 工具欄上的第3個圖標
P138
圖標
綠色：Optimal最優化
紅色：Need Attention需要注意，有問題
P139
Subsystem context menu:
Manage Storage Subsystem：打開Subsystem Management windows.(雙擊也可打開)
Locate Storage Subsystem：閃爍存儲上的指示燈，用來定位SM Subsystem對應哪一個硬件
Execute Script:Script Editor：
Load Storage Subsystem Configuration option：加載配置文件，可用於恢復/複製到其它存儲系統
P142
Configure Alerts:
DS3000 Manager包含Event Monitor Service,爲提高可用性，應該將其運行在兩個單獨的、能同時運行帶外管理和帶內管理的主機上，以達到24小時可用
DS3000本身並不發送郵件，而是由管理站點(運行event monitor service)來發送郵件通知，如果管理站點宕掉，則警報無法使用
爲所有的storage system配置警報:在SM的管理主機上右鍵，選"Configure Alerts"
爲單個storage system配置警報：在SM的單個存儲上右鍵，選"Configure Alerts"
P146
Rename：爲存儲改一個名
僅在初始安裝時改名，當存儲在使用時不建議改名，因爲有些OS以 storage subsystem name for identification
P147
Comment: 出現在SM的右窗口的comment中
P149
有些管理任務需要同時連接到DS3000上的兩個控制器
8.2.3 The Quick Access buttons
1•Automatically discover new storage subsystems
2•Rescan selected host for new storage subsystems
3•Display Task Assistant
4•Add Storage Subsystem to view：帶外管理 (如果DS是雙控，則要添加兩個IP) / 帶內管理(Host name or IP)
5•Remove Storage Subsystem from View
6•Launch Management window