數據存儲相關技術簡介

相關名詞術語IDE/ATA、SATA、SCSI、iSCSI、SAS(Serial Attach SCSI)、RAID、DAS、SAN、NAS等。

1、存儲系統

存儲系統是指計算機中由存放程序和數據的各種存儲設備、控制部件及管理信息調度的設備(硬件)和算法(軟件)所組成的系統。計算機的主存儲器不能同時滿足存取速度快、存儲容量大和成本低的要求,在計算機中必須有速度由慢到快、容量由大到小的多級層次存儲器,以最優的控制調度算法和合理的成本,構成具有性能可接受的存儲系統。

2、常用存儲接口與技術分類

2.1 IDE

IDE的英文全稱爲“Integrated Drive Electronics”,即“電子集成驅動器”,是曾經主流的硬盤接口, 也是光儲類設備的主要接口 。

最初,IDE只是一項以把控制器與盤體集成在一起爲主要意圖的硬盤接口技術。 隨着IDE/EIDE得到的日益廣泛的應用,全球標準化協議將該接口自誕生以來使用的技術規範歸納成爲全球硬盤標準,這樣就產生了ATA(Advanced Technology Attachment)。

IDE(Integrated-Drive-Electronics)是曾經普遍使用的外部接口,主要接硬盤和光驅。採用16位數據並行傳送方式,體積小,數據傳輸快(針對當時的數據存儲量來說)。一個IDE接口只能接兩個外部設備。

優缺點

IDE接口優點:價格低廉、兼容性強、性價比高。

IDE接口缺點:數據傳輸速度慢、線纜長度過短、連接設備少。

2.2 ATA

IDE接口,也稱之爲ATA接口。ATA的英文拼寫爲“Advanced Technology Attachment”,含義是“高級技術附加裝置”。

IDE與ATA的區別是,ATA技術是一個關於IDE(Integrated Device Electronics)的技術規範族。即IDE技術出現後,行業爲了規範化制定了ATA技術規範族作爲行業標準。但一般我們認爲IDE和ATA指代的是同一種接口、技術或設備。

2.3 SATA

2003年推出SATA(Serial ATA)後,原有的ATA改名爲PATA(並行高技術配置,Parallel ATA)。即將ATA細分爲串行ATA和並行ATA,原來的ATA即爲並行ATA。

2002年雖然串行ATA的相關設備還未正式上市,但Serial ATA委員會已搶先確立了Serial ATA1.0規範。SATA規範將硬盤的外部傳輸速率理論值提高到了150MB/s,比PATA標準ATA/100高出50%,比ATA/133也要高出約13%,而隨着未來後續版本的發展,SATA接口的速率還可擴展到2X和4X(300MB/s和600MB/s)。從其發展計劃來看,未來的SATA也將通過提升時鐘頻率來提高接口傳輸速率,讓硬盤也能夠超頻

2.4 FC

FC開發於1988年,最早是用來提高硬盤協議的傳輸帶寬,側重於數據的快速、高效、可靠傳輸。到上世紀90年代末,FC SAN開始得到大規模的廣泛應用。

2.5 SCSI

SCSI(Small Computer System Interface),小型計算機系統接口,一種用於計算機和智能設備之間(硬盤、軟驅、光驅、打印機、掃描儀等)系統級接口的獨立處理器標準。 SCSI是一種智能的通用接口標準。支持多個設備,多任務處理,和更長的傳輸電纜,並佔用極少的CPU資源。

2.6 iSCSI

iSCSI(Internet Small Computer System Interface),Internet小型計算機系統接口,又稱爲IP-SAN,是一種基於因特網及SCSI-3協議下的存儲技術,由IETF提出,並於2003年2月11日成爲正式的標準。與傳統的SCSI技術比較起來,

iSCSI技術有以下三個革命性的變化:

  • 把原來只用於本機的SCSI協義透過TCP/IP網絡發送,使連接距離可作無限的地域延伸;
  • 連接的服務器數量無限(原來的SCSI-3的上限是15);
  • 由於是服務器架構,因此也可以實現在線擴容以至動態部署。

2.7 SAS

SAS(Serial Attached SCSI),串行連接SCSI接口,串行連接小型計算機系統接口。

SAS是新一代的SCSI技術,和現在流行的Serial ATA(SATA)硬盤相同,都是採用串行技術以獲得更高的傳輸速度,並通過縮短連結線改善內部空間等。SAS是並行SCSI接口之後開發出的全新接口。此接口的設計是爲了改善存儲系統的效能、可用性和擴充性,提供與串行ATA (Serial ATA,縮寫爲SATA)硬盤的兼容性。

SAS的接口不僅看起來和SATA類似,而且可以向下兼容SATA標準。即SAS系統的背板(Backpanel)既可以連接具有雙端口、高性能的SAS驅動器,也可以連接高容量、低成本的SATA驅動器。由此SAS驅動器和SATA驅動器可以同時存在於一個存儲系統之中。但需要注意的是,SATA系統並不兼容SAS,所以SAS驅動器不能連接到SATA背板上。由於SAS系統的兼容性,IT人員能夠運用不同接口的硬盤來滿足各類應用在容量上或效能上的需求,因此在擴充存儲系統時擁有更多的彈性,讓存儲設備發揮最大的投資效益。

SAS技術還有簡化內部連接設計的優勢,存儲設備廠商目前投入相當多的成本以支持包括光纖通道陣列、SATA陣列等不同的存儲設備,而SAS連接技術將可以通過共用組件降低設計成本。

2.8 RAID

磁盤陣列(Redundant Arrays of Independent Drives,RAID),有“獨立磁盤構成的具有冗餘能力的陣列”之意。

磁盤陣列是由很多價格較便宜的磁盤,組合成一個容量巨大的磁盤組,利用個別磁盤提供數據所產生加成效果提升整個磁盤系統效能。利用這項技術,將數據切割成許多區段,分別存放在各個硬盤上。 

磁盤陣列還能利用同位檢查(Parity Check)的觀念,在數組中任意一個硬盤故障時,仍可讀出數據,在數據重構時,將數據經計算後重新置入新硬盤中。

RAID是把相同的數據存儲在多個硬盤的不同的地方(因此,冗餘地)的方法。通過把數據放在多個硬盤上,輸入輸出操作能以平衡的方式交疊,改良性能。因爲多個硬盤增加了平均故障間隔時間(MTBF),儲存冗餘數據也增加了容錯。

磁盤陣列作爲獨立系統在主機外直連或通過網絡與主機相連。磁盤陣列有多個端口可以被不同主機或不同端口連接。一個主機連接陣列的不同端口可提升傳輸速度。由此可見,RAID可用於DAS、SAN、NAS

3.、存儲的分類

根據服務器類型分爲:封閉系統的存儲和開放系統的存儲, 
    ▶ 封閉系統主要指大型機,
    ▶ 開放系統指基於Windows、UNIX、Linux等操作系統的服務器; 
         ▶ 開放系統的存儲分爲: 
               ▶ 內置存儲
                ▶外掛存儲 
                          ▶外掛存儲根據連接的方式分爲: 
                                         ▶ 直連式存儲(Direct-Attached Storage,簡稱DAS)
                                         ▶ 網絡化存儲(Fabric-Attached Storage,簡稱FAS); 
                                                                ▶網絡化存儲根據傳輸協議又分爲: 
                                                                ▶ 網絡接入存儲(Network-Attached Storage,簡稱NAS)
                                                                ▶ 存儲區域網絡(Storage Area Network,簡稱SAN)


這裏寫圖片描述

 

3.1 DAS

簡介

開放系統的直連式存儲(Direct-Attached Storage,簡稱DAS)與我們普通的PC存儲架構一樣,外部存儲設備都是直接掛接在服務器內部總線上,數據存儲設備是整個服務器結構的一部分。DAS已經有近四十年的使用歷史,隨着用戶數據的不斷增長,尤其是數百GB以上時,其在備份、恢復、擴展、災備等方面的問題變得日益困擾系統管理員。

直連式存儲依賴服務器主機操作系統進行數據的IO讀寫和存儲維護管理,數據備份和恢復要求佔用服務器主機資源(包括CPU、系統IO等),數據流需要回流主機再到服務器連接着的磁帶機(庫),數據備份通常佔用服務器主機資源20-30%,因此許多企業用戶的日常數據備份常常在深夜或業務系統不繁忙時進行,以免影響正常業務系統的運行。直連式存儲的數據量越大,備份和恢復的時間就越長,對服務器硬件的依賴性和影響就越大。

直連式存儲與服務器主機之間的連接通常採用SCSI連接,帶寬爲10MB/s、20MB/s、40MB/s、80MB/s等,隨着服務器CPU的處理能力越來越強,存儲硬盤空間越來越大,陣列的硬盤數量越來越多,SCSI通道將會成爲IO瓶頸;服務器主機SCSI ID資源有限,能夠建立的SCSI通道連接有限。

無論直連式存儲還是服務器主機的擴展,從一臺服務器擴展爲多臺服務器組成的羣集(Cluster),或存儲陣列容量的擴展,都會造成業務系統的停機,從而給企業帶來經濟損失,對於銀行、電信、傳媒等行業7×24小時服務的關鍵業務系統,這是不可接受的。並且直連式存儲或服務器主機的升級擴展,只能由原設備廠商提供,往往受原設備廠商限制。

適用環境

1)小型網絡

因爲網絡規模較小,數據存儲量小,且也不是很複雜,採用這種存儲方式對服務器的影響不會很大。並且這種存儲方式也十分經濟,適合擁有小型網絡的企業用戶。

2)地理位置分散的網絡

雖然企業總體網絡規模較大,但在地理分佈上很分散,通過SAN或NAS在它們之間進行互聯非常困難,此時各分支機構的服務器也可採用DAS存儲方式,這樣可以降低成本。

3)特殊應用服務器

在一些特殊應用服務器上,如微軟的集羣服務器或某些數據庫使用的原始分區,均要求存儲設備直接連接到應用服務器。

3.2 SAN

簡介

在SAN網絡中,所有的數據傳輸在高速、高帶寬的網絡中進行,SAN存儲實現的是直接對物理硬件的塊級存儲訪問,提高了存儲的性能和升級能力。

早期的SAN採用的是光纖通道(FC,Fibre Channel)技術,所以,以前的SAN多指採用光纖通道的存儲局域網絡,到了iSCSI協議出現以後,爲了區分,業界就把SAN分爲FC-SAN和IP-SAN。

發展歷史

1991年,IBM公司在S/390服務器中推出了ESCON(Enterprise System Connection)技術。它是基於光纖介質,最大傳輸速率達17MB/s的服務器訪問存儲器的一種連接方式。在此基礎上,進一步推出了功能更強的ESCON Director(FC SWitch),構建了一套最原始的SAN系統。

SAN(Storage Area Network)存儲方式創造了存儲的網絡化。存儲網絡化順應了計算機服務器體系結構網絡化的趨勢。SAN的支撐技術是光纖通道(FC Fiber Channel)技術。它是ANSI爲網絡和通道I/O接口建立的一個標準集成。FC技術支持HIPPI、IPI、SCSI、IP、ATM等多種高級協議,其最大特性是將網絡和設備的通信協議與傳輸物理介質隔離開,這樣多種協議可在同一個物理連接上同時傳送。

SAN的硬件基礎設施是光纖通道,用光纖通道構建的SAN由以下三個部分組成:

1)存儲和備份設備:包括磁帶、磁盤和光盤庫等。

2)光纖通道網絡連接部件:包括主機總線適配卡、驅動程序、光纜、集線器、交換機、光纖通道和SCSI間的橋接器

3)應用和管理軟件:包括備份軟件、存儲資源管理軟件和存儲設備管理軟件。

SAN的優勢:

1)網絡部署容易;

2)高速存儲性能。因爲SAN採用了光纖通道技術,所以它具有更高的存儲帶寬,存儲性能明顯提高。SAn的光纖通道使用全雙工串行通信原理傳輸數據,傳輸速率高達1062.5Mb/s。

3)良好的擴展能力。由於SAN採用了網絡結構,擴展能力更強。光纖接口提供了10公里的連接距離,這使得實現物理上分離,不在本地機房的存儲變得非常容易。

3.3 NAS

簡介

NAS(Network Attached Storage:網絡附屬存儲)是一種將分佈、獨立的數據整合爲大型、集中化管理的數據中心,以便於對不同主機和應用服務器進行訪問的技術。按字面簡單說就是連接在網絡上,具備資料存儲功能的裝置,因此也稱爲“網絡存儲器”。它是一種專用數據存儲服務器。它以數據爲中心,將存儲設備與服務器徹底分離,集中管理數據,從而釋放帶寬、提高性能、降低總擁有成本、保護投資。其成本遠遠低於使用服務器存儲,而效率卻遠遠高於後者。

NAS是通過與網絡直接連接的磁盤陣列,它具備了磁盤陣列的所有主要特徵:高容量、高效能、高可靠。NAS將存儲設備通過標準的網絡拓撲結構連接,可以無需服務器直接上網,不依賴通用的操作系統,而是採用一個面向用戶設計的、專門用於數據存儲的簡化操作系統,內置了與網絡連接所需的協議,因此使整個系統的管理和設置較爲簡單。其次,NAS是真正即插即用的產品,並且物理位置靈活,可放置在工作組內,也可放在其他地點與網絡連接。 

NAS使用了傳統以太網和TCP/IP協議,當進行文件共享時,則利用了NFS和CIFS以溝通NT和UNIX系統。由於NFS和CIFS都是基於操作系統的文件共享協議,所以NAS的性能特點是進行小文件級的共享存取。NAS提供各種應用領域的異種文件共享和文件服務功能,包括內容傳送和分發、統一的存儲管理、技術計算,以及Web服務。它允許企業在不使服務器停機的前提下增加容量。

NAS的優點:

1)真正的即插即用

NAS是獨立的存儲節點存在於網絡之中,與用戶的操作系統平臺無關,真正的即插即用。

2)存儲部署簡單

NAS不依賴通用的操作系統,而是採用一個面向用戶設計的,專門用於數據存儲的簡化操作系統,內置了與網絡連接所需要的協議,因此使整個系統的管理和設置較爲簡單。

3)存儲設備位置非常靈活

4)管理容易且成本低

NAS數據存儲方式是基於現有的企業Ethernet而設計的,按照TCP/IP協議進行通信,以文件的I/O方式進行數據傳輸。

NAS的缺點:

(1)存儲性能較低 (2)可靠度不高

4. 三種存儲方式比較

存儲應用最大的特點是沒有標準的體系結構,這三種存儲方式共存,互相補充,已經很好滿足企業信息化應用。

從連接方式上對比,DAS採用了存儲設備直接連接應用服務器,具有一定的靈活性和限制性;NAS通過網絡(TCP/IP,ATM,FDDI)技術連接存儲設備和應用服務器,存儲設備位置靈活,隨着萬兆網的出現,傳輸速率有了很大的提高;SAN則是通過光纖通道(Fibre Channel)技術連接存儲設備和應用服務器,具有很好的傳輸速率和擴展性能。三種存儲方式各有優勢,相互共存,佔到了磁盤存儲市場的70%以上。SAN和NAS產品的價格仍然遠遠高於DAS.許多用戶出於價格因素考慮選擇了低效率的直連存儲而不是高效率的共享存儲。

客觀的說,SAN和NAS系統已經可以利用類似自動精簡配置(thin provisioning)這樣的技術來彌補早期存儲分配不靈活的短板。然而,之前它們消耗了太多的時間來解決存儲分配的問題,以至於給DAS留有足夠的時間在數據中心領域站穩腳跟。此外,SAN和NAS依然問題多多,無法解決。

 


編寫文章的目的是爲了瞭解存儲方面的知識。問題產生於處理數據庫性能調優問題時思考如何數據庫的物理存儲速度瓶頸,進而搜到一堆雲裏霧裏的名詞,於是決定整合系統瞭解一下。

本文主要借鑑百度百科,快寫完了,發現下面這篇文章不錯,層次分明,早知道就不寫了。

https://blog.csdn.net/fgf00/article/details/52592651/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章