今年，以 ChatGPT 爲代表的 AI 大模型強勢崛起，而 ChatGPT 所使用的網絡，正是 InfiniBand，這也讓 InfiniBand 大火了起來。那麼，到底什麼是 InfiniBand 呢？下面，我們就來帶你深入瞭解 InfiniBand。
InfiniBand的發展歷史
InfiniBand（也稱爲“無限帶寬”，縮寫爲 IB）是一個用於高性能計算的計算機網絡通信標準，它具有極高的吞吐量和極低的延遲，用於計算機與計算機之間的數據互連。InfiniBand 也用作服務器與存儲系統之間的直接或交換互連，以及存儲系統之間的互連。隨着人工智能的興起，它也是 GPU 服務器的首選網絡互連技術。
我們來看下 InfiniBand 的發展歷程：
1999 年，一家名爲 InfiniBand Trade Association（IBTA）的組織發佈了 InfiniBand 架構，該架構的目的是爲了取代 PCI 總線，旨在提供一種高性能、低延遲的計算和存儲互連技術。
2000年，InfiniBand架構規範的 1.0 版本正式發佈。緊接着在 20021 年，首批 InfiniBand 產品問世，多家廠商也開始推出支持 InfiniBand 的產品，包括服務器、存儲系統和網絡設備等。
2003 年，InfiniBand 轉向一個新的應用領域——計算機集羣互聯，並在當時的 TOP500 超級計算機中得到了廣泛應用。
在接下來的幾年中，InfiniBand 多次引入新的特性和改進，支持雙倍帶寬的 DDR(Double Date Rate)、遠程直接內存訪問和更好的虛擬化支持，這些新特性爲高性能計算和存儲系統提供了更多的靈活性和性能優勢。
到 2019 年的 TOP500 超級計算機中，已經有 181 個採用了 InfiniBand 技術，當時的 Ethernet（以太網）仍然是主流。而到了 2015 年，InfiniBand 技術在 TOP500 超級計算機中的佔比首次超過了50%，達到 51.4%。這標誌着 InfiniBand 技術首次實現了對以太網技術的逆襲，成爲超級計算機中最受歡迎的內部連接技術。
InfiniBand的架構
InfiniBand 是處理器和 I/O 設備之間數據流的通信鏈路，支持多達 64,000 個可尋址設備。InfiniBand 架構 (IBA) 是一種行業標準規範，定義了用於互連服務器、通信基礎設施、存儲設備和嵌入式系統的點對點交換輸入/輸出框架。
InfiniBand的網絡架構
InfiniBand 具有普遍性、低延遲、高帶寬和低管理成本，非常適合在單個連接中連接多個數據流（集羣、通信、存儲、管理），具有數千個互連節點。最小的完整 IBA 單元是子網，多個子網通過路由器連接起來形成一個大的 IBA 網絡。
InfiniBand 系統由通道適配器、交換機、路由器、電纜和連接器組成。CA 分爲主機通道適配器(HCA)和目標通道適配器(TCA)。IBA 交換機在原理上與其他標準網絡交換機類似，但必須滿足 InfiniBand 的高性能和低成本要求。HCA 是 IB 端節點（例如服務器或存儲設備）連接到 IB 網絡的設備點。TCA 是一種特殊形式的通道適配器，主要用於存儲設備等嵌入式環境。
△ InfiniBand 的網絡拓撲結構
InfiniBand的分層架構
InfiniBand 架構分爲多個層，每個層彼此獨立運行。InfiniBand 分爲以下幾層：物理層、鏈路層、網絡層、傳輸層和上層。
物理層：物理層服務於鏈路層並提供這兩層之間的邏輯接口。物理層由端口信號連接器、物理連接（電和光）、硬件管理、電源管理、編碼線等模塊組成，
鏈路層：鏈路層負責處理分組中鏈路數據的發送和接收，提供尋址、緩衝、流量控制、錯誤檢測和數據交換等服務。服務質量（QoS）主要由這一層體現。
網絡層：網絡層負責在 IBA 子網之間路由數據包，包括單播和多播操作。網絡層不指定多協議路由（例如，非 IBA 類型上的 IBA 路由），也不指定原始數據包如何在 IBA 子網之間路由。
傳輸層：每個 IBA 數據都包含一個傳輸頭。傳輸頭包含端節點執行指定操作所需的信息。通過操縱 QP，傳輸層的 IBA 通道適配器通信客戶端形成“發送”工作隊列和“接收”工作隊列。
上層：上層協議和應用層負責處理更高級別的通信功能和應用需求。上層協議可以包括諸如TCP/IP（傳輸控制協議/互聯網協議）、UDP（用戶數據報協議）、MPI（消息傳遞接口）等常見的網絡協議。它們利用底層提供的基礎通信能力，通過InfiniBand網絡進行數據傳輸和通信，用於實現應用程序之間的通信和數據交換。此外，上層還包括運行在 InfiniBand 網絡上的應用程序。
InfiniBand的特點及優勢
InfiniBand 最突出的一個優勢，就是率先引入了 RDMA （Remote Direct Memory Access）協議。RDMA 是一種繞過遠程主機而訪問其內存中數據的技術，解決網絡傳輸中數據處理延遲而產生的一種遠端內存直接訪問技術。
在傳統的 TCP/IP 網絡通信中，數據發送方需要將數據進行多次內存拷貝，並經過一系列的網絡協議的數據包處理工作；數據接收方在應用程序中處理數據前，也需要經過多次內存拷貝和一系列的網絡協議的數據包處理工作。
而 RDMA 允許應用與網卡之間的直接數據讀寫，允許接收端直接從發送端的內存讀取數據，RDMA 可以顯著降低傳輸延遲，加快數據交換速度，並可以減輕 CPU 負載，釋放 CPU 的計算能力。
△ 傳統傳輸 VS RDMA
除了 InfiniBand 對 RDMA 協議的支持，還有以下優勢：
- 低延遲：InfiniBand 網絡以其極低的延遲而著稱。RDMA 零拷貝網絡減少了操作系統開銷，使得數據能夠在網絡中快速移動，InfiniBand 網絡延遲可達到 0.7 微秒。
- 高帶寬：InfiniBand 網絡提供高帶寬的數據傳輸能力。它通常支持數十Gb/s甚至更高的帶寬，取決於網絡設備和配置。高帶寬使得節點之間可以以高速進行數據交換，適用於大規模數據傳輸、並行計算和存儲系統等應用。
- 可擴展性：IB網絡具有出色的可擴展性，適用於構建大規模計算集羣和數據中心。它支持多級拓撲結構，如全局互連網絡、樹狀結構和扁平結構，可以根據應用需求和規模進行靈活配置和擴展。此外，IB網絡還支持多個子網的互連，使得不同子網之間的節點可以進行通信和數據交換。這種可擴展性使得IB網絡能夠應對不斷增長的計算和存儲需求。
- 高吞吐量：由於低延遲和高帶寬的特性，IB網絡能夠實現高吞吐量的數據傳輸。它支持大規模數據流的並行傳輸，同時減少了中間處理和拷貝操作，提高了系統的整體性能。高吞吐量對於需要大規模數據共享和並行計算的應用非常重要，如科學模擬、大數據分析和機器學習。
在看了上文後，相信你對 InfiniBand 已經有了一定的瞭解。根據行業機構的預測，InfiniBand 的市場規模在 2029 年將達到 983.7 億美元，相比 2021 年的66.6億美元，增長 14.7 倍。在高性能計算和 AI 的強力推動下，InfiniBand 的發展前景令人期待。