一文梳理論文《AIBox: CTR Prediction Model Training on a Single Node》

原創 Robert Wang 2020-06-21 11:18

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3357384.3358045

背景介紹：百度搜索中一個很重要的工作室點擊率預估（CTR），CTR預估計算代價很大，往往在線的數據非常的大，之前採用的方式是MPI上訓練集羣，但是這種方式不但耗時而且通信代價也很大；點擊率預測起着關鍵作用確定最佳廣告空間分配，因爲它會直接影響用戶體驗和廣告盈利能力。本文設計了一個通過SSD（固態硬盤）和GPU的點擊率集中式系統，叫做AIBOX，將CTR模型劃分爲兩部分：第一部分適用於CPU，另一個適用於GPU。使用SSD上的二級緩存管理系統來存儲10TB參數，同時提供低延遲訪問；廣泛的經驗指導生產數據顯示新系統的有效性。AIBox具有大型MPI訓練能力，而只需要集羣成本的一小部分。傳統的採用參數服務器進行分佈式訓練，但是也曾遭受節點故障和網絡故障，更糟糕的是，在參數服務器上的同步會阻礙訓練的執行，並導致巨大的網絡通信開銷，而異步訓練框架會因爲每個工作節點上的過時模型而導致模型收斂問題。

分析：現有大規模CTR預測模型訓練系統面臨的問題

  • 大數據和大模型問題：訓練數據和模型規模達到PB級別
  • 巨大的特徵空間規模：特徵空間規模達到 2^{64}
  • 數據稀疏性問題: 每個特徵向量中只有幾百個非零條目

解決思路:

  • 壓縮模型規模：流行的模型壓縮技術，如下采樣和散列，對於訓練具有超高維（例如，數千億個特徵）和極稀疏（例如，每個特徵中只有幾百個非零項）的訓練數據的商業CTR模型來說，效果較差。研究報告中常見的論據，如“只需0分就能將培訓成本降低一半”。3%的精度損失“，不再在這個行業工作。另一方面，DNN-CTR模型的訓練在百度是一項日常工作，工程師和數據科學家必須對許多不同的模型/特性/策略/參數進行實驗，並且必須非常頻繁地訓練andre-train-CTR模型。硬件（如MPI集羣）的成本和能耗可能非常高。
  • 設計高效的訓練系統（本文方法）：AIBox使用新興的硬件SSD（固態驅動器和GPU），以存儲大量參數並加速神經網絡訓練的繁重計算。 作爲集中式系統，AIBox直接消除了分佈式系統中由網絡通信引起的那些弊端。與大型計算集羣中的數千個節點相比，單節點AIBox的硬件故障數量要少幾個數量級。 此外，由於僅需要內存鎖和GPU片上通信，因此可以顯着降低單個節點中的同步成本。 與分佈式環境相比，沒有通過網絡傳輸數據。

 

但是模型壓縮會損失一部分精度，但是即使精度損失了0.1%，也會造成巨大的商業損失，所以百度的這篇論文主要是從設計一個高效的訓練系統的方式上進行的。

AIBOX設計過程中的挑戰：     AIBox的設計仍面臨兩個主要挑戰。第一個挑戰是將10TB規模的模型參數存儲在單個節點上。當容量超過1 TB時，內存價格將上漲。當模型將來變得更大時，它是不可伸縮的。由於成本高昂，我們無法將整個10TB參數存儲在主存儲器中。 PCIe總線上新興的非易失性內存Express（NVMe）SSD的延遲比硬盤驅動器低50倍以上。我們利用SSD作爲輔助存儲來保存參數。但是，SSD有兩個缺點。首先，就延遲而言，SSD仍比主內存慢兩個數量級，從而導致訓練過程中的參數訪問和更新速度較慢。 SSD的另一個缺點是，SSD中的存儲單元只能持續數千個寫週期。因此，我們必須維護有效的內存緩存以隱藏SSD延遲並減少磁盤寫入SSD的時間。第二個挑戰是在單個上使用多個GPU節點加快訓練計算。最近，單Nvidia Tesla V100具有32 GB高帶寬內存（HBM）達到15.7 TFLOPS，是47倍比高端服務器CPU節點（Intel Xeon系列）更快學習推理。這提供了獨特的機會簽署具有可比計算能力的多GPU計算節點集羣性能。但是，當前的現成GPU確實可以沒有TB規模的HBM。我們無法保留整個點擊率預測GPU HBM中的神經網絡。在這項工作中，我們提出了一本小說方法（第2節）將神經網絡分爲兩部分。第一部分是佔用大量內存並在CPU上進行過訓練的。另一個網絡的一部分是計算密集型的，而輸入功能的迭代次數。我們在GPU上訓練它。訓練數據模型參數在主存儲器之間傳輸以及多GPU的HBM。但是，主內存和GPU HBM受PCIe總線限制帶寬。較高的GPU數值計算性能爲當通信帶寬成爲瓶頸時，阻塞-頸部。新興的NVLink 和NVSwitch 技術在不涉及PCIe的情況下實現直接GPU到GPU的通信公共汽車。我們使用NVLink並設計了一個內置HBM參數服務器減少GPU數據傳輸

設計的CTR預測神經網絡模型的概述。

Embedding 學習的輸入層上的節點表示高維稀疏性。 在聯合學習的連接層上沒有傳入箭頭的節點是密集的個性化輸入特徵（除了Embedding之外）。第一個模塊高維稀疏地關注嵌入學習功能，第二個模塊用於密集學習功能來自第一個模塊。嵌入學習在CPU上處理，通過學習到的Embedding從CPU轉移到GPU，同時利用SSD儲存模型參數。

Embedding Learning on CPU（嵌入學習）：SSD和CPU之間訪問迅速，通過SSD儲存模型參數，然後學習到Embedding輸入到下一層。

Joint Learning on GPU（聯合學習）：聯合學習的投入包括密集的個性化功能和學習的嵌入。個性化功能通常來自包括標題創意文本，用戶個性化的行爲，以及與廣告相關的各種元數據。如果我們直接串聯這些要素和饋送的神經網絡，重要信息個性化功能可能無法得到充分的探索，從而點擊率預測結果不準確。因此，我們設計了幾個深度神經網絡，共同學習有意義的表示最終的CTR預測。如圖1所示，聯合學習該模塊包含幾個（圖中兩個）深度神經網絡。每個網絡都將學習的嵌入和一種個性化信息一起作爲輸入層。然後幾個應用完全連接的層以幫助捕獲交互以自動方式設置功能。這些的最後隱藏層網絡組合在一起用於softmax層和輸出層點擊率預測。

AIBOX系統設計：

SPARSE TABLE

將稀疏表存儲到SSD的參數有效。它利用內存作爲SSD的快速緩存，同時減少了SSD I / O，並提供低延遲的SSD訪問。 它包含兩個主要組件，密鑰哈希索引和二級緩存管理。

  •     Key Hash Index
    • 爲了通過功能鍵訪問SSD上的參數文件，我們必須爲10^{12}個參數存儲10^{12}個密鑰到文件的映射在點擊率預測模型中將每個密鑰到文件的映射存儲爲內存中的64位值對需要1.6 TB =（8字節密鑰+ 8字節的SSD偏移量）×10^{12}，超過了1 TB的內存預算。 我們必須仔細設計關鍵哈希索引和SSD上的文件結構，以減少內存佔用量。我們引入了分組功能，該功能將密鑰映射到組ID這樣每個組都包含m個關鍵點，即group（key）→{0，1，···，10^{12} / m − 1}。在這裏10個12鍵被劃分爲10^{12} / m組。將密鑰分組後，我們可以保留內存中的組到文件映射作爲內存消耗僅是原始密鑰到文件映射的1 / m。由於鍵是從1到10 12連續，可以很容易地觀察通過均勻地劃分鍵空間來獲得，例如group（key）→密鑰mod 10^{12}/ m。我們設置m =⌊BLOCK/（8 + sizeof（value））⌋，其中BLOCK是SSD的I / O單元，由SSD決定塊大小（通常爲4096），8表示密鑰佔用的字節，以及sizeof（value）是值（模型參數）的大小（以字節爲單位），它是在我們的點擊率預測模型中大約有50個字節。 m永遠不會設置爲小於⌊BLOCK/（8 + sizeof（value））⌋的值，因爲SSD訪問必須從磁盤獲取塊字節。 m太小是次優的。另一方面，我們選擇的m越大，則密鑰哈希索引的內存佔用空間就越小。但是，大m會導致一個大組，因爲我們必須從SSD讀取多個頁面才能得到一個組。因此，當組到文件的映射在內存中佔據可接受的空間時，我們設置的m值是最佳的。當塊大小遠大於值的大小時，這是正確的。作爲內存佔用量的折衷，分組策略的缺點是即使從當前的迷你批處理中未引用磁盤，也要從磁盤獲取同一組中的值，這會浪費I / O帶寬。 一種可能的優化是將具有較高共現性的特徵分組在一起，例如，預訓練學習的哈希函數以最大化特徵共現性。 這屬於垂直劃分的另一個研究領域，不在本文的討論範圍之內。 此外，通過緩存管理組件可以減少此缺點，在緩存組件中，我們跳過了從磁盤讀取緩存密鑰的組。
  •     Bi-level Cache Management
    •  
  •     Sparse Table Operators
  •     File Management

 

原文翻譯：

摘要：

翻譯：作爲世界上主要的搜索引擎之一，百度的贊助商搜索早已採用深度神經網絡（DNN）廣告點擊率（CTR）預測模型2013。百度在線廣告系統使用的輸入期貨（又稱“鳳凰巢”）具有很高的維度（例如，甚至數千億個功能），而且還非常疏。百度產品使用的點擊率模型的大小系統可以超過10TB。這帶來了巨大的挑戰用於培訓，更新和在生產中使用此類模型。對於百度的廣告系統，保持模型培訓過程非常高效，因此工程師（以及搜索者）能夠快速優化和測試他們的新模型，或者新的功能。而且，數十億的用戶廣告點擊歷史記錄條目每天都有貨，必須迅速對模型進行重新訓練因爲點擊率預測是一項非常耗時的任務。百度的當前的點擊率模型是在MPI（消息傳遞接口）上訓練的集羣，需要較高的容錯能力和同步性這會導致昂貴的通信和計算成本。當然，集羣的維護成本也很大。本文介紹AIBox，這是一個用於培訓點擊率的集中式系統通過使用solid-狀態驅動器（SSD）和GPU。由於內存限制GPU，我們將點擊率模型仔細劃分爲兩部分：第一部分適用於CPU，另一個適用於GPU。我們進一步介紹固態硬盤上的二級緩存管理系統來存儲10TB參數，同時提供低延遲訪問。廣泛的經驗指導生產數據顯示新系統的有效性。AIBox具有大型MPI訓練能力，而只需要集羣成本的一小部分。

介紹：

    百度是全球領先的搜索引擎提供商之一搜索系統（又稱“鳳凰巢”）預先針對廣告的點擊率（CTR）的神經網絡（DNN）模型，最早於2013年做出決定。點擊率預測起着關鍵作用確定最佳廣告空間分配，因爲它會直接影響用戶體驗和廣告盈利能力。 通常，點擊率預測需要多種資源作爲輸入，例如，查詢廣告相關性，廣告功能和用戶畫像。它可以確定用戶點擊的概率在給定的廣告上。 最近，深度學習在以下方面取得了巨大的成功計算機視覺和自然語言處理。 啓發據此，提出了用於CTR預測的學習方法任務。 與常用邏輯迴歸比較，深度學習模型可以大大改善準確性，大大增加了培訓成本。

    在百度搜索廣告的當前生產系統中，我們模型的訓練過程既耗費資源又耗時消耗。 通過參數服務器訓練模型在具有數百個MPI（消息傳遞接口）的羣集中成千上萬的CPU節點數。 生產中使用的主要模型是尺寸超過10TB，並在特殊硬件上存儲/管理。的參數服務器解決方案遭受節點故障和網絡的困擾太多節點環境中的故障。 更糟糕的是，參數服務器中的同步會阻止訓練計算機並導致大量的網絡通信開銷，而異步訓練框架具有模型收斂的可能性每個工作程序節點上的模型過時導致的障礙。

    這裏有令人着迷的機會和挑戰來改善贊助搜索的生產系統，在許多不同的方面位置。積極研究人員的一個領域可以提高“召回”的質量（廣告）調用CTR模型之前。 例如，百度向社區分享了這樣的技術論文，建立在快速的近鄰搜索算法之上和最大的內部產品搜索技術。

    在本文中，我們將介紹百度的另一項重大並舉改善在線廣告系統，即從MPI集羣到GPU的CTR模型訓練。 而使用用於機器學習和科學計算的GPU已成爲慣例，使用GPU訓練商業點擊率模型會議：目前仍然帶來許多重大挑戰。 最著名的挑戰原因是訓練數據大小爲PB（PeteByte）大小，並且經過訓練的模型的大小超過10TB。 訓練數例子可能多達數千億的功能可能達到數千億（我們通常使用2 64作爲功能空間大小的便捷替代。） 數據饋送到該模型也非常稀疏，只有幾百個每個特徵向量的非零項。

作爲一個商業贊助的搜索系統，任何模型壓縮技術都不應影響預測性能（收益）。事實上，即使是很小的（例如0。1%的預測準確度下降將導致不可接受的收入損失。事實上，整個系統已經進行了高度優化，幾乎沒有冗餘（例如，參數已經被小心地量化爲整數），這種方式似乎沒有多少改進的餘地。流行的模型壓縮技術，如下采樣和散列，對於訓練具有超高維（例如，數千億個特徵）和極稀疏（例如，每個特徵中只有幾百個非零項）的訓練數據的商業CTR模型來說，效果較差。研究報告中常見的論據，如“只需0分就能將培訓成本降低一半”。3%的精度損失“，不再在這個行業工作。另一方面，DNN-CTR模型的訓練在百度是一項日常工作，工程師和數據科學家必須對許多不同的模型/特性/策略/參數進行實驗，並且必須非常頻繁地訓練andre-train-CTR模型。硬件（如MPI集羣）的成本和能耗可能非常高。爲了應對這些挑戰，我們展示了AIBox，這是一種新穎的集中式系統在單個節點上訓練這種巨大的機器學習模型。 AIBox使用新興的硬件SSD（固態驅動器和GPU），以存儲大量參數並加速神經網絡訓練的繁重計算。 作爲集中式系統，AIBox直接消除了分佈式系統中由網絡通信引起的那些弊端。 此外，與大型計算集羣中的數千個節點相比，單節點AIBox的硬件故障數量要少幾個數量級。 此外，由於僅需要內存鎖和GPU片上通信，因此可以顯着降低單個節點中的同步成本。 與分佈式環境相比，沒有通過網絡傳輸數據。儘管如此，AIBox的設計仍面臨兩個主要挑戰。

    第一個挑戰是將10TB規模的模型參數存儲在單個節點上。當容量超過1 TB時，內存價格將上漲。當模型將來變得更大時，它是不可伸縮的，並且在現實世界中的大規模生產中不可行。由於成本高昂，我們無法將整個10TB參數存儲在主存儲器中。 PCIe總線上新興的非易失性內存Express（NVMe）SSD的延遲比硬盤驅動器低50倍以上。我們利用SSD作爲輔助存儲來保存參數。但是，SSD有兩個缺點。首先，就延遲而言，SSD仍比主內存慢兩個數量級，從而導致訓練過程中的參數訪問和更新速度較慢。 SSD的另一個缺點是，SSD中的存儲單元只能持續數千個寫週期。因此，我們必須維護有效的內存緩存以隱藏SSD延遲並減少磁盤寫入SSD的時間。第二個挑戰是在單個上使用多個GPU節點加快訓練計算。最近，單Nvidia Tesla V100具有32 GB高帶寬內存（HBM）達到15.7 TFLOPS，是47倍比高端服務器CPU節點（Intel Xeon系列）更快學習推理。這提供了獨特的機會簽署具有可比計算能力的多GPU計算節點集羣性能。但是，當前的現成GPU確實可以沒有TB規模的HBM。我們無法保留整個點擊率預測GPU HBM中的神經網絡。在這項工作中，我們提出了一本小說方法（第2節）將神經網絡分爲兩部分。第一部分是佔用大量內存並在CPU上進行過訓練的。另一個網絡的一部分是計算密集型的，而輸入功能的迭代次數。我們在GPU上訓練它。訓練數據模型參數在主存儲器之間傳輸以及多GPU的HBM。但是，主內存和GPU HBM受PCIe總線限制帶寬。較高的GPU數值計算性能爲當通信帶寬成爲瓶頸時，阻塞-頸部。新興的NVLink 和NVSwitch 技術在不涉及PCIe的情況下實現直接GPU到GPU的通信公共汽車。我們使用NVLink並設計了一個內置HBM參數服務器減少GPU數據傳輸

總結工作如下：

  • 我們引入AIBox（受SSD和GPU加速的單個節點）來訓練具有10TB參數的CTR預測模型。 單節點設計範例消除了昂貴的網絡通信和分佈式系統的同步成本。 據我們所知，AIBox是第一個爲實際機器學習而設計的集中式系統如此大規模的應用
  • 我們展示了一種將大型CTR預測模型分爲兩部分的新穎方法。 分區之後，我們能夠將內存密集型訓練部分保留在CPU上，而將內存受限的GPU用於計算密集型部分來加速訓練。
  • 我們建議使用稀疏表，通過在SSD上存儲模型參數並利用內存作爲快速緩存來減少SSD I / O延遲。 此外，我們實現了一個3級流水線，該流水線與網絡，稀疏表和CPU-GPU學習階段的執行重疊。
  • 我們通過將其與包含10個PB示例的真實CTR預測數據上的75個節點的分佈式集羣解決方案進行比較，進行了廣泛的實驗，以評估該提議的系統。 它顯示了AIBox的有效性-AIBox具有與羣集解決方案相當的培訓性能，而只需要我們爲羣集支付的費用的不到1/10。

點擊率預估神經網絡

工業大規模網絡經過大規模的設計和培訓，縮放數據示例以幫助預測廣告的點擊率準確，快速和可靠。 百度點擊率預測中的功能模型通常是極其稀疏的特徵（例如，數百個或甚至數千億個功能），只有很少的數量-每個向量ber（例如幾百個）非零值。 這個巨大存儲後，DNN模型的參數大小超過10TB僅對非零參數進行仔細量化。 因爲GPU的HBM容量有限，因此保持GPU的HBM中整個模型的10TB參數。

在本文中，我們介紹了訓練的兩模塊架構，在CPU + GPU上使用龐大的DNN CTR模型。第一個模塊高維稀疏地關注嵌入學習功能，第二個模塊用於密集學習功能來自第一個模塊。嵌入學習在CPU上處理，以幫助學習低維密集嵌入-丁表示。由於10TB的內存密集型問題參數使得無法維持整個模型在訓練過程中存儲內存，我們利用SSD來存儲模型參數。可以從SSD到CPU快速訪問參數。通過將學習到的嵌入向量從CPU轉移到GPU，計算密集型聯合學習模塊可以充分利用用於CTR預測的功能強大的GPU。在聯合學習模式中例如，通過以下方法對幾個完全連接的神經網絡進行建模嵌入作爲輸入。這些神經網絡的最後一層連接在一起以進行最終的點擊率預測。圖1顯示了設計的CTR神經網絡模型的概述。我們將在以下小節中介紹該模型的詳細信息。

  •     Embedding Learning on CPUs: 嵌入學習模塊旨在映射高維將稀疏向量（例如10 12個維度）稀疏成低維密集表示形式。 如圖1所示，嵌入學習該模塊包括高維稀疏特徵的輸入層和輸出嵌入層。 ReLU用作激活功能。 自10 12開始，此模塊主要佔用大量內存功能導致10TB規模的模型參數，這是不可行的將所有參數加載到主存儲器中。 爲了學習嵌入時，我們將10TB參數存儲到SSD中。 由於SSD和CPU之間的有效訪問速度，我們可以輕鬆地從SSD加載參數並學習CPU上的嵌入。

     

  •     Joint Learning on GPUs：計算高維CPU上的嵌入後稀疏功能，我們將嵌入從CPU轉移到GPU，以實現點擊率預測過程。聯合學習的投入包括密集的個性化功能和學習的嵌入。個性化功能通常來自各種來源，包括標題創意文本，用戶個性化的行爲，以及與廣告相關的各種元數據。如果我們直接串聯這些要素和饋送的神經網絡，重要信息個性化功能可能無法得到充分的探索，從而點擊率預測結果不準確。因此，我們設計了幾個深度神經網絡，共同學習有意義的表示最終的CTR預測。如圖1所示，聯合學習該模塊包含幾個（圖中兩個）深度神經網絡。每個網絡都將學習的嵌入和一種個性化信息一起作爲輸入層。然後幾個應用完全連接的層以幫助捕獲交互以自動方式設置功能。這些的最後隱藏層網絡組合在一起用於softmax層和輸出層點擊率預測

爲了有效地學習以前的神經網絡，表示是從第一個和最後一個隱藏的對象中提取的層，然後與當前輸入層連接聯合學習的神經網絡。 具體來說，第一個隱藏層表示低級特徵學習並提取最相關的來自輸入層的信息。 最後一個隱藏層顯示高級特徵學習，併爲最終CTR預測檢測最抽象但最有用的信息。 我們結合了先前網絡中最有意義的低層和最強大的高層信息，以獲更準確的點擊率預測結果。

AIBOX SYSTEM OVERVIEW

將稀疏表存儲到SSD的參數有效。它利用內存作爲SSD的快速緩存，同時減少了SSD I / O，並提供低延遲的SSD訪問。 它包含兩個主要組件，密鑰哈希索引和二級緩存管理。

SPARSE TABLE

  •     Key Hash Index
    • 爲了通過功能鍵訪問SSD上的參數文件，我們必須爲10^{12}個參數存儲10^{12}個密鑰到文件的映射在點擊率預測模型中將每個密鑰到文件的映射存儲爲內存中的64位值對需要1.6 TB =（8字節密鑰+ 8字節的SSD偏移量）×10^{12}，超過了1 TB的內存預算。 我們必須仔細設計關鍵哈希索引和SSD上的文件結構，以減少內存佔用量。我們引入了分組功能，該功能將密鑰映射到組ID這樣每個組都包含m個關鍵點，即group（key）→{0，1，···，10^{12} / m − 1}。在這裏10個12鍵被劃分爲10^{12} / m組。將密鑰分組後，我們可以保留內存中的組到文件映射作爲內存消耗僅是原始密鑰到文件映射的1 / m。由於鍵是從1到10 12連續，可以很容易地觀察通過均勻地劃分鍵空間來獲得，例如group（key）→密鑰mod 10^{12}/ m。我們設置m =⌊BLOCK/（8 + sizeof（value））⌋，其中BLOCK是SSD的I / O單元，由SSD決定塊大小（通常爲4096），8表示密鑰佔用的字節，以及sizeof（value）是值（模型參數）的大小（以字節爲單位），它是在我們的點擊率預測模型中大約有50個字節。 m永遠不會設置爲小於⌊BLOCK/（8 + sizeof（value））⌋的值，因爲SSD訪問必須從磁盤獲取塊字節。 m太小是次優的。另一方面，我們選擇的m越大，則密鑰哈希索引的內存佔用空間就越小。但是，大m會導致一個大組，因爲我們必須從SSD讀取多個頁面才能得到一個組。因此，當組到文件的映射在內存中佔據可接受的空間時，我們設置的m值是最佳的。當塊大小遠大於值的大小時，這是正確的。作爲內存佔用量的折衷，分組策略的缺點是即使從當前的迷你批處理中未引用磁盤，也要從磁盤獲取同一組中的值，這會浪費I / O帶寬。 一種可能的優化是將具有較高共現性的特徵分組在一起，例如，預訓練學習的哈希函數以最大化特徵共現性。 這屬於垂直劃分的另一個研究領域，不在本文的討論範圍之內。 此外，通過緩存管理組件可以減少此缺點，在緩存組件中，我們跳過了從磁盤讀取緩存密鑰的組。
  •     Bi-level Cache Management
    • 高速緩存管理設計受到以下兩個挑戰的指導：SSD的訪問性能和壽命。
      • 首先，內存訪問延遲約爲納秒級而SSD需要幾微秒的時間來查看數據，因爲SSD比內存慢大約1000倍，但是，參數點擊率中的數據稀疏和偏斜，導致不到1％的參數迷你批處理中引用了一個。 它爲我們提供了建立內存緩存系統的機會在有限的內存預算中經常使用的“熱參數”。
      • 第二個挑戰是僅SSD的物理屬性允許對每個存儲單元進行數千次寫入。 參數是在培訓的每次迭代中更新。 它將大大如果及時更新參數，則可以縮短SSD的使用壽命。高速緩存管理還充當參數緩衝區。 緩衝的在不涉及SSD I / O的情況下在內存中更新參數。當緩衝區到達緩衝區時，它們會延遲地存儲到SSD容量和緩存替換策略將其交換出緩存
  •     Sparse Table Operators
  •     File Management

後續更新

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章