30分鐘內加載1TB 的數據——SSIS打破商業ETL工具的記錄

許多企業擁有海量的數據,並將其存儲在多個不同的數據源。爲了給用戶提供有意義和可靠的���息,企業需要提取、轉換和加載數據(Extract, Transform, and Load data,簡稱 ETL)。SQL Server 集成服務 (SSIS)可以讓企業把來自異構數據源的任意數據加載到數據庫。

2008年2月,微軟宣佈了SQL Server 集成服務數據加載的一個破記錄壯舉:SQL Server集成服務用不到30分鐘的時間把1 TB 的數據從平面文件加載到SQL Server 2008。這比其他商業ETL工具的最佳時間快了30%。

該項測試把數據源分佈在四臺服務器中,每一臺數據源服務器都是UNISYS ES3220L(2 sockets each with 4 core Intel 2GHz CPUs, 4GB RAM, Windows Server 2008, SQL Server 2008)。數據目的地的服務器是一臺UNISYS ES7000/One(32 sockets each with 2 core Intel 3.4 GHz CPUs 256 GB RAM, Windows Server 2008 and SQL Server 2008)。集成服務將海量的數據通過千兆以太網絡加載到數據目的地。測試用的數據來自TPC-H的數據生成程序DBGEN。

 SSIS包裹概要

圖1 SSIS包裹概要

硬件和配置

圖2 硬件和配置

MSDN白皮書中,我們可以詳細瞭解關於該項測試所使用的軟件、硬件和配置。同時,文章中也詳細提供與這些技術相關的典型方案的建議。

SQLCRD BI團隊

發佈了35 篇原創文章 · 獲贊 2 · 訪問量 22萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章