在大數據和大數據分析,他們對企業的影響有一個興趣高漲。大數據分析是研究大量的數據的過程中尋找模式,相關性和其他有用的信息,可以幫助企業更好地適應變化,並做出更明智的決策。
一、Hadoop
Hadoop 是一個能夠對大量數據進行分佈式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的,因爲它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分佈處理。Hadoop 是高效的,因爲它以並行的方式工作,通過並行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數據。此外,Hadoop 依賴於社區服務器,因此它的成本比較低,任何人都可以使用。
二、HPCC
該項目主要由五部分組成:
三、Storm
Storm是自由的開源軟件,一個分佈式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流,用於處理Hadoop的批量數據。Storm很簡單,支持許多種編程語言,使用起來非常有趣。Storm由Twitter開源而來,其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。Storm有許多應用領域:實時分析、在線機器學習、不停頓的計算、分佈式RPC(遠過程調用協議,一種通過網絡從遠程計算機程序上請求服務)、 ETL(Extraction-Transformation-Loading的縮寫,即數據抽取、轉換和加載)等等。Storm的處理速度驚人:經測 試,每個節點每秒鐘可以處理100萬個數據元組。Storm是可擴展、容錯,很容易設置和操作。
四、Apache Drill
爲了幫助企業用戶尋找更爲有效、加快Hadoop數據查詢的方法,Apache軟件基金會近日發起了一項名爲“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹,“Drill”已經作爲Apache孵化器項目來運作,將面向全球軟件工程師持續推廣。
該項目將會創建出開源版本的谷歌Dremel Hadoop工具(谷歌使用該工具來爲Hadoop數據分析工具的互聯網應用提速)。而“Drill”將有助於Hadoop用戶實現更快查詢海量數據集的目的。
“Drill”項目其實也是從谷歌的Dremel項目中獲得靈感:該項目幫助谷歌實現海量數據集的分析處理,包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分佈式構建系統上的測試結果等等。
通過開發“Drill”Apache開源項目,組織機構將有望建立Drill所屬的API接口和靈活強大的體系架構,從而幫助支持廣泛的數據源、數據格式和查詢語言。
五、RapidMiner
RapidMiner是世界領先的數據挖掘解決方案,在一個非常大的程度上有着先進技術。它數據挖掘任務涉及範圍廣泛,包括各種數據藝術,能簡化數據挖掘過程的設計和評價。
功能和特點
免費提供數據挖掘技術和庫
100%用Java代碼(可運行在操作系統)
數據挖掘過程簡單,強大和直觀
內部XML保證了標準化的格式來表示交換數據挖掘過程
可以用簡單腳本語言自動進行大規模進程
多層次的數據視圖,確保有效和透明的數據
圖形用戶界面的互動原型
命令行(批處理模式)自動大規模應用
Java API(應用編程接口)
簡單的插件和推廣機制
強大的可視化引擎,許多尖端的高維數據的可視化建模
400多個數據挖掘運營商支持
耶魯大學已成功地應用在許多不同的應用領域,包括文本挖掘,多媒體挖掘,功能設計,數據流挖掘,集成開發的方法和分佈式數據挖掘。
六、 Pentaho BI
Pentaho BI 平臺不同於傳統的BI 產品,它是一個以流程爲中心的,面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟件、API等等組件集成起來,方便商務智能應用的開發。它的出現,使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等,能夠集成在一起,構成一項項複雜的、完整的商務智能解決方案。
Pentaho BI 平臺,Pentaho Open BI 套件的核心架構和基礎,是以流程爲中心的,因爲其中樞控制器是一個工作流引擎。工作流引擎使用流程定義來定義在BI 平臺上執行的商業智能流程。流程可以很容易的被定製,也可以添加新的流程。BI 平臺包含組件和報表,用以分析這些流程的性能。目前,Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術集成到Pentaho平臺中來。
Pentaho的發行,主要以Pentaho SDK的形式進行。
Pentaho SDK共包含五個部分:Pentaho平臺、Pentaho示例數據庫、可獨立運行的Pentaho平臺、Pentaho解決方案示例和一個預先配製好的 Pentaho網絡服務器。其中Pentaho平臺是Pentaho平臺最主要的部分,囊括了Pentaho平臺源代碼的主體;Pentaho數據庫爲 Pentaho平臺的正常運行提供的數據服務,包括配置信息、Solution相關的信息等等,對於Pentaho平臺來說它不是必須的,通過配置是可以用其它數據庫服務取代的;可獨立運行的Pentaho平臺是Pentaho平臺的獨立運行模式的示例,它演示瞭如何使Pentaho平臺在沒有應用服務器支持的情況下獨立運行;Pentaho解決方案示例是一個Eclipse工程,用來演示如何爲Pentaho平臺開發相關的商業智能解決方案。
Pentaho BI 平臺構建於服務器,引擎和組件的基礎之上。這些提供了系統的J2EE 服務器,安全,portal,工作流,規則引擎,圖表,協作,內容管理,數據集成,分析和建模功能。這些組件的大部分是基於標準的,可使用其他產品替換之。