HDInsight 簡介

Windows Azure HDInsight Service

HDInsight 是在 Windows Azure 上快速擴展 Apache Hadoop 技術堆棧(作爲大數據分析的首選解決方案)的雲實現。它包括 Storm、HBase、Pig、Hive、Sqoop、Oozie 等的實現。HDInsight 還可集成商業智能 (BI) 工具,例如 Excel、SQL Server Analysis Services 和 SQL Server Reporting Services。其預覽版在2014年09月16日上線,正式版在2014年11月26日上線。

官方摘要

按需靈活擴展
HDInsight 是一種雲技術驅動的 Hadoop 發行版。這意味着 HDInsight 架構能夠處理任何數量的數據,按需將數據處理容量從數 TB 擴展至數 PB 級別。您可以隨時快速創建任意數量的節點。我們只對您實際使用的計算和存儲收取費用。

結構化、半結構化、非結構化,所有數據一網打盡
由於完全符合 Apache Hadoop 標準,HDInsight 能夠處理來自網絡點擊流、社交媒體、服務器日誌、設備和傳感器等來源的非結構化或半結構化數據。藉此您能夠分析新的數據集,從中尋找新商機,推動組織向前發展。

使用您慣用的語言進行開發
HDInsight 具有強大的編程擴展能力,適用於多種語言,包括 C#、Java、.NET 等。您可在 Hadoop 上使用自己習慣的編程語言進行 Hadoop 作業的創建、配置、提交和監控。

無需採購或維護硬件
使用 HDInsight,您可在雲中部署 Hadoop,無需購買新硬件,也無需其他前期成本。無需花費大量時間進行安裝或設置, Windows Azure 可以爲您完成這些工作。您可在幾分鐘內啓動第一個羣集。

到底是什麼

HDInsight 是一個可以在 Azure 雲中部署並且提供 Apache Hadoop 集羣的服務,提供了對大數據進行管理,分析和報表的軟件工具框架。它與Hadoop有着類似的生態圈,但又具有Microsoft的種種特色:
HDINSIGHT HADOOP Eco-System

Hadoop Ecosystem in Windows Azure
Hadoop Ecosystem in Windows Azure

Why HDInsight

HDInsight is an Apache Hadoop implementation that runs in globally distributed Microsoft datacenters. It’s a service that allows you to easily build a Hadoop cluster in minutes when you need it, and tear it down after you run your MapReduce jobs. As Windows Azure Insiders, we believe there are a couple key value propositions of HDInsight. The first is that it’s 100 percent Apache-based, not a special Microsoft version, meaning that as Hadoop evolves, Microsoft will embrace the newer versions. Moreover, Microsoft is a major contributor to the Hadoop/Apache project and has provided a great deal of its query optimization know-how to the query tooling, Hive.

微軟希望通過支持Windows Server和Windows Azure的Hadoop發佈版,提供可移植、性能優越、安全且易部署等特性,促進Hadoop的應用。微軟還將通過在HDInsight中集成Active Directory來增強Hadoop的安全性。此舉將使IT部門能夠將同樣的一致性安全策略用於包括Hadoop集羣在內的所有IT資產。

此外,通過與System Center集成,HDInsight簡化了Hadoop的管理,並支持IT部門在同一面板上管理Hadoop集羣、SQL Server數據庫和應用程序。

基於Hadoop的Windows平臺應用程序集成了如Excel、Power View和PowerPivot等微軟的商業智能(BI)工具,可以很容易地分析大量的業務信息,從而創造獨特的、差異化的商業價值。

爲實現與Apache Hadoop百分之百的兼容性,微軟的Hadoop發佈版HDInsight是基於Hortonworks Data Platform(HDP)構建的。因此,客戶能夠將其MapReduce作業從自己的Windows服務器移到雲中,甚至是移到運行在Linux上的Apache Hadoop發佈版中。目前還沒有其他廠商提供該功能。此外,在Windows Server和Azure平臺上提供這些功能,也使客戶能夠利用熟悉的工具(如Excel、PowerPivot for Excel和Power View)輕鬆地從數據中抽取可行的觀點。

更多細節

More Info:
Microsoft Releases Hadoop On Windows

Hadoop and HDInsight: Big Data in Windows Azure

Video HDInsight: Introduction to Hadoop on Windows

Video Introduction To Windows Azure HDInsight Service

Let there be Windows Azure HDInsight

Working With Data in Windows Azure HDInsight Service

HDInsight patterns & practices Windows Azure Guidance

Hortonworks Makes HDP 2.0 for Windows Server Generally Available

Windows Azure HDInsight supports preview clusters of Hadoop 2.2

Windows Azure HDInsight Supporting Hadoop 2.2 in Public Preview

HDFS architecture of HDInsight

發佈了41 篇原創文章 · 獲贊 43 · 訪問量 40萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章