基於Hadoop的一些工具一句話介紹

 

    Pig 是在MapReduce上構建的查詢語言(SQL-like),適用於大量並行計算。

 

    Chukwa 是基於Hadoop集羣中監控系統,可以用他來分析和收集系統中的數據(日誌)

 

    Hive 是DataWareHouse 和 Map Reduce交集,適用於ETL方面的工作


    HBase 是一個面向列的分佈式數據庫。

 

    Map Reduce 是Google提出的一種算法,用於超大型數據集的並行運算。

 

    HDFS 可以支持千萬級的大型分佈式文件系統。

 

    Zookeeper  提供的功能包括:配置維護、名字服務、分佈式同步、組服務等,用於分佈式系統的可靠協調系統。

 

    Avro 是一個數據序列化系統,設計用於支持大批量數據交換的應用

 

    Sqoop 是一個可以將關係型數據庫中的數據導入到Hadoop文件系統(HDFS)中的工具 。例如 Mysql的數據向Hive/HBase遷移。支持 Hsqldb、MySQL、Oracle、PostgreSQL等。

 http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html

發佈了24 篇原創文章 · 獲贊 0 · 訪問量 6380
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章