Hadoop 0.21.0的新功能

Hadoop 0.21.0 的新功能

Hadoop 發佈了最新版本,這版與之前的版本,在功能上有較大的改進,增加了一些新的功能。主要如下:

http://www.cloudera.com/blog/2010/08/what%E2%80%99s-new-in-apache-hadoop-0-21/

Common:

classification annotations

Large-Scale Automated Test Framework

fault injection framework

Mockito-based tests

retrieve metrics and configuration

Hdfs

增加 append 操作

文件系統新的 api

同時支持文件符號鏈接

Secondary NN 去掉了,換成了 BN(backup namenode),CN(checkpoint namenode)

一些附助的文件工具 :offline image viewer block forensics tool

另外支持 file concatenation 操作, Distributed RAID filesystem

 

Mapreduce

New api

LocalJobRunner 支持 distributed cache run mappers in parallel

Distcp 提升

加入測試框架 MRUnit

Rumen Mumak job history log analyzer

job scheduling

Smarter speculative execution 智能推測執行器

Streaming combiners

Job 完成後會創建該 job 的運行日誌。

未加入的功能:

安全性

Sqoop- 將數據從關係型數據庫導入到 hdfs 的工具

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章