Hadoop 0.21.0 的新功能
Hadoop 發佈了最新版本,這版與之前的版本,在功能上有較大的改進,增加了一些新的功能。主要如下:
http://www.cloudera.com/blog/2010/08/what%E2%80%99s-new-in-apache-hadoop-0-21/
Common:
classification annotations
Large-Scale Automated Test Framework
fault injection framework
Mockito-based tests
retrieve metrics and configuration
Hdfs :
增加 append 操作
文件系統新的 api
同時支持文件符號鏈接
Secondary NN 去掉了,換成了 BN(backup namenode),CN(checkpoint namenode) 。
一些附助的文件工具 :offline image viewer , block forensics tool
另外支持 file concatenation 操作, Distributed RAID filesystem 。
Mapreduce
New api
LocalJobRunner
:
支持
distributed
cache
和
run mappers in parallel
。
Distcp 提升
加入測試框架 MRUnit 。
Rumen , Mumak , job history log analyzer 。
job scheduling
Smarter speculative execution 智能推測執行器
Streaming combiners
Job 完成後會創建該 job 的運行日誌。
未加入的功能:
安全性
Sqoop- 將數據從關係型數據庫導入到 hdfs 的工具