1 低延遲訪問 如果應用要求對數據低延遲訪問,比如在數十毫秒的範圍,那麼HDFS就不適用了。HDFS在傳輸高吞吐量的數據方面被優化,那麼這就會以增加延遲爲代價。HBase是目前一個對於低延遲訪問的較好的選擇。 2 大量的小文件 由於namenode在內存中持有文件系統的元數據,文件系統中文件個數的限制就由namenode上的內存數額決定了。作爲一個經驗法則,每一個文件、目錄和塊需要大約150字節。所以如果你有一百萬個文件,每個文件佔用一個塊,那麼你將需要至少300M內存。存儲數百萬個文件是可行的,但是數十億個文件就超出了當前硬件的承載容量了。 3 多個寫作者,隨意的文件修改 HDFS中的文件由一個單獨的作者進行寫操作。寫入始終在文件的末端進行。HDFS不支持多個寫作者,或者說不支持在文件中進行任意的修改。(Hadoop將來可能會支持這些操作,但是相對而言,效率會降低) |
HDFS弱點
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
hadoop-2單節點和hive安裝
原創
2024-05-24 23:51:33
DolphinScheduler 3.3.0版本更新一覽
原創
2024-05-23 21:22:09
Impala數據文件的碎碎念
原創
2024-05-12 21:38:18
HBase Meta 元信息表修復實踐
原創
2024-05-09 12:43:33
愛奇藝數據湖實戰 - 實時湖倉一體化
01 概述 數據是洞察用戶、市場、運營決策的基礎資料,在愛奇藝被廣泛應用在推薦、廣告、用戶增長、營銷等場景中。愛奇藝大數據業務之前採用 Lambda 架構,滿足海量
愛奇藝技術產品團隊
2024-05-09 01:18:23
從零開始學架構V2-初識架構設計-1
原創
2024-04-25 23:56:25
利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署環境中構建無服務器數據倉庫
原創
2024-04-25 21:18:23
用DolphinScheduler輕鬆實現Flume數據採集任務自動化!
原創
2024-04-24 21:18:09
告別手動調度,海豚調度器 3.1.x 集羣部署讓你輕鬆管理多機!
原創
2024-04-23 21:18:20
Hive引擎底層初探
原創
2024-04-17 11:18:21
用海豚調度器定時調度從Kafka到HDFS的kettle任務腳本
原創
2024-04-15 21:18:44
解密數倉的SQL ON ANYWHERE技術
原創
2024-04-03 10:32:41
hive分區和分桶你熟悉嗎?
原創
2024-03-11 02:23:15
使用Hadoop和Nutch構建音頻爬蟲:實現數據收集與分析
原創
2024-02-22 01:13:43