原创 【轉】ElasticSearch快速使用篇(基本命令篇)

1. 創建index(database)# curl -X PUT http://10.210.40.59:9200/manage?pretty --服務器ip端口號就不說了 --manage 我們需要創建一個基於項目的數據庫 --p

原创 【轉載】Yarn ContainerExecutor 配置與使用

在 Yarn 的架構中,將集羣中的計算資源,主要是內存和 CPU ,封裝抽象出了 Container 的概念, 類似於 container_001 <memory:2048, vCores:1>。 Container 由 Resource

原创 【轉】Hadoop Streaming 使用總結

Hadoop Streaming 是 Hadoop 提供的一個工具, 用戶可以使用它來創建和運行一類特殊的 MapReduce 任務, 這些 MR 任務可以使用任何可執行文件或腳本作爲 mapper 和 reducer。 比如,簡單的 wo

原创 [轉載]JournalNode的作用

NameNode之間共享數據(NFS 、Quorum Journal Node(用得多)) 兩個NameNode爲了數據同步,會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態的NameNode的命名空間