http://hadoop.apache.org/docs/r2.7.0/api/org/apache/hadoop/yarn/api/records/ApplicationResourceUsageReport.html 具體監控查看
https://www.jianshu.com/p/ceb547053c56 基本監控查看
conf/hbase-env.sh export JAVA_HOME=/data/home/software/jdk1.8.0_202 export HBASE_MANAGES_ZK=false hbase-site.xml <con
安裝Kafka 1.1 下載解壓 下載地址：http://kafka.apache.org/downloads，如0.10.1.0版本的Kafka下載 wget http://apache.fayea.com/kafka/
嗯，弄完ANSJ分詞，今天上IK分詞。 這裏elasticsearch是2.3.1，對應的IK爲1.9.1。 1.到https://github.com/medcl/elasticsearch-analysis-ik/releases?a
相關環境：centos6.6、jdk1.8_0_40、ES2.4.3 注意：ES的執行不能使用root用戶，需先新建一個用戶並授權 1.將下載好的elasticsearch-2.4.3.tar.gz上傳到Linux下 2.解壓：tar -
博主安裝的hadoop是3.1.3這裏是按照廈門大學那個博客安裝的，在安裝與啓動過程中，費了不少事，特此記錄一下問題。 安裝的連接： 安裝環境：http://dblab.xmu.edu.cn/blog/install-hadoop
需求背景： 我們將女生主動和男生建立聯繫定義爲女生打招呼，app中女生打招呼的方式有兩種：主動發起文字聊天和主動發起音視頻聊天。這些數據的採集通過在應用程序中增加埋點，最終成爲日誌文件保存在服務器上。日誌內容如下： 文字聊天，日誌文件
這裏寫自定義目錄標題前言logstash 安裝kafka 安裝關閉防火牆啓動zk與kafka配置logstash啓動logstash測試 前言 接到任務是，需要從web日誌中取出設備的操作信息，並推送kafka。領導要求使用log
1. desc extended/formated tablename 描述表結構，如： desc extended im; desc formatted im; 2. bin/hive -e -f -e 不進入hive命令行執行sql
Hadoop集羣高可用 Hadoop 高可用 (High Availability) 分爲 HDFS 高可用和 YARN 高可用，兩者的實現基本類似，但 HDFS NameNode 對數據存儲及其一致性的要求比 YARN Reso
HDFS （Hadoop Distributed File System）是 Hadoop 下的分佈式文件系統，具有高容錯、高吞吐量等特性，可以部署在低成本的硬件上。 HDFS特性 超大文件 適合存放MB-PB級別的數據 一次寫
YARN 簡介 YARN是Hadoop2.0引進的，前身是MapReduce本身的資源調度框架，Hadoop2.0後將MapReduce計算框架和YARN資源調度框架做了分離。 YARN 核心組件 Resources Mana
比如你寫一個helloworld程序，結果hadoop jar xxx.jar放到集羣上執行一哈哈，出現classnotfound了，而且志向你自己的helloworld.class，打開jar包瞅一眼，這個hellworld.class
本文來自Book- 《Storm Blueprints.Patterns》：，個人覺得講的非常好，就在這做了一個筆記 裏面的英語很簡單，個人感覺讀起來應該不是問題，也可以參考google在線翻譯，或者參考這本書的中文翻譯-《St
maven做如下配置 groupId:org.apache.hadoop artifactId:hadoop-client version:${hadoop.version} 類申明，繼承configured類，並實現Tool接口 pu
hive目前最新版本爲3.1.2，下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz hadoop安裝
