原创 構建Hadoop HA 集羣 hadoop 2.7.2 版本
向公司申請了4臺虛擬機，搭建了一個測試hadoop集羣. Centos 7 64位操作系統 llc1 10.1.5.10 llc2 10.1.5.11 llc3 10.1.5.12 llcf 10.1.5.
2020-07-04 10:04:53
2
原创 Hadoop 回收站trash
和Linux系統的回收站設計一樣，HDFS會爲每一個用戶創建一個回收站目錄：/user/用戶名/.Trash/，每一個被用戶通過Shell刪除的文件/目錄，在系統回收站中都一個週期，也就是當系統回收站中的文件/目錄在一段時間之後沒
2020-07-04 10:04:53
原创 Linux下安裝tar.gz包的JAVA JDK（非Root用戶）
1.orcale官網下載jdk包 這裏以jdk-7u21-linux-x64.tar.gz 爲例 解壓 一般解壓到/usr/local/目錄下 2.tar -zxvf jdk-7u21-linux-x64.tar.g
2020-07-04 10:04:53
原创 Spark 動態上架下架worker
關閉 $SPARK_HOME/sbin/spark-daemon.sh --config conf/ stop org.apache.spark.deploy.worker.Worker 1 --webui-port 8081 s
2020-07-04 10:04:53
原创 執行java 程序時需要引入第三方jar包的解決辦法
1.第一種辦法是循環遍歷需要引入的那個目錄的jar包 WORKDIR=/xxx/xxx for jar in $WORKDIR/lib/*.jar do lib=$lib:$jar done ech
2020-07-04 10:04:52
原创 解決ant編譯 源碼Unknown Source的問題
其實出現Unknown Source的原因是在編譯時沒有指定相應的選項，具體可以參見javac -g系列參數的幫助。當通過javac編譯時，默認相當於指定-g:source,lines，這樣編譯出來的class文件中會包含源代碼和
2020-02-23 12:13:07
原创 構建HBase集羣
vi ~/.bashrc export HBASE_HOME=/data/hadoop1/hbase-1.2.2 export PATH=$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/
2020-02-23 12:13:06
原创 hadoop 僞分佈式安裝
一.設置操作系統環境 1.設置ip地址 1)通過centos桌面操作 使用命令ifconfig查看ip地址 當修改了ip之後，使用命令service network restart重新啓動網絡服務
2020-02-23 12:13:06
原创 hive與json：使用HDFS上的json格式數據建立hive表
1 下載對應版本的 jar包 http://mvnrepository.com/artifact/org.apache.hive.hcatalog/hive-hcatalog-core add jar /home/xxx/hi
2020-02-23 12:13:06
原创 Jersey入門例子
1.編寫目的 簡單的對Jersey進行介紹，並實現一個完整的Jersey測試實例 1.1Jersey簡介 Jersey是一個RESTFUL請求服務JAVA框架，與常規的JAVA編程使用的struts框架類似，它主要用於處理業務邏輯層。與
2020-02-23 12:13:06
2
原创 JStorm安裝
因爲工作需要，需要使用jstorm 現在把jstorm的安裝過程和大家分享一下，我是參照https://github.com/alibaba/jstorm 上面和百度進行安裝的. 安裝jstorm前 需要安裝jdk zookeeper
2020-02-23 12:13:06
原创 分析spark on yarn cluster 與 client 模式的區別
Spark on yarn有分爲兩種模式yarn-cluster和yarn-client Spark支持可插拔的集羣管理模式(Standalone、Mesos以及YARN )，集羣管理負責啓動executor進程，編寫Spar
2020-02-23 12:13:06
7
原创 簡單總結spark中executer的個數設置
1.standlone模式下 公式：execuoterNum = spark.cores.max/spark.executor.cores 相關參數在啓動具體應用時指定 例如啓動基於standlone模式的spark sql的t
2020-02-23 12:13:06
原创 SSH免密碼登錄
” 公私鑰”認證方式簡單的解釋:首先在客戶端上創建一對公私鑰 （公鑰文件：~/.ssh/id_rsa.pub； 私鑰文件：~/.ssh/id_rsa）。然後把公鑰放到服務器上（~/.ssh/authorized_keys）, 自己
2020-02-23 12:13:06
原创 spark standalone模式 環境搭建
官網下載編譯好的tar包 解壓縮包 tar -zxvf sparkxxxx.gz cd conf cp spark-env.sh.template spark-env.sh spark1節點(主節點) vi spark
2020-02-23 12:13:06