原创 本地操作HDFS報錯：java.net.ConnectException: Call From KevinWong/192.168.16.1 to hadoop000:9000
原因：hosts文件配置不正確，多加了一個 127.0.0.1 hadoop000的映射 導致9000端口只能在本地訪問，而不能遠程訪問。 解決方案：可以通過netstat -tpnl查看的端口開放情況，如果顯示127.0.0.1
2020-07-01 08:20:37
原创 Kibana安裝後web頁面打不開
配置文件kibana.yaml主要修改了兩處 server.host: "0.0.0.0" elasticsearch.url: "http://hadoop000:9200" 其中server.host的默認值爲"localh
2020-07-01 08:20:37
22
原创 Spark SQL訪問Hive表數據
前提：Hive的元數據保存在MySQL中 Hive配置文件hive-site.xml內容如下： <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="config
2020-07-01 08:20:37
原创 hadoop HA集羣搭建
第一步：由於Hdoop HA集羣中沒有SecondaryNameNode 因此要先刪除hadoop目錄下的masters文件在所有機器上輸入rm -rf /usr/local/hadoop/masters第二步：刪除之前的非高可用hado
2020-02-23 10:26:28
原创 VMWare虛擬機踩坑實錄
背景介紹：由於我的固態硬盤比較小 只有128G 在搭建大數據環境的時候需要四臺虛擬機 無奈只能在SSD上創建兩臺 在移動硬盤上創建兩臺 由於不小心移動了移動硬盤 導致虛擬機異常停止工作 打開時 報錯如下：無法打開虛擬機 未找到.vmx文
2020-02-23 10:26:18
原创 使用Java的HttpURLConnection給Nginx上報數據報錯：FileNotFoundException
使用HttpURLConnection發送GET請求，請求的格式如下： http://hadoop000/log?idsite=3&server_time=1573288345000&country=Spain&os=Win8&c
2020-02-23 10:26:18
原创 MapReduce實例——WordCount
第一步：創建MapReduce_Test項目 導入hdfs、mapreduce和yarn相關jar包第二步：編寫WordCountMapper類 代碼如下：package com.xjtuse;import java.io.IOExcep
2020-02-23 10:26:18
原创 修改core-site.xml中的fs.defaultFS對應端口，導致無法訪問Hive數據的問題
手殘把core-site.xm中的fs.defaultFS對應端口由8020改成了9000 由於之前在Hive中創建的表元數據保存在MySQL中，通過 desc formatted emp 可以看到它保存的位置還是修改端口之前的
2020-02-23 10:26:18
原创 Spark SQL讀取MySQL數據寫入Kudu
（1）pom文件中加入Spark Kudu相關依賴 <dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-spark2_2.11</art
2020-02-23 10:26:18
原创 Kudu安裝和部署
（1）下載Kudu相關安裝包 Kudu版本是1.7.0-cdh5.15.1，使用rpm包安裝，網址如下： http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RP
2020-02-23 10:26:18
原创 Presto安裝和部署
（1）官網下載安裝包 presto-server-0.196.tar.gz presto-cli-0.196-executable.jar （2）解壓 （3）創建Presto的日誌目錄 mkdir -p /hom
2020-02-23 10:26:18
原创 Spark寫入Kudu報錯：cannot import authentication data from a different user: old='', new='Administrator'
初步分析是用戶權限問題，網上有人提供的解決方案如下： 在/etc/kudu/conf/master.gflagfile加入以下內容： # 添加信任的子集，0.0.0.0/0表示信任所有遠程連接 --trusted_subnets=
2020-02-23 10:26:18
原创 Python 2.7.5操作Hive最全解析
前提：Hive默認用戶名和密碼爲空，並沒有做修改，可以在hive-site.xml中進行配置 （1）安裝相關Python庫 pip install sasl pip install thrift pip install thr
2020-02-23 10:26:18
原创 Presto整合MySQL和Hive，實現跨引擎查詢
Presto配置MySQL Connector （1）在Presto的/etc/catalog目錄下創建mysql.properties，加入以下內容： connector.name=mysql connection-url=jd
2020-02-23 10:26:18
原创 Yarn中Resource Manager HA集羣搭建
第一步：在master上打開hadoop的配置文件yarn-site.xml 加入以下內容<configuration> <!-- Site specific YARN configuration properties --> <prop
2020-02-23 10:26:18