原创 ntpdate解決同步時間報錯 the NTP socket is in use, exiting
在HBase啓動服務前首先查看集羣時間是否同步 《第一步》 檢查是否安裝ntpd，ntpdate服務 命令爲：rpm -qa | grep ntp rpm -qa | grep ntpdate 《第二步》 如果沒有安裝上述
2020-06-30 15:51:33
原创 Linux系統MySQL初始化後運行報錯
問題過程： 初始化數據庫: ./mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 運行該命令後若
2020-06-30 15:51:33
原创 Spark onYarn集羣模式搭建
轉載此博主https://blog.csdn.net/qq_21439395/article/details/80678372
2020-06-30 15:51:33
原创 Windows系統tomcat服務startup.bat開機自動後臺啓動
一萬匹馬在奔騰，本機裝了tomcat8，再裝tomcat9設置爲自動啓動，程序開了機就報錯，memory leak…jdbc沒有註冊錯誤，網上都是扯淡回答。 附一個百度經驗的方法，停了以前服務裏面的tomcat8，設置爲手動，註冊
2020-06-30 15:51:33
原创 HDP2.6.3.0+Ambari2.6.1大數據平臺
一、配置流程 http://www.cnblogs.com/zhang-ke/p/8944240.html https://www.it610.com/article/1170280322634420224.htm https:/
2020-06-03 20:22:26
4
原创 遇到kylin往hdfs寫數據權限問題
問題：Caused by：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission d
2020-06-03 20:22:26
原创 Nginx+OBS+rtmp+VLC實現視頻直播網站
介紹 本文使用阿里雲服務器搭建，基於rtmp（Real Time Message Protocol）協議的，以OBS爲推流載體，在VLC播放器上實現直播功能。初步實踐，如有遺漏或錯誤請留言。 流媒體服務器依賴的服務，1.ngin
2020-02-23 19:32:28
原创 Java和大數據的區別
1架構層面： javaee：三層架構 表現層（web）業務層（service）持久層（dao） 大數據：圍繞數據 數據採集 --數據存儲–數據計算（分析）–數據展示 2.技術層面： javaee：成熟 解決方案多 技術點集中 大數
2019-10-26 05:57:23
原创 數據分析系統的流程圖及架構圖
1、大數據平臺網站日誌分析系統，項目技術架構圖： 2、大數據平臺網站日誌分析系統，流程圖解析，整體流程如下： ETL即Hive查詢的sql； 但是，由於本案例的前提是處理海量數據，因而，流程中各環節所使用的技術則跟傳統BI完全
2019-08-23 04:00:50
原创 LNMP環境的服務器重啓後網站無法訪問
LNMP部署好以後可能會遇到mysql登錄不上的問題：解決辦法參照此博主： https://blog.csdn.net/vv19910825/article/details/82979563 原因：MySQL數據庫測試不成功或者N
2019-08-23 04:00:50
原创 Kylin深入前對多維分析技術概念的理解
一、數據倉庫 1.數據倉庫是面向主題的；數據倉庫是集成的，數據倉庫的數據有來自於分散的操作型數據，將所需數據從原來的數據中抽取出來，進行加工與集成，統一與綜合之後才能進入數據倉庫； 2.數據倉庫是不可更新的，數據倉庫主要是爲決策分
2019-06-20 05:58:26
原创 hive建立內外部表關聯HDFS文件
參考此博主文章：https://www.cnblogs.com/fefjay/p/6044474.html 一、關於Hive的insert into 和 insert overwrite與數據分區 1》數據分區：數據庫分區的主要目
2019-06-14 04:55:09
原创 SQOOP在Hbase與MySQL互導的替代方案
參照貴博主https://www.jianshu.com/p/3be96085660b Sqoop 導入數據到hdfs和hive總結 https://blog.csdn.net/yxs9527/article/details/83
2019-06-11 11:16:12
1
原创 Linux配系統置多臺服務器系統時間一致（親測有效）
1.設置服務器A爲時間服務器 先參考此博主https://blog.csdn.net/qq_41910230/article/details/82314616 vim /etc/ntp.conf #最後一行加入下面一行，保存退出
2019-06-11 11:16:12
4
原创 Kylin在Ambari中運行示例的時候報錯
新搭建好的ambari集羣，然後發現hive啓動失敗，我也是醉了，報錯如下 WARNING: Use “yarn jar” to launch YARN applications. Logging initialized using
2019-05-14 23:19:26
1