原创 系統時間不同步問題： Reported time is too far out of sync with master
一個從節點掛掉了 報錯： Reported time is too far out of sync with master 原因： 是因爲從節點和主節點的時間不同步導致的， 現在需要做的是主從節點的時間同步起來。 解
2020-06-17 12:11:50
原创 殺掉spark on yarn-cluster服務和查看日誌
目錄 停止spark on yarn-cluster服務 查看yarn-cluster運行時的日誌： 停止spark on yarn-cluster服務 命令： yarn application -kill appid 查看y
2020-06-17 12:11:50
原创 hbase的表設計（採集cdn日誌落地）
目錄 存儲CDN的日誌 web查詢 RowKey 設計 預分區 rowkey的組成 hbase存儲優化 spark streaming bulkload模式批量插入hbase 存儲CDN的日誌 場景： 落地的數據例如
2020-06-17 06:11:42
原创 flume 基礎入門
CDH相關的軟件下載地址：http://archive.cloudera.com/cdh5/cdh/5/ cdh-5.7.0 生產或者測試環境選擇對應CDH版本時，一定要採用尾號是一樣的版本 下載flume： lunx命令：
2020-06-17 04:18:27
原创 spark寫入hdfs
spark streaming寫入hdfs 場景： 需要將數據寫入hdfs，打包成一個gz包， 每5分鐘執行一次spark任務。 最終的結果如下： 5分鐘跑一次spark， 將數據寫入hdfs， 會產生很多的小文件。 spark
2020-06-17 04:18:27
原创 hbase源碼： RpcServer應答服務設計
hbase源碼： RpcServer應答服務設計 環境： hbase 1.2 版本 應答服務設計 看源碼的時候一個快捷鍵 Ctrl + Shift + - ， 很有用， 可以嘗試一下 hbase的Rp
2020-06-17 04:18:27
原创 shell腳本 獲取目錄下所有文件的行數，以及每條數據的時間戳
shell腳本 獲取目錄下所有文件的行數，以及每條數據的時間戳 數據樣例： [2019-09-19 05:14:41] 192.168.10.9 "http://video.media.andedu.net/produ
2020-06-17 04:18:27
原创 Hbase的MapReduce（Hbase權威指南）+ BulkLoad導入HBase
目錄 Hbase權威指南 第7張 與MapReduce集成 預測執行和版本介紹 Hbase與MapReduce集成 例7.1 MapReduce作業從一個文件中讀取數據並寫入Hbase表 MapReduce生成HFile文件,再使
2020-06-17 04:18:27
原创 llinux安裝mysql（按照命令複製安裝就可以了，傻瓜式）
可以直接粘貼命令一路執行到底，然後安裝mysql就可以了。。。。。。。。。。。。。。。。。。。。。 linux系統：Centos 7.5(使用 lsb_release -a 查看版本信息) mysql版本：mysql-5.6
2020-06-17 04:18:27
原创 linux下載jdk
wget直接下載jdk wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; orac
2020-06-17 04:18:27
原创 hadoop集羣的NodeManager存在， 但在yarn上顯示Unhealthy Nodes
也可以使用命令查看節點狀態： [mmtrix@www hadoop-2.6.0-cdh5.4.1]$ bin/yarn node -list -all 查看yarn的log發現 2020-06-08 10:31:12,9
2020-06-09 17:28:22
原创 flink cep demo
Flink CEP 是 Flink 的複雜處理庫。它允許用戶快速檢測無盡數據流中的複雜模式。不過 Flink CEP 僅可用於通過 DataStream API處理。 參考細說Flink CEP，我們知道Flink 的每個模式包含多個狀
2020-06-06 22:49:45
原创 hadoop報錯： Operation category READ is not supported in state standby
問題1： Operation category READ is not supported in state standby 初步判斷是由於HA節點中處於standby狀態造成的異常 原因： 原來nn1機器是active
2020-06-06 22:49:45
原创 股票個人操作（中短線）
我覺得股市入門是 學會割肉 ，（截斷損失讓利潤奔跑） 割肉認賠是最重要的。懂得割肉才能長存。 管理操作： 我不會做長線，因爲不會選股，之前做過長線都虧損了， 就GG了。 （a股是熊長牛短， 在牛市賺的基本都在熊市虧了，
2020-04-26 19:31:05