原创 如何理解Flume hdfs sink的roll和round
roll相關 roll相關的字段作用對象是文件 字段 默認值 說明 rollInterval 30 每隔30秒截斷一個文件。設置爲0表示不會因爲時間間隔截斷文件 rollSize 1024 文件字節數超過1024
2020-06-26 09:06:56
原创 用Vue整合Echarts做數據展示：第一個Vue Demo 以及項目結構
Vue Demo cmd 下 進去任意你想的目錄 vue init webpack echarts_demo(藍色部分是項目的名字) Use ESLint to lint your code? 建議選no。嚴格模式下代碼
2020-06-26 09:06:56
原创 hive：存儲格式和壓縮算法
存儲格式(hive自帶的存儲格式) a b a1 b1 a2 b2 a3 b3 什麼是按行存儲？ a1b1a2b2a3b3 什麼是按列存儲？ a1a2a3b1b2b3 兩者存儲的形式不同，造成了不用的應用
2020-06-26 09:06:56
原创 用Vue整合Echarts做數據展示：整合Echarts
在終端中輸入：npm install echarts --save 在main.js中引入echarts // The Vue build version to load with the `import` command
2020-06-26 09:06:56
原创 Flume容錯機制 : Sink Processor
Sink Processors是作用在sink組件上的容錯機制。通過調度Sink Groups（就是分了組的Sinks），可以做到負載均衡(load_balance Processors)和類似HDFS中Namenode高可用(F
2020-06-26 09:06:56
原创 用Vue整合Echarts做數據展示：整合ElementUI，實現佈局
ElementUI官網 Element開發指南 安裝ElementUI 【ctrl+`】打開終端 輸入 npm i element-ui -S 在main.js中爲我們的項目引入ElementUI // The Vue
2020-06-26 09:06:56
原创 Mysql 報錯performance_schema.session_variables 不存在
因爲需要升級了一下MySQL,外面用navicat連接時出現這個錯誤 執行以下命令就好了 mysql_upgrade -u root -p123456 --force A MySQL server restart is requi
2020-06-26 09:06:56
原创 Flink 自定義Source 讀取Mysql
object CustomSource { def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamEx
2020-06-26 09:06:56
原创 用Vue整合Echarts做數據展示：整合Axios,前後端交互
之前整合Echarts的時候，數據是寫死的。爲了達到動態的效果，我們只能通過後端生產數據，然後讓前端展示。 npm i axios --save 定義交互接口config.js和char.js config.js i
2020-06-26 09:06:56
原创 正則表達式(?:)的作用
表達式 描述 (?: re) 匹配 re,不捕獲匹配的文本，也不給此分組分配組號 public class RegularDemo { /** * TODO (?:)
2020-02-21 20:51:28
原创 Hive中自定義函數
實現 定義一個類，繼承UDF,然後寫evaluate方法 查看UDF類，會發現並沒有這個方法(版本1.2.1)))，所以說重寫有點牽強~ 源碼中這樣寫到： Implement one or more methods named
2020-02-21 20:51:28
原创 Elasticsearch KeyWord和Text
今天寫代碼的時候遇到一個問題 我們可以看到我們的gender有兩個屬性F、M 但是我們下面這樣寫代碼並查不到數據 看別人這樣寫，又能查到數據 出於對求知的慾望，研究了一下爲什麼有了以下結論。 Elasticsearch兩大數
2020-02-21 20:51:28
原创 HDFS DataNode節點服役退役
新節點服役 前期準備 準備一臺新的虛擬機環境和集羣機器環境相同 修改主機IP和主機名稱 刪除hadoop目錄下的data 和log文件夾 配置hdfs和yarn對於新節點的SSH免密登陸 新節點配置 在namenode節點上
2020-02-21 20:51:28
原创 Spark on Yarn分析
Spark所有的任務，都是由Spark-submit來提交的。所以我們從這個類看起。 SparkSubmit override def main(args: Array[String]): Unit = { //配置啓動參
2020-02-21 20:51:28
原创 Kafka ISR和offset小結
Kafka小結 使用Kafka的好處 解耦 允許你獨立的擴展或修改兩邊的處理過程，只要確保她們遵守同樣的接口約束 可恢復性 系統的一部分組件失效時，不會影響整個系統。並且即使一個處理消息的進程掛掉，新加入的消息也可以在系統
2020-02-21 20:51:28