可怕，hive版本1.2.1，實踐中發現，to_unix_timestamp比unix_timestamp函數快幾十甚至上百倍！！！
typora-copy-images-to: …\typora-picture Spark history UI歷史監控構建 created by fangchangtan | 20200609 1 構建歷史spark ui回
大數據監控體系構建 基於開源xxx_exporter+promethues+grafana的構建監控系統 1.概況 其中，exporter一般是使用來採集各種組件運行時的指標數據； promethues構建指標時序數據庫； gra
1、各個工具的通訊技術 在分佈式系統中，網絡通訊是底層的基礎模塊，不同的大數據工具使用不同的通訊技術，比如： 組件 通訊技術 Hadoop Hadoop自己封裝了RPC Flink Akka Kafka NI
Spark簡介 什麼是Spark？ Spark是一個快速、分佈式、可擴展（隨時可以進行節點的擴充）、容錯（節點宕機了。那麼它可以重新構建恢復這個數據）的集羣計算框架。低延遲的複雜分析，因爲Spark的低延遲，延遲低是因爲Spark
1、構建SBT項目環境 mkdir -p ~/kmeans/src/main/scala 2、編寫kmeans.sbt name := "Kmeans Project" version := "1.0" scalaV
在hdfs上傳數據時，出現錯誤： could only be replicated to 0 nodes, instead of 1 錯誤 出現此問題，首先用 jps 命令查看，datanode沒有正常工作。 解決方法：
MiniBase學習筆記 https://github.com/pierre94/minibase HBase相對複雜，想要快速啃下來比較困難。而MiniBase吸收了HBase最核心的引擎部分的精華，希望可以通過學習MiniBase
HBase 簡介： HBase是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統。可在廉價PC Server上搭建起大規模結構化存儲集羣。 HBase利用Hadoop HDFS作爲其文件存儲系統，利用Hadoop MapRed
ZooKeeper ZooKeeper：ZooKeeper是一種分佈式協調服務，用於管理大型主機。 分佈式應用：分佈式應用可以在給定時間（同時）在網絡中的多個系統上運行，通過協調它們以快速有效的方式完成特定任務 分佈式應用有兩部分
背景 在使用impala drop表然後新建該表再插入數據時，發現以前的數據還在裏面。 drop和create過程都沒有報錯。。。 實際分析發現，drop表後再select報錯，報表不存在，但實際應該是刪除了映射關係，但是hdfs
背景 hive版本1.2.1 問題 where過濾條件中很多條件，其中包含了數值比較情況，當時開發人員沒注意寫的是a=0.01進行比較，a爲數值型，造成過濾條件不生效的情況。單獨是用a=0.01可以，但是在複雜條件下會出現問題。
背景 hive版本1.2.1 存儲格式parquet 篩選字段爲STRING類型的日期，如’20190918’時出現不包含頭尾的現象。 實驗 先分別創建parquet格式T1表與textfile格式的T2表， CREATE TAB
背景 hive版本1.2.1 s1字段類型爲DECIMAL(38,a) s2字段類型爲DECIMAL(38,b) s3字段類型爲DECIMAL(38,c) s1 * s2* s3結果爲NULL，沒有報錯 解決辦法 猜測爲hive隱
今天遇到了spark.driver.maxResultSize的異常，通過增大該值解決了，但是其運行機制不是很明白，先記錄在這裏，希望後面有機會可以明白背後的機制。 該異常會報如下的異常信息: Job aborted due to s
本期內容： 1. Spark Streaming日誌 2. Spark Streaming在IDE中的日誌分析 WordCountLine 15秒鐘的時間間隔 日誌中ForeachDStream先打印。 SocketInputDStr
