原创 Flink的狀態介紹和有狀態的計算
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://blog.csdn.net/sghuu/article/details/103696508 1 Flink的狀態指的是 1.1.維護的狀態變量,鍵
2020-07-06 21:58:57
原创 SparkSQL RDD,DataFrame,DataSet三者的區別與聯繫
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.jianshu.com/p/c3b262349226 1.RDD 優點： 1.1 編譯時類型安全； 1.2
2020-07-06 21:58:57
原创 hive窗口函數 （V1.0）
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.jianshu.com/p/12eaf61cf6e1 一：前言 根據官網的介紹，hive推出的窗口函數功能是對hive sql的功能增強，確
2020-07-06 21:58:57
原创 spark機器學習 K-means聚類算法
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://blog.csdn.net/weixin_43283487/article/details/89033599 1.聚類和分類區別 K-means聚類
2020-06-25 06:03:47
原创 Hive建模 類型
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/xupccc/p/9544575.html 1、介紹 Hive作爲數據倉庫，同關係型數據庫開發過程類似，都需要先進行
2020-06-25 06:03:36
3
原创 HIVE 顯示查詢的字段名
1、在沒有配置項時查詢的結果如下 2、添加配置，在當前CLI窗口set只能起到局部的作用，想永久生效可以在配置文件裏hive-site.xml 2.1、只保留在當前會話窗口有效命令： set hive.cli.print.head
2020-06-25 06:03:36
原创 JVM監控命令基本就是 jps、jstack、jmap、jhat、jstat
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/rainy-shurun/p/5732341.html JVM監控命令基本就是 jps、jstack、jmap、
2020-06-25 06:03:31
原创 sqoop import hive ，export mysql 實踐及遇到的問題
sqoop version ： Sqoop 1.4.6-cdh5.15.1 mysql cron_task 數據結構大家先記住一下後面會出現很多問題： 1、從mysql 導入數據到 hive 1.1 第一次是以英文 ','爲fie
2020-06-25 06:03:31
1
原创 Spark內存模型詳解
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/coco2015/p/11240677.html 1 堆內和堆外內存規劃 Spark執行器(Executor)的內存
2020-06-25 06:03:20
原创 flink 多流join 觸發時機詳解
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://my.oschina.net/u/2969788/blog/3082677 flink 多流join 觸發時機詳解 flink多流join代
2020-06-25 06:03:19
原创 hive部分：hive的優化，MapReduce的優化
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://blog.csdn.net/wyqwilliam/article/details/81973974 hive 核心思想： 把 Hive SQL 當做
2020-06-25 06:03:19
原创 記一次Hbase熱點數據問題解決方案
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/i80386/p/3696492.html 需求描述： 掃描（查詢）某個區間---》列用hbase多節點的資源，分
2020-06-16 03:29:21
原创 大數據入職阿里雲面經
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://mp.weixin.qq.com/s/F2TiFw-LYFXMRj_hsD-TIw 一、面試準備 面試前，我花了很多時間，對項目進行了梳理，尤其在業
2020-06-16 03:29:21
原创 spark提交作業參數
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.jianshu.com/p/5c388fd29806 1.在提交任務時的幾個重要參數 executor-cores：每個executor使
2020-06-16 03:29:21
原创 spark repartition與coalesce區別
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/frankdeng/p/9301699.html 窄依賴、寬依賴以及stage的劃分依據：https://www
2020-06-16 03:29:21
1