原创 虛擬機裏安裝的centos7.4增加home的分區空間給根目錄
轉載自https://blog.csdn.net/wzhwei1987/article/details/82975455 原來狀態：/home目錄太大841G ，而根目錄才50G。 [root@bdata001 ~]# df -h
2020-02-25 13:31:18
6
原创 java 多線程 volatile 與 synchronized
https://www.cnblogs.com/hapjin/p/5492880.html 三，volatile 與 synchronized 的比較 volatile主要用在多個線程感知實例變量被更改了場合，從而使得各個線程獲得最新
2020-02-25 13:31:18
原创 centos 安裝autossh
$ sudo yum install wget gcc make $ wget http://www.harding.motd.ca/autossh/autossh-1.4e.tgz $ tar -xf autossh-1.4e.tgz
2020-02-25 13:31:18
原创 spark combineByKey的使用
方法的定義： def combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C)
2020-02-25 13:31:18
原创 jenkins創建任務git+maven+publish over ssh部署到遠程
前言（避坑）： 下載jenkins最新版的war包(我當前是2.206版，你們裝的時候去官網找最新版)，這樣安裝插件時不會出現各種版本問題。我是被插件的各種版本問題折騰瘋了。。後面直接把jenkins換成最新的就什麼事也沒有了。 用jav
2020-02-25 13:31:18
原创 jenkins publish over ssh遠程發送文件夾（目錄）的一個坑（指定了文件夾路徑卻沒有發送成功）
解決方式：就是source file指定的目錄需要在最後面加/，不加/就不會發送成功，日誌也不打印，坑爹。
2020-02-25 13:31:18
原创 centos7啓動jenkins時報錯，Caused: hudson.util.AWTProblem，然後在異常的其他信息中包含font等等，那就是缺少一個字體工具
先說解決方案： 執行下面的命令再重新啓動就行了 yum install fontconfig 異常信息： SEVERE hudson.util.BootFailure#publish: Failed to initialize
2020-02-25 13:31:18
原创 mysql面試題
【2020春招必備：MySQL（20）與Redis（20），不看答案能答對幾道？ - 今日頭條】https://m.toutiaocdn.com/group/6791757874402951684/?app=news_articl
2020-02-25 13:31:18
原创 spark streaming的window窗口操作
一、StreamingContext時batchDuration參數 這個參數和後面的window方法的參數有些關係 def this(conf: SparkConf, batchDuration: Duration) 1、batchD
2020-02-25 13:31:18
原创 jenkins權限管理-Role-based Authorization Strategy插件使用
項目的需求： 開發人員、測試人員、運維人員的賬號能夠部署和配置的任務不一樣。 Role-based Authorization Strategy的插件安裝就不說了，參考https://blog.csdn.net/qq_24027457
2020-02-25 13:31:18
原创 spark streaming的checkpoint使用代碼
當executor宕機了，可以從checkpoint目錄恢復元數據、以及該rdd已經計算好的結果等等 而spark streaming當整個driver程序關了之後，再次重新運行該driver程序，由於還是使用同一個checkpoint目
2020-02-25 13:31:18
原创 scala 隱式轉換(隱式值、隱式方法、隱式類)
學過java的獲取其他有基本類型語言的都應該知道隱式轉換。。。像byte可以默認轉爲short、int、long。 而scala沒有基本類型，只有對象，所以肯定不是像上面那樣直接轉換的。 所以，就有了隱式值、隱式方法、隱式類這三種實現隱式
2020-02-25 13:31:18
原创 mysql group by分組 組內排序(主要是group_concat需要有序)
參考這篇文章：https://www.cnblogs.com/pcheng/p/5943156.html
2020-02-25 13:31:18
原创 scala 泛型上下限、協變、逆變
首先說明，我是學java的，暫時現在java還是我的本命語言，也就說，對java語法滾瓜爛熟，其他語言語法就隨便用用，細節沒記。所以，學習scala時都是用於轉換成java的思維去理解（scala代碼轉class字節碼再轉java代碼，一
2020-02-25 13:31:18