原创 scala - 模式匹配和樣例類
模式匹配和樣例類模式匹配更好的switch守衛匹配數組、列表和元組樣例類 模式匹配 更好的switch scala有一個十分強大的模式匹配機制，可以應用在很多場合：switch語句、類型查詢以及“析構”（獲取複雜表達式中的不同部分
2019-08-23 00:22:51
原创 scala - 隱式轉換和隱式參數
隱式轉換和隱式21參數隱式轉換利用隱式轉換豐富現有類庫的功能 隱式轉換 package demo12 class Fraction() { private var n: Int = 0 private var m: I
2019-08-23 00:22:51
原创 scala - 面試總結
object和class的區別？ object是類的單例對象，開發人員無需用new關鍵字實例化。如果對象的名稱和類名相同，這個對象就是伴生對象 伴生對象是什麼？ 伴生對象就是與類同名的對象，它和同名類必須存在於同一個源文件中，並且
2019-08-23 00:22:50
原创 shell - 查看文件第3-6行的內容
3-6行文件內容方法1方法2 文件內容 [hadoop@slave106 yk]$ cat test.txt 1 2019-05-28 19:10:59 2019-05-28 19:10:59 10.10.10.10 10 10
2019-08-23 00:22:50
原创 Spark 源碼修改
Spark源碼修改 經驗：修改源碼的時候，不要編譯全部源碼 通過IDEA，找到要修改的scala文件，並找到該scala文件對應的jar包，然後解壓jar包； 修改源碼、打包項目、生成jar包； 用好壓打開步驟2生成的jar包，
2019-08-06 00:26:21
原创 shell - xsync.sh
#!/bin/bash if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi p=$1 #echo p=$p dir=`dirname $p` #echo dir=$dir
2019-06-13 01:44:05
原创 手動安裝maven包
mvn install:install-file -Dfile=/Users/chandler/Documents/Projects/ipdatabase-master/target/ipdatabase-1.0-SNAPSHOT
2019-06-10 20:00:24
原创 hadoop yarn
YARN組件YARN執行流程YARN組件作業 yarn：資源調度和任務管理 四大組件：ResoureManager(RM)、NodeManager(NM)、App Mstr、Container YARN執行流程 1、clien
2019-06-10 20:00:24
原创 java - 位運算符
位運算<<（左移）>>（右移動） <<（左移） 按位左移運算符： 左操作數 按位左移 右操作數 指定的位數，右邊空出的n位補0 >>（右移動） 按位右移運算符： 左操作數 按位右移 右操作數 指定的位數， 如果最高位爲
2019-06-10 20:00:24
原创 C4.5算法分析
C4.5是機器學習算法中的另一個分類決策樹算法，它是基於ID3算法的一種改進算法，相比於ID3算法，有以下幾個改進： C4.5用信息增益率來選擇屬性（ID3用信息增益選擇屬性） 在決策樹構造過程中進行剪枝，因爲某些具有很少元素的
2019-06-10 20:00:23
原创 shell - 循環執行sparkSql程序
shell循環執行sparkSql程序 [hadoop@slave106 test]$ cat start.sh # 拿到random所有文件名，寫入random.txt hdfs dfs -ls /yk/data/random |
2019-05-15 06:01:57
原创 shell - 統計詞頻（LeetCode）
打印第10行方式1 題目描述： 寫一個 bash 腳本以統計一個文本文件 words.txt 中每個單詞出現的頻率。 爲了簡單起見，你可以假設： words.txt只包括小寫字母和 ' ' 。 每個單詞只由小寫字母組成 單詞間由一
2019-05-15 06:01:57