原创 combineByKey、reduceByKey、groupByKey
combineByKey combineByKey實際上是將參數傳遞給了combineByKeyWithClassTag來完成工作的 reduceByKey和groupByKey底層也都是調用了combineByKeyWithClassT
2018-12-06 13:30:23
1
原创 Scala 隱式轉換
隱式轉換 我們需要某個類中的一個方法，但是這個類沒有提供這樣的一個方法，所以我們需要隱式轉換，轉換成提供了這個方法的類，然後再調用這個方法 第一步，需要一個增強的類，裏面提供我們想要的方法，接收的參數的類型一定要是被增強類的類型。 第二
2018-12-06 13:30:23
原创 range()、np.arange()和np.random相關總結
range()和xrange()函數 在 python 2.x 版本中，同時存在range（）和xrange（）函數，其中，range()返回值是一個列表，xrange（）返回值是一個迭代器； 在 python 3.x 版本中，取消了xr
2018-12-06 13:30:23
3
原创 Scala 泛型以及泛型約束
泛型類 在類聲明時，定義一些泛型類型，然後在類的內部，就可以使用這些泛型類型 在需要對類中的某些成員，如字段或方法中的參數進行統一的類型限制時，可以使用泛型類，使得程序具有更好的健壯性和穩定性 在使用類的時候，將類型參數替換爲實際的類型即
2018-12-06 13:30:23
原创 Scala 令人髮指的特殊符號
集合相關 +=和++=(字符串拼接) +=方法還可以：爲可變數組添加元素、爲map添加新的值 -=方法可以：爲可變數組減去元素、爲map移除相應的值 scala> var s:String = "a" scala> s+="b" sca
2018-12-06 13:30:23
1
原创 Scala 模式匹配的常見類型
常量模式與變量模式 功能類似於其他語言的switch語句，但是在match case語句中是可以使用函數，也就意味着 =>左側可以是任意的變量和條件表達式 =>右側可以是任何複雜的函數 一旦匹配到就會執行相應的函數體並且返回結果 用
2018-12-06 13:30:23
原创 Python 股票分析練習
本文python股票市場分析實戰主要包括兩個方面 一是歷史趨勢分析 二是風險分析 實驗數據：來源於Yahoo Finance，網址：https://finance.yahoo.com ,該網站提供了很多API接口，讀取數據很方便，本文可
2018-12-06 13:30:23
15
原创 Scala 關於樣例類的優點
case class在匹配模式和actor中經常使用到，當一個類被定義成爲case類後，Scala會自動幫你創建一個伴生對象並幫你實現了一系列方法且帶來了不少好處 1.實現了apply方法，意味着你不需要使用new關鍵字就能創建該類對象 s
2018-12-06 13:30:23
原创 Spark 名詞解釋
程序外名詞 Application：應用程序 應用程序就是用戶編寫的代碼打包之後的jar包和相關的依賴 Application = Driver + Executor(分佈在集羣中多個節點) Driver部分的代碼:SparkConf+
2018-12-06 13:30:23
6