原创 Spark本地文件讀寫
當數據量大時，使用分佈式的存儲系統也會更可靠，所以使用 Spark 時所用到的源數據大多數會從 HDFS 或 Hbase 得到。 但對於數據量較小的文件，比如在商品推薦系統中需要額外照顧某批商品，或者是算法中生成的一些關於類目的信息，又或者
2018-10-04 06:51:29
2
原创 reduceByKey應用舉例
Photo by Stefan Stefancik from Pexels 在進行Spark開發算法時，最有用的一個函數就是reduceByKey。 reduceByKey的作用對像是(key, value)形式的rdd，而re
2018-10-04 06:51:29
2
原创 從一個函數的三次迭代得到的收穫
Photo by Frans Van Heerden from Pexels 學習一種新的編程語言，總得經歷從陌生到熟悉，再到熟練，再到精通的過程。隨着代碼寫得越來越多，有那麼一段時間感覺上會認爲自己進步了，但感覺這事往往不太靠
2018-10-04 06:51:29
2
原创 《韭菜的自我修養》- 股票交易是零和遊戲嗎?
來自公衆號《學習學習再學習》 零和遊戲指的是在一次遊戲中，一方的收益必然導致另一方的損失，而且各方的收益和損失相加的總和永遠爲零。 最常見的例子就是賭博。每場遊戲，總是有贏家和輸家，贏家賺了輸家的錢。 把股票交易當做遊戲，這場遊
2018-10-04 06:51:29
4
原创 不要把導火線當做根本原因
Photo by grafixartphoto grafixart_photo from Pexels 在生活中或網上，有時我們會看到某兩人會因爲一件很小的事而發生爭執。 事情小到我們認爲不應該會導致這次爭執，但當事人會一直在這
2018-10-04 06:51:29
3
原创 在不斷解決問題(矛盾)的過程進步
七堂極簡物理課 下午拿出之前買的書-《七堂極簡物理課》，整本書不到100頁而且是科普性質的書，所以很快就看完了。 全書分爲七章，介紹了20世紀物理學革命中最令人着迷的領域，以及這場革命開啓的疑問和奧祕。 第一課介紹了廣義相對論，
2018-10-04 06:51:29
2
原创 算法實現的後勤保障
Photo by Nathalie De Boever from Pexels 將算法實現後，有可能並不會像我們以爲的那樣生效。比如代碼中出現bug、計算公式寫錯、源數據異常、資源緊張導致程序運行失敗，這些情況都會導致實際的結
2018-10-04 06:51:29
2
原创 參加4D領導力培訓的收穫
Photo by Stefan Stefancik from Pexels 以前對人格測試並不感冒，特別是那些簡單粗暴地把人分爲四類的測評。所以當我發現原來4D領導力也是一種人格測試時頓時就失去了興趣。 但意識到總不能就這樣隨意
2018-10-04 06:51:28
2