原创 Spark成長之路(7)-Hypothesis testing

Hypothesis testing 樣例 import org.apache.spark.ml.linalg.{Vector, Vectors} import org.apache.spark.ml.stat.ChiSquareTe

原创 Scala練習-分塊查找

原理 分塊查找 前言 前幾天研究Spark分區器的時候,Range分區器的原理中邊界劃定時就用到了分塊查找算法,當時不知道這個名詞,今天學習的時候,發現原理就是分塊查找啊。多學習肯定沒錯的,一下子加速我的理解。 代碼 package

原创 Go語言開發環境搭建

由於準備將項目由c++切到go,這幾天學習了go相關的知識。搭建了下開發環境 0x00 安裝go後,驗證go安裝成功標誌 $ go version go version go1.10.2 darwin/amd64 記得設置下GOPAT

原创 C++操作mysql,串DB的問題追查

問題描述 項目大聯調時發現,原本訪問A庫的操作,最後操作到了B庫中了,但是是偶爾操作到B庫,這個時候回報錯,偶爾操作成功。最後發現一個配置出錯,就是A這個庫在我們服務器中並不存在,但是我們的客戶端應該在這種情況下是能夠收到服務器的通知,表

原创 Scala練習-斐波那契查找

斐波那契數列 原理 F(k)-1 斐波那契查找原理詳解與實現 源碼 package day15 import day14.Utils /** * Created by doctorq on 2017/6/30. *

原创 Spark成長之路(9)-Word2Vec

word2vec 簡介 將文本映射到K維空間的向量值。 代碼 object Word2VecExample { def main(args: Array[String]): Unit = { val spark = Sp

原创 Spark成長之路(6)-Correlation

spark ml 源碼 spark準備徹底支持DataFrame特性,所以重新了ml的api,原先的以RDD爲基礎的api都放在了mllib中,但是都是維護階段,推薦使用ml下的api。 相關性 有2種相關性,皮爾森積矩相關係數和斯