原创 sparkmllib交替最小二乘法
http://spark.apache.org/docs/2.2.0/ml-collaborative-filtering.html不需要用戶和商品屬性的信息，這類算法通常稱爲協同過濾算法例子：根據兩個用戶的年齡相同來判斷他們可能有相似的
2020-07-02 11:19:45
原创 spark on yarn 時，使用rest api 查看job的信息，然而看官方文檔，沒有明確告訴url到底是什麼
首先，打開sparkstreaming的web頁面，按F12打開控制檯，點擊Executors，發現有一個allexecutors請求，暴露出了rest api的地址 http://ip:8088/proxy/application_15
2020-07-02 11:19:43
原创 flink 關於何時編寫分配watermark
我的電腦是8線程，當我運行下面這段代碼時，可以輸出結果，但是當把並行度註釋掉時，就不輸出結果了，這是爲什麼呢？輸入數據一樣，watermark應該都是一樣的啊 輸入數據爲： 1585721697000,xiao,8 15857217000
2020-07-02 11:19:42