原创 idea快速構建sbt項目，挑戰全網最全最細（親測，1分鐘內可成功構建sbt）
1.idea 下載scala插件，在線安裝慢，直接下載離線安裝包安裝（建議用迅雷下載加速） 下載好後的包： 2.idea安裝插件： 3.離線安裝sbt,一個原因，還是慢，再次迅雷加個速吧 sbt本地安裝好後： 此時，
2020-06-28 14:07:25
原创 一文徹底搞懂spark的shuffle過程（shuffle write）
https://www.cnblogs.com/itboys/p/9201750.html
2020-06-20 06:02:42
原创 算法小白的第一次嘗試---判斷點是否在不規則區域範圍內（手撕）
針對如何判斷點是否在某一個不規則封閉區域內，主要採用的是向量積法，算法原理參考： > https://blog.csdn.net/ezhchai/article/details/78864336?depth_1-utm_sour
2020-06-20 06:02:42
原创 算法小白的第一次嘗試---PCA（主成分分析）降維【適合各種緯度數據】
------------------------------------------------------------------------------------- 筆者追求算法實現，不喜歡大篇幅敘述原理，有關PCA理論推薦
2020-05-30 18:57:47
原创 spark讀取csv中文亂碼
https://blog.csdn.net/Ficery/article/details/103695695?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommen
2020-05-23 14:48:40
原创 數據結構小白的第一次嘗試------queue (項目實戰)
項目中有一個需求，求取taxi出行od的最大峯值（taxi od最大交叉值），採用隊列處理： 需求示意圖如下： 案例（自制測試數據）： val data = Seq( (“A”,“2019-01-05 00:23:20”,“20
2020-05-16 18:54:33
原创 記一次spark 寫入pgsql異常及解決
Spark 處理完後的DataFrame寫入pgsql時報錯： 通過查看分區數，發現分區在100~500之間，因此寫入時repation至10個分區，後來報錯如下： 最終調小 --num-executors 6解決。
2020-05-14 20:24:19
原创 算法小白的第一次嘗試----出行模式分析（矩陣聚類，數據實戰）
主要功能： 根據交通出行數據，通過刷卡記錄，獲取用戶的所有出行od,以天爲單位構建矩陣，對矩陣進行聚類 主要採用了kmeans進行聚類，輪盤法（kmeans++思想）進行簇初始化，採用SSE(拐點)進行聚類效果評價 kme
2020-05-07 09:37:59
原创 算法小白的第一次嘗試----tensorflow2.0 CNN參數計算（圖文解析CNN）
直接截圖jupyter上數據 x_train輸入爲（32,32,3），三通道RGB 自定義model類 CNN主要採用了CBAPD模式，即卷積層、BN層、激活層、池化層、dropout層，然後輸入全連接網絡 模型訓練 模型輸出
2020-04-29 09:13:46
原创 tensorflow2.0--mnist數據集百度網盤下載鏈接
若網盤下載較慢，可以直接去下載博主上傳的mnist資源，只需要5積分哦 鏈接: https://pan.baidu.com/s/1ggye_esZjph_QvfOWRnkvA 提取碼: 97qp
2020-04-25 15:40:33
原创 算法小白的第一次嘗試----tensorflow 2.0處理同心圓數據
import tensorflow as tf import pandas as pd import numpy as np from matplotlib import pyplot as plt #數據載入（參考北大公開課-
2020-04-25 15:40:33
原创 算法小白的第一次嘗試---tensorflow2.0實戰iris
import tensorflow as tf import sklearn.datasets as datasets import numpy as np ## 1.加載數據集 x_data = datasets.load_
2020-04-23 21:03:25
原创 算法小白的第二次嘗試----NavieBayes
>樸素貝葉斯原理見該博客（強烈推薦）： >https://mp.weixin.qq.com/s?src=11×tamp=1584688625&ver=2227&signature=O754zhc6apcSqOgNLOc
2020-03-25 04:54:23
1
原创 運行在YARN上的Spark程序的Executor，Cores和Memory的分配
轉載地址：https://www.jianshu.com/p/3716ade93b02 點贊 收藏 分享 文章舉報 小糖寶 發佈了25 篇原創文章 · 獲贊 16 ·
2020-02-20 17:37:43