原创 深度學習基礎——訓練集，驗證集和測試集（轉載）
轉自孫高飛，「發表於 TesterHome 」原始鏈接點我 前言 我們在模型訓練的時候通常會將我們所得到的數據分成三部分。 分別是training set， dev set(也叫validation set)和 test set。 在我們
2020-07-06 13:14:13
原创 關於LSTM解決梯度彌散爆炸問題解析
轉自知乎@Towser 原鏈接 “LSTM 能解決梯度消失/梯度爆炸”是對 LSTM 的經典誤解。這裏我先給出幾個粗線條的結論，詳細的回答以後有時間了再擴展： 1、首先需要明確的是，RNN 中的梯度消失/梯度爆炸和普通的 MLP 或
2020-07-06 13:14:13
6
原创 python辣雞小函數
#datetime.time()轉換second def t2s(t): h = t.hour m = t.minute s = t.second return int(h) * 3600 + int(m
2020-06-17 04:09:14
原创 idea_spark配置maven小知識點
https://mvnrepository.com/search?q=spark pom文件中各個版本對應情況 如果這塊配置了，hosts文件也需要配置集羣的節點，否則即使跑本地文件時也會試圖先連接集羣，從而報錯。
2020-06-17 04:09:04
原创 深度學習中優化函數詳解
看到一篇非常不錯講優化函數的博客，怕以後找不到，所以做個記錄 原文地址：地址 作者：Maddock （給大神點個贊！） （一）一個框架看懂優化算法 “ 說到優化
2020-04-25 18:52:20
1
原创 pycharm調用tensorboard筆記
anaconda打開命令窗口 輸入命令 tensorboard --logdir C:\\xx\\autograph 地址爲存放日誌路徑
2020-04-21 10:54:18
原创 scala windows本地配置lzo讀取所需相關組件
具體內容如上圖，包括 gplcompression.dll，lzo2.dll（已經編譯好），hadoop-lzo-0.4.21-SNAPSHOT.jar 這個是csdn上下載的，那個老哥下載需要積分，這裏分享出來。 傳送門 芝麻開門：x
2020-02-22 15:26:49
原创 中國十個主要城市10-18年的統計年鑑
主要包括：安徽、北京、廣東、河南、湖南、上海、深圳、天津、浙江、重慶 個人整理，可能出現錯誤，請各位使用時注意。 僅供學習使用。 傳送門 芝麻開門：nbym 點贊 收藏 分享 文章舉
2020-02-22 15:26:38
原创 DBSCAN注意事項
DBSCAN共包括3個輸入數據：數據集D，給定點在鄰域內成爲核心對象的最小鄰域點數：MinPts,鄰域半徑：Eps，其中Eps和MinPts需要根據具體應用人爲設定。 (1) Eps的值可以使用繪製k-距離曲線(k-distance g
2019-05-15 05:53:12
2
原创 pyspark環境的配置
這兩天配置pycharm中的pyspark環境簡直難受，在做測試的時候寫出文件時一直報錯py4j.protocol.Py4JJavaError: An error occurred while calli..... 然後各種網上搜索問題還
2019-04-16 00:40:15
原创 pyspark注意事項
PYSPARK Caused by: java.io.IOException: CreateProcess error=5, 拒絕訪問。或者error=2 添加 PYSPARK_PYTHON C:\WP\software\Anaconda
2019-04-09 00:08:17
原创 吐槽，純吐槽
最近在做各省統計年鑑的相關研究，發現現在想找各個城市的統計年鑑簡直是真的難，大部分省的統計局官方網站內容缺失，比如河南省的統計年鑑好像從2014年往前就沒得下載了，這樣的情況好多省都存在；有的城市的年鑑你想下載，不好意思，你得一條一條自己
2019-02-27 21:21:09