原创 jupyter誤刪文件
jupyter誤刪文件，如ipynb的，不可恢復，點擊刪除鍵時會提醒刪除不可恢復的提醒，這時候點擊確認鍵一定要注意。 另外，如點擊刪除ipynb或者其他後墜的文件，在刪除前曾打開過該文件，且該文件在標籤頁中沒有關閉，將所需內容複製
2020-07-06 13:13:48
48
原创 數據傾斜原因及其解決方案
1、數據傾斜的概念 數據傾斜是在map/reduce執行程序時，reduce大部分節點執行完畢，但有一個或者少數幾個節點執行很慢，導致其他程序一直處於等待的狀態，使得整個程序執行時間較長。 2、爲什麼出現數據傾斜？ 主要是在shu
2020-06-16 15:38:56
原创 python積銖累寸
文章目錄一、python package1.numba2 pandas2.1 向量操作2.1.1 iloc2.1.2 iterrows2.2.3 itertuples2.2.4 apply 函數2.2.5 isin()2.2.6
2020-06-16 15:38:56
3
原创 上海臨港人工智能開發者大會(百度+英偉達+亞馬遜的官方workshop和hackathon)
有大佬演講及公開課，又有百度+英偉達+亞馬遜的官方workshop和hackathon，在上海臨港這樣一個美麗而且安靜的地方，對於開發者們的年底充電再合適不過了 https://mp.weixin.qq.com/s/rM2jsAM
2020-06-16 15:38:56
原创 pandas基礎問題解決與整理
merge&join&concat 注意： pandas的merge和數據庫中join原理類似 在數據是dataframe的時候，join底層調用的是merge， concat方法相當於數據庫中的全連接(UNION ALL),可
2020-06-16 15:38:56
原创 spark特徵工程
一、特徵工程 查看數據的分佈 1df.describe().show() 2df.summary().show() //這個顯示比describe更全 1 唯一值刪除 移除列特徵中只有一個值的列 1 2`def Uniq
2020-06-16 15:38:55
原创 spark DataFrame正則表達式
spark DataFrame正則表達式 注意 在spark中使用正則的時候，需要時時刻刻加上轉義自符 '\'需要使用'\\',例如'\w'需要使用'\\w' 正則表達式，使用的庫在sql.funtions 下，如導入split
2020-06-16 15:38:55
原创 python計算節假日，工作日，週末 以及eval函數解析
1.日期-節假日-星期 計算與節假日，以及工作日，週末屬性相關的一些指標，代碼如下 import pandas as pd import argparse from workalendar.asia import China #
2020-06-16 15:38:55
3
原创 在訓練的時候loss增大怎麼辦
引起這種問題的根本原因是Hessian矩陣的病態條件數 1、對學習率乘上一個參數（0.99或者0.999）使得學習率隨着學習步驟的進行而下降 2、另一種辦法就是採用現成的優化算法。 參考鏈接：https://www.zhihu.c
2020-06-16 15:38:55
原创 hive sql基本語法及注意事項
1、 基本語法 1.1 建表語句 create table IF NOT EXISTS tmp.table_name ( uid string comment 'uid' ,salary double comment '薪資'
2020-06-16 15:38:55
原创 分類算法評價準則
目錄1 分類算法評價準則1.1 基礎指標1.1.1 混淆矩陣1.1.2 基本公式1.1.3 Recall & TPR & Precision(1) Recall Recall,召回率，也稱之爲查全率(2) Precision(3
2020-04-16 03:46:27
原创 tensorflow2.0簡介
tensorflow2.0簡介 1、tensorflow 2.0基礎知識簡介 tensorflow2.0是谷歌在2019年3月份發佈更新的一款到端開源機器學習平臺，其目的在於優化tensorflow1.x版本，使其更靈活和易用性；
2020-04-16 03:46:27
4
原创 spark 改寫 信用違約預測
信用違約預測 傳送門：https://www.kesci.com/home/project/5dadfeb675df5c002b20fa45 package LittleTask /** * @CreateUser: esht
2020-02-21 18:04:57
原创 spark 改寫版 電信用戶流失預測
參考鏈接：https://github.com/baopuzi/Telco_Customer_Churn/blob/master/tele_customer_churn_analysis.ipynb 背景：https://zhua
2020-02-21 18:04:57
原创 spark改寫 心血管疾病預測
python版傳送門：https://www.kesci.com/home/project/5da974e9c83fb400420f77d3 package dataclear /** * @CreateUser: eshte
2020-02-21 18:04:57