原创 pandas對不同類型的column進行fillna

因爲dataframe中數據有不同類型,統一fillna可能會造成統一列數據類型不同的錯誤,有兩種方法 方法1:逐一判斷 for col in df: if df[col].dtype=="object":..... 方法2:

原创 Keras 搭建神經網絡的簡單pipeline

整體流程大概是:定義好用到特徵——搭建網絡————編譯模型——訓練——預測結果 原始數據通常爲csv文件 特徵定義 用tensorflow的feature_column函數完成對特徵的轉換,在這一步只是指明對將來喂入數據中的某個特

原创 將conda環境導入Jupyter

#conda下先進入需要導入的環境cenv conda activate cenv #安裝ipykernel (cenv)$ conda install ipykernel #創建jupyter kernel (cenv)$ i

原创 ImportError: cannot import name create_prompt_application

用ipython創建kernel時出現下面問題 參考該方法: https://github.com/jupyter/jupyter_console/issues/158 sudo pip install prompt-too

原创 Jupyter設置代理

需要讀取外網服務器時,需要走代理,本機代理走的是1080端口,可以將jupyter的代理設置到該端口上。 方法1:臨時修改 在終端進行設置,再在該終端上啓動jupyter,起來的notebook即可走代理。 set HTTP_PR

原创 SVD(Singular Value Decomposition)奇異值分解

譜分解 線性代數中,特徵分解(Eigendecomposition),又稱譜分解(Spectral decomposition)是將矩陣分解爲由其特徵值和特徵向量表示的矩陣之積的方法。 譜定理 如果矩陣M是個正規矩陣,那麼M可以進

原创 隨機森林有放回抽樣

爲什麼要有放回抽樣 如果不放回抽樣,每棵樹用的樣本完全不同,結果是有偏的,基學習器之間的相似性小,投票結果差,模型偏差大 如果不抽樣,基學習器用所有樣本,那麼模型的泛化能力弱,基學習器之前相似性太大差異性太小,模型的偏差大 爲什

原创 將dataframe寫入到kusto table

官方非常confused的API https://github.com/Azure/azure-kusto-python/blob/master/azure-kusto-ingest/tests/sample.py data =

原创 VSCode 使用code runner

寫C++的時候如果發現右鍵沒有run code 選項,可以安裝code runner,可以不Debug直接運行代碼; 配置setting.json文件, 加入下面代碼即可: "code-runner.runInTermi

原创 pandas groupby max

假設數據如下: array = [ ['a', 2], ['a', 1], ['a', 0], ['b', 2], ['b', 4], ['b', 6], ] data = pd.

原创 plt legend位置

ax1.legend(bbox_to_anchor=(0.55, 1.09)) ax2.legend(bbox_to_anchor=(0.31, 1.09)) plt.legend(loc=‘upper left’)

原创 dataframe groupby 後求每個key最大值所在的行號

dataframe groupby 後求每個key最大值所在的行號,用idxmax()函數 import pandas as pd array = [] for charc in ['a', 'b', 'c']: for

原创 C++ signed char 爲什麼取值範圍是-128-127

計算機中,數字都是以補碼的形式表示的,對於有符號數而言,正數的補碼爲其自身,負數的補碼固定其符號位。 正數的補碼如下所示,0-127,可以看到除了符號位以外的所有位都被使用了 負數的補碼如下所示: 可以看到-1~-127用到了

原创 ImportError: No module named 'src'

把本地python項目,比如pycharm中的項目拷貝到服務器運行時,出現Module引入錯誤 解決方法: 在project的根目錄下運行子目錄的文件,而不是直接在子目錄下運行文件

原创 pycharm 刪除無用的import

點擊code–> optimize import 快捷鍵 ctrl + alt + o