原创 通過MultiLabelBinarizer進行multi-label分類任務的數據預處理

(Pandas: How to prepare a Multi-Label Dataset? )   當進行mutli-class多標籤分類任務的數據集構建時,通常我們會需要對如下這樣的csv進行處理: 使用sklearn中MultiL

原创 dataframe常用操作筆記

Q:dataframe樣本按行打亂 from sklearn.utils import shuffle df_final = shuffle(df_final) df_final.reset_index(drop=True,inplac

原创 sh xxx.py 報錯xxx.sh : Syntax error: Bad for loop variable

xxx.sh內容 for((i=0;i<5;i++)); do python run_bert.py \ --model_type bert \ --model_name_or_path chinese_roberta \

原创 免密登錄遠程服務器(SSH免密登錄)

在本地終端輸入: ssh-copy-id [email protected] 輸出一次密碼 再連接該服務器時,即可免密直接連接。  

原创 python通過pandas讀取格式爲xlsx的excel文件

安裝xlrd pip install xlrd 讀取文件 import pandas as pd df = pd.read_excel('example.xlsx') df.head()  

原创 報錯WARNING:tensorflow:Entity bound method NoMask.call of deepctr.layers.utils.NoMask object at 0x7f

WARNING:tensorflow:Entity <bound method NoMask.call of <deepctr.layers.utils.NoMask object at 0x7fe7c247e780>> could no

原创 LISP實現斐波那契數列(遞歸、非遞歸)

遞歸: #lang racket (define (FIB X) (cond ((= X 0) 0) ((= X 1) 1) ((> X 1) (+ (FIB (-

原创 神經網絡的前向傳播和反向傳播計算過程(精簡版)

  下圖爲一個簡單的神經網絡模型: 第一步:進行前向傳播計算 先計算輸入層到隱含層,再計算隱含層到輸出層,這很簡單。 第二步:反向傳播計算 首先,計算隱含層到輸出層的反向傳播更新權值 然後,計算隱含層到隱含層的反向傳播更新權值 r

原创 python通過re正則表達式切割中英文

import re s = 'alibaba阿里巴巴' # 待分割字符串 en_letter = '[\u0041-\u005a|\u0061-\u007a]+' # 大小寫英文字母 zh_char = '[\u4e00-\u9fa5

原创 自動生成和安裝requirements.txt

requirements.txt可以通過pip命令自動生成和安裝 生成requirements.txt文件 pip freeze > requirements.txt 安裝requirements.txt依賴 pip install

原创 對比python中的淺拷貝copy與深拷貝deepcopy

直接賦值:其實就是對象的引用(別名)。 淺拷貝(copy):拷貝父對象,不會拷貝對象的內部的子對象。 深拷貝(deepcopy): copy 模塊的 deepcopy 方法,完全拷貝了父對象及其子對象。 爲對dataframe

原创 解決EndNote X9 在新版macoOS Catalina下無法打開的問題

某大學的大客戶版endnote x8 或者 x9,但在catalina下會顯示無法打開。 (如果沒有x9 ,先安裝大客戶版x9) 然後在endnote下載一個更新包http://download.endnote.com/updates/1

原创 XGBoost建模及貝葉斯超參搜索流程-框架代碼

1.Requirements pip3 install bayesian-optimization pip3 install xgboost 2. XGBoost建模框架 from xgboost import XGBClass

原创 使用H2O機器學習"十分鐘"提交天池練習賽--工業蒸汽量預測,超過86%的隊伍

試用一下H2O全自動機器學習   下載數據集 天池練習賽"工業蒸汽量預測",下個數據集:https://tianchi.aliyun.com/competition/entrance/231693/introduction   安裝H2O

原创 使用python虛擬環境virtualenv

在復現模型時,可能會因python依賴等的版本問題,得到略有差異的結果。 想要完全復現原結果,需保證所有的python依賴與原先的完全一致。 可使用virtualenv來實現: pip3 install virtualenv 新建一個工