原创 自動化機器學習(AutoML)之自動貝葉斯調參

一、Python實現自動貝葉斯調整超參數 【導讀】機器學習中,調參是一項繁瑣但至關重要的任務,因爲它很大程度上影響了算法的性能。手動調參十分耗時,網格和隨機搜索不需要人力,但需要很長的運行時間。因此,誕生了許多自動調整超參數的方法。貝葉斯

原创 [深度學習] 自然語言處理 --- Attention (下)

一 Self Attention Self Attention也經常被稱爲intra Attention(內部Attention),最近一年也獲得了比較廣泛的使用,比如Google最新的機器翻譯模型內部大量採用了Self Attentio

原创 [深度學習]自然語言處理---ELMo

原文鏈接:Deep contextualized word representations ELMO,是Embedding from Language Model的縮寫( Peters等人,2018年),通過無監督預訓練多層雙向LSTM模

原创 [kubernete] 證書詳細總結

目錄   一 證書簡介 二 證書類型分類 三  證書說明 四 TLS bootstrapping 簡化kubelet證書製作 五 證書製作步驟 1  創建CA證書 2 創建K8S證書 2.1. 創建kubernetes證書 2.2 創建k

原创 [機器學習] 部署機器學習模型的方法介紹

原文鏈接:https://towardsdatascience.com/september-edition-deploying-machine-learning-models-1c79185e88b

原创 lightGBM GPU支持的安裝、驗證方法

以下基於ubuntu 16.04 python 3.6.5安裝測試成功 1、安裝軟件依賴 sudo apt-get install --no-install-recommends git cmake build-essential li

原创 從數據結構到算法:圖網絡方法初探

原文鏈接:https://zhuanlan.zhihu.com/p/77729049 如果說 2019 年機器學習領域什麼方向最火,那麼必然有圖神經網絡的一席之地。其實早在很多年前,圖神經網絡就

原创 Centos7裝NVIDIA顯卡驅動(GPU)

一、系統及顯卡 系統:centos7.3 64位 顯卡:Tesla V100   二、安裝過程 1. 下載驅動 從NVIDIA官網 https://www.geforce.cn/drivers 選擇相應的驅動並下載,下載下來是.run文

原创 [深度學習] Transformer原理和實現

所謂 ”工預善其事,必先利其器“, BERT之所以取得這麼驚才絕豔的效果,很大一部分原因源自於Transformer。爲了後面更好、更快地理解BERT模型,這一節從Transformer的開山鼻祖說起,先來跟着”Attention is

原创 Git工程開發實踐

目錄   一、Git版本管理的挑戰 二、主流分支策略簡介 三、Git Flow簡介 四、Git Flow模型簡介 1、Git Flow模型簡介 2、初始化主分支、創建 develop 分支 A、master分支 B、develop分支 3

原创 [機器學習] 樹模型特徵重要性原理總結

在使用GBDT、RF、Xgboost等樹類模型建模時,往往可以通過 feature_importance 來返回特徵重要性,各模型輸出特徵重要性的原理與方法 一 計算特徵重要性方法 首先,目前計算特徵重要性計算方法主要有兩個方面: 1.1

原创 後端架構師技術圖譜

看到github上一篇超炫的博文,是阿里工程師總結的《後端架構師技術圖譜》,分享給大家。\ 數據結構 隊列 集合 鏈表、數組 字典、關聯數組 棧 樹 二叉樹 完全二叉樹 平衡二叉樹 二叉查找樹(BST) 紅黑樹 B,B+,B*樹 LSM

原创 [深度學習] Pytorch nn.CrossEntropyLoss()和nn.NLLLoss() 區別

  函數 Softmax(x)       是一個 non-linearity, 但它的特殊之處在於它通常是網絡中一次操作. 這是因爲它接受了一個實數向量並返回一個概率分佈. 其定義如下.定義 x 是一個實數的向量(正數或負數都無所謂,

原创 [深度學習] NLP文本分類模型總結

文本分類 包括基於word2vec預訓練的文本分類,與及基於最新的預訓練模型(ELMO,BERT等)的文本分類 fastText 模型 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attentio

原创 [深度學習]基於Attention機制的Bi-LSTM文本分類

Peng Zhou等發表在ACL2016的一篇論文《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》。 論