原创 keras學習筆記(二)：實現f1_score(多分類、二分類)
首先容易谷歌到的兩種方法: 1. 構造metrics 這種方法適用於二分類，在模型訓練的時候可以作爲metrics使用。使用的是固定閾值0.5。 from keras import backend as K def f1(y_tr
2020-06-16 11:06:59
6
原创 Ubuntu配置（三）：命令行彙總
查看系統信息： 查看CPU信息：grep "model name" /proc/cpuinfo |awk -F ':' '{print $NF}' 查看內存信息：dmidecode -t memory |grep -A16 "Me
2020-06-16 11:06:59
原创 Andrew Ng-深度學習-第一門課-week3（激活函數和BP）
1.2.2 第一位代表第一門課，第二位代表第幾周，第三位代表第幾次視頻。編號和視頻順序對應，有些章節視頻內容較少進行了省略。對內容進行簡單的總結，而不是全面的記錄視頻的每一個細節，詳細可見[1]。 1.神經網絡和深度學習 1.3
2020-06-16 11:06:59
原创 算法面試彙總
阿里媽媽一面： 這是我遇見最難得面試，最難，最難，重要的說三遍； 自我介紹，這都是套路了，簡單介紹就好； 介紹比賽過程，怎麼做的比賽，然後隨機提問； 從Boosting到AdaBoost到GBDT到LightGBM介紹演變路線，
2020-06-16 11:06:59
原创 A Sensitivity Analysis of Convolutional Neural Networks for Sentence：論文解讀
針對文本分類問題，作者在這篇論文裏，詳細講解了如何對神經網絡進行調參。論文主要內容如下。 1.論文背景 CNN已經廣泛應用於文本分類任務中，但是訓練模型需要精通模型結構，以及如何進行調參，包括filer的大小，正則化參數等等。而且
2020-06-16 11:06:59
7
原创 Andrew Ng-深度學習-第一門課-week2
1.2.2 第一位代表第一門課，第二位代表第幾周，第三位代表第幾次視頻。編號和視頻順序對應，有些章節視頻內容較少進行了省略。對內容進行簡單的總結，而不是全面的記錄視頻的每一個細節，詳細可見[1]。 1.神經網絡和深度學習 1.2
2020-06-16 11:06:59
原创 Andrew Ng-深度學習-第二門課-week3(歸一化)
1. 調參流程： 參數重要性： 學習率α\alphaα > (hidden units/batch_size) > 學習率衰減因子/網絡層數 > β1(0.9),β2(0.999)，ϵ(10−8)\beta_1(0.9), \be
2020-06-16 11:06:58
原创 詞向量之word2vec及Tensorflow實現
Word2Vec已經幾乎成爲NLP任務中，肯定會用到的模型，當然現在我們有了更新的Elmo和Bert，但是Word2Vec作爲基本的詞向量，仍然需要弄明白。 1. 詞的Onehot表示： 當我們處理文本的時候，我們首先需要將這些文
2020-06-16 11:06:58
原创 Andrew Ng-深度學習-第一門課-week4
1.4 深層神經網絡 1.4.1 深層神經網絡 符號定義： 層數：L=4L=4L=4；輸入層的索引爲“0”； n[l]{n}^{[l]}n[l]：代表第l層有多少個神經元，n[1]=5{n}^{[1]}=5n[1]=5，n[2
2020-06-16 11:06:58
原创 SVD+PCA+LDA+LSA/LSI+NMF
1.SVD 1.1 特徵值和特徵向量： 由特徵值和特徵向量的??=??關係，我們可以得出： Ax=λxAx = \lambda xAx=λx AAA: n×nn\times nn×n 的實對稱矩陣; λ:\lambda:λ: 特徵
2020-06-16 11:06:58
原创 keras學習筆記(一)：30分鐘掌握keras
Keras是一個高層神經網絡API，Keras由純Python編寫而成並基Tensorflow、Theano以及CNTK後端。Keras 爲支持快速實驗而生，能夠把你的idea迅速轉換爲結果，如果你有如下需求，請選擇Keras：簡
2020-06-16 11:06:58
2
原创 keras學習筆記(六)：實現CLR和Focal Loss
1. CLR(Cyclical Learning Rate) 優化器是構建神經網絡非常重要的一部分，一個好的優化器可以是模型收斂更快，而且可能性能更好。優化器到現在已經迭代了多個版本，從最開始的SGD，到學習率隨時間衰減的SGD，
2020-06-16 11:06:58
原创 keras學習筆記(三)：模型復現
由於模型在構造的時候會引入大量的隨機參數，所以神經網絡有個非常重要的一個問題就是模型無法復現。在模型的訓練過程中，我們需要保證特定模型的性能是不變的。以確定性能的變化是來自模型還是數據集的變化，或者僅僅是一些新的隨機樣本點帶來的結
2020-06-16 11:06:58
原创 NLP預訓練模型-Transformer：從原理到實戰
感謝Jay Alammar，圖源自他的文章[17]。 文章目錄1. Transformer原理1.1 高層Transformer1.2 Encoder輸入：2 Self-Attention:2.1 Self-Attention步驟
2020-06-16 11:06:58
原创 AI環境配置（二）：安裝TensorFlow、Keras、Pytorch-GPU最新版
關於系統的安裝，可翻閱上一篇文章AI環境配置（一）：安裝Ubuntu雙系統。 1 安裝環境與版本： 系統：Ubuntu 16.04 TensorFlow版本：1.12 GPU版 CUDA版本：9.0 cuDNN版本：7.3 An
2020-06-16 11:06:58