原创 關於MAML的那些事
多餘的元學習廢話也不多說，直接上乾貨： 算法： 關於學習率： 兩個學習率a、b，要知道，爲了一步優化探測task最優參數的位置（inner loop），我們必須使用稍微大點的學習率a，這叫一步到位。 而優化你真正模型參數的學習率
2020-07-01 05:20:41
18
原创 關於反向傳播我聽到最好的解釋
首先，chain rule瞭解一下： C是y_和y的距離（也可以理解爲損失函數） C對w求偏微分，有兩部分，一部分是forward ,一部分是backward. 如何計算forward pass,非常簡單，就是input.
2020-07-01 05:20:41
原创 Reptile原理以及代碼詳解
論文：2018-On First-Order Meta-Learning Algorithms 算法簡介 MAML,FOMAML,reptile這些都是關於fewshot任務中參數初始化的問題，這些算法都是尋找一個模型合理的初始化
2020-07-01 05:20:41
60
原创 元學習gradient descent as LSTM（2）--李宏毅老師課程學習筆記
我們發現meta learning中的結構與RNN比較相似，具體看下面兩篇論文是講這個的。 RNN是用同一個單元去處理很長的句子，因爲每次只吃一個單詞。 現在基本用LSTM，通過結構發現Ct的特殊，同時由於它改變較慢，因此LS
2020-06-16 14:38:29
7
原创 我理解的tensorboard
我以前從來沒有用過summary這個記錄的events,後來發現他其實挺有用的。我以前都是自己把我想要的變量保存下來然後做一個列表，後來是在使用百度paddle的時候因爲它封裝的比較好，然後我又不想從中間去插,所以就用這個tens
2020-06-16 14:38:28
原创 可解釋學習筆記(李宏毅老師課程)
爲什麼要解釋？ 因爲我們喜歡給不同的決策找一個理由啊，不然我們就很難接受這個決策。在我們進行決策的時候，如果沒有理由，就會沒有說服力。 local explanation:爲什麼你認爲這是一隻貓？ global explanat
2020-06-16 14:38:28
原创 卷積可視化代碼初級
在學卷積可視化的時候，遇到了一些問題，記錄一下。 首先推薦一個： https://blog.csdn.net/weixin_40500230/article/details/84935287 人們經常說深度學習模型是“黑匣子”，學
2020-06-16 14:38:18
原创 元學習MAML reptile（1）-李宏毅老師課程學習筆記
meta learn =learn to learn 我們希望機器學習怎樣去學習這件事情，就是學會語音辨識、圖像辨識以後，它學會了如何去學習學習這件事情，而不是停留在語音和圖像的任務上。 就是我們不需要自己去定義網絡的結構以及訓
2020-06-16 14:38:18
15
原创 元學習（3）--李宏毅老師課程學習筆記
有沒有什麼模型，它可以直接輸train data 和test data,輸出是不是，全部封裝好。 其實我們手機上的人臉識別就是這樣的。 siamese network --孿生網絡，兩個網絡的參數可以共享也可以不共享。
2020-06-16 14:38:17
12
原创 pytorch學習筆記（一）-----基礎使用篇
這是學習pytorch的學習筆記，個人記錄篇 pytorch是一個基於Python的科學計算包，目標用戶有兩類 爲了使用GPU來替代numpy 一個深度學習研究平臺：提供最大的靈活性和速度 張量Tensor類似於numpy,但
2020-05-12 03:45:33
25
原创 可解釋性論文閱讀（三）--Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
中間隔了一天，但是我也有看英語論文的。而且我發現自己有變化了，並且我很喜歡這種變化。以前我看論文總是喜歡掃看，但是英語不行，所以看英語論文的時候，我感覺自己變得沉靜了。 還有一點，我不排斥英文論文了。遇到英文的文字，也很自然地開始
2020-04-25 03:56:13
原创 圖像分割問題：數據增強之圖像變換
在做圖像分割的問題的時候，用了數據增強，代碼分享如下： 場景：一次性對兩條路徑的圖片做相同的數據增強處理 path1——原圖路徑，path2——掩膜圖路徑 new_path1——增強後原圖路徑，new_path2——增強後掩膜圖路
2020-04-21 21:48:27
原创 可解釋性論文閱讀（二）--- Visualizing and Understanding Convolutional Networks
繼續努力，繼續努力！！！第二天！！！ 今天也來讀一篇經典的文章 Visualizing and Understanding Convolutional Networks Abstract 背景都是網絡效果好，但是不知道爲什麼。本文
2020-04-20 20:25:11
原创 可解釋論文閱讀（一）---Understanding Neural Networks Through Deep Visualization
要學神經網絡的可解釋性了，學長扔給我一大批論文，還是英文的，積了好久，哎，不看不行啊。英語白癡看論文可真難~~所以我要立個小目標，我要看完10篇，目前就一天一篇吧~ 我要看的論文有這麼多！！！ Understanding Neur
2020-04-19 17:51:50
原创 可解釋機器學習筆記
爲什麼要解釋？ 因爲我們喜歡給不同的決策找一個理由啊，不然我們就很難接受這個決策。 local explanation:爲什麼你認爲這是一隻貓？ global explanation:你心裏的一隻貓是什麼樣子的？ 決策樹是一個
2020-04-15 09:01:06
1