遞歸神經網絡 人類並不是每一秒都從頭開始思考。當你閱讀這篇文章時，你會根據對前幾個詞的理解來理解每個詞。你不會扔掉一切，然後再從頭開始思考。你的思想是有持久性的。 傳統的神經網絡並不能做到這一點，這似乎是一個主要的缺點。例如，想象一下你要
最近在學習 Long Short-Term Memery (LSTM)[1]， 文獻中指出：通過遞歸反向傳播算法學習在長時間間隔內存儲信息需要花費很長的時間，這主要是由於不足、衰減的誤差反向流造成的（Learning to store i
最近在學習 RL ，不得不先接觸一下“ 馬爾可夫決策過程 ”，這裏找到了 David Silver 的課程: UCL Course on RL （http://www0.cs.ucl.ac.uk/staff/d.silver/web/Te
看到一篇寫的非常好的關於 word2vec 文章《word2vec中的數學原理詳解》[1]，本來想着看完之後按自己對知識的整理做一下記錄，但是覺得原文作者（peghoty）寫的太好了，這裏按作者寫作邏輯記錄一下個人的學習筆記吧。 目錄 一
在學習 word2vec 時，首先接觸到的就是 Huffman 編碼，這裏簡單記錄一下學習內容。 目錄 一、簡介 二、Huffman樹 （一）基礎術語 （二）構建 三、Huffman編碼 四、代碼 （一）python （二）結果 一、
在神經網絡中，隱藏層和輸出層節點總是需要一個可微的激活函數，那麼激活函數有什麼作用呢？又有哪些常見的激活函數呢？ 目錄 一、激活函數的作用[1] （一）二分類問題 （二）激活函數 二、激活函數 （一）sigmoid函數 （二）tanh函數
文章目錄1. Introduction2. Supervised learning3. Backpropagation to train multilayer architectures4. Convolutional neura
神經網絡處理分類問題流程 網絡結構及部分參數計算 網絡超參數及其訓練 網絡特點 訓練模型 測試模型
1.經典網絡 2.論文核心思想
combine the benefits of Adversarial training and input processing and propose a self-supervised adversarial training m
論文地址：http://xxx.itp.ac.cn/pdf/2003.02484.pdf 解決問題： 雖然對抗性訓練是對抗性訓練中最有效的防禦形式之一，但不幸的是，對抗性訓練中存在着測試準確性和訓練準確性之間的矛盾。 總結 ： 在本文中
Notations input vvv output rrr weight parameter W∈Rd×mW \in \mathbb{R}^{d \times m}W∈Rd×m activation function aaa
Weakness of adversarial training: overfit to the attack in use and hence does not generalize to test data Curriculu
複雜網絡社區發現方法 一、KL算法 1.經典論文： http://wenku.baidu.com/link?url=jLIGECP1kkikDbTJOUh3ArHFULWQLX0cTsHNBagMFNL-4NEKpb2myet2PKf
title: Detr author: yangsenius original link: https://senyang-ml.github.io/2020/06/04/detr/ date: 2020-06-04 18:1
