原创 thunlp的OpenNRE的使用
發表OpenNRE的論文，論文詳細說明了OpenNRE的各個組件。 OpenNRE的github的地址。 清華整理的做關係抽取必讀的文章的地址。 OpenNRE實現了基於sentence-level，bag-level和few-s
2020-06-30 02:49:15
5
原创 pytorch nn.LSTM()，nn.GRU()參數詳解
LSTM結構中是一個神經網絡，即上圖的結構就是一個LSTM單元，裏面的每個黃框是一個神經網絡，這個網絡的隱藏單元個數我們設爲hidden_size，那麼這個LSTM單元裏就有4*hidden_size個參數。每個LSTM輸出的都
2020-06-30 02:49:14
164
原创 rnn_utils.pack_padded_sequence的作用
Pytorch中的RNN之pack_padded_sequence()和pad_packed_sequence()
2020-06-30 02:49:14
1
原创 條件變分自編碼器（CVAE）及相關論文ELBO推導
推導用到的概率公式： P(A,B∣C)=P(A∣B,C)P(B∣C)P(A,B|C) = P(A|B,C)P(B|C)P(A,B∣C)=P(A∣B,C)P(B∣C) 證明： 由於 P(A∣B)=P(A,B)P(B)P(A|B) =
2020-06-30 02:49:14
1
原创 pytorch中一些函數的講解
pytorch中的ModuleList 和 Sequential: 區別和使用場景 PyTorch 中，nn 與 nn.functional 有什麼區別
2020-06-30 02:49:14
原创 如何將torch.tensor數據類型轉化爲python的內置類型？
在tensor後面加.item()即可。 import torch a = torch.LongTensor([10]) b = a.data # 還是tensor c = a.item() # int類型，而且
2020-06-30 02:49:03
原创 GMVAE（GAUSSIAN MIXTURE VARIATIONAL AUTOENCODERS）高斯混合變分自編碼器公式推導
GMM 高斯混合模型： p(x)=∑zp(c)p(x∣c)=∑k=0K−1πkN(x∣μk,σk) \begin{aligned} p(x) = &\sum_{z}p(c)p(x|c) \\ = &\sum_{k=0}^{K-1}
2020-06-30 02:49:01
6
原创 變分自編碼器ELBO的求解---隨機梯度變分估計（SGVB）
在變分自編碼（VAE）一文中我們已經求解了VAE的ELBO,這裏再進一步分析求解ELBO的方法，也就是SGVB估計。 兩種形式的ELBO 變分自編碼器的ELBO其實有兩種形式： 第一種是： ELBO=Eqφ(z∣x)[logpθ(
2020-06-30 02:48:59
原创 解決pytorch官網安裝慢的辦法
以下方法win平臺和linux平臺應該都可以。 第一步：替換源 激活conda虛擬環境，並輸入以下命令。 conda config --add channels https://mirrors.tuna.tsinghua.edu.
2020-06-30 02:48:59
原创 理解Graph Convolutional Network(GCN)
理解Laplacian矩陣 在GCN相關的理論知識中，都提到了Laplacian矩陣（拉普拉斯矩陣），那麼GCN爲什麼要用拉普拉斯矩陣以及拉普拉斯矩陣是怎麼來的卻很少有人說明。下面通過一個列子來說明。 一個基於圖的熱傳播模型 上
2020-05-26 08:39:10
3
原创 基於切比雪夫多項式的簡單GCN網絡
利用論文《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》中的原理進行簡單的GCN測試，具體原理可看這篇論文。 import torch impor
2020-05-26 08:39:00
原创 finetuning Bert時的權重衰減
權重衰減 L2正則化的目的就是爲了讓權重衰減到更小的值，在一定程度上減少模型過擬合的問題，所以權重衰減也叫L2正則化。 Bert中的權重衰減 並不是所有的權重參數都需要衰減，比如bias，和LayerNorm.weight就不需
2020-05-12 17:57:05
原创 pytorch 邏輯迴歸
import torch from torch import nn import matplotlib.pyplot as plt import numpy as np dot_num = 100 x_p = np.rando
2020-05-12 17:57:05
原创 Pytorch model中的遍歷模型的參數
model.named_parameters() return : 返回model的所有參數的(name, tensor)的鍵值對。可以修改參數的requires_grad屬性。 用法 : 常用於對網絡的參數進行一些特殊的處理（比
2020-05-12 17:57:05
原创 XLNet與Bert
XLNet值得讀的文章： XLNet原理解讀 XLNet:運行機制及和Bert的異同比較 XLNet的Transformers的pytorch實現中，幾個關於各種mask的參數講解： forward(input_ids=Non
2020-04-21 03:52:02