原创 TensorFlow官網上word2vec產生batch的函數講解。

完整的代碼:Github num_skips與skip_window之間的關係 很多人都不理解num_skips與skip_window之間的關係,skip_window這個參數限制了採樣的範圍,skip_window=1就是在輸

原创 Transformer和bert講解

資源 圖解Transformer 徹底搞懂BERT 圖解Transformer中需要注意的點 在圖解Transformer中,要注意decoder層中的attention的計算方式與encoder略有不同,decoder中也有q

原创 使用gensim訓練word2vec詞向量

from gensim.models import Word2Vec import pickle import multiprocessing class MySentences(object): def __init

原创 Spacy使用教程

spacy簡易教程 spaCy 第三篇:依存分析 教你用Python進行自然語言處理(附代碼) spacy與NLTK,standfordcorenlp的對比。 點贊 收藏 分享 文章舉報

原创 pytorch的自動求導

PyTorch簡明筆記[2]-Tensor的自動求導(AoutoGrad) 點贊 收藏 分享 文章舉報 風吹草地現牛羊的馬 發佈了298 篇原創文章 · 獲贊 41 ·

原创 python 切片[::-1]

python的list和string可以有這樣的操作list[start:stop:step] 以string爲例,比如: >>> a = '1232' >>> a[::-1] '2321' 所以list[::-1]表示將整個l

原创 配置JDBC和Tomcat踩的坑

版本說明: java : jdk-11.0.2_windows-x64_bin mysql: mysql-8.0.18-winx64 (解壓版) tomcat: apache-tomcat-8.5.47 (安裝版) jdbc:my

原创 變分推斷二(基於隨機梯度求解分佈Q)

高方差的問題 根據上一節變分推斷一(根據平均場理論求解Q)我們得到了需要求解的分佈QQQ的函數。 L(Q)=∫ZQ(Z)logP(X,Z)Q(Z)dZQ=EQ(Z)[logP(X,Z)−logQ(Z)](1) \begin{ali

原创 兩種交叉熵損失函數的異同(轉)

兩種交叉熵損失函數的異同 點贊 收藏 分享 文章舉報 風吹草地現牛羊的馬 發佈了298 篇原創文章 · 獲贊 41 · 訪問量 5萬+ 私信

原创 python多進程處理大數據

主要用到multiprocessing庫,思想是將大數據讀入內存,然後切片存儲,然後多進程分別處理分片。 from multiprocessing import Pool import math import os # 讀取數據

原创 變分推斷一(基於平均場理論求解Q)

本文主要參考B站的白板推導系列,推薦大家觀看。 什麼是變分推斷 XXX : 觀測變量 ZZZ:latent variable + parameter 在變分推斷中,樣本點XXX被稱爲觀測變量(observed data),未知參數

原创 pytorch基本數據類型

PyTorch基礎入門一:PyTorch基本數據類型 點贊 收藏 分享 文章舉報 風吹草地現牛羊的馬 發佈了298 篇原創文章 · 獲贊 41 · 訪問量 5萬+

原创 numpy常用函數介紹

np.random.normal() 函數:numpy.random.normal(loc=0.0, scale=1.0, size=None) 這個函數的作用是根據高斯分佈(正態分佈)生成數據。 參數: loc:float

原创 論文Autoencoding variational inference for topic models閱讀筆記

Topic model回顧 經典的topic model的模型如下圖所示 其中 θ∼Dir(α)zn∼Multi(θ)wn∼Multi(β) \theta \sim Dir(\alpha) \\ z_{n} \sim Mult

原创 conda安裝pytorch-gpu版本下載出錯的問題解決

換了清華的源之後,官網的命令是下面的: conda install pytorch=1.1.0 torchvision=0.3.0 cudatoolkit=9.0 -c pytorch 但是經常會報HTTP error的錯誤,將