原创 torch.multinomial使用
在Word2vec中使用到了非相關數據的降採樣方法, 其中用到了torch.multinomial方法, 這裏記錄一下: multinomial(input, num_samples, replacement=False) 該方法主要有
2020-06-24 06:52:29
原创 python3 中 global nonlocal關鍵字
global 當在函數內部想要修改全局變量的時候, 需要使用指明global, 這樣 內部的變量和全局的變量是指向相同的地址的, 所以修改的時候就是修改全局的變量 nonlocal nonlocal 與global類似, 但是他是修
2020-06-24 06:52:29
原创 生成器, 迭代器, 可迭代對象的關係
可迭代對象 能使用 for 循環 for i in obj: xxxx 的都是可迭代對象 生成器 生成器不但可以作用於for循環，還可以通過next（）函數不斷返回下一個值 生成器有兩種形生成器不但可以作用於for循環，還可
2020-06-16 15:46:19
原创 一 使用Python 運行Spark的安裝
過程主要分爲五步: 安裝 Anaconda 用 Anaconda 安裝 Jupyter notebook 用 Anaconda 安裝 PySpark 運行 Jupyter notebook 運行測試代碼 其中1, 2,
2020-06-16 15:46:19
原创 在centos7 上安裝anaconda3, 啓動notebook 並讓外網訪問
下載安裝包 首先通過網絡下載相應的anaconda安裝包到合適的目錄 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2019.10-Linux-
2020-06-16 15:46:19
原创 文本文件過大時, 使用python一行一行讀取
首先創建一個大於內存的文本文件, 這裏創建的寫了20億個單詞的文件是13G, 我的電腦內存是8G import random from datetime import datetime start = datetime.now() f
2020-06-16 15:46:19
原创 查看自己的tensorflow的版本和型號(cpu or gpu)
import tensorflow as tf from tensorflow.python.client import device_lib print("版本:", tf.__version__) print("型號:", dev
2020-06-16 15:46:19
原创 numpy不兼容
重新安裝的anaconda 和 tensorflow 發現不能能運行numpy 出現這種問題 RuntimeError: implement_array_function method already has a docstring
2020-06-16 15:46:19
原创 LabelEncoder
from sklearn import preprocessing la = preprocessing.LabelEncoder() categories = ['健康','軍事','產業','領導', '體育','政治','教育'
2020-06-01 12:30:06
原创 交叉熵函數tf.softmax_cross_entropy_with_logit()的實際計算
在分類問題中最後計算的損失函數大多都是使用的交叉熵函數, 那麼它內部到底是咋計算的呢,這裏舉例說明 先假設這裏只有一個樣本, 實際類別的one-hot編碼是[0, 0, 1], 而預測結果爲[0.4, 0.3, 0.6], 這裏並沒有經過
2020-05-24 14:20:01