原创 PriorityQueue（優先隊列）
https://blog.csdn.net/beilunc7/article/details/100177375 能夠完成下列操作的數據結構叫做優先隊列： 1、插入一個數值。 2、取出最小（最大）的數值（獲得數值，並且刪除）。 能夠使用二
2020-06-29 13:20:35
2
原创 keras 循環神經網路 return_sequences和return_state
RNN 我一直以爲循環神經網絡的輸出是上邊的y，實際上輸出的是a keras 的SimpleRNN keras.layers.SimpleRNN(units, activation='tanh', use_bias=True, ker
2020-06-13 10:32:09
4
原创 tensorflow 2.x 修改tensor中某些元素
tensorflow中直接使用下標賦值會報錯誤。 如下代碼: tensor_input = tf.constant([i for i in range(20)], tf.float32) tensor_input = tf.reshape
2020-06-13 10:32:09
46
原创 np.random.permutation()解析
https://blog.csdn.net/weixin_44188264/article/details/93752505 np.random.permutation()：隨機排列序列。 例1：對0-5之間的序列進行隨機排序 例2：對
2020-06-13 10:32:09
1
原创 keras LearningRateScheduler 使用
keras.callbacks.LearningRateScheduler(schedule, verbose=0) 參數 schedule: 一個函數，接受epoch作爲輸入（整數，從 0 開始迭代） 然後返回一個學習速率作爲輸出（浮點
2020-06-13 10:32:09
14
原创 Johnson's SU-distribution
from https://en.wikipedia.org/wiki/Johnson%27s_SU-distribution#opennewwindow 1 公式 實際就是z(x)=... 假設U是一個隨機變量，服從於[0, 1]之間
2020-06-13 10:32:09
原创 關於GPT2Tokenizer的一些發現
在使用transformers裏的GPT2Tokenizer時，看到一句話： GPT-2 BPE tokenizer. Peculiarities: Byte-level Byte-Pair-Encoding Requires
2020-06-13 10:32:09
2
原创 關於Pytorch中detach
1 首先沒有detach的情況 定義了一系列操作，如下，中間結點y1和y2沒有梯度。沒有采取detach。 import torch w1 = torch.tensor([2.], requires_grad=True) # prin
2020-06-13 10:31:59
原创 Pytorch | 自動求導機制下tensor的各個屬性
from https://www.jianshu.com/p/96a687ecbac4 grad 該屬性值默認爲None，在第一次調用backward()方法後，該值會附上一個數值，並且grad屬性值會在之後的每次調用backward
2020-06-13 10:31:59
原创 heapq模塊中的兩個函數——nlargest()和nsmallest()
https://blog.csdn.net/qq_37119902/article/details/79471521 這兩個函數可以幫助我們在某個集合中找出最大或最小的N個元素。例如： >>> import heapq >>> nums=
2020-06-13 10:31:59
原创 tensorflow 製作mask lm數據
採用一種簡單的方式，截取每個樣本前512個字符。隨機mask一些詞，其中80%被mask掉的詞使用特殊符號代替，如[MASK]，10%使用隨機詞替代，10%使用原本的詞替代。參考transformers開源代碼，如下： def mask
2020-06-13 10:31:59
18
原创 tf.keras.losses.sparse_categorical_crossentropy和tf.keras.losses.SparseCategoricalCrossentropy
1 tf.keras.losses.sparse_categorical_crossentropy 是一個函數。 返回每個樣本的損失。 等價於: tf.keras.backend.sparse_categorical_crossentr
2020-05-26 21:02:45
15
原创 Fields with a default value must come after any fields without a default.
排錯Fields with a default value must come after any fields without a default. 原始程序: @dataclass class DataTrainingArgume
2020-05-23 18:50:06
6
原创 transformers學習1 quickstart
https://github.com/huggingface/transformers 1 BERT example BertTokenizer.from_pretrained:Instantiate a :class:`~transfo
2020-05-14 08:17:50
4
原创 Transformers 之Glossary(術語)
https://huggingface.co/transformers/glossary.html 1 Input IDs 模型的輸入，爲序列經過tokenize之後的數字表示。推薦使用encode 或encode_plus方法。這兩個方
2020-05-14 08:17:50