原创 漸近記號Θ、Ο、o、Ω、ω詳解
參考：https://blog.csdn.net/so_geili/article/details/53353593?depth_1-utm_source=distribute.pc_relevant.none-task&utm_
2020-06-14 08:18:53
原创 python 關於變量賦值 與 函數參數傳遞(一)——變量賦值（可變與不可變）
python中，萬物皆對象。python中不存在所謂的傳值調用，一切傳遞的都是對象的引用，也可以認爲是傳址。對象分爲可變(mutable)和不可變(immutable)兩種類型： 不可變對象——元組（tuple)、數值型（number)、
2020-06-14 08:18:53
原创 BERT模型結構，預訓練，應用
1、BERT的結構 2、BERT的預訓練 bert的預訓練包括兩個訓練： 1、MLM：隨機mask輸入序列中的token，並預測被mask的token 2、NSP：預測兩個句子是否連在一起 3、BERT的應用 參考: 李宏毅
2020-06-14 08:18:53
原创 【PyTorch】在Tensor上的索引和切片
一般索引 從前往後提供的索引，會依次在每個維度上做索引。 import torch a = torch.rand(4, 3, 28, 28) print(a[0].shape) print(a[0, 0].shape) print(
2020-06-14 08:18:53
原创 TensorFlow tf.keras.losses.SparseCategoricalCrossentropy 、 categorical_crossentropy
categorical_crossentropy VS. sparse_categorical_crossentropy 轉載qq_42961707 最後發佈於2019-07-13 22:10:12 閱讀數 5022 收藏 catego
2020-06-14 08:18:53
3
原创 python 多維數組創建的陷阱
官方文檔上的例子。[[]]*3 是指向內部空的list([])的指針，也就是說[[],[],[]]內部的三個list實際上內存地址是相同的，所以 不要用這個方法創建二維數組，官方建議用([[] for in range(n)])的方式！
2020-06-14 08:18:53
原创 【keras-bert 學習筆記】2. 保存、加載預訓練模型，在預訓練模型上添加層做監督訓練(fine tune)
1.預訓練模型，並保存 import os import tensorflow as tf from keras_bert import (get_model, compile_model, get_base_dict, gen_bat
2020-06-14 08:18:53
7
原创 TF：tf.losses.sparse_softmax_cross_entropy
tf.losses.sparse_softmax_cross_entropy(logits=logits, labels=labels)等價與 tf.nn.sparse_softmax_cross_entropy_with_logits(
2020-06-14 08:18:53
1
原创 監督學習和無監督學習、生成模型和判別模型
機器學習分爲：監督學習、無監督學習、強化學習 監督學習 監督學習是輸入 ** 數據和標籤** 進行訓練學習，數據分爲訓練集和測試集。訓練集用於訓練模型，測試集用於驗證模型的好壞。監督學習就像學生在學習時已知題目和答案，去學習分析如何解題
2020-06-14 08:18:53
原创 信息量、熵、 交叉熵、 聯合熵、 條件熵 、KL散度 、JS散度
“信息是用來消除隨機不確定性的東西”。也就是說衡量信息量大小就看這個信息消除不確定性的程度。 理解 信息： “太陽從東方升起了”這條信息沒有減少不確定性。因爲太陽肯定從東面升起。這是句廢話，信息量爲0。 “吐魯番下中雨了”（吐魯番年平均降
2020-04-22 08:49:02
原创 Python學習筆記字典之keys()、values()和 items()方法
有3個字典方法，它們將返回類似的列表值，分別對應於字典的鍵、值和鍵-值對：keys()、values()和 items()。 這些方法返回的值不是真正的列表，它們不能被修改，沒有append()方法。但這些數據類型可以用於for循環。
2020-04-21 07:37:44
原创 信息量與信息熵
信息量 信息奠基人香農（Shannon）認爲“信息是用來消除隨機不確定性的東西”。也就是說衡量信息量大小就看這個信息消除不確定性的程度。 “太陽從東方升起了”這條信息沒有減少不確定性。因爲太陽肯定從東面升起。這是句廢話，信息量爲0。 “吐
2020-03-27 17:27:11
原创 python中for in語句對列表的修改
python 當中 for x in list 循環語句的x是list列表中元素的副本 1. 對於x的修改不會影響到y列表 def show_magicians(magicians_list): for magician in
2020-03-15 09:49:04
原创 python常用內置函數與結構
set 集合（set）是一個無序的不重複元素序列。 可以使用大括號 { } 或者 set() 函數創建集合，注意：創建一個空集合必須用 set() 而不是 { }，因爲 { } 是用來創建一個空字典。 創建格式： myset= {val
2020-03-15 09:48:54