原创 tensorflow 一系列LSTMCell的特點及用法

首先鳴謝這個博客  https://www.cnblogs.com/hrlnw/p/10748990.html 帶來的啓發 原博客用的tf1.10,我用的1.15,實測無影響。 tf.nn.rnn_cell、tf.compat.v1.nn

原创 工具代碼粘貼2——pytorch幾種初始化方式代碼

常用:conv+bn+relu組合 #conv nn.init.kaiming_normal_(conv.weight, mode = 'fan_in') nn.init.constant_(conv.bias, 0.) #如果con

原创 工具代碼粘貼1——pytorch設置隨機種子seed

通過設置隨機種子可使訓練結果可復現。      def setup_seed(seed): np.random.seed(seed) random.seed(seed) torch.manual_seed(see

原创 tensorflow雜記

1.tf.get_variable或tf.Variable默認trainable=True, 默認將變量添加到圖形集合tf.GraphKeys.TRAINABLE_VARIABLES中,用於優化器Optimizer類優化的默認變量列表,也

原创 工具代碼粘貼4——保存日誌打印到控制檯

先定義一個函數。定義handler 將日誌寫入文件(file)和控制檯(console) import logging def set_logger(log_file_path, logname = None): logger

原创 如何在ubuntu/windows下安裝能用sift等專利算法的opencv(python)

ubuntu: 網上一堆從源碼編譯安裝的教程,那叫一個坑多。其實解決方法很簡單,安裝老版本就行了 pip install opencv-python==3.4.2.17 pip install opencv-contrib-python=

原创 梯度爆炸解決方案——梯度截斷(gradient clip norm)

如果梯度超過閾值,那麼就截斷,將梯度變爲閾值 from torch.nn.utils import clip_grad_norm pytorch源碼 默認爲l2(norm type)範數,對網絡所有參數求l2範數,和最大梯度閾值相比

原创 工具代碼粘貼3——pytorch載入模型

print('loading checkpoint.......') model_dict = model.state_dict() pretrained_dict = torch.load(weight_pat

原创 pytorch幾種初始化方式代碼

常用:conv+bn+relu組合 #conv nn.init.kaiming_normal_(conv.weight, mode = 'fan_in') nn.init.constant_(conv.bias, 0.) #如果con

原创 pytorch設置隨機種子seed

通過設置隨機種子可使訓練結果可復現。      def setup_seed(seed): np.random.seed(seed) random.seed(seed) torch.manual_seed(see

原创 python copy.deepcopy / copy.copy / '=' 的區別

對於不可變對象a(int,str, tuple, None等): deepcopy複製原來地址,內容不隨a的變化而變 copy 複製原來地址,內容不隨a的變化而變 ‘=’複製原來地址,內容不隨a的變化而變 對於可變對象b(list, di

原创 gcn-webs

PyTorch實現的GCN(Graph Convolutional Neural Networks) - Python開發 - 教程 | CTOLib碼庫  https://go.ctolib.com/article/wiki/10601

原创 pytorch ndarray tensor variable list互轉

頭大,本來不打算寫,還是寫一寫,免得忘了 1.ndarray->tensor : b=torch.from_numpy(a) 2.tensor->ndarray: b=a.numpy() *gpu上的tensor不能直接轉爲numpy,加

原创 Widows調用Ubuntu環境下的JupyterNotebook

首先,在Ubuntu系統安裝jupyter notebook https://blog.csdn.net/dream_an/article/details/53333504這篇文章說的步驟太繁瑣 第二步,改密碼。 jupyter note

原创 dropout相關事

幾個層的先後順序:python - Ordering of batch normalization and dropout in TensorFlow? - Stack Overflow  https://stackoverflow.co