原创 Pytorch —— 權值初始化
1、梯度消失與爆炸 這裏使用一個三層的全連接網絡，現在觀察一下第二個隱藏層W2W_2W2的權值的梯度是怎麼求取的。 根據鏈式求導法則可以知道，W2W_2W2的求導如下： H2=H1∗W2\mathrm{H}_{2}=\mat
2020-06-16 08:24:43
原创 Pytorch —— 損失函數（一）
目錄1、損失函數概念2、交叉熵損失函數2.1 nn.CrossEntropyLoss2.2 nn.NLLLoss2.3 nn.BCELoss2.4 nn.BCEWithLogitsLoss 1、損失函數概念 損失函數：衡量模型輸出
2020-06-16 08:24:41
原创 Pytorch —— 損失函數（二）
目錄5、nn.L1Loss6、nn.MSELoss7、nn.SmoothL1Loss8、nn.PoissonNLLLoss9、nn.KLDivLoss10、nn.MarginRankingLoss11、nn.MultiLabelM
2020-06-16 08:24:41
原创 pytorch —— 正則化之weight_decay
1、正則化與偏差-方差分解 1.1 Regularization Regularization：減小方差的策略； 誤差可分解爲偏差，方差與噪聲之和，即誤差=偏差+方差+噪聲之和； 偏差度量了學習算法的期望預測與真實結果的偏離程度，
2020-06-16 08:24:41
原创 Pytorch可視化工具 —— TensorBoard
1、TensorBoard簡介 TensorBoard：TensorFlow中強大的可視化工具； 支持標量、圖像、文本、音頻、視頻和Embedding等多種數據可視化； 在學習TensorBoard之前，先對其運行機制有大概的瞭解
2020-06-16 08:24:41
原创 Pyotrch —— 優化器Optimizer（一）
目錄1、什麼是優化器2、optimizer的屬性3、optimizer的方法4、代碼分析5、優化器基本方法的使用 1、什麼是優化器 Pytorch優化器：管理並更新模型中可學習參數的值，使得模型輸出更接近真實標籤；管理是指優化器管
2020-06-16 08:24:41
原创 1074. 元素和爲目標值的子矩陣數量
給出矩陣 matrix 和目標值 target，返回元素總和等於目標值的非空子矩陣的數量。 子矩陣 x1, y1, x2, y2 是滿足 x1 <= x <= x2 且 y1 <= y <= y2 的所有單元 matrix[x][
2020-06-16 08:24:41
原创 Pytorch —— 學習率調整策略
1、爲什麼要調整學習率 學習率控制梯度更新的快慢，在訓練中，開始時的學習率比較大，梯度更新步伐比較大，後期時學習率比較小，梯度更新步伐比較小。 梯度下降：wi+1=wi−g(wi)w_{i+1}=w_{i}-g\left(w_{i
2020-06-16 08:24:41
原创 leetcode —— 29. 兩數相除
給定兩個整數，被除數 dividend 和除數 divisor。將兩數相除，要求不使用乘法、除法和 mod 運算符。 返回被除數 dividend 除以除數 divisor 得到的商。 整數除法的結果應當截去（truncate）其
2020-06-16 08:24:41
5
原创 Pytorch —— 優化器Optimizer（二）
1、learning rate學習率 梯度下降：wi+1=wi−LR∗g(wi)w_{i+1}=w_{i}-LR*g\left(w_{i}\right)wi+1=wi−LR∗g(wi)梯度是沿着負梯度方向進行更新的，學習率控
2020-06-16 08:24:40
原创 pytorch —— 正則化之Dropout
1、Dropout概念 Dropout：隨機失活，隨機是dropout probability，失活是指weight=0。 通過下面的示例圖理解隨機失活： 左邊的圖是正常的全連接網絡，右邊的圖是使用dropout的神經網絡，dr
2020-06-16 08:24:40
原创 leetcode —— 209. 長度最小的子數組
給定一個含有 n 個正整數的數組和一個正整數 s ，找出該數組中滿足其和 ≥ s 的長度最小的連續子數組，並返回其長度。如果不存在符合條件的連續子數組，返回 0。 示例: 輸入: s = 7, nums = [2,3,1,2,4,
2020-05-19 16:58:30
原创 leetcode —— 1025. 除數博弈
愛麗絲和鮑勃一起玩遊戲，他們輪流行動。愛麗絲先手開局。 最初，黑板上有一個數字 N 。在每個玩家的回合，玩家需要執行以下操作： 選出任一 x，滿足 0 < x < N 且 N % x == 0 。 用 N - x 替換黑板上的數字
2020-05-17 20:50:02
原创 leetcode —— 206. 反轉鏈表
反轉一個單鏈表。 示例: 輸入: 1->2->3->4->5->NULL 輸出: 5->4->3->2->1->NULL 解法一：迭代法 按順序遍歷鏈表，對於當前節點，使用臨時變量保存其指向的下一個節點，然後將其指向的下一個節
2020-05-17 20:50:02
原创 Python —— 深拷貝和淺拷貝
1、淺拷貝 淺拷貝就是對一個對象父級（外層）的拷貝，並不會拷貝子級（內部）。簡單舉個例子： import copy a = [1, 2, 3] b = [3, 4, 5] c = [a, b] d = copy.copy(c)
2020-05-12 15:52:30