原创 從模型訓練中認知擬合現象
機器學習中模型訓練是必需的，在模型訓練中存在兩類典型的問題： 欠擬合 (underfitting) 模型無法得到較低的訓練誤差 過擬合 (overfitting) 模型的訓練誤差遠小於它在測試數據集上的誤差 實際訓練過
2020-02-22 05:43:04
原创 Optimization including Convex Optimization and Gradient Descent
溫馨提示： 本文將介紹統計學中的優化知識，凸優化和梯度下降，多爲公式推導和圖形化展示，較爲硬核 優化與深度學習 優化與估計 儘管優化方法可以最小化深度學習中的損失函數值，但本質上優化方法達到的目標與深度學習的目標並不相同。
2020-02-22 05:43:04
原创 LeNet && ModernCNN
Convolutional Neural Networks 學而習之：Fundamentals of Convolutional Neural Networks 使用全連接層的侷限性： 圖像在同一列鄰近的像素在這個向量中可能
2020-02-22 05:43:04
原创 Text Preprocessing
打開 Google， 輸入搜索關鍵詞，顯示上百條搜索結果 打開 Google Translate， 輸入待翻譯文本，翻譯結果框中顯示出翻譯結果 以上二者的共同點便是文本預處理 Pre-Processing 在 NLP
2020-02-22 05:43:04
原创 Softmax & 分類模型
Softmax 與候選採樣相對 Softmax function, a wonderful activation function that turns numbers aka logits into probabilitie
2020-02-22 05:43:04
原创 ModernRNN
在循環神經網絡的基礎上進行了 RNN 的改進，我將介紹四種進化版的循環神經網絡 GRU LSTM 深度循環神經網絡 雙向循環神經網絡 循環神經網絡初識：https://blog.csdn.net/RokoBasilisk/a
2020-02-22 05:43:04
原创 Transformer (Google 機器翻譯模型)
雙壁合一 卷積神經網絡(CNNS) Fundamentals of Convolutional Neural Networks LeNet && ModernCNN CNNs 易於並行化，卻不適合捕捉變長序列內的依賴
2020-02-22 05:43:04
原创 Fundamentals of Recurrent Neural Network
基於循環神經網絡實現語言模型。 對於語言模型的介紹 https://blog.csdn.net/RokoBasilisk/article/details/104303197 我們的目的是基於當前的輸入與過去的輸入序列，預測
2020-02-22 05:43:04
原创 【圖論】PLUS【BFS】
The graph consists of nodes and edges, simulating a set of connections, explaining how different things are connect
2020-02-22 05:43:04
原创 LeetCode刷題之路
開門見山：向量 vector 是一種對象實體, 能夠容納許多其他類型相同的元素, 因此又被稱爲容器。 與string相同, vector 同屬於STL(Standard Template Library, 標準模板庫)中的一種自定
2020-02-22 05:43:04
原创 Fundamentals of Convolutional Neural Networks
二維卷積層 常用於處理圖像數據。 二維互相關運算 二維互相關（cross-correlation）運算的輸入是一個二維輸入數組和一個二維核（kernel）數組，輸出也是一個二維數組，其中核數組通常稱爲卷積核或過濾器（filte
2020-02-22 05:43:04
原创 分佈式與路漫漫，代碼與篇齊飛
分佈式系統的基石 TCP/IP是Internet的基本協議，由底層的IP和TCP組成，其結合DNS、路由協議最終實現了網絡之間任意兩點間的數據通信問題，當在CMD運行ipconfig/all可以查看當前計算機配置的TCP/IP參數
2020-02-22 05:43:04
原创 學而後思,方能發展;思而立行,終將卓越
學而後思 梯度爆炸和梯度衰減問題 深度模型有關數值穩定性的典型問題是消失（vanishing）和爆炸（explosion）。 當神經網絡的層數較多時，模型的數值穩定性容易變差。 假設一個層數爲 LLL 的多層感知機的第 lll
2020-02-22 05:43:04
原创 【網絡空間安全】SQL Injection_SQL 注入...
聯合查詢 union 因爲查詢語句構造問題，可直接否認掉之前的查詢，執行一個全新的語句來執行，需要注意的是查詢的列應當與之前對應。 在MySQL中，把information_schema 看作是一個信息數據庫，其中保存着關於M
2020-02-22 05:43:04
原创 【網絡空間安全】SQL注入檢測繞過
大小寫繞過 攔截了union，那就使用Union UnIoN 編碼繞過 WAF檢測關鍵字，用%55也就是U的16進制編碼來代替U，union寫成％55nION，結合大小寫也可以繞過一些WAF 註釋繞過 使用於WAF只是
2020-02-22 05:43:04