原创 【每週一文】Supervised Sequence Labelling with Recurrent Neural Networks
概述 序列化標註是NLP領域非常常見的問題，很多問題都可以歸結爲序列化標註問題，例如分類可以看做多對一的標註；詞性標註屬於一對一的標註；機器翻譯屬於多對多的標註。 深度學習在NLP上取得不錯的效果，常用的模型有前向神經網絡
2020-06-20 11:38:16
1
原创 MAC 上配置 SecureCRT快捷鍵
概述 在Windows系統是經常使用SecureCRT進行遠程服務連接，切換到mac上，雖然也破解版的SecureCRT，但是一些快捷鍵和windows系統差很多。本文主要介紹如何配置SecureCRT和之前使用方式相同。 配
2020-06-20 11:38:15
6
原创 數值優化（Numerical Optimization）學習系列-擬牛頓方法（Quasi-Newton）
概述 擬牛頓方法類似於最速下降法，在每一步迭代過程中僅僅利用梯度信息，但是通過度量梯度之間的變化，能夠產生超線性的收斂效果。本節主要學習一下知識點： 1. 擬牛頓方程推導 2. 幾個常見的擬牛頓方法 3. 擬
2020-06-20 04:28:56
9
原创 【每週一文】Natural Language Processing (almost) From Scratch
概述 本文介紹了一個統一的神經網絡架構用於解決自然語言處理各種的各種任務，主要是序列標註任務，包括詞性標註（POS）、詞語組塊分析（Chunking）、命名實體識別（NER）以及語義角色標註（SRL）等。本文主要介紹如何構建這個統
2020-06-20 04:28:54
5
原创 【每週一文】A Few Usefull Things to know about Machine Learning
概述 機器學習被普遍認爲任何一個IT民工必備的工具之一，和學習任何語言工具一樣，簡單的體驗一下或許非常簡單。但這並不代表你能真正駕馭它，如果想深入不是一年兩年能搞得定事情，本文作者總結了對於剛入門機器學習者需要注意一些事項。 什麼
2020-06-20 04:28:53
1
原创 【每週一文】Factorization Machines
概述 在使用線性模型，例如LR模型時，特徵工程是很大一塊工作，有時爲了產生較好的效果需要人工進行一些特徵的二維或者三維交叉。FM（Factorization machines）提供了一種思路可以自動進行特徵交叉，同時能夠處理非常
2020-06-20 04:28:53
1
原创 數值優化（Numerical Optimization）學習系列-序列二次規劃和內點法（SQP、Interior-Point）
概述 對於非線性約束最優化問題，序列二次規劃和內點法是兩類非常重要的算法，也是大規模問題的利器。序列二次規劃方法將原始問題分解爲一系列二次規劃問題逐步求解；內點法將將約束添加到目標函數中轉換爲一系列無約束問題逐步求解。兩類算法共
2020-06-20 04:28:53
80
原创 【每週一文】Collaborative Filtering for Implicit Feedback Datasets(2008)
概述 協同過濾(Collaborative Filtering)是推薦領域非常重要的算法策略，由於它的領域無關性，應用非常廣泛。本文解決的一個問題是：在訓練數據集合中，只有用戶的隱式反饋，例如用戶的瀏覽行爲、收藏行爲等，沒有用戶
2020-06-20 03:12:39
1
原创 數值優化（Numerical Optimization）學習系列-大規模無約束最優化（Large-Scale Unconstrained Optimization）
概述 當最優化問題參數個數增加，求解問題所需要的時間和空間複雜度會增加。計算時間和空間是一個權衡，只需要存儲一階梯度時，時間複雜度可能爲超線性；如果利用Hessian矩陣可以達到二次收斂，但是需要o(n2) 的空間複雜度。
2020-02-20 22:30:01
14
原创 數值優化（Numerical Optimization）學習系列-帶約束最優化（Constrained Optimization）
概述 帶約束的最優化問題是區別於無約束最優化問題的，另外一大類最優化問題。在實際中也經常遇到，本節主要介紹了帶約束最優化問題的相關理論以及最優解滿足的必要條件。 1. 帶約束最優化問題概述 2. 帶約束最優化問題解的
2020-02-20 22:29:35
15
原创 數值優化（Numerical Optimization）學習系列-懲罰和增廣拉格朗日方法（Augmented Lagrangian Methods）
概述 求解帶約束的最優化問題，一類很重要的方法就是將約束添加到目標函數中，從而轉換爲一系列子問題進行求解，最終逼近最優解。關鍵問題是如何將約束進行轉換。本節主要介紹 1. 二次懲罰方法 2. 非平滑懲罰方法 3
2020-02-20 22:29:35
5
原创 數值優化（Numerical Optimization）學習系列-無梯度優化（Derivative-Free Optimization）
概述 在實際應用中，有些目標函數的梯度不容易計算，即使使用有限差分等近似算法，也會因爲噪聲的存在導致結果不精確。無梯度優化算法（DFO-Derivative-Free Optimization）可以在不計算梯度的情況下進行問題的
2020-02-20 22:29:35
14
原创 數值優化（Numerical Optimization）學習系列-二次規劃（Quadratic Programming）
概述 二次規劃問題是目標函數是二次的，並且約束是線性的問題。在非線性約束最優化問題中非常重要，通常作爲其他問題的子步驟存在。 1.二次規劃問題 2.二次規劃求解算法 3. 總結 二次規劃問題 標準形式 二次規
2020-02-20 22:29:35
45
原创 數值優化（Numerical Optimization）學習系列-計算導數（Calculating Derivatives）
概述 最優化問題中很多算法，包括非線性最優化、非線性等式等都需要計算導數。簡單函數可以直接進行人工計算或者編碼實現，對於複雜的情況，需要尋找一些方法進行計算或者近似。本節主要內容包括 1. 常見導數求解方法 2.
2020-02-20 22:29:35
原创 數值優化（Numerical Optimization）學習系列-非線性約束最優化（Nonlinear Constrained Optimization）
概述 在實際問題中不是所有的目標函數或者約束都是線性的，本節主要介紹對於非線性約束或者目標函數如何有效的求解。 1. 非線性約束問題概述 2. 求解非線性約束常用的思路 3. 總結 非線性約束最優化問題 基本
2020-02-20 22:29:35
3