原创 數值優化（Numerical Optimization）學習系列-最小二乘問題（Least-Squares）
概述 最小二乘問題在實際應用中非常廣泛，也是無約束最優化問題的重要應用之一，但是對於該問題還有一些特殊的求解思路，供參考。該小結主要介紹： 問題定義 線性最小二乘問題以及求解 非線性最小二乘問題以及求解 總結 最小二
2020-02-20 22:29:35
3
原创 數值優化（Numerical Optimization）學習系列-線性規劃（Linear Programming）
概述 線性規劃問題是指目標和約束函數都是線性的最簡單的約束最優化問題，也是在實際中最長使用的模型之一。其求解算法也是相對成熟，各個代數軟件中都會有求解該問題的工具，本節主要介紹： 1. 線性規劃的基本形式已經對偶
2020-02-20 22:29:35
1
原创 數值優化（Numerical Optimization）學習系列-非線性方程（Nonlinear Equation）
概述 實際中很多應用不是尋找最優解，而是尋找一個根滿足給定的約束條件，如果有n個非線性等式約束，就是本節介紹的非線性方程問題，本節主要介紹 1. 非線性方程的問題形式 2. 非線性方程的求解算法 3. 總結
2020-02-20 22:29:35
原创 Markdown寫文章血的教訓，需謹記
CSDN Markdown使用踩過的坑 每次新創建文章時需要從這裏進入。否則會覆蓋上次編輯內容。 每次編輯完記得線下保存一份 點贊 收藏 分享 文章舉報 下一步 發佈
2020-02-20 22:29:35
原创 數值優化（Numerical Optimization）學習系列-共軛梯度方法（Conjugate Gradient）
概述 共軛梯度算法在最優化問題中備受關注，有兩層用途，一是可以求解線性方程Ax=b ；二是可以求解最優化問題。相對於最速下降法，它沒有額外的矩陣存儲並且比更快，一般N步內收斂。實際收斂效率依賴於係數矩陣特徵值的分佈。 主要介紹
2020-02-20 22:29:34
1
原创 【每週一文】A Primer On Neural Network Models for NLP
概述 該文概要介紹了一些神經網絡模型如何應用到NLP相關的任務上，對於想使用神經網絡技術來解決NLP相關任務的初學者非常有幫助，可以當做一個綜述文章來讀。主要介紹以下幾個主要知識點： 1. 神經網絡問題建模和求解 2. NL
2018-08-24 18:09:56
1
原创 【每週一文】Ad Click Prediction: a View from the Trenches(2013)
概述 該文是GoogleFTRL在點擊率模型上的應用，從技術實現的角度介紹了在線學習算法FTRL的工程實現，並且給出一些內存優化、特徵選擇等工程細節。從此FTRL算法才大規模推廣使用。 該筆記主要介紹一下幾類在線學習算法的思路以及FTR
2018-08-24 18:09:56
7
原创 深度學習（Deep Learning）讀書思考七：循環神經網絡二（LSTM）
概述 通過前一節對循環神經網絡RNN的瞭解，簡單的RNN雖然能夠解決長期依賴問題，但是訓練和優化比較困難，然後長短時記憶模型LSTM很大程度上解決長期依賴問題，本文主要介紹 1.LSTM的提出 2.LSTM網絡結構 3.LS
2018-08-24 18:09:52
原创 深度學習（Deep Learning）讀書思考六：循環神經網絡一（RNN）
概述 循環神經網絡（RNN-Recurrent Neural Network）是神經網絡家族中的一員，擅長於解決序列化相關問題。包括不限於序列化標註問題、NER、POS、語音識別等。RNN內容比較多，分成三個小節進行介紹，內容包括RNN基
2018-08-24 18:09:52
原创 深度學習（Deep Learning）讀書思考八：循環神經網絡三（RNN應用）
概述 通過前兩小節的介紹，可以清楚的瞭解RNN模型的網絡結構以及LSTM。本小節主要介紹RNN其他變形以及應用，包括 1.GRU單元 2.序列到序列（Seq2Seq）模型 3.注意力（Attention）模型 4.RN
2018-08-24 18:09:52
原创 【每週一文】Building Text Classifiers Using Positive and Unlabeled Examples(2003)
概述 PULearning是一類機器學習算法，主要解決的問題是給定訓練樣本只有正樣本和一批未標記的樣本，學習一個分類器進行分類。這是一類比較難解決的問題，由於沒有負樣本其評估的方法不好確定；但是有很多的應用場景，例如蛋白質序列查找、噪聲發
2018-08-24 18:09:48
原创 【每週一文】Convolutional Neural Network for text/sentence classification（2016）
概述 卷積神經網絡（CNN）相比於基於詞袋模型的DNN有以下優點： 1. 能夠捕獲局部的位置信息 2. 能夠方便的將不定長的輸入轉換成定長輸入接入到DNN網絡中 3. 相比於RNN模型計算複雜度低，在很多任務中取得不錯的效果。 在自
2018-08-24 18:09:48
1
原创 深度學習（Deep Learning）讀書思考五：卷積神經網絡（CNN）
概述 卷積神經網絡早在80年代就被提出，並且成功用於手寫字體識別。近年由於其在圖像識別、語音識別以及NLP方面的成功表現，成爲最成功的網絡結構之一。本節主要介紹 CNN背後的動機 CNN中Pooling層以及經典CNN架構 CNN各種
2018-08-24 18:09:48
4
原创 深度學習（Deep Learning）讀書思考四：模型訓練優化
概述 機器學習應用包括模型構建、求解和評估，對於深度模型而言也是類似，根據之前的介紹可以構建自己的深度神經網絡結構。相對於一般的優化問題，深度模型更難優化，本節主要介紹深度學習模型優化挑戰、優化算法以及優化策略等。 深度學習模型優化挑
2018-08-24 18:09:48
原创 深度學習（Deep Learning）讀書思考三：正則化
概述 正則化是機器學習中非常重要並且非常有效的減少泛華誤差的技術，特別是在深度學習模型中，由於其模型參數非常多非常容易產生過擬合。因此研究者也提出很多有效的技術防止過擬合，比較常用的技術包括： 參數添加約束，例如L1、L2範數等 訓練
2018-08-24 18:09:48
3