原创 Sigmoid函數

Sigmoid函數是一個有着優美S形曲線的數學函數,在邏輯迴歸、人工神經網絡中有着廣泛的應用。Sigmoid函數的數學形式是: f(x)=11+e−x其函數圖像如下: 可以看出,sigmoid函數連續,光滑,嚴格單調,以(0,0.5)中心

原创 【深度學習】深入解析dropout

摘要: 本文詳細介紹了深度學習中dropout技巧的思想,分析了Dropout以及Inverted Dropout兩個版本,另外將單個神經元與伯努利隨機變量相聯繫讓人耳目一新。過擬合是深度神經網(DNN)中的一個常見問題:模型只學會在訓練

原创 【深度學習】多任務學習概覽(An Overview of Multi-task Learning in Deep Neural Networks)

1. 前言在機器學習中,我們通常關心優化某一特定指標,不管這個指標是一個標準值,還是企業KPI。爲了達到這個目標,我們訓練單一模型或多個模型集合來完成指定得任務。然後,我們通過精細調參,來改進模型直至性能不再提升。儘管這樣做可以針對一個任

原创 文本挖掘預處理的流程總結(轉)

最近半年一直忙於項目,博客也很少更新咯。有幾個項目做了不少JS相關的工作,基本都可以利用現成的開源方案,諸如angularJs、requireJs、bootstrap、knockoutJs、TypeScript、Jquery等等;之後也有

原创 【深度學習】batch size詳解

談談深度學習中的 Batch_SizeBatch_Size(批尺寸)是機器學習中一個重要參數,涉及諸多矛盾,下面逐一展開。首先,爲什麼需要有 Batch_Size 這個參數?Batch 的選擇,首先決定的是下降的方向。如果數據集比較小,完

原创 英文文本挖掘預處理流程總結(轉)

特點   英文文本的預處理方法和中文的有部分區別。首先,英文文本挖掘預處理一般可以不做分詞(特殊需求除外),而中文預處理分詞是必不可少的一步。第二點,大部分英文文本都是uft-8的編碼,這樣在大多數時候處理的時候不用考慮編碼轉換的問題,而

原创 【自然語言處理】中文開源工具彙總(7種)

本博客主要是對網絡上的一些關於中文自然語言處理開源工具的博客進行整理、彙總,如果有涉及到您的知識產品等,請聯繫本人已進行修改,也歡迎廣大讀者進行指正以及補充。本博客將盡量從工具的使用語言、功能等方面進行彙總介紹。1 IKAnalyzer語

原创 ACL 2018接受論文集(題目、作者、摘要)

Long Paper 題目:On the Limitations of Unsupervised Bilingual Dictionary Induction. 作者:Anders Søgaard, Sebastian Ruder,

原创 【自然語言處理】英文開源工具彙總()

本博客主要是對網絡上的一些關於英文自然語言處理開源工具的博客進行整理、彙總,如果有涉及到您的知識產權等,請聯繫本人已進行修改,也歡迎廣大讀者進行指正以及補充。本博客將盡量從工具的使用語言、功能等方面進行彙總

原创 文本分類的數據預處理流程介紹

  在進行文本分類時,毫無疑問會涉及到對文本數據進行預處理,包括文檔切分、文本分詞、去停用詞(包括標點、數字、單字和其它一些無意義的詞)、文本特徵提取、詞頻統計、文本向量化等操作。下面就這幾方面作一個概括性的介紹,具體的實現還有待慢慢的研

原创 【深度學習】dropout淺層理解與實現

原文地址:http://blog.csdn.net/hjimce/article/details/50413257作者:hjimce一、相關工作    本來今天是要搞《Maxout Networks》和《Network In Networ

原创 【Python學習】Counter()計數工具

class collections.Counter([iterable-or-mapping])Counter 是實現的 dict 的一個子類,可以用來方便地計數。例子舉個計數的例子,需要統計一個文件中,每個單詞出現的次數。實現方法如下#

原创 中文文本挖掘預處理流程總結(轉)

  在對文本做數據分析時,我們一大半的時間都會花在文本預處理上,而中文和英文的預處理流程稍有不同,本文就對中文文本挖掘的預處理流程做一個總結。 中文文本挖掘預處理特點   中文文本挖掘預處理和英文文本挖掘預處理相比的一些特殊點。   第

原创 【DyNet學習】Input operations

dynet.inputTensor(arr, batched=False, device='', reusable_expr=False)Creates a tensor expression based on a numpy array