原创 深度學習(一):深度學習入門

最近剛開始學習深度學習相關知識,今天就先從理論開始整理這幾天自己所學的深度學習相關筆記。 一、學習主要參考網址: http://www.huaxiaozhuan.com/【AI算法工程師手冊】 在看手冊的過程中,對於不懂的參考的網址: 深

原创 深度學習(六):煉數成金的Tensorflow教程學習筆記(含代碼)

由於自己的研究方向主要是文本處理、分類、預測。在學習了深度學習的基本代碼後,最近實踐文本相似度的相關深度模型的過程中,由於對Tensorflow框架的瞭解太少,在看別人寫的代碼的過程中,有些困惑,所以就抽出點時間學了一下Tensorflo

原创 利用機器學習方法和深度學習方法實現文本分類

主要介紹內容: 1. 文本分析:可視化 2. 文本關鍵詞提取 3. 機器學習實現文本分類 4. FastText實現文本分類 5. 深度學習實現文本分類 一、文本可視化——WordCloud庫 可以實現自定義圖片形狀的詞雲 ''' #

原创 深度學習(二):Mnist多種分類方法實現(含代碼)

主要內容:手寫字分類   數據集:mnist 涉及方法:邏輯迴歸、簡單神經網絡、CNN、LSTM 一、邏輯迴歸 邏輯迴歸示意圖:   代碼: def LogicG(mnist, dim, nclasses): x = tf.pl

原创 小問題(一):如何在Python3+的版本安裝決策樹可視化工具包graphviz

由於官網只提供了Python2.7的安裝包: https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygraphviz 但在github上有大牛提供解決辦法: https://github.com/C

原创 《利用Python進行數據分析》系列二——Numpy基礎

這裏主要講下numpy的一些基礎操作,即書籍的第4章內容。 1. 創建數組對象的方式 其他方式: # 創建10個全爲1的數組 np.zeros(10) # array([ 0., 0., 0., 0., 0

原创 《利用Python進行數據分析》系列一

由於在實踐過程中感覺對Python的基礎操作有些不熟悉,所以趁着這段時間加強下。 這篇博客先對這本書做個總的簡介,也是這本書第一篇文章的內容。 主要目的:          使用Python對數據處理和清洗 主要內容:          

原创 機器學習實戰(一):邏輯迴歸預測

最近學習預測,先從最簡單的入手,本文寫最近利用機器學習中的邏輯迴歸算法實現的兩個實際案例: 1. 根據以往的申請表數據預測一個學生是否被大學錄取 2. 信用卡欺詐預測 後邊代碼整理至我的github中,待續!! 一、根據以往的申請表數據預

原创 Keras框架(二):實現文本相似度的幾種模型(代碼)

根據已學的知識,將幾種深度學習模型運用到自己最近的科研項目——文本相似度: 使用框架:Keras 模型:深度學習相關模型 1. LSTM實現文本相似度: def get_model(nb_words, EMBEDDING_DIM, em

原创 深度學習(三):中英文郵件分類(含代碼)

學習視頻:Tensorflow項目實戰視頻課程-文本分類 主要內容:英文郵件分類、中文郵件分類【中英文郵件分類主要的區別在於embedding處,由於中文需要使用預訓練詞向量,而英文就不需要】 主要方法:TextCnn 一、英文郵件分類的

原创 深度學習(五):兩個句子相似度相關模型學習

在這之前學習了使用Tensorflow框架,利用深度學習模型TextCnn和RnnAttention解決文本分類問題,這都是打基礎的學習,我主要研究的是類案推送和量刑預測。所以這裏我就開始踏入文本相似度計算模型的研究中。 我主要參照的模板

原创 深度學習(四):RnnAttention實現中文郵件分類(含代碼)

此代碼不是學習視頻的相關代碼,是自己根據學習中文郵件分類後自己實踐寫的代碼。 主要內容:實現中文郵件分類--也可擴展至多分類 主要方法:Rnn+Attention RNN部分代碼如下: class RNNAttention(object

原创 Keras框架(一):RNN實現mnist分類

由於在使用Tensorflow過程中,老是會碰到Keras框架寫的模型,所以就稍稍學習了哈Keras框架。 主要內容:RNN對mnist數據集進行分類 主要框架:Keras 主要代碼: # 準備好數據:X_train、X_test、y_

原创 Gensim訓練維基百科詞向量模型(含代碼)

由於平時會用到很多的文本預處理,這裏就係統的講解一下Gensim是如何訓練維基百科詞向量模型的!! 其中訓練好的模型,也就是最終生成的 **.model 文件,可以作爲預訓練詞向量使用。 訓練維基百科詞向量模型的代碼參見我的github:

原创 TypeError: 'encoding' is an invalid keyword arguent for this function

環境:python2.7 報錯代碼: f = open(outp, 'w',encoding='utf-8') 解決辦法: import io f = io.open(outp, 'w',encoding='utf-8')