原创 文本分析個人理解

文本分析是在機器學習數據挖掘中經常要用到的一種方法,主要是指對文本處理,並對文本建模取得有用的信息。文本分析主要用在如垃圾郵件分類,搜索詞聚類等等。文本分析中主要面臨的一個問題就是對文本做向量轉換以後,數據的維度會很高,也就是所謂

原创 關於我和機器學習

首次接觸到機器學習是和一個朋友有關,這個是我在上海認識的一個羣友,線下我們也見過面,四川大學的博士,現在在USA求學,當時他推薦了吳恩達的機器學習公

原创 推薦系統個人理解(理論部分)

推薦系統是隨着互聯網的發展而形成的一個系統,他主要是爲了解決信息過載的一些問題。隨着互聯網的深入發展,越來越多的信息在互聯網上傳播,產生了嚴重的信息過載,如果不採取一定的手段用戶很難從如此多的信息中找到對自己有價值的信息。推薦系統

原创 推薦系統個人理解(實踐部分)

前一篇文章簡單介紹了推薦系統,並列出了常用的推薦算法,這篇主要就如何實現推薦做說明。本來最開始打算用movielens的電影數據來做推薦,數據集下載地址如下,http://grouplens.org/datasets/moviel

原创 Tensorflow學習系列(二): tensorflow基礎

如需轉載,請註明出處,歡迎加入深度學習羣 255568483 Graph basics由nodes(結點)和Edges(邊緣)組成。 用一個簡單的例子來講解:   數據從左到右,請參見箭頭的方向 1.在開始的時候,有兩個值5和3,他們

原创 Redhat hadoop2.7.2安裝筆記

本次安裝是在windows7環境下安裝redhat虛擬機進行的,所需要的軟件如下: VirtualBox-5.0.16-105871-Win.exe rhel-server-5.4-x86_64-dvd.iso 首先安裝虛擬機軟件,然後在

原创 Tensorflow學習系列(一): tensorflow解決問題的思路

如需轉載,請註明出處,歡迎加入深度學習羣 255568483 Tensorflow的介紹請各位自行google,就不做多的介紹了。 Tensorflow是一個深度學習框架,他和機器學習一樣,有其固定的解決問題的方式。其訓練過程有固定的模式

原创 Tensorflow學習系列(三): tensorflow mnist數據集如何跑出99+的準確率

如需轉載,請註明出處,歡迎加入深度學習羣 255568483 mnist數據集基本上可以算做是數據科學裏的hello world程序。 tensorflow官方文檔有一個例子可以對mnist數據集做分析,對於剛入門者,可以通過簡單的模型

原创 ElasticSearch5.0使用記錄

因公司項目要求,需要將搜索數據從以前的solr切換到ElasticSearch,我們採用的是ElasticSearch5.0,在數據的切換中遇到一些問題,以下爲相關記錄. ElasticSearch2.x

原创 使用深度學習打造智能聊天機器人

聊天機器人(也可以稱爲語音助手、聊天助手、對話機器人等)是目前非常熱的一個人工智能研發與產品方向。很多大的互聯網公司重金投入研發相關技術,並陸續推出了相關產品,比如蘋果Siri、微軟Cortana與小冰、Google Now、百度的“

原创 linux下theano/tensorflow安裝cuda支持gpu

本人在安裝過程中碰到很多問題,一一記錄下來 1.theano運行gpu,測試代碼如下 vlen = 10 * 30 * 768 # 10 x #cores x # threads per core iters = 1000 rng

原创 聚類k-means/k-means++/fcm學習筆記

聚類主要是一種無監督學習,用來發現未標註數據的隱藏結構,主要是用來給數據分組,聚類算法一般有硬聚類(k-means,k-means++)和軟聚類FCM(fuzzy c-means)。聚類目前廣泛應用於文檔,音樂,電影的分組,以及基於用戶的

原创 使用aiml/lsh實現在線聊天機器人

你需要了解的相關知識,eliza(nltk實現的一個簡單的聊天應用),aiml(人工智能標記語言),短文本相似性匹配,大部分在線的機器人基本都是通過question-anwser匹配的方式來實現人與機器之間的交互,目前來說效果並不好。本文

原创 在spark下用pyhton寫worldCount

worldCount是經典的mapreduce程序 環境:linux+spark1.6.2+pycharm 相關文檔如下:http://spark.apache.org/docs/1.6.2/api/python/pyspark.html

原创 Redhat hadoop2.7.2 eclipse配置

下載hadoop2.7 eclipse插件,並放到eclipse plugins目錄。 重啓eclipse,設置hadoop安裝路徑。 配置Map/Reduce Locations 打開Windows—Open Perspective—