原创 One-hot vs. Word2Vec

訓練模型的時候,有的時候使用的是One-hot,有的時候使用Word2Vec,這兩個有什麼區別的,什麼時候使用One-hot,什麼時候使用Word2Vec呢,談一下自己的理解。 One-hot Encoding One-hot編碼又被稱爲

原创 AttributeError: module 'scipy.misc' has no attribute 'toimage'

在使用scip.misc.toimage保存文件的時候,報錯說是scipy.misc沒有toimage。 代碼片段如下: scipy.misc.toimage(img, cmin=0, cmax=1).save(name) 網上找了半天

原创 把MNIST數據導出成圖片

MNIST是個比較好的數據源,大家學習圖像算法的入門級必備數據,剛開始學習的時候,肯定想知道這到底是什麼樣的圖片。但是數據存儲的格式是28*28的圖片轉換一維784的數據。我們需要把數據做一次轉換才能獲取想要的圖片。下面簡單的給出一個到處

原创 DeepMind提圖像生成的基於RNN的DRAW

原文地址:https://github.com/shugert/DRAW 這裏簡單基於python3改了一版,可以作爲參考。 # import libraries import tensorflow as tf from tensorf

原创 10 個Team Leader應該具備的特質(The 10 Effective Qualities of a Team Leader)

(原文鏈接:https://smallbusiness.chron.com/10-effective-qualities-team-leader-23281.html) An effective team leader has a var

原创 如何從AI到IA?

看到國內很多公司都在搞AI,簡單說下最近做AI的一些個人看法。當然有很多不足之處,也請指正。 人工智能(Artificial Intelligence),英文縮寫即我們常說的AI。它是研究、開發用於模擬、延伸及擴張人類智能的理論、方法、技

原创 Golang的包管理工具govendor 安裝與使用

之前的項目使用的比較古老的dep(不是godep),能夠根據項目引用的第三方包的情況自動download對應的庫。當然國內對於有些包的下載需要翻牆,這個dep自動下載就不靠譜了,還得配置,無奈從其他地方下載一個copy過來用(吐槽一下)。

原创 常用搜索引擎框架

原文鏈接:http://www.codeceo.com/article/8-java-search-engine.html Java 全文搜索引擎框架 Lucene  毫無疑問,Lucene是目前最受歡迎的Java全文搜索框架,準確地說,

原创 Redis 主從服務集羣搭建

搭建Redis集羣的時候,我們一般會考慮主從複製模式(master-slave),實現主從備份。當主節點(master)壞掉,自動啓動從節點(slave)爲主節點繼續服務。一個主節點可以有N個從節點,根據業務不同,從節點的數量設置也不同。

原创 幾種查看Linux進程路徑的方法

當一個team協同開發的時候,難免會使用同一臺服務器,特別是使用GPU機器訓練模型的時候。當你想使用GPU,但是機器被佔用了,改怎麼辦,你可以找佔用GPU的同學問問啥時候跑完,你好去排個隊(當然公司有自動訓練任務管理平臺的就把任務管理交給

原创 1.2 基於兩層CNN的MNIST解法

參考《21個項目玩轉深度學習》,感覺還不錯的書,建議大家看一下。 使用卷積神經網絡可以把MNIST手寫字符的識別率提高到99%以上,聽起來還是很厲害的。 這裏使用常規的CNN的解題方式:卷積->激活->池化。也算是卷積層標配了。 #/u

原创 2.1 CIFAR 100數據集及代碼

1. 數據集地址:http://www.cs.toronto.edu/~kriz/cifar.html 用Foreign VPN下載速度更快點。 2. 代碼地址:https://github.com/tensorflow/models 在

原创 設置VIM默認格式

在不同機器上打開VIM的時候,發現VIM竟然沒有自動換行對齊,感覺有點不方便。可以配置下VIM。 在命令行裏輸入命令創建或者打開VIM配置文件 vim ~/.vimrc 然後輸入常用的需要用的命令,然後保存,這個每次啓動VIM都會自動

原创 TensorFlow 管理GPU

項目開發中,發現pytorch對顯存管理真的是很差,一不小心就會OOM了,感覺好坑,而且會強行分配,造成顯存卡住,python處於假死狀態,即使你有supervisor監控也沒有用。(當然這種情況需要基於內容的監控來解決假死問題,Ping

原创 基於Selenium的爬蟲

使用Selenium可以用來做CI/CD監控網頁的活動情況,同時也能夠用來爬數據。下面介紹一下如何用Selenium爬數據,我這裏使用Firefox的Selenium類似的插件來生成Selenium代碼。 1. 安裝並打開Firefox,