原创 Python之TensorFlow的數據的讀取與存儲-2

  一、我們都知道Python由於GIL的原因導致多線程並不是真正意義上的多線程。但是TensorFlow在做多線程使用的時候是吧GIL鎖放開了的。所以TensorFlow是真正意義上的多線程。這裏我們主要是介紹queue式的多線程運行方式

原创 Python之TensorFlow的模型訓練保存與加載-3

  一、TensorFlow的模型保存和加載,使我們在訓練和使用時的一種常用方式。我們把訓練好的模型通過二次加載訓練,或者獨立加載模型訓練。這基本上都是比較常用的方式。   二、模型的保存與加載類型有2種   1)需要重新建立圖譜,來實現模

原创 python之(TensorFlow)深度學習

  一、深度學習(DL, Deep Learning)是機器學習(ML, Machine Learning)領域中一個新的研究方向,它被引入機器學習使其更接近於最初的目標——人工智能(AI, Artificial Intelligence)

原创 Python之TensorFlow的基本介紹-1

  一、TensorFlow™是一個基於數據流編程(dataflow programming)的符號數學系統,被廣泛應用於各類機器學習(machine learning)算法的編程實現,其前身是谷歌的神經網絡算法庫DistBelief。

原创 Python之模型的保存和加載-5.3

  一、模型的保存,主要是我們在訓練完成的時候把訓練下來的數據保存下來,這個也就是我們後續需要使用的模型算法。模型的加載,在保存好的模型上面我們通過原生保存好的模型,去計算新的數據,這樣不用每次都要去訓練,然後才能計算新的值的預測值。   

原创 Python之算法模型-5.1

  一、這裏學習的算法模型包含監督學習和非監督學習兩個方式的算法。     其中監督學習的主要算法分爲(分類算法,迴歸算法),無監督學習(聚類算法),這裏的幾種算法,主要是學習他們用來做預測的效果和具體的使用方式。   二、分類算法   1

原创 Python之網格搜索與檢查驗證-5.2

  一、網格搜索,在我們不確定超參數的時候,需要通過不斷驗證超參數,來確定最優的參數值。這個過程就是在不斷,搜索最優的參數值,這個過程也就稱爲網格搜索。   二、檢查驗證,將準備好的訓練數據進行平均拆分,分爲訓練集和驗證集。訓練集和驗證集的

原创 Python之特徵工程-3

  一、什麼是特徵工程?其實也是數據處理的一種方式,和前面的原始數據不一樣的是,我們在原始數據的基礎上面,通過提取有效特徵,來預測目標值。而想要更好的去得出結果,包括前面使用的數據處理中數據特徵提取,新增減少等手段都是特徵功能的一種,這裏爲

原创 Python之算法評估-4

  一、評估算法的方式分兩種,一種是分類算法的評估,一種是迴歸算法的評估。爲什麼要分兩種呢,因爲分類算法中可以通過準確率、精準率、召回率、混淆矩陣、AUC來評估算法的準確度。但是在預測值的時候是沒有辦法去獲得這個準確值(比如分類對了,那就對

原创 Python之原始數據-1 Selenium+PhantomJS爬蟲 scrapy爬蟲

  一、數據對於模型來說是基礎,是數據成就了模型,而現在的又是一個數據時代,比如:淘寶等。通過對用戶數據的分析挖掘,預測用戶的消費習慣等,再比如:人工智能。通過提取攝像頭的圖片幀數,通過分析圖片,得出具體的行爲等。這些都離不開再最開始的數據

原创 Python之(scikit-learn)機器學習

  一、機器學習(Machine Learning, ML)是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行爲,以獲取新的知識或技能,重新組織已有的知識結構使之不斷

原创 Python之數據處理-2

  一、數據處理其實是一個很麻煩的事情。     在一個樣本中存在特徵數據(比如:人(身高、體重、出生年月、年齡、職業、收入...))當數據的特徵太多或者特徵權重小或者特徵部分滿足的時候。     這個時候就要進行數據的處理(比如:預測性別

原创 Python之(matplotlib、numpy、pandas)數據分析

  一、Matplotlib 是一個 Python 的 2D繪圖庫,它以各種硬拷貝格式和跨平臺的交互式環境生成出版質量級別的圖形。     它主要用來回事圖形,用來展現一些數據,更加直觀的展示,讓你第一眼就只要數據的呈現趨勢   二、Mat

原创 Python之(scrapy)爬蟲

  一、Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架,用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途廣泛,可以用於數據挖掘、監測和自動化測試。     Scrapy吸引人的地方在於它是一個框架,

原创 Python之Flask

  一、Flask是一個使用 Python 編寫的輕量級 Web 應用框架。其 WSGI 工具箱採用 Werkzeug ,模板引擎則使用 Jinja2 。Flask使用 BSD 授權。     Flask是一個輕量級的可定製框架,使用Pyt