雲計算
我們日常生活中使用的個人計算機,普遍存在資源使用率低的情況(cpu,內存,硬盤等部分處於空閒狀態),因此我們可以將這三部分抽象出來,依據不同情況分給特定的對象使用完成相應的任務,來提高資源利用率,這種技術被稱爲虛擬化,已經比較成熟。
而如果這些使用的對象是企業或者機構,設想一下,如果我們的計算機資源處在特定的地點,我們是不是也可以按需組合計算機資源,然後分配給有需求的對象呢?
雲計算的概念
雲計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。
大數據
大數據是指無法在可承受的時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策裏、洞察發現力和流程優化力的海量、高增長率和多樣化的信息資產。
但是實際上,一般提到“大數據”的時候,可能包括多方面的內容,比如數據採集,存儲計算,分析應用,人工智能等等。大數據不再單單指數據本身,同時還包括處理數據和存儲數據技術,以及對數據的遷移應用。
雲計算與大數據的關係
雲計算提供存儲和計算的基礎設置,而大數據則是運行在其上的實際應用。
打個比方,雲計算相當於房屋裏的設備和設施,而大數據則是在這些設施上開展的一系列活動。
人工智能
人工智能 AI,簡單的講,就是會學習的計算機程序。詳細的人工智能分類和介紹可看這篇文章 —> 人工智能知多少
什麼是機器學習
機器學習是對於某類任務T和性能度量P,如果一個計算機程序,在T上以P衡量的性能隨着經驗E而不斷自我完善,那麼我們稱這個計算機程序從經驗E中學習。
簡單的說就是,在性能P的度量下,通過一定的算法從大量的歷史數據或者策略中學習產生最佳模型,來完成預測任務。任何計算機程序通過經驗來提高某任務處理性能的行爲,都稱爲機器學習。
類似教小朋友認識貓,事先給他一些貓的圖片,讓他對貓的外表有一點的認識,下次他再見到新的有可能是貓的動物的時候,就可以從之前學習到的貓的定義,來判定是否是貓這種動物。
我們使用上述對機器學習的定義再舉個實際編程的栗子:西洋跳棋
機器學習的思路:
- 任務T:下西洋跳棋
- 性能指標P:贏棋的概率
- 經驗E:和自己對弈
- 確定的目標函數:V
我們對棋盤的狀態b進行評估:
- x1:棋盤上黑子的個數
- x2:棋盤上紅子的個數
- x3:棋盤上黑王的個數
- x4:棋盤上紅王的個數
- x5:棋盤上被紅子威脅的黑子個數
- x6:棋盤上被黑子威脅的紅子個數
但是上面6個特徵它們說明棋局好壞的能力也不同,有的代表性強,有的代表性弱,所以我們要給它們賦予一定的權重:
那麼V(b)就是一個目標函數,對於每一種走子b,目標函數都可以計算出一個實數值來說明棋局的好壞。
比如黑子贏了的棋局,我們將它的函數值定位爲V(bi)=+100,這種情況下,已經沒有紅子,那麼這個棋局就可以表示爲:
有了上面這些表示,我們就可以運用一些對局的局來訓練我們的系統,那麼就想通過這些樣本來選擇一組最合適的權值,讓所有棋局與我們最終的預測結果都儘可能一致。
任何一個樣本棋局都要表示爲這樣一個數據對<b,V(b)>,其中的V(b)我們通過給出來些近似函數V_hat(b)來手動的標記。
剩下的事情就是爲這個學習算法選擇最合適訓練樣例的權。一種常用的方法是把最佳的假設(或權重向量集合)定義爲使訓練值和假設預測出的值間的誤差平方和E最小:
而對於具體的實現方法本文裏我們就不做深入論述,後續文章是會有機器學習算法詳解和程序實現。
我們來總結一下機器學習解決西洋跳棋問題的所具有的特點:
- 無需傳統模式編程
- 定義任務、性能、經驗以及目標函數。並提供目標函數學習方式即可
- 隨着數據的變化,能自動學習、更新
- 利用自己對弈=>優化模型的方式,可以持續提升
適用場景:
- 不宜針對問題進行手工編程
- 不能定義該問題的解決方案
- 基於複雜數據的快速決策
- 大規模的個性化系統
機器學習和人工智能
人工智能是一個相對較大的過程,機器學習就是實現人工智能的一種 方法,而深度學習是機器學習的分支,是機器學習的一種技術。三者的關係大致如下圖:
機器學習的發展歷程
基礎奠定時期:40年代末到60年代中
停滯期:60年代中到70年代末
這是機器學習的低潮期,但人們並沒有停止研究的步伐,這個時期主要是模擬人類的概念學習過程,並採用邏輯結構或圖結構作爲機器內部描述,但這期間很少有震驚的成果。
復興時期:70年代末至80年代末
- 從70年代末開始,人們從學習單個概念擴展到學習多個概念,探索不同的學習策略和各種學習方法
- 1980年,在美國的卡內基梅隆大學(CMU)召開了第一屆機器學習國際研討會
- 多層感知機(MLP)由偉博斯在1981年的神經網絡反向傳播算法(BP)中具體提出
- 1985-1986神經網絡研究人員(魯梅爾哈特,辛頓,威廉姆斯-赫,尼爾森)先後提出了MLP與BP訓練相結合的理念
- 1986年昆蘭提出決策樹算法,更準確的說是ID3算法
復興時期:90年代初到21世紀初
蓬勃發展期:21世紀初至今(深度學習)