表示學習(representation learning)的初印象

0 寫在前面

表示學習(representation learning)是深度學習領域中一個比較重要的方面,本文則提供對錶示學習的一個定性理解。

1 什麼是表示?

要清楚什麼是表示(representation)學習,就得先知道什麼是representation。在《deep learning with
python》一書的1.1.3節中是這麼定義的,At its core, it’s a different way to look at data—to represent or encode data。這個字面上理解就是表示或者編碼數據的一種形式。舉個例子,一張圖片可以表示爲RGB形式也可以表示爲HSV形式,這就是對同一數據(data)的兩種不同表示。在不同的任務中採取合適的表示會使得任務變得簡單一點,比如如果要選取圖片中的紅色像素點,我們就可以採取RGB形式,如果想讓圖片更加飽和(saturated),那麼採取HSV形式更加簡單。又比如說我們要辨別一種鳥類,我們可以使用它的眼睛顏色-羽毛顏色-尾巴形狀(這些特徵是筆者隨便想的,不一定能實際用於分類)作爲它的數據,也可以使用腳趾形狀-羽毛顏色-尾巴形狀作爲數據,而眼睛顏色等也是鳥的特徵,所以表示學習又叫特徵學習(feature learning)。

2 表示學習?

爲了更好地理解什麼是表示學習?可以參考知乎的一篇回答。如下:
在這裏插入圖片描述
即稍微入門一點機器學習的都知道傳統地做法都人爲地設計特徵或者說使用已經完全標記好的數據來試圖接近最好的分類效果。但實際上很多未標記的或者說標記相對較少的訓練數據,我們當然可以人爲標記,但也可以自動地篩選出比較重要的特徵,有點類似於**PCA(主成分分析)**的思路,這就是表示學習或者說特徵學習。

表示學習雖然從結構上講只是數據的一個預處理手段,但是正如“工欲善其事,必先利其器”一樣,它的出現提供了進行無監督學習和半監督學習的一種方法。其重要性不言而喻,以至於在花書中被單獨列出來作爲一章。表示學習一個比較典型的方法就是自編碼器,有興趣的可以自查。

3 參考資料

[1] 知乎
[2] repesentation learning維基百科
[3] deep learning with python, François Chollet
[4] 深度學習(中文版),伊恩*古德費洛

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章