轉自：https://www.zhihu.com/question/41667903?sort=created
24 個回答
Google發佈了Tensorflow遊樂場。Tensorflow是Google今年推出的機器學習開源平臺。而有了Tensorflow遊樂場，我們在瀏覽器中就可以訓練自己的神經網絡，還有酷酷的圖像讓我們更直觀地瞭解神經網絡的工作原理。今天，就讓硅谷周邊帶你一起去Tensorflow遊樂場快樂地玩耍吧！
昨天，Google深度學習部門Google Brain的掌門人，也是Google裏受萬衆景仰的神級別工程師Jeff Dean，在Google Plus上發佈了Tensorflow遊樂場的消息：
於是小夥伴們都十分激動地去Tensorflow的網站上玩神經網絡了！遊樂場的地址是：http://playground.tensorflow.org。讓我們快點一起去看看遊樂場裏有哪些好玩的東東吧。
一打開網站，就看見上面的標語：
“在你的瀏覽器中就可以玩神經網絡！不用擔心，怎麼玩也玩不壞哦！”
這簡直太令人振奮了！面對這麼多可以隨便點的按鈕，咱們從哪兒開始呢？
首先讓我們來看看數據。在這個遊樂場中，我們有4種不同形態的數據可以玩：
每組數據，都是不同形態分佈的一羣點。每一個點，都與生俱來了2個特徵：x1和x2，表示點的位置。而我們數據中的點有2類：橙色和藍色。我們的神經網絡的目標，就是通過訓練，知道哪些位置的點是橙色、哪些位置的點是藍色。
如果橙色是橙子，藍色是藍莓。假設我們有2000個散落在各處的橙子和藍莓。前1000個，我們知道座標（1，1）的是藍莓，（2，2）的是橙子，（0.5，0.5）的是藍莓等等。我們要用這些信息來訓練我們的神經網絡，讓它能夠準確地預測出後1000個哪些是橙子、哪些是藍莓。
看上面的4組數據，我們會發現，前3中都能相對簡單地區分開，而最後一組螺旋數據會是最難的。
Tensorflow遊樂場中的數據十分靈活。我們可以調整noise（干擾）的大小，還可以改變訓練數據和測試數據的比例多少。下圖是不同noise的數據分佈。
當我們把每一個數據點的信息餵給機器學習系統時，我們需要做feature extraction，也就是特徵提取。如果我們真的是在區分藍莓和橙子的話，大小、顏色等等都會是我們的特徵。而這裏，每一個點都有x1和x2兩個特徵。除此之外，由這兩個特徵還可以衍生出許多其他特徵：
抽象來說，我們的機器學習classifier（分類器）其實是在試圖畫一條或多條線。如果我們能夠100％正確地區分藍色和橙色的點，藍色的點會在線的一邊，橙色的會在另一邊。
上面這些圖其實非常的直觀。第一張圖中，如果x1作爲我們的唯一特徵，我們其實就是在畫一條和x1軸垂直的線。當我們改變參數時，其實就是在將這條線左右移動。其他的特徵也是如此。
很容易可以看出，我們需要智能地結合這其中一種或多種的特徵，才能夠成功地將藍色點和橙色點分類。這樣的feature extraction，其實往往是機器學習應用中最難的部分。好在我們有神經網絡，它能夠幫我們完成大部分的任務。
如果我們選定x1和x2作爲特徵，我們神經網絡的每一層的每個神經元，都會將它們進行組合，來算出結果：
而下一層神經網絡的神經元，會把這一層的輸出再進行組合。組合時，根據上一次預測的準確性，我們會通過back propogation給每個組合不同的weights（比重）。這裏的線越粗，就表示比重越大：
下面就讓我們用最難的螺旋形數據，來試試這個神經網絡的表現吧！
在神經網絡出現前，我們往往會竭盡所能地想出儘可能好的特徵，把它們全都餵給系統。而系統會是個十分淺的系統，往往只有一層。用這樣的方法來完成分類。
讓我們先來實驗傳統的方法。在這裏，我們將所有能夠想到的7個特徵都輸入系統，並選擇只有1層的神經網絡：
最後的結果是這樣的，可以看出我們的單層神經系統幾乎完美地分離出了橙色點和藍色點：
接下來，讓我們來體驗神經網絡真正的魔法。神經網絡最大的魔力，就在於我們根本不需要想出各種各樣的特徵，用來輸入給機器學習的系統。我們只需要輸入最基本的特徵x1, x2, 只要給予足夠多層的神經網絡和神經元，神經網絡會自己組合出最有用的特徵。
在這次試驗中，我們只輸入x1, x2，而選擇1個6層的，每層有8個神經元的神經網絡：
最後的結果是這樣的。我們發現，通過增加神經元和神經網絡的層數，即使沒有輸入許多特徵，我們也能夠成功地分類：
神經網絡的偉大之處就在於此。當我們在解決分類橙色點和藍色點這樣的簡單問題時，想出額外的特徵似乎並不是難事。但是，當我們要處理的問題越來越複雜，想出有用的特徵就變成了最最困難的事。比如說，當我們需要識別出哪張圖片是貓，哪張圖片是狗時，哪些特徵是真正有效的呢？
而當我們有了神經網絡，我們的系統自己就能學習到哪些特徵是有效的、哪些是無效的，這就大大提高了我們解決複雜機器學習問題的能力，簡直是太酷啦！
看了以上的文章，你是不是對神經網絡有了更直觀的認識呢？好奇的小夥伴們，歡迎去http://playground.tensorflow.org/自己試試看，真的非常好玩！
作爲TensorFlow社區的contributor (41/415)，我來說說我的TensorFlow學習過程。
目前TensorFlow代碼已超過40w行，從代碼量上來看，絕不是一個能夠迅速上手的小項目。所以，想要精通TensorFlow的同學需要做好心理準備。
http://cloc.sourceforge.net v 1.64 T=45.33 s (68.5 files/s, 14956.6 lines/s)
--------------------------------------------------------------------------------
Language files blank comment code
--------------------------------------------------------------------------------
C++ 1084 33620 28397 185395
Python 988 43498 72410 160669
C/C++ Header 605 13609 23891 45446
HTML 100 1803 1572 24929
TypeScript 75 1836 4795 11681
Bourne Shell 60 1174 2147 4346
NAnt script 15 172 0 3328
CMake 28 298 495 1778
Protocol Buffers 43 555 1928 1337
Objective C++ 9 217 168 1186
Java 9 239 408 943
JSON 46 0 0 626
Go 9 93 244 544
make 3 96 112 542
Bourne Again Shell 4 52 91 310
Javascript 7 50 109 191
XML 18 97 205 149
Groovy 1 13 7 52
Objective C 1 10 13 21
CSS 1 4 11 6
--------------------------------------------------------------------------------
SUM: 3106 97436 137003 443479
--------------------------------------------------------------------------------
對於想要學習TensorFlow（以下簡稱TF）的人，根據目的不同，可以簡單分爲以下2類：
1. 研究學者，僅僅需要TF這個平臺實現深度學習算法，無需瞭解太多底層原理
2. 好學的行業內人員（比如我⊙﹏⊙），不僅需要了解算法模型，同時還要熟悉TF平臺的原理。在算子、通信、模型優化等方面進行平臺的二次開發的人。
研究學者：
你們可以考慮使用Keras，python寫的深度神經網絡庫，已經實現了絕大部分神經網絡，如：RNN、GRU、LSTM，CNN，Pooling，Full-Connected，以及sigmoid、tanh、Relu、PRelu、SRelu等各種激活函數。並且採用TF/Theano作爲後端計算引擎，自己本身擁有一套更高層的API，可以同時跑在TF/Theano平臺上。
相對於TF來說，這個學習壓力小了很多，我們公司負責算法的同事也是用Keras來寫模型，然後我再用TF的API來實現分佈式部署。
附：
Keras中文文檔
GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow.
開發人員：
對於我們這類人來說，首先需要弄清平臺的很多名稱、概念、定義， @賈揚清 曾說過TF有太多的Abstraction需要學習。誠然，這加大了我們的學習難度。但是，這也說明Google是想要把這個平臺做大做強的，所以纔會花時間去設計這一套框架和統一的結構。特別是讀了部分源碼後，更有這種感觸。
那麼，具體要怎麼開始呢？
極客學院有翻譯部分TF的官方文檔，對於初步瞭解Tensor、DAG、Operator、Variable、Device、Optimizer等是幫助的。在看完這些概念後，有一個MNIST的例子程序作爲TF的入門。這個樣例用一個簡單的Softmax實現了手寫體數字識別的神經網絡，只有一層參數。同時還介紹了Session、tf.placeholder、圖的計算等重要概念。
在看完這個樣例後，如果理解了DAG和Session，可以繼續看用卷積神經網絡實現的MNIST，準確率上升到了99%，相對於單層Softmax的92%左右，已經接近目前最高的準確率了。
附：
MNIST機器學習入門
深入MNIST - TensorFlow 官方文檔中文版
TF v0.8發佈了分佈式模型，我也研究了將近1個月，才把Seq2seq機器翻譯改造成了分佈式，但是現在公司不讓發佈出來ORZ。好消息是，我改寫了社區的MNIST分佈式程序，並且已經合併到master分支了。所以，如果想要繼續學習分佈式的話，我建議可以看一下那份代碼。比較遺憾的是，極客學院目前沒有翻譯分佈式的教程，所以大家得移步TF官網（貌似被牆了）。
由於分佈式的資料較少，我這裏簡單梳理下概念，大家在官網會看到他們的定義：
TF採用了PS/Worker的結構來定義集羣，其中
PS(parameter server)：存儲variable（模型參數），主要負責參數更新和發放；
Worker：存儲operator，主要負責圖計算和梯度計算（TF使用Optimizer實現了自動化的梯度計算）；
job：由於工作類型不同，用job_name來區分ps和worker
task：對於每個worker來說，具體做什麼任務（算什麼圖）也有可能不同，用task_index區分
device：指具體的CPU/GPU，通常PS綁定到CPU上，Worker綁定到GPU上，各取所長。
syncReplicaOptimizer：同步優化器，其本質仍然是用普通優化器進行梯度計算，但是通過Queue機制和Coordinator多線程協同實現了所有worker的梯度彙總和平均，最終將梯度傳回PS進行參數更新。
以上幾個概念對於分佈式的理解非常重要。當然，想要完全弄懂，還得不斷的看文檔和源碼。
源碼我推薦幾個python目錄下非常值得看的基礎類定義：
framework/Ops.py：定義了Tensor、Graph、Opreator類等
Ops/Variables.py：定義了Variable類
附：
分佈式官網教程
分佈式MNIST
tensorflow/ops.py at master · tensorflow/tensorflow · GitHub
tensorflow/variables.py at master · tensorflow/tensorflow · GitHub
最後，歡迎大家Follow我的Github賬號:
DjangoPeng (Jingtian Peng) · GitHub
內容包括:
1. Tensorflow 的基本結構, 用法;
2. 多層神經網絡 (迴歸 & 分類);
3. CNN 卷積神經網絡;
4. RNN 循環神經網絡;
5. LSTM 高級循環神經網絡;
6. Autoencoder 神經網絡的非監督學習;
7. 可視化助手 Tensorboard (查看學習結果, 參數變化, 神經網絡結構) 等等.
教程還附加了所需要的代碼, 可以用於練習, 是新手快速上路必看的教程. 有了視頻裏生動的形容, 比文字敘述上手快多了. 聽說很多人都是一晚上通宵看完的~ 大家一起加油吧!
系列教程視頻 Youtube 接口: https://www.youtube.com/playlist?list=PLXO45tsB95cKI5AIlf5TxxFPzb-0zeVZ8
優酷接口: 莫煩 tensorflow 神經網絡 教程
剛製作了 Tensorflow 視頻教程對應的學習目錄:莫煩 Python 視頻和輔助材料都很好的對應上了.
頻道還會一直有新的關於機器學習的內容不定時更新.
