一、非線性假設（Non-linear hypotheses）
非線性假設採用神經網絡的原因：當我們對如下數據進行使用非線性迴歸分類時，我們可以使用包含很多非線性項的邏輯迴歸函數，來回歸分類。下面是隻有X1, X2兩個特徵的邏輯迴歸函數。
但是，如果數據包含上百個特徵時呢？例如包含上百個特徵的房屋分類問題，或者圖像識別領域。我們要處理million級別的數據。
二、神經元和大腦（Neurons and the Brain）
1、神經網絡的起源：模仿人類大腦。最早起源於1980~1990。最近又再次興起。
2、大腦：將大腦中聽覺皮層與耳朵之間的神經連接切斷，並且將聽覺皮層與眼睛相連，結果發現聽覺皮層可以“看到”東西。這說明，統一的學習算法是可能實現的。
三、模型表示（Model Representation）
1、模型展示1：
首先讓我們看看大腦的神經元的構成：
圖中的神經元是一個基本的運算單元，它由電信號獲取輸入（樹突），並且計算後給出輸出（軸突）。
在實現人工神經網絡裏，我們使用一個很簡單的模型來模擬神經元的工作。我們把神經元模擬成一個邏輯單元。有時候我們添加x0=1，稱作偏置單元（bias unit）。
通常我們稱之爲帶有sigmoid或者logistic激活函數的人工神經元。其中的激活函數（activation function）是指代非線性函數g(z)的另一個術語。θ爲模型參數，也被稱作權重（weight）
實際中，神經網絡其實就是一組神經元連接在一起的集合。每個橘色圓圈代表一個神經元。第一層叫做輸入層，第二層叫做隱藏層（這一層是由輸入層的數據加權組合後重新映射成的），第三層叫做輸出層，
爲了表示出運行的步驟，我們把隱藏層的節點或者說中間節點，稱作“激活單元”（activation units），並且有如下符號：
那麼計算過程可表示爲如下：
2、模型展示2（向量化）
將上圖寫爲向量化形式，並定義一個變量z爲
，則：
那麼，h（x）爲：
這個過程同時也被成爲前向傳播（forward propagation）
四、例子
1、邏輯“與（AND）”的計算
設：
則構建一個函數爲：
當：
成功實現了AND的計算。
邏輯“或（OR）”的運算
同上，只是權重矩陣爲：
2、XNOR的計算：
用AND \NOT AND\OR三個構建：
五、 多類別分類問題
要在神經網絡裏實現多類別分類問題，採用的方法本質上是一對多法的拓展。
