一直對線性非線性沒有很準確的定義認識,今天特意查了查,特此記錄下。
怎樣區分線性和非線性
1.線性Line，是指量與量之間按照比例成直線關係，在數學上可理解爲一階導數是個常數；
非線性non-line則指不按照比例不成直線關係，一節導數不爲常數。
2.線性可以認爲是1次曲線，比如比如y=ax+b ，即成一條直線
非線性可認爲是2次以上的曲線，比如y=ax^2+bx+c，（x^2是x的2次方），即不爲直線的即可。
3.兩個變量之間的關係是一次函數的關係圖像是直線，這樣的兩個變量之間就是“線性關係”
如果不是一次函數關係，圖像不是直線，就是“非線性關係”。
4.線性與非線性，常用於區別函數y = f （x）對自變量x的依賴關係。線性函數即一次函數，其圖像爲一條直線。其它函數則爲非線性函數，其圖像不是直線。
5.在數學上，線性關係是指自變量x與因變量yo之間可以表示成y=ax+b ，（a，b爲常數），即說x與y之間成線性關係。
不能表示成y=ax+b ，（a，b爲常數），即非線性關係，非線性關係可以是二次，三次等函數關係，也可能是沒有關係。
線性模型和非線性模型的區別
誤區
1、線性和非線性的區別是是否可以用直線將樣本劃分開（這個觀點是對的）
2、和同學討論到logistics模型是線性還是非線性的，很難理解！（logistics模型是廣義線性模型）
3、區分一下回歸和分類問題，線性模型是可以用來曲線擬合（迴歸）的，但是線性模型模型的分類一定是一條直線的，例如logistics模型。
線性模型和非線性模型區別
1、線性模型可以是用曲線擬合樣本，但是分類的決策邊界一定是直線的，例如logistics模型
2、區分是否爲線性模型，主要是看一個乘法式子中自變量x前的係數w，如果w隻影響一個x，那麼此模型爲線性模型。或者判斷決策邊界是否是線性的
3、舉例
畫出y和x是曲線關係，但是它是線性模型，因爲x1*w1中可以觀察到x1只被一個w1影響
此模型是非線性模型，觀察到x1不僅僅被參數w1影響，還被w5影響，如果自變量x被兩個以上的參數影響，那麼此模型是非線性的！
4、其實最簡單判別一個模型是否爲線性的，只需要判別決策邊界是否是直線，也就是是否能用一條直線來劃分
神經網絡是非線性
雖然神經網絡的每個節點是一個logistics模型，但是組合起來就是一個非線性模型。
此處我們僅僅考慮三層神經網絡
第一層的表達式
第二層的表達式
將第一層的表達式帶入第二層表達式中，可以觀察到x1變量不僅僅被w1影響還被k2影響，所以此模型不是一個線性模型，是個非線性模型。