Machine Learning definition:
Machine learning is a type of artificial intelligence (AI) that provides computers with the ability to learn without being explicitly programmed. (Ref)
Supervised:有供給的且分好類的數據進行預算,Regression是其中一種(前提:已知分類!)
Unsupervised:由供給的數據和machine learning的算法進行數據分類(前提:未知分類!)
Regression:Output 是連續的
Classification: output需要被分類且是離散分佈
IDE: Octave 比用Java等常用語操作平臺更簡單,有內置算法
Model And Cost Function
-cost function(squared error function)
-Gradient Descent(to minimise,to calculate simultaneously[用最原始值])
optima指的是3D圖裏的最優位置,可以選擇阿爾法爲恆定(fixed),optima是來自global optimum裏, GRADIENT DESCENT不能保證得到最小的優解,阿爾法的值對gradient descent的覆蓋範圍沒有影響。
“Convex Function”(Linear regression)只有一個local optima;“Batch” gradient descent.
-Linear Algebra
Matrix => row * column Dimension 又row與column的座標找特別的數(大寫),
相加的兩個matrix 的dimension要一樣
相乘的matrix和vector結果爲一vector, linear regression可以construct,for loop可以轉換成這個
相乘的兩個matrix可以換成兩個matrix*vector計算,結果的列數與第二個matrix爲準,結果的行數與第一個matrix爲準[not commutative],兩個matrix的dimension不能一樣。
A*B*C => A*(B*C)=(A*B)*C
Identity Matrix => I[mn] * A[nn] = A[mm] * I[mn] = A[mn]
Inverse => A*(1/A) = (1/A)*A = I (No inverse = singular = degenerate)
Transpose => 第N個row變成第N個column, B[ij] = A[ji]
Vector => n*1 Dimension, index指從哪個數開始累積(小寫)