機器學習（Machine Learning）吳恩達（一）

原創

MiaoDa1

2020-02-21 15:33

機器學習（Machine Learning）- 吳恩達（Andrew Ng）

機器學習

監督學習：有標籤
迴歸 regression ——連續數值
分類 classification ——離散值
無監督學習：沒有標籤
聚類
雞尾酒會算法

單變量線性迴歸

代價函數 cost ：平方誤差函數 squared error —— 適用於線性迴歸

梯度下降

往往局部最優，但單變量線性迴歸也是全局最優。

多變量線性迴歸

多元梯度下降

特徵縮放

make sure features are on a similar scale
均值歸一化 —— x₀=1，其他約爲0。

學習率 α

出現異常，一般需要調小α

正規方程

計算偏導爲0除，不需要迭代計算，可以一步得到。
不需要特徵縮放。
$\Theta = (X^TX)^{-1}X^Ty$

(X^TX)不可逆

原因：有重複的特徵；特徵太多，多於數據量。
Octave：pinv(X'*X)*X'*y

Octave

CLI 命令行
% 註釋
^ 次冪 .^ 元素次冪 * .*
~= 不等於 false 0；true 1
disp 屏幕打印 sprintf 輸出
format long format short
ones() zeros() rand() randn() eye() 單位矩陣 magic() 幻方矩陣
size() length()
load 加載數據 save 命名變量 保存文件
who 所有變量 whos 詳細信息 clear 清除緩存變量
A(:) 把矩陣A變成一個列向量
log() exp() abs()
max() 每一列的最大值
find()
sum() prod()
floor() 向下取整 ceil() 向上取整
flipud() 垂直翻轉
A' 轉置
pinv() 逆
hist 直方圖
plot() hold on 在同一張圖上畫圖
print -dpng 'name'
figure(n);plot() 同時畫n張圖
subplot() 子圖
xlabel() ylabel() legend() title() axis()
imagesc(A) 將矩陣A可視化 colorbar colormap gray
for i=1:10 XXXX end
while XXXX end
break continue
if XXXX elseif XXXX else XXXX end
function [返回值1, 返回值2] = 函數名(變量1, 變量2)
向量化計算