Matlab向量化編程實現機器學習算法---1

假設x和θ爲向量(n+1維實向量空間)，需要計算 z=θ(T)x（θ(T)表示θ的轉置），那麼可以按以下方式實現：
z = 0;
for i=1:(n+1),
    z = z + theta(i) * x(i);
end;

上述代碼爲非向量化編程，爲了更加簡潔和提高運行速度，可以採用以下向量化編程方式：

z = theta' * x;    %theta'表示θ的轉置

對Matlab代碼進行矢量化的工作很大一部分集中在避免使用for循環上，因爲這可以使得Matlab更多地利用代碼中的並行性，同時其解釋器的計算開銷更小。

下面給出一些算法的非向量化和向量化代碼對照：

1. 邏輯迴歸梯度計算

% 代碼1---非向量化
grad = zeros(n+1,1);
for i=1:m,
   h = sigmoid(theta'*x(:,i));    % sigmoid爲S形函數
   temp = y(i) - h;
   for j=1:n+1,
       grad(j) = grad(j) + temp * x(j,i);
   end;
end;

嵌套的for循環語句使這段代碼的運行非常緩慢。以下是更典型的實現方式，它對算法進行部分向量化，帶來更優的執行效率：

% 代碼2---部分向量化
grad = zeros(n+1,1);
for i=1:m,
     grad = grad + (y(i) - sigmoid(theta'*x(:,i)))* x(:,i);
end;

或許可以向量化得更徹底些。如果去除for循環，我們就可以顯著地改善代碼執行效率。特別的，假定b是一個列向量，A是一個矩陣，我們用以下兩種方式來計算A*b：

% 矩陣-向量乘法運算的低效代碼
grad = zeros(n+1,1);
for i=1:m,
    grad = grad + b(i) * A(:,i);   % 通常寫法爲A(:,i)*b(i)
end;

% 矩陣-向量乘法運算的高效代碼
grad = A*b;

代碼2是用了低效的for循環語句執行梯度上升運算，將b(i)看成(y(i) - sigmoid(theta'*x(:,i)))，A看成x，我們就可以使用以下高效率的代碼：

% 代碼3---完全向量化
grad = x * (y- sigmoid(theta'*x));

Matlab的sigmoid(z)函數接受一個向量形式的輸入z，依次對輸入向量的每個元素施行sigmoid函數，最後返回運算結果，因此sigmoid(z)的輸出結果是一個與z有相同維度的向量。


注：上述代碼引自Standford大學Andrew Ng關於深度學習的文章