《算法導論》——矩陣乘法Strassen算法

注：本文爲《算法導論》中分治相關內容的筆記。對此感興趣的讀者還望支持原作者。

矩陣乘法

接觸過線性代數的讀者，對於矩陣乘法想必一定不陌生。若$A=(a_{ij})$和$B=(b_{ij})$是$n*n$的方陣，則對$i, j, \ldots, n$，定義乘積$C=A \cdot B$中的元素$c_{ij}$爲：

$c_{ij}=\sum_{k=1}^{n}a_{ik}b_{kj}$

因此，我們可以根據矩陣乘法的定義給出矩陣乘法的僞代碼。它接收$n * n$的矩陣$A$和$B$，返回它們的乘積——$n * n$的矩陣$C$，並且假設每個矩陣都有一個屬性$rows$，表示矩陣的行數。

不難看出，由於三重for循環都恰好執行$n$步，而第7行每次執行都花費常量時間。因此，SQUARE-MATRIX-MULTIPLY的時間複雜度爲$\theta (n^3)$，即矩陣乘法的樸素實現需要花費$\theta (n^3)$時間。你可能因此認爲任何矩陣乘法都要花費$\Omega (n^3)$時間，因爲矩陣乘法的自然定義就需要進行這麼多次的標量乘法。而在學術界，也的確在很長一段時間內，很少人敢設想一個算法能漸近快於平凡算法SQUARE-MATRIX-MULTIPLY，直至Strassen大神的出現。

算法流程

Strassen算法採用分治法解決矩陣乘積問題，並通過排列組合的技巧使得分治法產生的遞歸樹不那麼“茂盛”以減少矩陣乘法的次數。Strassen算法並不直觀，它包含4個步驟：

1. 將輸入矩陣$A、B$和輸出矩陣$C$通過以下方式分解爲$\frac{n}{2} * \frac{n}{2}$的子矩陣；
   $A = \left [ \begin{matrix} A_{11} & A_{12} \\ A_{21} & A_{22} \\ \end{matrix} \right ], B = \left [ \begin{matrix} B_{11} & B_{12} \\ B_{21} & B_{22} \\ \end{matrix} \right ], C = \left [ \begin{matrix} C_{11} & C_{12} \\ C_{21} & C_{22} \\ \end{matrix} \right ]$

2. 創建10個$\frac{n}{2} * \frac{n}{2}$的矩陣$S_1, S_2, \ldots , S_{10}$，每個矩陣保存步驟1中創建的兩個子矩陣的和或差，時間複雜度爲$\Theta (n^2)$；

3. 用步驟1中創建的子矩陣和步驟2中創建的10個矩陣，遞歸地計算7個矩陣積$P_1, P_2, \ldots , P_7$。每個矩陣$P_i$都是$\frac{n}{2} * \frac{n}{2}$的；

4. 通過$P_i$矩陣的不同組合進行加減計算，計算出矩陣$C$的子矩陣$C_{11}, C_{12}, C_{21}, C_{22}$，時間複雜度爲$\Theta(n^2)$。

是不是感覺很抽象？一頓猛如虎的操作，就能完成矩陣乘積計算了？沒錯，就是這麼秀。接下來，爲了幫助大家掌握這種操作，就再看看Strassen算法的細節。在步驟2中，創建如下10個矩陣：

$S_1 = B_{12} - B_{22}$

$S_2 = A_{11} + A_{12}$

$S_3 = A_{21} + A_{22}$

$S_4 = B_{21} - B_{11}$

$S_5 = A_{11} + A_{22}$

$S_6 = B_{11} + B_{22}$

$S_7 = A_{12} - A_{22}$

$S_8 = B_{21} + B_{22}$

$S_9 = A_{11} - A_{21}$

$S_{10} = B_{11} + B_{22}$

由於必須進行10次$\frac{n}{2} * \frac{n}{2}$的加減法，因此，該步驟花費$\Theta(n^2)$。

在步驟三中，遞歸地計算7次$\frac{n}{2} * \frac{n}{2}$矩陣的乘法，如下所示：

$P_1 = A_{11} \cdot S_1 = A_{11} \cdot B_{12} - A_{11} \cdot B_{22}$

$P_2 = S_2 \cdot B_{22} = A_{11} \cdot B_{22} + A_{12} \cdot B_{22}$

$P_3 = S_3 \cdot B_{11} = A_{21} \cdot B_{11} + A_{22} \cdot B_{11}$

$P_4 = A_{22} \cdot S_4 = A_{22} \cdot B_{21} - A_{22} \cdot B_{11}$

$P_5 = S_5 \cdot S_6 = A_{11} \cdot B_{11} + A_{11} \cdot B_{22} + A_{22} \cdot B_{11} + A_{22} \cdot B_{22}$

$P_6 = S_7 \cdot S_8 = A_{12} \cdot B_{21} + A_{12} \cdot B_{22} - A_{22} \cdot B_{21} - A_{22} \cdot B_{22}$

$P_7 = S_9 \cdot S_10 = A_{11} \cdot B_{11} + A_{11} \cdot B_{12} - A_{21} \cdot B_{11} - A_{21} \cdot B_{12}$

步驟4對步驟3創建的$P_i$矩陣進行加減法運算，計算出$C$的4個$\frac{n}{2} * \frac{n}{2}$的子矩陣。

$C_{11} = P_5 + P_4 - P_2 + P_6 = A_{11} \cdot B_{11} + A_{12} \cdot B_{21}$

$C_{12} = P_1 + P_2 = A_{11} \cdot B_{12} + A_{12} \cdot B_{22}$

$C_{21} = P_3 + P_4 = A_{21} \cdot B_{11} + A_{22} \cdot B_{21}$

$C_{22} = P_5 + P_1 - P_3 - P_7 = A_{22} \cdot B_{22} + A_{21} \cdot B_{12}$

如此，我們便獲得矩陣$A$和$B$的乘積——矩陣$C$。

算法分析

之前說過，Strassen算法的時間複雜度是優於樸素計算的，可是，它到底是多少呢？我們不妨再回到Strassen算法的流程。當$n > 1$時，步驟1、2和4共花費$\theta(n^2)$時間，步驟3要求7次$\frac{n}{2} * \frac{n}{2}$矩陣的乘法。因此，我們得到如下描述Strassen算法運行時間$T(n)$的遞歸式：

$T(n)=\left\{ \begin{aligned} & \theta(1) & 若n = 1\\ & 7T(n/2) + \theta(n^2) & 若n > 1\\ \end{aligned} \right.$

求解上式可得，$T(n) = \theta(n^{\lg7})$。

算法實現

廢話千句，不如代碼兩行，接下來直接上Strassen算法的實現。（注意，如果$n$不是2的冪，可以採取對原矩陣填充0的方式，使$n$擴展到2的冪）。

算法總結

Strassen算法發表於1969年，它的發表引起了很大的轟動。在此之前，很少人敢設想一個算法能漸近快於平凡算法SQUARE-MATRIX-MULTIPLY。矩陣乘法的上界自此被改進了。到目前爲止，$n*n$矩陣相乘的漸近複雜性最優的算法是Coppersmith和Winograd提出的，運行時間是$O(n^{2.376})$。