算法導論 — 4.2 矩陣乘法的Strassen算法

筆記

給定兩個$n×n$正方矩陣$A$和$B$，這兩個矩陣的乘法定義爲
　　　　　　
　　其中
　　　　　　
　　下面是矩陣乘法的僞代碼。
　　
　　很顯然，執行SQUARE-MATRIX-MULTIPLY需要花費$Θ(n^3)$時間。然而，有一種方法可以花費更少的時間，這就是Strassen算法，它本質上也是一種分治法，它的時間複雜度爲$Θ(n^{{\rm lg}7}) = O(n^{2.81})$。
　　在介紹Strassen算法之前，我們先嚐試簡單的分治法來計算矩陣乘法$C = A•B$。假定三個矩陣均爲$n×n$正方矩陣。並且爲簡化分析，假定$n$爲$2$的冪。我們將$A、B$和$C$均分解爲$4$個$(n/2)×(n/2)$的子矩陣。
　　　　
　　於是矩陣乘法可以表示爲
　　　　
　　上面的矩陣乘法等價於下面$4$個式子。
　　　　　　
　　上面每個式子都對應$2$次$(n/2)×(n/2)$矩陣乘法，以及$1$次$(n/2)×(n/2)$矩陣加法。根據以上分析，可以給出一個遞歸的分治算法。
　　
　　現在分析這個簡單分治法的時間複雜度。調用SQUARE-MATRIX-MULTIPLY-RECURSIVE計算兩個$n×n$矩陣乘法的運行時間用$T(n)$表示。對於$n = 1$的初始情況，我們只需計算一次標量乘法，因此$T(1) = Θ(1)$。當$n > 1$時，根據上面的僞代碼，$T(n)$包含$8$次$(n/2)×(n/2)$矩陣乘法的時間和$4$次$(n/2)×(n/2)$矩陣加法的時間，所以$T(n) = 8T(n/2) + Θ(n^2)$，這裏忽略了分解子矩陣的時間。於是，我們得到SQUARE-MATRIX-MULTIPLY-RECURSIVE的運行時間的遞時式爲
　　　　
　　求解這個遞歸式得到$T(n) = Θ(n^3)$。可以看到，這個簡單的分治法並沒有帶來漸近運行時間的提升。
　　下面介紹Strassen算法。Strassen算法同樣要將每個矩陣分解爲$4$個$(n/2)×(n/2)$子矩陣。而與簡單分治法不同，Strassen算法只需要遞歸爲$7$次，而不是$8$次。下面直接給出Strassen算法的流程。
　　(1) 將輸入矩陣$A、B$以及輸出矩陣$C$各分解爲$4$個$(n/2)×(n/2)$子矩陣。
　　(2) 創建$10$個$(n/2)×(n/2)$矩陣$S_1, S_2, …, S_{10}$，如下所示。由於需要進行$10$次$(n/2)×(n/2)$矩陣的加減法，所以這一步花費$Θ(n^2)$時間。
　　　　
　　(3) 用步驟(1)分解得到的子矩陣和步驟(2)中創建的$10$個矩陣，遞歸地計算$7$個矩陣乘積$P_1, P_2, …, P_7$，如下所示。
　　　　
　　(4) 利用矩陣$P_1, P_2, …, P_7$進行加減運算，得到輸出矩陣$C$的子矩陣$C_{11}, C_{12}, C_{21}, C_{22}$，如下所示。這一步需要進行$8$次$(n/2)×(n/2)$矩陣的加減法，所以花費時爲$Θ(n^2)$。
　　　　
　　由於Strassen算法只需要遞歸爲$7$次，因此它的運行時間的遞歸式爲
　　　　
　　求解這個遞歸式，可以得到Strassen算法的運行時間$T(n) = Θ(n^{{\rm lg}7})$。

練習

4.2-1 使用Strassen算法計算如下矩陣乘法：
　　　　
　　給出計算過程。
　　解
　　(1) 分解輸入矩陣
　　　　
　　(2) 計算矩陣$S_1, S_2, …, S_{10}$
　　　　
　　(3) 計算矩陣$P_1, P_2, …, P_7$
　　　　
　　(4) 計算輸出矩陣的$4$個子矩陣
　　　　
　　最終結果爲
　　　　
　　
4.2-2 爲Strassen算法編寫僞代碼。
　　解
　　這裏還是假設了矩陣的寬高$n$爲$2$的冪。下面給出僞代碼。
　　
　　
4.2-3 如何修改Strassen算法，使之適應矩陣規模$n$不是$2$的冪的情況？證明：算法的運行時間爲$Θ(n_{{\rm lg}7})$。
　　解
　　爲了保證算法的通用性，需要考慮矩陣的寬高$n$不爲$2$的冪的情況。分兩種情況討論。
　　(1) $n$爲偶數
　　這種情況下$n×n$矩陣可以直接分解爲$4$個$(n/2)×(n/2)$的子矩陣，因此可以直接應用Strassen算法。爲了計算矩陣乘法$C_{n×n} = A_{n×n}•B_{n×n}$，令$m = n/2$，需要將矩陣分解爲
　　　　
　　這種情況下，矩陣乘法所花費的時間$T(n) = 7T(n/2) + Θ(n^2)$。
　　(2) $n$爲奇數
　　這種情況不能直接應用Strassen算法。爲了計算矩陣乘法$C_{n×n} = A_{n×n}•B_{n×n}$，令$m = n−1$，將矩陣做如下分解
　　　　
　　如上所示，每個$n×n$矩陣被分解爲一個$(n−1)×(n−1)$矩陣、一個$(n−1)×1$矩陣、一個$1×(n−1)$矩陣和一個$1×1$矩陣。相應地，矩陣乘法$C_{n×n} = A_{n×n}•B_{n×n}$可以分解爲下面$4$個式子。
　　　　
　　上面4個式子包含了8個不同規模的矩陣乘法，下面逐個進行分析。
　　1) $A11_{m×m}•B11_{m×m}$：由於$m = n−1$是偶數，所以這個矩陣乘法可以直接應用Strassen算法。
　　這一矩陣乘法所花費的時間爲$T(n-1)=7T((n-1)/2)+Θ((n-1)^2)=7T(⌊n/2⌋)+Θ(n^2)$。
　　2) $A12_{m×1}•B21_{1×m}$：採用樸素算法，需要做$(n−1)^2$次乘法，因此運行時間爲$Θ(n^2)$。
　　3) $A11_{m×m}•B12_{m×1}$：採用樸素算法，需要做$(n−1)^2$次乘法和$(n−1)(n−2)$次加法，因此運行時間也爲$Θ(n^2)$。
　　4) $A12_{m×1}•B22_{1×1}$：採用樸素算法，需要做$(n−1)$次乘法，運行時間爲$Θ(n)$。
　　5) $A21_{1×m}•B11_{m×m}$：採用樸素算法，需要做$(n−1)^2$次乘法，以及$(n−1)(n−2)$次加法，運行時間爲$Θ(n^2)$。
　　6) $A22_{1×1}•B21_{1×m}$：採用樸素算法，需要做$(n−1)$次乘法，運行時間爲$Θ(n)$。
　　7) $A21_{1×m}•B12_{m×1}$：採用樸素算法，需要做$(n−1)$次乘法，以及$(n−2)$次加法，運行時間爲$Θ(n)$。
　　8) $A22_{1×1}•B22_{1×1}$：這僅僅是兩個元素的相乘，只花費$Θ(1)$時間。
　　根據以上分析，除去$A11_{m×m}•B11_{m×m}$之外，其他$7$個矩陣乘法加起來的運行時間爲$Θ(n^2)$。因此，當$n$爲奇數時，$n×n$矩陣乘法的運行時間爲
　　　　$T(n)=7T(⌊n/2⌋)+Θ(n^2)$
　　綜合以上兩種情況，無論$n$爲奇數還是偶數，矩陣乘法的運行時間都爲$T(n)=7T(⌊n/2⌋)+Θ(n^2)$。忽略其中的⌊ ⌋符號，這與之前分析的Strassen算法的運行時間是一樣的。
　　下面給出具備通用性的Strassen算法的僞代碼。
　　
　　
　　
4.2-4 如果可以用$k$次乘法操作（假定乘法的交換律不成立）完成兩個$3×3$矩陣相乘，那麼你可以在$o(n^{{\rm lg}7})$時間內完成$n×n$矩陣相乘，滿足這一條件的最大$k$是多少？此算法的運行時間是怎樣的？
　　解
　　仍然採用Strassen算法。我們現在分析該算法運行時間的遞歸式，不過在這裏需要以$T(3)$作爲邊界條件，遞歸式如下所示。
　　　　
　　如果我們畫出遞歸樹，該遞歸樹一共有$lg(n/3)$層。葉結點對應子問題$T(3)$。由於每層的結點數是上一層的$7$倍，因此第$i$層包含$7^i$個結點。因此，葉結點一共有$7^{{\rm lg}(n/3)} =7^{{\rm lg}n-{\rm lg}3}=7^{{\rm lg}n}/7^{{\rm lg}3} =n^{{\rm lg}7}/7^{{\rm lg}3}$個。因此所有葉結點的代價之和爲$(n^{{\rm lg}7}/7^{{\rm lg}3})•T(3)=k•(n^{{\rm lg}7}/7^{{\rm lg}3})$。
　　如果要在$o(n_{{\rm lg}7})$時間內完成$n×n$矩陣相乘，那麼必然有$k•(n^{{\rm lg}7}/7^{{\rm lg}3})<n^{{\rm lg}7}$，於是得到$k<7^{{\rm lg}3}≈21.85$。所以$k$的最大值爲$21$。
　　
4.2-5 V.Pan發現一種方法，可以用$132 464$次乘法操作完成$68×68$的矩陣相乘，發現另一種方法，可以用$143 640$次乘法操作完成$70×70$的矩陣相乘，還發現一種方法，可以用$155 424$次乘法操作完成$72×72$的矩陣相乘。當用於矩陣相乘的分治算法時，上述哪種方法會得到最佳的漸近運行時間？與Strassen算法相比，性能如何？
　　解
　　對於採用分治法的矩陣乘法算法來說，其運行時間都爲$Θ(n^d)$，其中$d$爲一個正常數。現在分析題目所給的$3$種方法，其漸近運行時間中的$d$分別爲多少。爲方便起見，假設$3$種方法的運行時間分別爲$T_1(n)=n^{d_1}，T_2(n)=n^{d_2}$和$T_3(n)=n^{d_3}$。
　　用$132 464$次乘法操作完成$68×68$的矩陣相乘，於是有
　　　　$T_1 (68)=68^{d_1}=132464$
　　得到$d_1={\rm log}_{68}132464≈2.795128$。
　　用$143 640$次乘法操作完成$70×70$的矩陣相乘，於是有
　　　　$T_2 (70)=70^{d_2}=143640$
　　得到$d_2={\rm log}_{70}143640≈2.795122$。
　　用$155 424$次乘法操作完成$72×72$的矩陣相乘，於是有
　　　　$T_3 (72)=72^{d_3}=155424$
　　得到$d_3={\rm log}_{72}155424≈2.795147$。
　　根據以上分析，第(2)種方法的漸近運行時間的指數$d_2$是最小的，所以第(2)種方法會得到最佳的漸近運行時間。
　　Strassen算法的漸近運行時間爲$Θ(nlg7)$，${\rm lg}7 ≈ 2.807355 > d_2$，因此上述第(2)種方法的性能是優於Strassen算法的。
　　
4.2-6 用Strassen算法作爲子過程來進行一個$kn×n$矩陣和一個$n×kn$矩陣相乘，最快需要花費多長時間？對兩個輸入矩陣規模互換的情況，回答相同的問題。
　　解
　　兩個矩陣$A_{kn×n}$和$B_{n×kn}$相乘，得到矩陣$C_{kn×kn}$。如果要利用Strassen算法，則需要將矩陣$A、B$和$C$按下面的方式分解
　　　　
　　矩陣$C$的任意一個子矩陣$C_{ij} = A_i • B_j$, 這是一個$n×n$矩陣乘法，採用Strassen算法，運行時間爲$Θ(n^{{\rm lg}7})$。一共有$k^2$個這樣的$n×n$矩陣乘法，所以總的運行時間爲$Θ(k^2•n^{{\rm lg}7})$。
　　如果將輸入矩陣的規模互換，即矩陣$A_{n×kn}$和$B_{kn×n}$相乘，得到矩陣$Cn×n$，那麼需要將矩陣$A$和$B$按下面的方式分解
　　　　
　　矩陣$C = A1 • B1 + A2 • B2 + … + Ak • Bk$。一共有$k$個$n×n$矩陣乘法，並且還有$(k−1)$個$n×n$矩陣加法，所以總的運行時間爲$Θ(k•n^{{\rm lg}7})$。
　　
4.2-7 設計算法，僅使用三次實數乘法即可完成複數$a+bi$和$c+di$相乘。算法需接收$a、b、c$和$d$爲輸入，分別生成實部$ac−bd$和虛部$ad+bc$。
　　解
　　借鑑Strassen算法的思想，該問題可以按以下步驟解決。
　　(1) 計算$P_1、P_2$和$P_3$
　　　　$P_1 = ad$
　　　　$P_2 = bc$
　　　　$P_3 = (a – b)(c + d) = ac – bd + ad – bc$
　　(2) 計算實部和虛部
　　　　實部：$P_3 – P_1 + P_2 = ac−bd$
　　　　虛部：$P_1 + P_2 = ad+bc$
　　該算法只需要$3$次乘法即可。
　　
　　本節代碼鏈接：
　　https://github.com/yangtzhou2012/Introduction_to_Algorithms_3rd/tree/master/Chapter04/Section_4.2