代碼優化－之－優化條件分支
[email protected] 2007.10.05
tag:代碼優化,條件分支,飽和,MMX,CMOV,掩碼
摘要: 條件分支是編程中經常使用的基本操作,然而在某些時候它確可能帶來嚴重的性能問題.
當前的CPU都能對條件分支做預測(動用了龐大的晶體管資源),如果分支預測正確,那麼條件
指令一般只需要花費一個CPU週期,而如果預測錯誤,那麼將可能花費幾十個CPU週期!
本文將討論條件分支的一些有效優化方法.
正文：
文章爲收集加經驗編輯而成的文章,對優化條件分支做了較全面的闡述.
文章假定的CPU爲x86,示例代碼爲C/C++.
A.什麼是分支?
分支是編程語言中的常見結構；分支可以分爲條件分支和非條件分支；
條件分支舉例:
條件判斷: if (a>255) a=255; else if (a<0) a=0;
循環: for (i=0;i<1000;++i) { ...; }
while(!bOk) { bOk=...; }
...
對應彙編指令的jnz,jg等等
非條件分支舉例:
函數調用(call)，函數返回(return/ret)，軟件中斷(int 3)，直接跳轉(jmp),...
B.CPU分支預測錯誤的懲罰由來
爲了加快CPU的處理頻率，現代CPU都設計了多級流水線，有的甚至有20級以上；
當CPU遇到跳轉指令的時候，會做一個預測，把預測的分支代碼載入流水線，當
發現預測錯誤的時候，需要清空流水線，重新載入正確的分支到流水線；那麼預
測錯誤的代價週期數至少應該和流水線長度相當；然而考慮到各級的緩存失效、指
令解碼等等，實際損失的週期數有可能是流水線長度的幾倍!
對於非條件分支，一般來說CPU都能得到相當高的預測準確率；我們主要來討論
一下條件分支的預測；
(有人可能會說，當CPU遇到條件分支時不做預測不就沒有預測錯誤的懲罰了嗎?
這種流水線空着的懲罰實質和每次都預測錯誤然後清空流水線的代價相當，退一步
說就算每次隨機選擇一個分支來執行也有50%的收益)
C:需要優化的條件分支
當前的CPU對各種簡單的條件分支模式都能做出很的預測，比如奇偶模式：
for (int i=0;i<1000;++i)
{
if (a%2==0) do0();
else do1();
}
而對於隨機的分支模式，再好的預測器也不可能做出好的預測；
我們要優化條件分支，這些分支代碼應該滿足：該分支處於時間熱點上，並且
分支預測錯誤率較高；這樣我們才能得到優化的收益；
(intel的VTune工具可以採樣分支預測錯誤率)
D.把條件分支移動到熱點外
比如前面的那個奇偶循環模式,假設CPU不能正確預測,那麼可以嘗試改寫爲兩個
for循環,一個處理偶數,一個處理奇數;
一些圖像處理算法裏(比如模板運算/卷積運算/形態學運算等),經常需要判斷邊
界像素點,進行特殊處理;可以考略的優化方案是把邊界區域和內部區域分開處理;
或者條件允許的話,可以擴大原圖像的邊界,形成"哨兵"數據,這樣訪問像素的時候
就不用考慮越界的問題了;
E.合併多個條件來減少條件分支
比如: if ( (a0==0) && (a1==0) && (a2==0) ) ...
編譯器將生成3個條件跳轉指令,而且使分支可預測性大大降低;
可以改寫爲: if ( (a0|a1|a2)==0 ) ...
從而同時改進代碼和分支預測率;
比如:if ( (b0>=64) || (b1>=64)) ... //b0,b1>=0
改寫爲: if ( (b0|b1)>=64 ) ...
(請嘗試證明其等價性)
F.將出現機率高的分支優先處理,從而提高預測準確率
G.優化第一次執行的條件分支
當CPU第一次執行到一個條件分支的時候,默認的預測分支規則是不跳轉的那
個分支(也就是緊接着條件跳轉指令之後的那些指令);
(下面的內容主要討論完全替換掉分支的一些方法; 移除分支意味着代碼的性
能可以不受輸入數據的影響,並可能能更好的使用SIMD類指令)
H.使用條件狀態值生成掩碼來移除條件分支
比如: if (color<0) color=0;
改寫爲: color &=-(color>=0);//求負是爲了生成掩碼,也可以減1來生成掩碼
這裏的思路是利用比較來產生0或1值,然後利用生成的值參與運算從而移除了分支;
比如: if (color>255) color=255;
改寫爲: color = (color | -(color>255) ) & 0xFF;
比如: if (a>=b) return a; else return b;
改寫爲: return a + ( (b-a) & -(b>a) );
(警告:這裏利用了C/C++中比較的結果是0或1,在其他語言或編譯器中可能定義不同)
I.使用帶符號的移位生成掩碼來移除條件分支
(建議使用該方案替代上面的條件狀態值方案)
比如: if (color<0) color=0; //color爲long類型
改寫爲: color &=~(color>>31); //帶符號移位從而生成需要的掩碼
比如: if (color>255) color=255;
改寫爲: color = (color | ((255-color)>>31) ) & 0xFF;
比如: if (a>=b) return a; else return b;
改寫爲: return a + ( (b-a) & -(b>a) );
移除分支的一個更通用的思路: 針對不同類的數據生成不同的掩碼數據,然後
讓原數據和掩碼參與運算得到想要的結果,從而移除分支;
J: 查表法移除分支
比如: if (color<0) color=0;
else if (color>255) color=255; //假設color屬於[-256..512]
改寫爲: color=ColorTable[color];
其中ColorTable的建立:
_ColorTable[512+256+1]; ColorTable=&_ColorTable[256];
for (i=-256;i<=512;++i)
{
if (i<0) ColorTable[i]=0;
else if (i>255) ColorTable[i]=255;
else ColorTable[i]=i;
}
比如: if (score>=90) //score屬於[0..100]
return 'A';
else if (score>=75)
return 'B';
else if (score>=60)
return 'C';
else
return 'D';
改寫爲: return scTable[score];
其中scTable應該預先存的值就不用再寫了吧:)
K:使用CMOV條件傳送指令來移除條件分支
(爲了避免分支預測錯誤造成的性能損失,現代的CPU一般都提供了很多能夠避免
分支的指令,比如條件傳送/掩碼生成/最值等指令,請查閱指令說明和支持的CPU)
CMOV條件傳送指令是很多條具體的指令,它們根據條件寄存器的值來決定是否賦值.
比如: if (x<0) x=-x;
用CMOV改寫爲(彙編):
mov edx, eax //假設x的值在eax寄存器,該指令使edx=eax
neg eax //eax=-eax //該指令的結果將設置條件寄存器的狀態
cmovs eax,edx //如果狀態爲負,將edx的值傳遞給eax
CMOV指令列表:
CMOVA/CMOVNBE CMOVAE/CMOVNB/CMOVNC CMOVB/CMOVC/CMOVNAE
CMOVBE/CMOVNA CMOVE/CMOVZ CMOVG/CMOVNLE CMOVGE/CMOVNL
CMOVL/CMOVNGE CMOVLE/CMOVNG CMOVNE/CMOVNZ CMOVNO
CMOVNP/CMOVPO CMOVNS CMOVO CMOVP/CMOVPE CMOVS
x87浮點CMOV指令列表:
FCMOVB FCMOVBE FCMOVE FCMOVNB FCMOVNBE FCMOVNE
FCMOVNU FCMOVU
L:使用MMX/SSE2中的飽和指令
對於顏色的飽和處理,比如:
if (color<0) color=0;
else if (color>255) color=255;
x86CPU從奔騰MMX開始,提供了MMX指令集(後來的SSE2也有類似指令);
增加了對飽和處理的指令支持,在圖像處理和聲音處理中得到了廣泛應用;
(我的blog的很多文章有使用MMX/SSE指令的例子)
(MMX/SSE之類的SIMD指令還能夠同時並行執行多路數據,從而加快執行速度)
M:使用CMP掩碼生成指令來移除條件分支
比如:
//r = (x < y) ? a : b
// In: MM0 = a, MM1 = b, MM2 = x, MM3 = y
// Out: MM0 = r
pcmpgtd mm3, mm2 //比較y>x,生成掩碼0xFFFFFFFF 或者 0
pand mm0, mm3 //a 或者 0
pandn mm3, mm1 //0 或者 b
por mm0, mm3
CMP指令包括:
CMPPS,CMPSS,CMPPD,CMPS,CMPSB,CMPSW,CMPSD
PCMPEQB, PCMPEQD, PCMPEQW, PCMPGTB, PCMPGTD, PCMPGTW
CMPXCHG,CMPXCHG8B 等
N:使用MIN/MAX指令來移除條件分支
MAXPS,MAXPD,MAXSS,MAXSD,MINPS,MINPD,MINSS,MINSD
PMAXSW, PMAXUB, PMINSW, PMINUB等