CPU緩存和內存屏障

CPU性能優化手段-緩存

爲了提高程序運行的性能,現代CPU在很多方面對程序進行了優化。
例如:CPU高速緩存。儘可能地避免處理器訪問主內存的時間開銷,處理器大多會利用緩存(cache)以提高性能。

CPU緩存和內存屏障

多級緩存

L1 Cache(一級緩存)是CPU第一層高速緩存,分爲數據緩存和指令緩存。一般服務器CPU的L1緩存的容量通常在32-4096KB。

L2由於L1級高速緩存容量的限制,爲了再次提高CPU的運算速度,在CPU外部放置-高速存儲器,即二級緩存。

L3現在的都是內置的。而它的實際作用即是,L3緩存的應用可以進一步降低內存延遲,同時提升大數據量計算時處理器的性能。具有較大L3緩存的處理器提供更有效的文件系統緩存行爲及較短消息和處理器隊列長度。一般是多核共享一個L3緩存!

CPU在讀取數據時,先在L1中尋找,再從L2尋找,再從L3尋找,然後是內存,再後是外存儲器。

緩存同步協議

多CPU讀取同樣的數據進行緩存,進行不同運算之後,最終寫入主內存以哪個CPU爲準?

在這種高速緩存回寫的場景下,有一個緩存一致性協議多數CPU廠商對它進行了實現。

MESI協議,它規定每條緩存有個狀態位,同時定義了下面四個狀態:

  • 修改態(Modified)-此cache行已被修改過(髒行),內容已不同於主存,爲此cache專有;
  • 專有態(Exclusive)-此cache行內容同於主存,但不出現於其它cache中;
  • 共享態(Shared)-此cache行內容同於主存,但也出現於其它cache中;
  • 無效態(Invalid)-此cache行內容無效(空行)。

多處理器,單個CPU對緩存中數據進行了改動,需要通知給其它CPU。也就是意味着,CPU處理要控制自己的讀寫操作,還要監聽其他CPU發出的通知,從而保證最終一致。

CPU性能優化手段-運行時指令重排

CPU緩存和內存屏障

指令重排的場景:當CPU寫緩存時發現緩存區塊正被其他CPU佔用,爲了提高CPU處理性能,可能將後面的讀緩存命令優先執行。

並非隨便重排,需要遵守as-if-serial語義

as-if-serial語義的意思指:不管怎麼重排序(編譯器和處理器爲了提高並行度),(單線程)程序的執行結果不能被改變。編譯器,runtime和處理器都必須遵守as-if-serial語義。也就是說:編譯器和處理器不會對存在數據依賴關係的操作做重排序。

兩個問題

1、CPU高速緩存下有一個問題:

緩存中數據與主內存的數據並不是實時同步的,各CPU(或CPU核心)間緩存的數據也不是實時同步。

在同一個時間點,各CPU所看到同一內存地址的數據的值可能是不一致的。

2、CPU執行指令重排序優化下有一個問題:

雖然遵守了as-if-serial語義,單僅在單CPU自己執行的情況下能保證結果正確。多核多線程中,指令邏輯無法分辨因果關聯,可能出現亂序執行,導致程序運行結果錯誤。

內存屏障

處理器提供了兩個內存屏障指令(Memory Barrier)用於解決上述兩個問題:

寫內存屏障(Store Memory Barrier):在指令後插入Store Barrier,能讓寫入緩存中的最新數據更新寫入主內存,讓其他線程可見。強制寫入主內存,這種顯示調用,CPU就不會因爲性能考慮而去對指令重排。

讀內存屏障(Load Memory Barrier):在指令前插入Load Barrier,可以讓高速緩存中的數據失效,強制從主內存加載數據。強制讀取主內存內容,讓CPU緩存與主內存保持一致,避免了緩存導致的一致性問題。

CPU緩存和內存屏障

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章