高併發解決方案——提升高併發量服務器性能解決思路

一個小型的網站,可以使用最簡單的html靜態頁面就實現了,配合一些圖片達到美化效果,所有的頁面均存放在一個目錄下,這樣的網站對系統架構、性能的要求都很簡單。隨着互聯網業務的不斷豐富,網站相關的技術經過這些年的發展,已經細分到很細的方方面面,尤其對於大型網站來說,所採用的技術更是涉及面非常廣,從硬件到軟件、編程語言、數據庫、WebServer、防火牆等各個領域都有了很高的要求,已經不是原來簡單的html靜態網站所能比擬的。

  大型網站,比如門戶網站,在面對大量用戶訪問、高併發請求方面,基本的解決方案集中在這樣幾個環節:使用高性能的服務器、高性能的數據庫、高效率的編程語言、還有高性能的Web容器。這幾個解決思路在一定程度上意味着更大的投入。

1、HTML靜態化

  其實大家都知道,效率最高、消耗最小的就是純靜態化的html頁面,所以我們儘可能使我們的網站上的頁面採用靜態頁面來實現,這個最簡單的方法其實也是最有效的方法。但是對於大量內容並且頻繁更新的網站,我們無法全部手動去挨個實現,於是出現了我們常見的信息發佈系統CMS,像我們常訪問的各個門戶站點的新聞頻道,甚至他們的其他頻道,都是通過信息發佈系統來管理和實現的,信息發佈系統可以實現最簡單的信息錄入自動生成靜態頁面,還能具備頻道管理、權限管理、自動抓取等功能,對於一個大型網站來說,擁有一套高效、可管理的CMS是必不可少的。

  除了門戶和信息發佈類型的網站,對於交互性要求很高的社區類型網站來說,儘可能的靜態化也是提高性能的必要手段,將社區內的帖子、文章進行實時的靜態化、有更新的時候再重新靜態化也是大量使用的策略,像Mop的大雜燴就是使用了這樣的策略,網易社區等也是如此。

  同時,html靜態化也是某些緩存策略使用的手段,對於系統中頻繁使用數據庫查詢但是內容更新很小的應用,可以考慮使用html靜態化來實現。比如論壇中論壇的公用設置信息,這些信息目前的主流論壇都可以進行後臺管理並且存儲在數據庫中,這些信息其實大量被前臺程序調用,但是更新頻率很小,可以考慮將這部分內容進行後臺更新的時候進行靜態化,這樣避免了大量的數據庫訪問請求。

2、圖片服務器分離

  大家知道,對於Web服務器來說,不管是Apache、IIS還是其他容器,圖片是最消耗資源的,於是我們有必要將圖片與頁面進行分離,這是基本上大型網站都會採用的策略,他們都有獨立的、甚至很多臺的圖片服務器。這樣的架構可以降低提供頁面訪問請求的服務器系統壓力,並且可以保證系統不會因爲圖片問題而崩潰。

  在應用服務器和圖片服務器上,可以進行不同的配置優化,比如apache在配置ContentType的時候可以儘量少支持、儘可能少的LoadModule,保證更高的系統消耗和執行效率。

3、數據庫集羣、庫表散列

  大型網站都有複雜的應用,這些應用必須使用數據庫,那麼在面對大量訪問的時候,數據庫的瓶頸很快就能顯現出來,這時一臺數據庫將很快無法滿足應用,於是我們需要使用數據庫集羣或者庫表散列。

  在數據庫集羣方面,很多數據庫都有自己的解決方案,Oracle、Sybase等都有很好的方案,常用的MySQL提供的Master/Slave也是類似的方案,您使用了什麼樣的DB,就參考相應的解決方案來實施即可。

  上面提到的數據庫集羣由於在架構、成本、擴張性方面都會受到所採用DB類型的限制,於是我們需要從應用程序的角度來考慮改善系統架構,庫表散列是常用並且最有效的解決方案。

  我們在應用程序中安裝業務和應用或者功能模塊將數據庫進行分離,不同的模塊對應不同的數據庫或者表,再按照一定的策略對某個頁面或者功能進行更小的數據庫散列,比如用戶表,按照用戶ID進行表散列,這樣就能夠低成本的提升系統的性能並且有很好的擴展性。

  sohu的論壇就是採用了這樣的架構,將論壇的用戶、設置、帖子等信息進行數據庫分離,然後對帖子、用戶按照板塊和ID進行散列數據庫和表,最終可以在配置文件中進行簡單的配置便能讓系統隨時增加一臺低成本的數據庫進來補充系統性能。

4、緩存

  緩存一詞搞技術的都接觸過,很多地方用到緩存。網站架構和網站開發中的緩存也是非常重要。這裏先講述最基本的兩種緩存。高級和分佈式的緩存在後面講述。

  架構方面的緩存,對Apache比較熟悉的人都能知道Apache提供了自己的緩存模塊,也可以使用外加的Squid模塊進行緩存,這兩種方式均可以有效的提高Apache的訪問響應能力。

  網站程序開發方面的緩存,Linux上提供的Memory Cache是常用的緩存接口,可以在web開發中使用,比如用Java開發的時候就可以調用MemoryCache對一些數據進行緩存和通訊共享,一些大型社區使用了這樣的架構。另外,在使用web語言開發的時候,各種語言基本都有自己的緩存模塊和方法,PHP有Pear的Cache模塊,Java就更多了,.net不是很熟悉,相信也肯定有。

5、鏡像

  鏡像是大型網站常採用的提高性能和數據安全性的方式,鏡像的技術可以解決不同網絡接入商和地域帶來的用戶訪問速度差異,比如ChinaNet和EduNet之間的差異就促使了很多網站在教育網內搭建鏡像站點,數據進行定時更新或者實時更新。在鏡像的細節技術方面,這裏不闡述太深,有很多專業的現成的解決架構和產品可選。也有廉價的通過軟件實現的思路,比如Linux上的rsync等工具。

6、負載均衡

  負載均衡將是大型網站解決高負荷訪問和大量併發請求採用的高端解決辦法。
  負載均衡技術發展了多年,有很多專業的服務提供商和產品可以選擇,我個人接觸過一些解決方法,其中有兩個架構可以給大家做參考。

(1)、硬件四層交換

  第四層交換使用第三層和第四層信息包的報頭信息,根據應用區間識別業務流,將整個區間段的業務流分配到合適的應用服務器進行處理。

  第四層交換功能就像是虛IP,指向物理服務器。它傳輸的業務服從的協議多種多樣,有HTTP、FTP、NFS、Telnet或其他協議。這些業務在物理服務器基礎上,需要複雜的載量平衡算法。在IP世界,業務類型由終端TCP或UDP端口地址來決定,在第四層交換中的應用區間則由源端和終端IP地址、TCP和UDP端口共同決定。

  在硬件四層交換產品領域,有一些知名的產品可以選擇,比如Alteon、F5等,這些產品很昂貴,但是物有所值,能夠提供非常優秀的性能和很靈活的管理能力。“Yahoo中國”當初接近2000臺服務器,只使用了三、四臺Alteon就搞定了。

(2)、軟件四層交換

  大家知道了硬件四層交換機的原理後,基於OSI模型來實現的軟件四層交換也就應運而生,這樣的解決方案實現的原理一致,不過性能稍差。但是滿足一定量的壓力還是遊刃有餘的,有人說軟件實現方式其實更靈活,處理能力完全看你配置的熟悉能力。

  軟件四層交換我們可以使用Linux上常用的LVS來解決,LVS就是Linux Virtual Server,他提供了基於心跳線heartbeat的實時災難應對解決方案,提高系統的強壯性,同時可供了靈活的虛擬VIP配置和管理功能,可以同時滿足多種應用需求,這對於分佈式的系統來說必不可少。

  一個典型的使用負載均衡的策略就是,在軟件或者硬件四層交換的基礎上搭建squid集羣,這種思路在很多大型網站包括搜索引擎上被採用,這樣的架構低成本、高性能還有很強的擴張性,隨時往架構裏面增減節點都非常容易。

  對於大型網站來說,前面提到的每個方法可能都會被同時使用到,這裏介紹得比較淺顯,具體實現過程中很多細節還需要大家慢慢熟悉和體會。有時一個很小的squid參數或者apache參數設置,對於系統性能的影響就會很大。

7、最新:CDN加速技術

什麼是CDN?

   CDN的全稱是內容分發網絡。其目的是通過在現有的Internet中增加一層新的網絡架構,將網站的內容發佈到最接近用戶的網絡“邊緣”,使用戶可以就近取得所需的內容,提高用戶訪問網站的響應速度。

  CDN有別於鏡像,因爲它比鏡像更智能,或者可以做這樣一個比喻:CDN=更智能的鏡像+緩存+流量導流。因而,CDN可以明顯提高Internet網絡中信息流動的效率。從技術上全面解決由於網絡帶寬小、用戶訪問量大、網點分佈不均等問題,提高用戶訪問網站的響應速度。

CDN的類型特點

   CDN的實現分爲三類:鏡像、高速緩存、專線。

  鏡像站點(Mirror Site),是最常見的,它讓內容直接發佈,適用於靜態和準動態的數據同步。但是購買和維護新服務器的費用較高,還必須在各個地區設置鏡像服務器,配備專業技術人員進行管理與維護。對於大型網站來說,更新所用的帶寬成本也大大提高了。

  高速緩存,成本較低,適用於靜態內容。Internet的統計表明,超過80%的用戶經常訪問的是20%的網站的內容,在這個規律下,緩存服務器可以處理大部分客戶的靜態請求,而原始的服務器只需處理約20%左右的非緩存請求和動態請求,於是大大加快了客戶請求的響應時間,並降低了原始服務器的負載。

  CDN服務一般會在全國範圍內的關鍵節點上放置緩存服務器。

  專線,讓用戶直接訪問數據源,可以實現數據的動態同步。

CDN的實例

  舉個例子來說,當某用戶訪問網站時,網站會利用全球負載均衡技術,將用戶的訪問指向到距離用戶最近的正常工作的緩存服務器上,直接響應用戶的請求。

  當用戶訪問已經使用了CDN服務的網站時,其解析過程與傳統解析方式的最大區別就在於網站的授權域名服務器不是以傳統的輪詢方式來響應本地DNS的解析請求,而是充分考慮用戶發起請求的地點和當時網絡的情況,來決定把用戶的請求定向到離用戶最近同時負載相對較輕的節點緩存服務器上。

  通過用戶定位算法和服務器健康檢測算法綜合後的數據,可以將用戶的請求就近定向到分佈在網絡“邊緣”的緩存服務器上,保證用戶的訪問能得到更及時可靠的響應。

  由於大量的用戶訪問都由分佈在網絡邊緣的CDN節點緩存服務器直接響應了,這就不僅提高了用戶的訪問質量,同時有效地降低了源服務器的負載壓力。

附:某CDN服務商的服務說明

 


採用GCDN加速方式

  採用了GCDN加速方式以後,系統會在瀏覽用戶和您的服務器之間增加一臺GCDN服務器。瀏覽用戶訪問您的服務器時,一般靜態數據,如圖片、多媒體資料等數據將直接從GCDN服務器讀取,使得從主服務器上讀取靜態數據的交換量大大減少。

  爲VIP型虛擬主機而特加的VPN高速壓縮通道,使用高速壓縮的電信<==>網通、電信<==>國際(HK)、網通<==>國際(HK)等跨網專線通道,智能多線,自動獲取最快路徑,極速的動態實時併發響應速度,實現了網站的動態腳本實時同步,對動態網站有一個更加明顯的加速效果。

  每個網絡運營商(電信、網通、鐵通、教育網)均有您服務器的GCDN服務器,無論瀏覽用戶是來自何處,GCDN都能讓您的服務器展現最快的速度!另外,我們將對您的數據進行實時備份,讓您的數據更安全!





電商的秒殺和搶購,對我們來說,都不是一個陌生的東西。然而,從技術的角度來說,這對於Web系統是一個巨大的考驗。當一個Web系統,在一秒鐘內收到數以萬計甚至更多請求時,系統的優化和穩定至關重要。這次我們會關注秒殺和搶購的技術實現和優化,同時,從技術層面揭開,爲什麼我們總是不容易搶到火車票的原因? 

一、大規模併發帶來的挑戰 

在過去的工作中,我曾經面對過5w每秒的高併發秒殺功能,在這個過程中,整個Web系統遇到了很多的問題和挑戰。如果Web系統不做針對性的優化,會輕而易舉地陷入到異常狀態。我們現在一起來討論下,優化的思路和方法哈。 

1. 請求接口的合理設計

一個秒殺或者搶購頁面,通常分爲2個部分,一個是靜態的HTML等內容,另一個就是參與秒殺的Web後臺請求接口。

通常靜態HTML等內容,是通過CDN的部署,一般壓力不大,核心瓶頸實際上在後臺請求接口上。這個後端接口,必須能夠支持高併發請求,同時,非常重要的一點,必須儘可能“快”,在最短的時間裏返回用戶的請求結果。爲了實現儘可能快這一點,接口的後端存儲使用內存級別的操作會更好一點。仍然直接面向MySQL之類的存儲是不合適的,如果有這種複雜業務的需求,都建議採用異步寫入。

 

當然,也有一些秒殺和搶購採用“滯後反饋”,就是說秒殺當下不知道結果,一段時間後纔可以從頁面中看到用戶是否秒殺成功。但是,這種屬於“偷懶”行爲,同時給用戶的體驗也不好,容易被用戶認爲是“暗箱操作”。

2. 高併發的挑戰:一定要“快”

我們通常衡量一個Web系統的吞吐率的指標是QPS(Query Per Second,每秒處理請求數),解決每秒數萬次的高併發場景,這個指標非常關鍵。舉個例子,我們假設處理一個業務請求平均響應時間爲100ms,同時,系統內有20臺Apache的Web服務器,配置MaxClients爲500個(表示Apache的最大連接數目)。

那麼,我們的Web系統的理論峯值QPS爲(理想化的計算方式):

20*500/0.1 = 100000 (10萬QPS)

咦?我們的系統似乎很強大,1秒鐘可以處理完10萬的請求,5w/s的秒殺似乎是“紙老虎”哈。實際情況,當然沒有這麼理想。在高併發的實際場景下,機器都處於高負載的狀態,在這個時候平均響應時間會被大大增加。

就Web服務器而言,Apache打開了越多的連接進程,CPU需要處理的上下文切換也越多,額外增加了CPU的消耗,然後就直接導致平均響應時間增加。因此上述的MaxClient數目,要根據CPU、內存等硬件因素綜合考慮,絕對不是越多越好。可以通過Apache自帶的abench來測試一下,取一個合適的值。然後,我們選擇內存操作級別的存儲的Redis,在高併發的狀態下,存儲的響應時間至關重要。網絡帶寬雖然也是一個因素,不過,這種請求數據包一般比較小,一般很少成爲請求的瓶頸。負載均衡成爲系統瓶頸的情況比較少,在這裏不做討論哈。

那麼問題來了,假設我們的系統,在5w/s的高併發狀態下,平均響應時間從100ms變爲250ms(實際情況,甚至更多):

20*500/0.25 = 40000 (4萬QPS)

於是,我們的系統剩下了4w的QPS,面對5w每秒的請求,中間相差了1w。

然後,這纔是真正的惡夢開始。舉個例子,高速路口,1秒鐘來5部車,每秒通過5部車,高速路口運作正常。突然,這個路口1秒鐘只能通過4部車,車流量仍然依舊,結果必定出現大塞車。(5條車道忽然變成4條車道的感覺)

同理,某一個秒內,20*500個可用連接進程都在滿負荷工作中,卻仍然有1萬個新來請求,沒有連接進程可用,系統陷入到異常狀態也是預期之內。

 

其實在正常的非高併發的業務場景中,也有類似的情況出現,某個業務請求接口出現問題,響應時間極慢,將整個Web請求響應時間拉得很長,逐漸將Web服務器的可用連接數佔滿,其他正常的業務請求,無連接進程可用。

更可怕的問題是,是用戶的行爲特點,系統越是不可用,用戶的點擊越頻繁,惡性循環最終導致“雪崩”(其中一臺Web機器掛了,導致流量分散到其他正常工作的機器上,再導致正常的機器也掛,然後惡性循環),將整個Web系統拖垮。

3. 重啓與過載保護

如果系統發生“雪崩”,貿然重啓服務,是無法解決問題的。最常見的現象是,啓動起來後,立刻掛掉。這個時候,最好在入口層將流量拒絕,然後再將重啓。如果是redis/memcache這種服務也掛了,重啓的時候需要注意“預熱”,並且很可能需要比較長的時間。

秒殺和搶購的場景,流量往往是超乎我們系統的準備和想象的。這個時候,過載保護是必要的。如果檢測到系統滿負載狀態,拒絕請求也是一種保護措施。在前端設置過濾是最簡單的方式,但是,這種做法是被用戶“千夫所指”的行爲。更合適一點的是,將過載保護設置在CGI入口層,快速將客戶的直接請求返回。

二、作弊的手段:進攻與防守

秒殺和搶購收到了“海量”的請求,實際上裏面的水分是很大的。不少用戶,爲了“搶“到商品,會使用“刷票工具”等類型的輔助工具,幫助他們發送儘可能多的請求到服務器。還有一部分高級用戶,製作強大的自動請求腳本。這種做法的理由也很簡單,就是在參與秒殺和搶購的請求中,自己的請求數目佔比越多,成功的概率越高。

這些都是屬於“作弊的手段”,不過,有“進攻”就有“防守”,這是一場沒有硝煙的戰鬥哈。

1. 同一個賬號,一次性發出多個請求

部分用戶通過瀏覽器的插件或者其他工具,在秒殺開始的時間裏,以自己的賬號,一次發送上百甚至更多的請求。實際上,這樣的用戶破壞了秒殺和搶購的公平性。

這種請求在某些沒有做數據安全處理的系統裏,也可能造成另外一種破壞,導致某些判斷條件被繞過。例如一個簡單的領取邏輯,先判斷用戶是否有參與記錄,如果沒有則領取成功,最後寫入到參與記錄中。這是個非常簡單的邏輯,但是,在高併發的場景下,存在深深的漏洞。多個併發請求通過負載均衡服務器,分配到內網的多臺Web服務器,它們首先向存儲發送查詢請求,然後,在某個請求成功寫入參與記錄的時間差內,其他的請求獲查詢到的結果都是“沒有參與記錄”。這裏,就存在邏輯判斷被繞過的風險。

 


應對方案:

在程序入口處,一個賬號只允許接受1個請求,其他請求過濾。不僅解決了同一個賬號,發送N個請求的問題,還保證了後續的邏輯流程的安全。實現方案,可以通過Redis這種內存緩存服務,寫入一個標誌位(只允許1個請求寫成功,結合watch的樂觀鎖的特性),成功寫入的則可以繼續參加。

 

或者,自己實現一個服務,將同一個賬號的請求放入一個隊列中,處理完一個,再處理下一個。

2. 多個賬號,一次性發送多個請求

很多公司的賬號註冊功能,在發展早期幾乎是沒有限制的,很容易就可以註冊很多個賬號。因此,也導致了出現了一些特殊的工作室,通過編寫自動註冊腳本,積累了一大批“殭屍賬號”,數量龐大,幾萬甚至幾十萬的賬號不等,專門做各種刷的行爲(這就是微博中的“殭屍粉“的來源)。舉個例子,例如微博中有轉發抽獎的活動,如果我們使用幾萬個“殭屍號”去混進去轉發,這樣就可以大大提升我們中獎的概率。

這種賬號,使用在秒殺和搶購裏,也是同一個道理。例如,iPhone官網的搶購,火車票黃牛黨。

 

應對方案:

這種場景,可以通過檢測指定機器IP請求頻率就可以解決,如果發現某個IP請求頻率很高,可以給它彈出一個驗證碼或者直接禁止它的請求:

  1. 彈出驗證碼,最核心的追求,就是分辨出真實用戶。因此,大家可能經常發現,網站彈出的驗證碼,有些是“鬼神亂舞”的樣子,有時讓我們根本無法看清。他們這樣做的原因,其實也是爲了讓驗證碼的圖片不被輕易識別,因爲強大的“自動腳本”可以通過圖片識別裏面的字符,然後讓腳本自動填寫驗證碼。實際上,有一些非常創新的驗證碼,效果會比較好,例如給你一個簡單問題讓你回答,或者讓你完成某些簡單操作(例如百度貼吧的驗證碼)。
  2. 直接禁止IP,實際上是有些粗暴的,因爲有些真實用戶的網絡場景恰好是同一出口IP的,可能會有“誤傷“。但是這一個做法簡單高效,根據實際場景使用可以獲得很好的效果。

3. 多個賬號,不同IP發送不同請求

所謂道高一尺,魔高一丈。有進攻,就會有防守,永不休止。這些“工作室”,發現你對單機IP請求頻率有控制之後,他們也針對這種場景,想出了他們的“新進攻方案”,就是不斷改變IP。

 

有同學會好奇,這些隨機IP服務怎麼來的。有一些是某些機構自己佔據一批獨立IP,然後做成一個隨機代理IP的服務,有償提供給這些“工作室”使用。還有一些更爲黑暗一點的,就是通過木馬黑掉普通用戶的電腦,這個木馬也不破壞用戶電腦的正常運作,只做一件事情,就是轉發IP包,普通用戶的電腦被變成了IP代理出口。通過這種做法,黑客就拿到了大量的獨立IP,然後搭建爲隨機IP服務,就是爲了掙錢。

應對方案:

說實話,這種場景下的請求,和真實用戶的行爲,已經基本相同了,想做分辨很困難。再做進一步的限制很容易“誤傷“真實用戶,這個時候,通常只能通過設置業務門檻高來限制這種請求了,或者通過賬號行爲的”數據挖掘“來提前清理掉它們。

殭屍賬號也還是有一些共同特徵的,例如賬號很可能屬於同一個號碼段甚至是連號的,活躍度不高,等級低,資料不全等等。根據這些特點,適當設置參與門檻,例如限制參與秒殺的賬號等級。通過這些業務手段,也是可以過濾掉一些殭屍號。

4. 火車票的搶購

看到這裏,同學們是否明白你爲什麼搶不到火車票?如果你只是老老實實地去搶票,真的很難。通過多賬號的方式,火車票的黃牛將很多車票的名額佔據,部分強大的黃牛,在處理驗證碼方面,更是“技高一籌“。

高級的黃牛刷票時,在識別驗證碼的時候使用真實的人,中間搭建一個展示驗證碼圖片的中轉軟件服務,真人瀏覽圖片並填寫下真實驗證碼,返回給中轉軟件。對於這種方式,驗證碼的保護限制作用被廢除了,目前也沒有很好的解決方案。

 

因爲火車票是根據身份證實名制的,這裏還有一個火車票的轉讓操作方式。大致的操作方式,是先用買家的身份證開啓一個搶票工具,持續發送請求,黃牛賬號選擇退票,然後黃牛買家成功通過自己的身份證購票成功。當一列車廂沒有票了的時候,是沒有很多人盯着看的,況且黃牛們的搶票工具也很強大,即使讓我們看見有退票,我們也不一定能搶得過他們哈。 

 

最終,黃牛順利將火車票轉移到買家的身份證下。

解決方案:

並沒有很好的解決方案,唯一可以動心思的也許是對賬號數據進行“數據挖掘”,這些黃牛賬號也是有一些共同特徵的,例如經常搶票和退票,節假日異常活躍等等。將它們分析出來,再做進一步處理和甄別。

三、高併發下的數據安全

我們知道在多線程寫入同一個文件的時候,會存現“線程安全”的問題(多個線程同時運行同一段代碼,如果每次運行結果和單線程運行的結果是一樣的,結果和預期相同,就是線程安全的)。如果是MySQL數據庫,可以使用它自帶的鎖機制很好的解決問題,但是,在大規模併發的場景中,是不推薦使用MySQL的。秒殺和搶購的場景中,還有另外一個問題,就是“超發”,如果在這方面控制不慎,會產生髮送過多的情況。我們也曾經聽說過,某些電商搞搶購活動,買家成功拍下後,商家卻不承認訂單有效,拒絕發貨。這裏的問題,也許並不一定是商家奸詐,而是系統技術層面存在超發風險導致的。

1. 超發的原因

假設某個搶購場景中,我們一共只有100個商品,在最後一刻,我們已經消耗了99個商品,僅剩最後一個。這個時候,系統發來多個併發請求,這批請求讀取到的商品餘量都是99個,然後都通過了這一個餘量判斷,最終導致超發。(同文章前面說的場景)

 

在上面的這個圖中,就導致了併發用戶B也“搶購成功”,多讓一個人獲得了商品。這種場景,在高併發的情況下非常容易出現。

2. 悲觀鎖思路

解決線程安全的思路很多,可以從“悲觀鎖”的方向開始討論。

悲觀鎖,也就是在修改數據的時候,採用鎖定狀態,排斥外部請求的修改。遇到加鎖的狀態,就必須等待。

 

雖然上述的方案的確解決了線程安全的問題,但是,別忘記,我們的場景是“高併發”。也就是說,會很多這樣的修改請求,每個請求都需要等待“鎖”,某些線程可能永遠都沒有機會搶到這個“鎖”,這種請求就會死在那裏。同時,這種請求會很多,瞬間增大系統的平均響應時間,結果是可用連接數被耗盡,系統陷入異常。

3. FIFO隊列思路

那好,那麼我們稍微修改一下上面的場景,我們直接將請求放入隊列中的,採用FIFO(First Input First Output,先進先出),這樣的話,我們就不會導致某些請求永遠獲取不到鎖。看到這裏,是不是有點強行將多線程變成單線程的感覺哈。

 

然後,我們現在解決了鎖的問題,全部請求採用“先進先出”的隊列方式來處理。那麼新的問題來了,高併發的場景下,因爲請求很多,很可能一瞬間將隊列內存“撐爆”,然後系統又陷入到了異常狀態。或者設計一個極大的內存隊列,也是一種方案,但是,系統處理完一個隊列內請求的速度根本無法和瘋狂涌入隊列中的數目相比。也就是說,隊列內的請求會越積累越多,最終Web系統平均響應時候還是會大幅下降,系統還是陷入異常。

4. 樂觀鎖思路

這個時候,我們就可以討論一下“樂觀鎖”的思路了。樂觀鎖,是相對於“悲觀鎖”採用更爲寬鬆的加鎖機制,大都是採用帶版本號(Version)更新。實現就是,這個數據所有請求都有資格去修改,但會獲得一個該數據的版本號,只有版本號符合的才能更新成功,其他的返回搶購失敗。這樣的話,我們就不需要考慮隊列的問題,不過,它會增大CPU的計算開銷。但是,綜合來說,這是一個比較好的解決方案。

 

有很多軟件和服務都“樂觀鎖”功能的支持,例如Redis中的watch就是其中之一。通過這個實現,我們保證了數據的安全。

四、小結

互聯網正在高速發展,使用互聯網服務的用戶越多,高併發的場景也變得越來越多。電商秒殺和搶購,是兩個比較典型的互聯網高併發場景。雖然我們解決問題的具體技術方案可能千差萬別,但是遇到的挑戰卻是相似的,因此解決問題的思路也異曲同工。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章