=============大型網站架構的優化==========================
一個小型的網站，比如個人網站，可以使用最簡單的html靜態頁面就實現了，配合一些圖片達到美化效果，所有的頁面均存放在一個目錄下，這樣的網站對系統架構、性能的要求都很簡單，隨着互聯網業務的不斷豐富，網站相關的技術經過這些年的發展，已經細分到很細的方方面面，尤其對於大型網站來說，所採用的技術更是涉及面非常廣，從硬件到軟件、編程語言、數據庫、WebServer、防火牆等各個領域都有了很高的要求，已經不是原來簡單的html靜態網站所能比擬的。
大型網站，比如門戶網站。在面對大量用戶訪問、高併發請求方面，基本的解決方案集中在這樣幾個環節：使用高性能的服務器、高性能的數據庫、高效率的編程語言、還有高性能的Web容器。但是除了這幾個方面，還沒法根本解決大型網站面臨的高負載和高併發問題。
上面提供的幾個解決思路在一定程度上也意味着更大的投入，並且這樣的解決思路具備瓶頸，沒有很好的擴展性，下面我從低成本、高性能和高擴張性的角度來說說我的一些經驗。
1、HTML靜態化
其實大家都知道，效率最高、消耗最小的就是純靜態化的html頁面，所以我們儘可能使我們的網站上的頁面採用靜態頁面來實現，這個最簡單的方法其實也是最有效的方法。但是對於大量內容並且頻繁更新的網站，我們無法全部手動去挨個實現，於是出現了我們常見的信息發佈系統CMS，像我們常訪問的各個門戶站點的新聞頻道，甚至他們的其他頻道，都是通過信息發佈系統來管理和實現的，信息發佈系統可以實現最簡單的信息錄入自動生成靜態頁面，還能具備頻道管理、權限管理、自動抓取等功能，對於一個大型網站來說，擁有一套高效、可管理的CMS是必不可少的。
除了門戶和信息發佈類型的網站，對於交互性要求很高的社區類型網站來說，儘可能的靜態化也是提高性能的必要手段，將社區內的帖子、文章進行實時的靜態化，有更新的時候再重新靜態化也是大量使用的策略，像Mop的大雜燴就是使用了這樣的策略，網易社區等也是如此。
同時，html靜態化也是某些緩存策略使用的手段，對於系統中頻繁使用數據庫查詢但是內容更新很小的應用，可以考慮使用html靜態化來實現，比如論壇中論壇的公用設置信息，這些信息目前的主流論壇都可以進行後臺管理並且存儲再數據庫中，這些信息其實大量被前臺程序調用，但是更新頻率很小，可以考慮將這部分內容進行後臺更新的時候進行靜態化，這樣避免了大量的數據庫訪問請求。
2、圖片服務器分離
大家知道，對於Web服務器來說，不管是Apache、IIS還是其他容器，圖片是最消耗資源的，於是我們有必要將圖片與頁面進行分離，這是基本上大型網站都會採用的策略，他們都有獨立的圖片服務器，甚至很多臺圖片服務器。這樣的架構可以降低提供頁面訪問請求的服務器系統壓力，並且可以保證系統不會因爲圖片問題而崩潰，在應用服務器和圖片服務器上，可以進行不同的配置優化，比如apache在配置ContentType的時候可以儘量少支持，儘可能少的LoadModule，保證更高的系統消耗和執行效率。
3、數據庫集羣和庫表散列
大型網站都有複雜的應用，這些應用必須使用數據庫，那麼在面對大量訪問的時候，數據庫的瓶頸很快就能顯現出來，這時一臺數據庫將很快無法滿足應用，於是我們需要使用數據庫集羣或者庫表散列。
在數據庫集羣方面，很多數據庫都有自己的解決方案，Oracle、Sybase等都有很好的方案，常用的MySQL提供的Master/Slave也是類似的方案，您使用了什麼樣的DB，就參考相應的解決方案來實施即可。
上面提到的數據庫集羣由於在架構、成本、擴張性方面都會受到所採用DB類型的限制，於是我們需要從應用程序的角度來考慮改善系統架構，庫表散列是常用並且最有效的解決方案。我們在應用程序中安裝業務和應用或者功能模塊將數據庫進行分離，不同的模塊對應不同的數據庫或者表，再按照一定的策略對某個頁面或者功能進行更小的數據庫散列，比如用戶表，按照用戶ID進行表散列，這樣就能夠低成本的提升系統的性能並且有很好的擴展性。sohu的論壇就是採用了這樣的架構，將論壇的用戶、設置、帖子等信息進行數據庫分離，然後對帖子、用戶按照板塊和ID進行散列數據庫和表，最終可以在配置文件中進行簡單的配置便能讓系統隨時增加一臺低成本的數據庫進來補充系統性能。
4、緩存
緩存一詞搞技術的都接觸過，很多地方用到緩存。網站架構和網站開發中的緩存也是非常重要。這裏先講述最基本的兩種緩存。高級和分佈式的緩存在後面講述。
架構方面的緩存，對Apache比較熟悉的人都能知道Apache提供了自己的緩存模塊，也可以使用外加的Squid模塊進行緩存，這兩種方式均可以有效的提高Apache的訪問響應能力。
網站程序開發方面的緩存，Linux上提供的Memory Cache是常用的緩存接口，可以在web開發中使用，比如用Java開發的時候就可以調用MemoryCache對一些數據進行緩存和通訊共享，一些大型社區使用了這樣的架構。另外，在使用web語言開發的時候，各種語言基本都有自己的緩存模塊和方法，PHP有Pear的Cache模塊，Java就更多了，.net不是很熟悉，相信也肯定有。
5、鏡像
鏡像是大型網站常採用的提高性能和數據安全性的方式，鏡像的技術可以解決不同網絡接入商和地域帶來的用戶訪問速度差異，比如ChinaNet和EduNet之間的差異就促使了很多網站在教育網內搭建鏡像站點，數據進行定時更新或者實時更新。在鏡像的細節技術方面，這裏不闡述太深，有很多專業的現成的解決架構和產品可選。也有廉價的通過軟件實現的思路，比如Linux上的rsync等工具。
6、負載均衡
負載均衡將是大型網站解決高負荷訪問和大量併發請求採用的終極解決辦法。
負載均衡技術發展了多年，有很多專業的服務提供商和產品可以選擇，我個人接觸過一些解決方法，其中有兩個架構可以給大家做參考。
硬件四層交換
第四層交換使用第三層和第四層信息包的報頭信息，根據應用區間識別業務流，將整個區間段的業務流分配到合適的應用服務器進行處理。 第四層交換功能就象是虛IP，指向物理服務器。它傳輸的業務服從的協議多種多樣，有HTTP、FTP、NFS、Telnet或其他協議。這些業務在物理服務器基礎上，需要複雜的載量平衡算法。在IP世界，業務類型由終端TCP或UDP端口地址來決定，在第四層交換中的應用區間則由源端和終端IP地址、TCP和UDP端口共同決定。
在硬件四層交換產品領域，有一些知名的產品可以選擇，比如Alteon、F5等，這些產品很昂貴，但是物有所值，能夠提供非常優秀的性能和很靈活的管理能力。Yahoo中國當初接近2000臺服務器使用了三四臺Alteon就搞定了。
軟件四層交換
大家知道了硬件四層交換機的原理後，基於OSI模型來實現的軟件四層交換也就應運而生，這樣的解決方案實現的原理一致，不過性能稍差。但是滿足一定量的壓力還是遊刃有餘的，有人說軟件實現方式其實更靈活，處理能力完全看你配置的熟悉能力。
軟件四層交換我們可以使用Linux上常用的LVS來解決，LVS就是Linux Virtual Server，他提供了基於心跳線heartbeat的實時災難應對解決方案，提高系統的魯棒性，同時可供了靈活的虛擬VIP配置和管理功能，可以同時滿足多種應用需求，這對於分佈式的系統來說必不可少。
一個典型的使用負載均衡的策略就是，在軟件或者硬件四層交換的基礎上搭建squid集羣，這種思路在很多大型網站包括搜索引擎上被採用，這樣的架構低成本、高性能還有很強的擴張性，隨時往架構裏面增減節點都非常容易。這樣的架構我準備空了專門詳細整理一下和大家探討。
對於大型網站來說，前面提到的每個方法可能都會被同時使用到，我這裏介紹得比較淺顯，具體實現過程中很多細節還需要大家慢慢熟悉和體會，有時一個很小的squid參數或者apache參數設置，對於系統性能的影響就會很大，希望大家一起討論，達到拋磚引玉之效。
=============大型網站架構設計的體系演變！==========================
之前也有一些介紹大型網站架構演變的文章，例如LiveJournal的、ebay的，都是非常值得參考的，不過感覺他們講的更多的是每次演變的結果，而沒有很詳細的講爲什麼需要做這樣的演變，再加上近來感覺有不少同學都很難明白爲什麼一個網站需要那麼複雜的技術，於是有了寫這篇文章的想法，在這篇文章中 將闡述一個普通的網站發展成大型網站過程中的一種較爲典型的架構演變歷程和所需掌握的知識體系，希望能給想從事互聯網行業的同學一點初步的概念，:)，文中的不對之處也請各位多給點建議，讓本文真正起到拋磚引玉的效果。
架構演變第一步：物理分離webserver和數據庫
最開始，由於某些想法，於是在互聯網上搭建了一個網站，這個時候甚至有可能主機都是租借的，但由於這篇文章我們只關注架構的演變歷程，因此就假設這個時候已經是託管了一臺主機，並且有一定的帶寬了，這個時候由於網站具備了一定的特色，吸引了部分人訪問，逐漸你發現系統的壓力越來越高，響應速度越來越慢，而這個時候比較明顯的是數據庫和應用互相影響，應用出問題了，數據庫也很容易出現問題，而數據庫出問題的時候，應用也容易出問題，於是進入了第一步演變階段：將應用和數據庫從物理上分離，變成了兩臺機器，這個時候技術上沒有什麼新的要求，但你發現確實起到效果了，系統又恢復到以前的響應速度了，並且支撐住了更高的流量，並且不會因爲數據庫和應用形成互相的影響。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
這一步架構演變對技術上的知識體系基本沒有要求。
架構演變第二步：增加頁面緩存
好景不長，隨着訪問的人越來越多，你發現響應速度又開始變慢了，查找原因，發現是訪問數據庫的操作太多，導致數據連接競爭激烈，所以響應變慢，但數據庫連接又不能開太多，否則數據庫機器壓力會很高，因此考慮採用緩存機制來減少數據庫連接資源的競爭和對數據庫讀的壓力，這個時候首先也許會選擇採用squid 等類似的機制來將系統中相對靜態的頁面（例如一兩天才會有更新的頁面）進行緩存（當然，也可以採用將頁面靜態化的方案），這樣程序上可以不做修改，就能夠 很好的減少對webserver的壓力以及減少數據庫連接資源的競爭，OK，於是開始採用squid來做相對靜態的頁面的緩存。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
前端頁面緩存技術，例如squid，如想用好的話還得深入掌握下squid的實現方式以及緩存的失效算法等。
架構演變第三步：增加頁面片段緩存
增加了squid做緩存後，整體系統的速度確實是提升了，webserver的壓力也開始下降了，但隨着訪問量的增加，發現系統又開始變的有些慢了，在嘗 到了squid之類的動態緩存帶來的好處後，開始想能不能讓現在那些動態頁面裏相對靜態的部分也緩存起來呢，因此考慮採用類似ESI之類的頁面片段緩存策略，OK，於是開始採用ESI來做動態頁面中相對靜態的片段部分的緩存。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
頁面片段緩存技術，例如ESI等，想用好的話同樣需要掌握ESI的實現方式等；
架構演變第四步：數據緩存
在採用ESI之類的技術再次提高了系統的緩存效果後，系統的壓力確實進一步降低了，但同樣，隨着訪問量的增加，系統還是開始變慢，經過查找，可能會發現系 統中存在一些重複獲取數據信息的地方，像獲取用戶信息等，這個時候開始考慮是不是可以將這些數據信息也緩存起來呢，於是將這些數據緩存到本地內存，改變完畢後，完全符合預期，系統的響應速度又恢復了，數據庫的壓力也再度降低了不少。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
緩存技術，包括像Map數據結構、緩存算法、所選用的框架本身的實現機制等。
架構演變第五步： 增加webserver
好景不長，發現隨着系統訪問量的再度增加，webserver機器的壓力在高峯期會上升到比較高，這個時候開始考慮增加一臺webserver，這也是爲了同時解決可用性的問題，避免單臺的webserver down機的話就沒法使用了，在做了這些考慮後，決定增加一臺webserver，增加一臺webserver時，會碰到一些問題，典型的有： 1、如何讓訪問分配到這兩臺機器上，這個時候通常會考慮的方案是Apache自帶的負載均衡方案，或LVS這類的軟件負載均衡方案； 2、如何保持狀態信息的同步，例如用戶session等，這個時候會考慮的方案有寫入數據庫、寫入存儲、cookie或同步session信息等機制等； 3、如何保持數據緩存信息的同步，例如之前緩存的用戶數據等，這個時候通常會考慮的機制有緩存同步或分佈式緩存； 4、如何讓上傳文件這些類似的功能繼續正常，這個時候通常會考慮的機制是使用共享文件系統或存儲等； 在解決了這些問題後，終於是把webserver增加爲了兩臺，系統終於是又恢復到了以往的速度。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
負載均衡技術（包括但不限於硬件負載均衡、軟件負載均衡、負載算法、linux轉發協議、所選用的技術的實現細節等）、主備技術（包括但不限於ARP欺騙、linux heart-beat等）、狀態信息或緩存同步技術（包括但不限於Cookie技術、UDP協議、狀態信息廣播、所選用的緩存同步技術的實現細節等）、共享文件技術（包括但不限於NFS等）、存儲技術（包括但不限於存儲設備等）。
架構演變第六步：分庫
享受了一段時間的系統訪問量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，經過查找，發現數據庫寫入、更新的這些操作的部分數據庫連接的資源競爭非常激烈，導致了系統變慢，這下怎麼辦呢，此時可選的方案有數據庫集羣和分庫策略，集羣方面像有些數據庫支持的並不是很好，因此分庫會成爲比較普遍的策略，分庫也就意味着要對原有程序進行修改，一通修改實現分庫後，不錯，目標達到了，系統恢復甚至速度比以前還快了。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
這一步更多的是需要從業務上做合理的劃分，以實現分庫，具體技術細節上沒有其他的要求；
但同時隨着數據量的增大和分庫的進行，在數據庫的設計、調優以及維護上需要做的更好，因此對這些方面的技術還是提出了很高的要求的。
架構演變第七步：分表、DAL和分佈式緩存 隨着系統的不斷運行，數據量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，於是按照分庫的思想開始做分表的工作，當然，這不可避免的會需要對程序進行一些修改，也許在這個時候就會發現應用自己要關心分庫分表的規則等，還是有些複雜的，於是萌生能否增加一個通用的框架來實現分庫分表的數據訪問，這個在ebay的架構中對應的就是DAL，這個演變的過程相對而言需要花費較長的時間，當然，也有可能這個通用的框架會等到分表做完後纔開始做，同時，在這個階段可能會發現之前的緩存同步方案出現問題，因爲數據量太大，導致現在不太可能將緩存存在本地，然後同步的方式，需要採用分佈式緩存方案了，於是，又是一通考察和折磨，終於是將大量的數據緩存轉移到分佈式緩存上了。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
分表更多的同樣是業務上的劃分，技術上涉及到的會有動態hash算法、consistent hash算法等；
DAL涉及到比較多的複雜技術，例如數據庫連接的管理（超時、異常）、數據庫操作的控制（超時、異常）、分庫分表規則的封裝等；
架構演變第八步：增加更多的webserver
在做完分庫分表這些工作後，數據庫上的壓力已經降到比較低了，又開始過着每天看着訪問量暴增的幸福生活了，突然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看數據庫，壓力一切正常，之後查看webserver，發現apache阻塞了很多的請求，而應用服務器對每個請求也是比較快的，看來 是請求數太高導致需要排隊等待，響應速度變慢，這還好辦，一般來說，這個時候也會有些錢了，於是添加一些webserver服務器，在這個添加 webserver服務器的過程，有可能會出現幾種挑戰： 1、Apache的軟負載或LVS軟負載等無法承擔巨大的web訪問量（請求連接數、網絡流量等）的調度了，這個時候如果經費允許的話，會採取的方案是購 買硬件負載，例如F5、Netsclar、Athelon之類的，如經費不允許的話，會採取的方案是將應用從邏輯上做一定的分類，然後分散到不同的軟負載集羣中； 2、原有的一些狀態信息同步、文件共享等方案可能會出現瓶頸，需要進行改進，也許這個時候會根據情況編寫符合網站業務需求的分佈式文件系統等； 在做完這些工作後，開始進入一個看似完美的無限伸縮的時代，當網站流量增加時，應對的解決方案就是不斷的添加webserver。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
到了這一步，隨着機器數的不斷增長、數據量的不斷增長和對系統可用性的要求越來越高，這個時候要求對所採用的技術都要有更爲深入的理解，並需要根據網站的需求來做更加定製性質的產品。
架構演變第九步：數據讀寫分離和廉價存儲方案
突然有一天，發現這個完美的時代也要結束了，數據庫的噩夢又一次出現在眼前了，由於添加的webserver太多了，導致數據庫連接的資源還是不夠用，而這個時候又已經分庫分表了，開始分析數據庫的壓力狀況，可能會發現數據庫的讀寫比很高，這個時候通常會想到數據讀寫分離的方案，當然，這個方案要實現並不 容易，另外，可能會發現一些數據存儲在數據庫上有些浪費，或者說過於佔用數據庫資源，因此在這個階段可能會形成的架構演變是實現數據讀寫分離，同時編寫一些更爲廉價的存儲方案，例如BigTable這種。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
數據讀寫分離要求對數據庫的複製、standby等策略有深入的掌握和理解，同時會要求具備自行實現的技術；
廉價存儲方案要求對OS的文件存儲有深入的掌握和理解，同時要求對採用的語言在文件這塊的實現有深入的掌握。
架構演變第十步：進入大型分佈式應用時代和廉價服務器羣夢想時代
經過上面這個漫長而痛苦的過程，終於是再度迎來了完美的時代，不斷的增加webserver就可以支撐越來越高的訪問量了，對於大型網站而言，人氣的重要毋庸置疑，隨着人氣的越來越高，各種各樣的功能需求也開始爆發性的增長，這個時候突然發現，原來部署在webserver上的那個web應用已經非常龐大 了，當多個團隊都開始對其進行改動時，可真是相當的不方便，複用性也相當糟糕，基本是每個團隊都做了或多或少重複的事情，而且部署和維護也是相當的麻煩， 因爲龐大的應用包在N臺機器上覆制、啓動都需要耗費不少的時間，出問題的時候也不是很好查，另外一個更糟糕的狀況是很有可能會出現某個應用上的bug就導 致了全站都不可用，還有其他的像調優不好操作（因爲機器上部署的應用什麼都要做，根本就無法進行鍼對性的調優）等因素，根據這樣的分析，開始痛下決心，將 系統根據職責進行拆分，於是一個大型的分佈式應用就誕生了，通常，這個步驟需要耗費相當長的時間，因爲會碰到很多的挑戰： 1、拆成分佈式後需要提供一個高性能、穩定的通信框架，並且需要支持多種不同的通信和遠程調用方式； 2、將一個龐大的應用拆分需要耗費很長的時間，需要進行業務的整理和系統依賴關係的控制等； 3、如何運維（依賴管理、運行狀況管理、錯誤追蹤、調優、監控和報警等）好這個龐大的分佈式應用。 經過這一步，差不多系統的架構進入相對穩定的階段，同時也能開始採用大量的廉價機器來支撐着巨大的訪問量和數據量，結合這套架構以及這麼多次演變過程吸取的經驗來採用其他各種各樣的方法來支撐着越來越高的訪問量。
看看這一步完成後系統的圖示：
這一步涉及到了這些知識體系：
這一步涉及的知識體系非常的多，要求對通信、遠程調用、消息機制等有深入的理解和掌握，要求的都是從理論、硬件級、操作系統級以及所採用的語言的實現都有清楚的理解。
運維這塊涉及的知識體系也非常的多，多數情況下需要掌握分佈式並行計算、報表、監控技術以及規則策略等等。
說起來確實不怎麼費力，整個網站架構的經典演變過程都和上面比較的類似，當然，每步採取的方案，演變的步驟有可能有不同，另外，由於網站的業務不同，會有不同的專業技術的需求，這篇blog更多的是從架構的角度來講解演變的過程，當然，其中還有很多的技術也未在此提及，像數據庫集羣、數據挖掘、搜索等，但在真實的演變過程中還會藉助像提升硬件配置、網絡環境、改造操作系統、CDN鏡像等來支撐更大的流量，因此在真實的發展過程中還會有很多的不同，另外一個大型網站要做到的遠遠不僅僅上面這些，還有像安全、運維、運營、服務、存儲等，要做好一個大型的網站真的很不容易，寫這篇文章更多的是希望能夠引出更多大型網站架構演變的介紹，:)。