雲計算中的網絡拓撲設計和Hadoop平臺研究

     雲計算是2007年底正式提出的一個新的概念,它是一個革命性的舉措,意味着計算能力也可以作爲一種商品進行流通,就像煤氣、水電一樣,取用方便,費用低廉,不同之處只是在於它是通過互聯網進行傳輸的。至今爲止,Google、Microsoft、IBM、亞馬遜等IT商業巨頭都推出了自己的雲計算平臺,並把雲計算作爲其未來發展的最主要戰略之一。
    因此,雲計算的研究不但緊跟業界技術發展的趨勢,同時還具有較高的應用價值。在雲計算系統的後端,有成千上萬的服務器,如何將如此大量的服務器有效地組織是雲計算系統高效穩定運行關鍵問題之一。一個合理的網絡拓撲不但可以提高網絡的性能,而且能夠保證網絡的穩定性,使網絡在部分節點或鏈路故障或擁擠時也能正常工作。雲計算系統後端的網絡拓撲特性有別於一般的網絡拓撲,需要我們重新考慮和研究。Hadoop是一個在集羣上運行大型數據庫處理應用程序的開放式源代碼框架。它支持通過Google的MapReduce編程範例來創建並執行的應用程序,在很多大型網站上都已經得到了應用,可以說是目前最爲廣泛應用的開源雲計算軟件平臺。
   但其發展時間較短,研究還不夠深入,還有較多值得改進的地方。
  考慮雲計算以上兩個方面,本文主要進行了以下研究:
    1.通過調研雲計算的網絡需求,分析雲計算的網絡拓撲結構特點,提出雲計算網絡拓撲結構應該由中心的主幹交換部分和外圍的樹狀子網組成的基本構想。然後利用圖論和最優化理論,基於貪心算法思想,針對其主幹交換網絡的拓撲設計提出了自動拓撲設計算法RGA並仿真實現,通過和已有算法的比較,證明了算法的有效性和優越性。
    2.通過調研Hadoop的相關資料,在實驗室搭建配置了8臺PC組成的Hadoop平臺。然後對Hadoop的MapReduce工作模式進行分析,針對它的多任務調度提出了基於優先級的加權輪詢算法(PBWRR)並在Hadoop平臺上編程實現。本文轉自：http://www.lunwenroom.com/jisuanjilei/123.html