雲計算與Hadoop雜談

1. 海量數據處理
2. Salesforce是雲計算嗎? Salesforce 後臺是雲計算平臺嗎? <Oracle RAC>
3. 什麼是雲計算,雲 和 計算,通過網絡將本地的操作放到網絡上去。
4. Iaas, SaaS, PaaS 和海量計算《雲》
5. 雲計算是新技術嗎
6. 雲計算 = 廣義雲計算<Iaas, PaaS, SaaS> 和 狹義雲計算 集羣,並行計算

雲計算(Cloud Computing)是網格計算(Grid Computing )、分佈式計算(DistributedComputing)、並行計算(Parallel Computing)、效用計算(Utility Computing)、網絡存儲(Network Storage Technologies)、虛擬化(Virtualization)、負載均衡(Load Balance)等傳統計算機和網絡技術發展融合的產物,是目前比較流行的名詞,用來形容一種事物的強大。



學習一門技術的方法

雲計算:

理論知識 + 代表性的工具,比如 Hadoop

BI:

理論知識 + 代表性的工具,比如 ETL<Info, DS, 手工>,報表工具<COGNOS, BO, OBIEE>

現在有開源項目,Hadoop以及其下的子項目Hive、Hbase、Pig。。。。都可以學習

Hadoop/GAE與EC2是互斥的嗎?

不見得,要看比較的面向爲何?但實際上它們是可能合作的,其中最著名的例子是紐約時報在EC2上用Hadoop轉了4TB的PDF(這篇文章超級精彩不看可惜)。

故事大略是這樣:

NYT有一大票1851-1922年間掃描的一千一百萬份文章要從TIFF圖檔格式轉換爲PDF,由於數量實在太龐大,轉換起來不但耗時甚久,也需要極大數量的機器,就算有錢如NYT也不想當凱子爺投資這麼多啊~~~(而且因爲轉換時間太久,也不太可能跑去BestBuy刷它個幾千臺PC回來,然後速速轉完就退回去;P)

最後NYT的工程師將所有檔案傳到S3放着,然後到EC2開了100個Instance,再裝個Hadoop利用這100臺電腦跑分佈運算,結果是隻花了24小時和大約3000美金就搞定(由於處理速度實在太快,他們實際上還跑了兩次吶……)


雲計算:分廣義雲計算和狹義雲計算



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章