關注Google的幾個技術

關注Google的技術,
http://research.google.com/pubs/papers.html#category4
Google論文--關於分佈式和並行計算,
Google的幾個核心技術,
1 集羣設計和管理
2 Google File System
3 MapReduce(典型的並行計算工具)
典型應用:
類似於grep的工作,日誌分析,web-link的反向分析
Google網頁的索引是建立在一系列的MapReduce工作上,前一個MR的輸出是後一個MR的輸入.
輸入和輸出都是中間臨時文件

4 Sawzall(用以並行計算的描述性語言)
建立在MapReduce的基礎上,可以認爲是分佈式的awt
5 BigTable(結構化的存儲系統)
一個Google自己做的數據庫,建立在GFS,workqueue,MP的基礎上
類似一個電子表格,但是是多維的,以時間爲維度,爲了保存變換。
被GoogleMap,Search History使用

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章