MapReduce 與 Cloud Dataflow, Caffeine, Dremel,Pregel 之間的關係

  • MapReduce的繼任者 -- Google Cloud Dataflow
At its core, Cloud Dataflow is Google’s successor to MapReduce, which has been an experimental App Engine feature for quite a while now.  http://techcrunch.com/2014/06/25/google-launches-cloud-dataflow-a-managed-data-processing-service/

  • MapReduce的有力補充(交互) -- Dremel:
作爲MapReduce 的發起人,Google開發了Dremel將處理時間縮短到秒級,作爲MapReduce的有力補充。

  • MapReduce的有力補充(圖處理) -- Pregel
Inside Google, MapReduce is used for 80% of all the data processing needs.The other 20% is handled by a lesser known infrastructure called Pregel which is optimized to mine relationships from graph.

  • MapReduce的上層 搜索引擎  -- Google Caffeine
這次改動主要是重寫了搜索引擎的底層架構,涉及到爬蟲、索引庫、排序規則等等很多方面。提升的方向主要是google一直以來追求的速度,而速度的提高會進一步帶來準確性和全面性的提升。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章