Flickr 的訪問統計實現以及其他

網址:

TechCrunch 前兩天報道說 Flickr 針對 Pro 用戶新增了一項統計功能。今天有看到 Flickr 的 DBA Dathan Pattishall 描述了一下這個統計功能的實現。

Flickr 統計功能的基本技術信息:

  • 所有的信息統計是實時的
  • 同時用到 MYISAM 與 INNODB 兩種引擎
  • 數據因爲存儲需求跨在 6 個 Cluster 上(12 臺服務器,6 臺提供服務,6 臺做失敗接管)
  • 沒有用 Memcache

Dathan 提到這是他最耗時的一個項目(似乎有點怨言呀)。因爲是實時統計,並且還要不影響整體頁面響應速度,所以整個項目非常複雜。一旦 DB 設計搞定後,大部分時間都花在如何創建分佈鎖上了。

其實就我個人而言,真的不覺得這個功能有什麼必要(尤其還是實時統計)。這或許是過度設計的一個例子。Flickr 在被 Yahoo!收購之後,這段時間倒是有點頹勢。

說起 Dathan 這老兄,在 MySQL 技術圈子算是大名鼎鼎了。曾先後在 FriendfinderFriendster 做 DBA,並獲得國 05、06 兩年的 "MySQL Application of the Year Award“。(看他 Blog 的活躍勁兒,估計今年也差不多。)

這老兄加盟了 Flickr 後,一個禮拜解決了 40% 左右的性能問題。從他的簡歷來看,Flickr 目前每日 DB 的事務超過 10億,MySQL 運行在 16G 內存、AMD CPU 服務器上,存儲採用本地硬盤而沒有用 SAN。數據庫採用聯邦架構,能做到線性擴展,爲公司節省成本達 40 萬美元(佔40%,從而估計 DB 相關硬件成本爲 60萬美元).

推薦國內每個 Web 2.0 公司的 DBA 持續關注 Dathan 的 Blog,當然,可能大家都已經一直在看了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章