原创 [MySQL]Innodb參數優化

innodb_buffer_pool_size innodb_buffer_pool_size 參數用來設置Innodb 最主要的Buffer(Innodb_Buffer_Pool)的大小,也就是緩存用戶表及索引數據的最主要緩存空間,

原创 《The Google File System》論文閱讀筆記——GFS設計原理

一、設計預期 設計預期往往針對系統的應用場景,是系統在不同選擇間做balance的重要依據,對於理解GFS在系統設計時爲何做出現有的決策至關重要。所以我們應重點關注: 失效是常態主要針對大文件讀操作:大規模流式讀取、小規模隨機讀取寫操作

原创 MySQL 數據庫主從複製架構

MySQL 數據庫主從複製架構 前文《MySQL 數據庫事務與複製》分析了 MySQL 複製過程中如何保證 binlog 和事務數據之間的一致性,本文進一步分析引入從庫後需要保證主從的數據一致性需要考慮哪些方面。 原生複製架構

原创 橋接模式和適配器模式的區別

很多時候經常容易把橋接模式和適配器模式弄混。那什麼時候用橋接,什麼時候用適配器呢 ? 共同點 橋接和適配器都是讓兩個東西配合工作 不同點 出發點不同。          1)適配器:改變已有的兩個接口,讓他們相容。      

原创 HDFS NameNode 設計實現解析

HDFS NameNode 設計實現解析 接前文 分佈式存儲-HDFS 架構解析,我們總體分析了 HDFS 架構的主要構成組件包括:NameNode、DataNode 和 Client。本文首先進一步解析 HDFS Name

原创 最全最強解析:支付寶錢包系統架構內部剖析(架構圖)

支付寶系統架構概況 典型處理默認 資金處理平臺 財務會計 支付清算 覈算中心 交易 柔性事務 支付寶的開源分佈式消息中間件–Metamorphosis(

原创 HDFS DataNode 設計實現解析

HDFS DataNode 設計實現解析 前文分析了 NameNode,本文進一步解析 DataNode 的設計和實現要點。 文件存儲 DataNode 正如其名是負責存儲文件數據的節點。HDFS 中文件的存儲方式是將文件按塊

原创 LB 負載均衡的層次結構

作爲後端應用的開發者,我們經常開發、調試、測試完我們的應用併發布到生產環境,用戶就可以直接訪問到我們的應用了。但對於互聯網應用,在你的應用和用戶之間還隔着一層低調的或厚或薄的負載均衡層軟件,它們不顯山不露水默默的發揮着重要的作用,以至於

原创 Redis 集羣的合縱與連橫

Redis 集羣的合縱與連橫 之前一篇寫了關於 Redis 的性能,這篇就寫寫我認爲比性能更重要的擴展性方面的主題。 如果再給我一次回到好幾年前的機會,對於使用 Redis 我一開始就要好好考慮將來的擴展問題。就像我們做數據庫

原创 SATA SAS SSD 硬盤介紹和評測

SATA SATA的全稱是Serial Advanced Technology Attachment,是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盤接口規範。 SATA硬盤採用新的設計結構,

原创 HDFS 架構解析

HDFS 架構解析 本文以 Hadoop 提供的分佈式文件系統(HDFS)爲例來進一步展開解析分佈式存儲服務架構設計的要點。 架構目標 任何一種軟件框架或服務都是爲了解決特定問題而產生的。還記得我們在 《分佈式存儲 - 概述

原创 MySQL性能優化的最佳經驗,隨時補充

1、爲查詢優化你的查詢 大多數的MySQL服務器都開啓了查詢緩存。這是提高性最有效的方法之一,而且這是被MySQL的數據庫引擎處理的。當有很多相同的查詢被執行了多次的時候,這些查詢結果會被放到一個緩存中,這樣,後續的相同的查詢就不用操作

原创 京東咚咚架構演進

京東咚咚架構演進 咚咚是什麼?咚咚之於京東相當於旺旺之於淘寶,它們都是服務於買家和賣家的溝通。 自從京東開始爲第三方賣家提供入駐平臺服務後,咚咚也就隨之誕生了。 我們首先看看它誕生之初是什麼樣的。 1.0 誕生(2010 -

原创 HDFS 與 GFS 的設計差異

HDFS 與 GFS 的設計差異 後端分佈式系列」前面關於 HDFS 的一些文章介紹了它的整體架構和一些關鍵部件的設計實現要點。 我們知道 HDFS 最早是根據 GFS(Google File System)的論文概念模型來設計

原创 MySQL Innodb數據庫性能實踐——合適的表記錄數

在實際工作中,經常有同事問道:MySQL Innodb表記錄數多大是合適的? 一般的理解肯定是表越大性能越低,但具體低多少呢,是緩慢下降還是急劇下降,是1000萬就下降還是1億才下降呢? 針對這些問題,我做了一下基準測試,基準測試環境如