原创 工行分佈式數據庫選型與大規模容器化實踐

大家好,我是工行數據中心負責MySQL數據庫的顧龔磊。我們工行使用MySQL的時間很短,從2017年纔算真正使用,在我們數據庫專業組之前分爲兩個組,Oracle組和非Oracle組,MySQL在我們行內以前是一個很邊緣化的數據庫,但是隨着業

原创 MySQL 8.0與MariaDB 10.4,誰更易於填坑補鍋?

本文我將列舉一些MySQL 8.0和MariaDB 10.4關鍵新特性的對比,以便大家在今後的數據庫版本升級維護中能根據自身情況更快更好地做出選擇,其他新特性請參考官網:https://dev.mysql.com/doc/refman/8.

原创 千億級數據量的Kafka深度實踐

一、消息隊列選型當時主要考慮以下幾個維度:社區活躍度,客戶端支持,吞吐量。對比幾個系統下來,覺得Kafka比較符合我們的要求。現在有一個新的開源系統pulsar,我覺得也可以嘗試一下。1、Kafka設計上的亮點Kafka性能和吞吐都很高,通

原创 不考慮可運維性的數據庫選型都應該“槍斃”

本次分享主要有三個大的方向,一是從職業規劃的角度看爲什麼我會認爲數據庫選型很重要,第二個方向會根據這些經驗說說選型的基本原則是什麼,最後總結一下這些年數據庫選型的路線圖,希望能對大家以後做數據庫選型時有幫助,可以根據你們公司的場景進行套用,

原创 有別於BATJ,滴滴的中臺數據體系建設怎麼另闢蹊徑?

前年阿里開始講數據中臺業務,去年以來這個概念很火直到最近。我在阿里待了10年的時間,也參與了中臺建設,今天想跟大家分享一下背後的邏輯,還有我在滴滴的實踐,以及中臺本質的問題是什麼。今天我的題目叫做“精益生產與敏捷創新”,任何一箇中臺,不管是

原创 建行對銀行系金融科技轉型的戰略與思考

大家好,我今天要講的是金融科技,不從架構視角,而是從企業乃至行業的發展視角來講。今天要分享的,其實是我去年和今年看到的一些變化,以及感想,更多是建設銀行的經驗教訓,以及基於行業的一些思考,並且主要是我們接下來要做的事情,而不是已經做的事情。

原创 中小型金融企業該如何進行災備建設?

如果你要我用一個字來形容初次接觸災備建設的感受,那就是:悶。不像在搞定高併發大流量優化後,帶給你的酣暢淋漓的感覺;做災備時的感受,猶如今天會場外天氣一般,讓人喘不過氣。但它不僅是運維最後一道防線,又是災難發生時的救命稻草,讓你不得不硬着頭皮

原创 支持百億請求的微博廣告運維技術實踐

一、運維在廣告體系中的價值運維的工作來源已久,但直到近些年,隨着互聯網的發展,產品的維護工作越來越複雜,以及服務可用性的提升,都讓運維的工作越來越重要。我們可以回顧下運維發展至今都經歷了哪些階段。① 人工階段這個階段的運維主要通過人肉操作我

原创 餓了麼監控體系:從架構的減法中演進而來

大家好!很榮幸有這樣的機會和大家交流,今天分享的主題爲《餓了麼監控體系的演進》。我差不多是2015年中加入餓了麼,主要是負責餓了麼整個監控平臺的搭建,從0開始搭建這套監控系統。今天主要從以下四塊給大家講一下,整個過程我們遇到了哪些問題,怎麼

原创 騰訊雲數據庫副總監:圖數據庫好在哪?該用在哪?

本文由 dbaplus 社羣授權轉載。大家好,非常榮幸今天跟大家分享圖數據庫的場景及展望。首先我想做一個調查,在座有哪些同學用圖數據庫的?看來就只有幾個同學使用了,那我這次的分享會比較有價值,能讓大家知道圖數據庫到底是什麼,以及圖數據庫能做

原创 dba+開源工具:MySQL 8.0 MGR自動安裝配置腳本

工具下載:https://pan.baidu.com/s/1kRG7RNxbffSGcA4ei7tWrw操作說明將三個文件放在同一個目錄下,例如/root/soft/mysql8_install.shmy_test.cnf(配置文件模板)m

原创 如何快速採集分析平臺日誌,並進行展示監控?

前言某業務導致NameNode RPC通信頻繁,後來觀察監控發現,是由於該業務獲取HDFS列表文件的頻率過於頻繁。檢查代碼後,優化由20s獲取一次目錄列表改爲5分鐘獲取一次,獲取列表的RPC操作次數下降了約1.5倍,平均每秒減少了2~3w次

原创 一次因網絡引起的詭異GC問題,DBA該怎麼做?

我們在日常工作中,就像西天取經的僧人,總是會遇到各式各樣的“妖怪”。這些“妖怪”總是一個又一個的阻擋在我們面前,你必須想辦法擊敗它們。聽說小A同學最近遇到了一個很妖的問題,就這個問題我們來採訪一下小A同學。小B:你覺得RAC GC問題一般在

原创 分析與解決:MySQL分區表複製bug導致的主從延遲

本文將以數據庫實際使用中的某典型案例來分析造成主從延遲的原因。主從延遲的原因1、某用戶在使用數據庫過程中,出現主從延遲很大的情況,show slave status\G,已經差了60多個binlog了。2、觀察發現,應該是卡在一個大事物上面

原创 基於MySQL和Otter實現生產環境安全的數據同步及查詢

前言在雲平臺的日常運維工作中,有很多故障排查和數據覈對的場景,爲了給全線運維人員(含部分開發和運營分析人員)提供現網數據的實時查詢,我們使用MySQL和開源工具otter搭建了一套數據查詢和管理系統,可以查詢平臺各資源池現網當前的數據。並與