原创 遇到的一則MongoDB objectid衝突的問題

最近開發反饋sentry遇到mongodb寫入報 objectid 重複的情況,類似下圖:我們生產用的是mongo3.4的版本官方文檔介紹3.4的 objectid生成規則如下:https://docs.mongodb.com/v3.4/r

原创 使用sniff 輕鬆抓取kubernetes pod的數據報文

之前我們在k8s上進行pod級別的抓包,一般要好幾步才能實現,參見這裏:https://blog.51cto.com/lee90/2432209今天在看崔秀龍大佬的blog時候(https://blog.fleeto.us/post/int

原创 【混沌工程】 使用toxiproxy模擬網絡延遲

地址: https://github.com/Shopify/toxiproxy官方地址: https://github.com/Shopify/toxiproxytoxiproxy-server -host "0.0.0.0"   # 演

原创 【混沌工程】 docker環境下模擬網絡延遲和丟包

原文地址:https://www.chenquan.me/archives/315混沌工程最早是Netflix引入的,用來驗證服務穩定性的工程。地址:https://github.com/Netflix/chaosmonkey國內的阿里雲也

原创 最近遇到的一個MongoDB索引順序的問題

最近遇到個mongo慢查問題,查詢這樣子:db.tb1.find({status:'normal', lastReviewTime:{$gte:1583038740,$lte:1585285140}}).sort({createdTime:

原创 使用DTLE對MySQL大表做分庫分表

上一篇中提到了使用gravity做分表,https://blog.51cto.com/lee90/2482189 另外還有個工具也比較好用,就是愛可生公司出品的 DTLE https://github.com/actiontech/dtle

原创 使用 gravity 做大表的分表操作

gravity 是摩拜單車出票的一個 異構/同構 數據複製通道軟件,提供主流軟件的支持,並支持k8s雲原生。比較看好它的發展。項目地址: https://github.com/moiot/gravity官方文檔:https://github

原创 Linux下的capability功能介紹

原文地址: http://rk700.github.io/2016/10/26/linux-capabilities/在傳統的Linux的權限控制機制中,SUID(Set User ID on execution)是一個比較有意思的概念。例

原创 ZFS文件系統和ext4空間佔比

以graphite的carbon文件夾爲例,在 ext4文件系統上,佔用空間大約是 83GB 。 scp到 zfs文件系統上,看到大約只佔了15GB

原创 高性能:4-用於資源分析的方法【bpf performance tools讀書筆記】

用於資源分析的USE方法對於每種資源,檢查:1、 Utilization  使用率2、 Saturation  飽和度3、 Errors 錯誤 Linux 60秒分析這個內容來自性能分析大神和Netflix性能工程團隊1、  uptime2

原创 高性能:5-BCC工具介紹【bpf performance tools讀書筆記】

BCC包含有關工具,手冊頁和示例文件的文檔,以及有關使用BCC工具的指南,以及有關BCC工具開發的指南和參考指南。它提供了用於在Python,C ++和lua中開發BCC工具的接口(未顯示);將來可能會添加更多接口。 地址:https://

原创 高性能:LEP (LINUX EASY PROFILING) 工具介紹

LEP工具入門給大家推薦個宋寶華老師出品的小工具相關文檔: 宋寶華:LEP(Linux易用剖析器) 是什麼,爲什麼以及怎麼辦(1)【終南山.內核問道】Linux性能剖析的可視化LEP的介紹,大家直接看上面的文檔即可。下面是我記錄的安裝部署過

原创 centos7 安裝高版本內核

因爲一些調試及測試需要,我們的centos需要安裝高版本內核以便進行BCC和BPF的實時調試功能。 下面是我的安裝過程:查看當前OS版本cat /etc/centos-releaseCentOS Linux release 7.6.1810

原创 ES7.5 下動態擴大索引的shard數量

在老版本的ES(例如2.3版本)中, index的shard數量定好後,就不能再修改,除非重建數據才能實現。從ES6.1開始,ES 支持可以在線操作擴大shard的數量(注意:操作期間也需要對index鎖寫)從ES7.0開始,split時候

原创 Percona8.0.17的數據屏蔽插件的使用

MySQL企業版裏面的數據屏蔽的功能,在Percona 8.0.17裏面被開源實現了。具體可以參考下面3篇文檔: https://dev.mysql.com/doc/mysql-security-excerpt/8.0/en/data-ma