原创 Linux服務器的網卡的優化

通常情況下,Linux的網卡中斷是由一個CPU核心來處理的,當承擔高流量的場景下,會出現一些詭異的情況(網卡尚未達到瓶頸,但是卻出現丟包的情況)這種時候,我們最好看下網卡中斷是不是缺少調優。優化3要點:網卡多隊列+irq affinity親

原创 一個不錯的 memcached web ui

項目地址: https://github.com/youngsterxyf/memcached-ui最近研發想去查看下memcached的數據,需要給他們找個web界面。看到github有個不錯的項目,部署起來也很簡單。#前提:安裝好了go

原创 MySQL數據全量導入PG的方法

下面會用到一個perl腳本來做數據格式的轉換: https://github.com/ahammond/mysql2pgsql1 導出mysql的數據# 導出結構 mysqldump bx_cmdb_37 --master-data=2  

原创 redis 清理某個key前綴的key

redis清理某個前綴的key例如,某次研發上線代碼,造成了某種前綴的key出現了髒數據(例如key前綴名稱爲 key_  ), 我們需要快速的清理掉這些問題key。常用的方法有2種:1、dump出一個全量數據,然後找出符合條件的key,進

原创 DBLE分庫分表實戰

環境: DBLE 2.19.03.0OS版本: CentOS Linux release 7.6.1810 (Core) IP:  192.168.20.10/24MySQL版本: MySQL-社區版-5.7.26添加2個賬號授權:crea

原创 PG的Prometheus監控

到github上,下載已編譯好的exporter文件地址: https://github.com/wrouesnel/postgres_exporter/releasestar xf postgres_exporter_v0.4.1_lin

原创 【案例】redis-server 大量key過期不釋放空間的

環境: 某個redis集羣(redis4.0.11的主從環境)背景:這個redis集羣開發有大量的key的寫入和過期,導致內存急劇上漲。使用 rdb工具 (git地址:https://github.com/sripathikrishnan/

原创 PG創建or修改索引

pgsql中的索引不能重名,重名的創建失敗。 創建二級索引的命令:create index CONCURRENTLY idx_abc on tb1(a,b); 注意:reindex 重建索引的過程是阻塞的,一般大表不建議使用這個命令,可以重

原创 通過tcpdump採集主機間的流量情況

由於公司計劃要從idc遷移上雲,前期準備工作之一就是要先梳理清楚當前主機間的調用關係鏈。 關於這塊,ODF大會上,古雷大師已經給我們指明瞭道路(感興趣的可以找下 it大咖說的視頻:運維數據可視化探索) , 他的比較精美但是也更復雜些。作爲一

原创 使用pg_repack 回收表體積

對於某些常進行archiver或者 purge操作的表而言,如果我們不定期回收表空間,則表體積會越漲越大。但是pg自帶的 vacuum full 在回收的過程中會阻塞讀寫操作,不能在生產環境直接運行。因此,在生產環境 我們常用的表空間收縮工

原创 prometheus 採集 snmp 數據

因爲工作需要,需要採集下交換機的網絡流量情況。 查了下google,發現幾個好文章。1、snmp_exporter的部署    https://blog.csdn.net/YUKEKECHEN/article/details/8596024

原创 PG中只讀賬號的授權操作

日常工作中,我們通常開給研發2個賬號(一個只讀賬號,讀寫賬號)讀寫賬號自不必說, ,每次用這個賬號建表後,自然就用了CRUD的權限。但是,只讀賬號稍微費事點,如果我們處理不好的話,每次新加表都要再執行一次對只讀賬號的重新授權操作。好在PG爲

原创 k8s 如何進行pod級的抓包

因爲某些關係原因,有時候需要排查pod和外部服務之間是否有網絡異常情況,我們需要進行tcpdump抓包操作。下面,是抓包的具體步驟:1 列出待抓包的pod 及分佈在哪些節點上kubectl get pods -n ns1 -o wide |

原创 postgres中mysql_fdw 擴展的使用

mysql_fdw 的作用: 用來在PG中快速訪問MySQL中的數據。參考連接: https://www.percona.com/blog/2018/08/24/postgresql-accessing-mysql-as-a-data-so

原创 PG Logical Replication 邏輯複製

PG10 到 PG11 的邏輯複製我下面演示的PG環境是單機多實例的方式部署在同一臺物理機上的。部署方式可以參考 上一篇博客。1、當前老的PG10主庫(需要先設置wal_level = logical):su - postgres  cd