原创 兩個postgresSQL數據庫對象比對
1.環境 數據庫dev：開發數據庫 數據庫prod：生成數據庫 2.背景 最近在dev上做了大量模型改造，需要把修改的地方同步到生產數據庫prod中，但是每一步改動並沒有詳細的記錄，且新增加的對象不能同步上去。 3.實現 p
2020-02-24 08:13:11
原创 postgresql觸發器
CREATE OR REPLACE FUNCTION cd03.f_repair_order_stat_update() RETURNS trigger LANGUAGE plpgsqlAS $function$/*-----------
2020-02-24 08:13:11
原创 ETL之KETTLE實踐
1.下載kettle軟件包 在pentaho的社區網站下載：http://community.pentaho.com/projects/data-integration/ 603M pdi-ce-5.4.0.1-130.
2020-02-24 08:13:11
原创 多功能mysql備份shell
最新代碼在https://github.com/crjfans/mysqlbackup #!/bin/bash ###############################################################
2018-09-03 16:49:02
原创 mysql安全參數設置
innodb_flush_log_at_trx_commit：有個網上的圖很直觀sync_binlog=0/n如果爲0，那麼由操作系統決定什麼時候將二進制日誌刷新到文件。 設置爲n，那麼mysql會在n次提交後將二進制日誌刷新到文件，顯然
2018-09-02 22:19:11
原创 mysql誤刪除數據恢復處理
1.事故 後臺操作權限較高人員執行錯誤的刪除語句：mysql> delete from order where order_id=1; 2.事故影響 用戶看不到這個定單，且這個定單是活躍的定單 3.是故時
2018-09-02 22:19:11
3
原创 生產安裝mysql
1.配置yum源vim /etc/yum.repos.d/mysql-community.repo輸入如下內容： [mysql-connectors-community] name=MySQL Connectors Community b
2018-09-02 22:19:11
原创 mysql審計插件--MariaDB Audit Plugin
1.下載地址：https://mariadb.com/my_portal/download/audit_plugin先要註冊 2.安裝插件通過show variables like 'plugin_dir
2018-09-02 22:19:11
原创 創建本地yum倉庫
1.首先要安裝web服務，我使用的是apache，端口8112 2.創建rpm包存放目錄：mkdir -p /var/www/html/packages 3.安裝createrepo工具：yum inst
2018-09-02 22:19:10
原创 從數據文件看timestamp範圍限制
創建表：mysql> desc test_timestamp1; +-------+-----------+------+-----+---------+-------+ | Field | Type | Null | Key
2018-09-02 22:19:10
原创 nagios監控國外主機超時
項目上在國外(新加坡)有個主機，由於和諧牆的原因，用check_ping對其進行監控頻繁超時，報錯，收了一大堆通知郵件。沒辦法只能把檢測超時時間設置大一點。 1.編輯新的檢測命令 vim /etc/nagios/objects/comm
2018-09-02 22:19:10
原创 查看mysql表空間python代碼
include.py #encoding=utf-8 INNODB_PAGE_SIZE = 16*1024*1024 # Start of the data on the page FIL_PAGE_DATA = 38 FIL_PAGE
2018-09-02 22:19:10
原创 mycat實現mysql大表自動水平擴展
1.mycat是一種數據庫中間件，詳細信息訪問官網http://www.mycat.org.cn/ 2.架構圖 從上圖可以看出：原來架構單服務器單庫單表向多服務器多庫多表轉換 這樣做的好處是：解決單臺服務
2018-09-02 09:26:35
原创 Mysql系統規劃
1.數據總量 結果：1年內數據量大約500G，每秒產生的數據量爲500*1024(MB)*1024(KB)/(365*24*60*60)31536000s=17KB/s 預估方法：一般我們以一年爲一個時間
2018-09-02 09:26:35
原创 percona之innobackup備份數據庫
1.傳統的備份工具mysqldump是官方自帶的邏輯熱備份工具，但是有如下缺點：備份過程中要鎖表 大表備份速度慢，而且會佔用大量內存，可能引發內存溢出而percona開發的innobackup是一款物理熱備份工具，備份速度快，支持增量備份
2018-09-02 09:26:35
3