原创 python獲取本地IP地址發送郵件

#!/usr/bin/env python #_*_coding:utf-8 _*_ import time import socket import fcntl import struct import smtplib

原创 經典模型-生產者消費者模型

在生產者/消費者模型中,生產者Producer負責生產數據,而消費者Consumer負責使用數據。多個生產者線程會在同一時間運行,生產數據,並放到內存中一個共享的區域(Queue)。期間,多個消費者線程讀取內存共享區,消費裏面的數據解釋:

原创 mydumper安裝和使用

mydumper作爲一個實用工具,能夠良好支持多線程工作,可以並行的多線程的從表中讀入數據並同時寫到不同的文件裏,這使得它在處理速度方面快於傳統的mysqldump。其特徵之一是在處理過程中需要對列表加以鎖定,因此如果我們需要在工作時段執

原创 Redis BIgKey自動分析處理

    使用開源rdb工具與Lepus進行REDIS RDB的數據分析,相信使用REDIS,對CACHE的重要性不言而喻,儘可做到事前-預判,堅決不做背鍋俠........     生成環境需要分析的RDB會很多,如一個FE展示着多個DA

原创 MySQL在線修改數據庫名稱

介紹:略思路:藉助rename這個命令基本操作:rename olddb.tables to newdb.tables直接腳本執行:#!/usr/bin/env python# -*- coding: utf-8 -*-import My

原创 TIDB 優化--TiKV 性能參數調優

TiKV 最底層使用的是 RocksDB 做爲持久化存儲,所以 TiKV 的很多性能相關的參數都是與 RocksDB 相關的。TiKV 使用了兩個 RocksDB 實例,默認 RocksDB 實例存儲 KV 數據,Raft RocksDB

原创 MySQL存儲過程複製表數據到另一表中

1、源表信息:CREATE TABLE `aa` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `b1` int(11) DEFAULT NULL,  `abc` int(200) DEFAULT N

原创 INCEPTION+Yearning審覈平臺

自動化autosql審覈平臺--基於Yearning可視化解決依賴包yum -y install cmake ncurse ncurses-devel gcc gcc-c++  openssl-devel http-parser libi

原创 MySQL 虛擬表獲取數據行號

通過虛擬表獲取結果集的行的標識號,或者想知道數據庫某一條數據的排名,或者獲取時間的多少天前記錄等。SQL如下:SELECT @rowno:=@rowno+1 AS rowno,a.* FROM `tbl_crm_card_info` a,

原创 mysql遷移到REDIS過程

一個簡單快速的將MySQL的數據遷移到Redis中並且以hash方式存儲,數據的存儲需要遵守redis的通訊協議(官方連接 http://redis.io/topics/mass-insert),如:    *3 CR LF  //三個字

原创 MySQL報錯1677

線上從庫報錯,原來庫字符集爲utf8mb4,後在RENAME表後重新添加爲utf8,跑了一段時間提示1677.slave_type_conversions來控制複製中主從結構不一致的處理默認爲”,即不支持主從字段類型不一致,其它3種類型爲

原创 MySQL批量刪除數據腳本

#!/usr/bin/python# -*- coding: UTF-8 -*-import osimport MySQLdbimport timedb=MySQLdb.connect(host="172.

原创 MySQL邏輯備份備份還原

 從一個全備的數據恢復指定的數據,方法有很多,可以通過特殊方法從全備的數據文件取出數據數據庫名和表名等等,還可以通過一個全備指定庫名的方式恢復指定的數據,這個方法簡單快速,這個方法會恢復不需要的庫,但不會恢復數據.過程如下:1、查看數據庫

原创 eclips -django+mysql實踐

主要簡單實現通過WEB提交數據到後端再到數據展示過程: 1、配置eclips+django+python+mysql基礎環境搭建(省略) 2、通過eclipse添加DJANGO項目,MTV基礎配置       1、settings配置項

原创 pt-archiver數據歸檔使用大全

-where 'id<3000' 設置操作條件--limit 10000 每次取1000行數據給pt-archive處理--txn-size 1000 設置1000行爲一個事務提交一次--progress