原创 maxwell的安裝與使用
官網：http://maxwells-daemon.io/ 概覽 這是Maxwell的守護進程，這是一個讀取MySQL binlogs並將行更新寫入Kafka，Kinesis，RabbitMQ，Google Cloud Pub /
2020-06-24 01:45:56
3
原创 虛擬機安裝ubuntu 16.04 及配置基本應用
1、直接在vm中新建虛擬機，設置硬件配置，安裝即可 2、無法粘貼windows的複製 第一步： sudo apt-get autoremove open-vm-tools 第二步：sudo apt-get install open
2020-06-24 01:45:56
原创 利用canal實時同步mysql數據至elasticsearch
本次測試環境爲單機，測試中需要用到docker環境，關於docker的安裝配置不在本文討論範圍 操作系統爲centos7.5，mysql版本爲5.7.25 通過canal對mysql數據庫的增刪改進行實時同步測試 elastics
2020-06-24 01:45:55
1
原创 pymysql查詢語句中帶有in時傳遞參數的問題
直接給出例子說明： cs = conn.cursor() img_ids = [1,2,3] sql = "select img_url from img_url_table where id in %s" cs.execute(
2020-06-24 01:45:55
原创 python代碼中使用jdbc測試連接mysql
安裝jaydebeapi pip install jaydebeapi import jaydebeapi jdbc_url = "jdbc:mysql://localhost:3306/xxx" user = "root" p
2020-06-24 01:45:45
17
原创 pycharm連接遠程環境
設置基於pycharm 2019.3.1，低版本設置方式會有不同 上圖中interperter指定遠程服務器python解釋器，sync folders指定項目文件同步到遠程服務器的哪個目錄，可自行指定
2020-06-24 01:45:45
原创 pyflink安裝測試
聲明 從flink1.10開始，pyflink安裝無需編譯源碼，需要python3.5以上版本進行pip安裝。 pip install apache-flink https://pypi.org/project/apache-fl
2020-06-24 01:45:44
原创 redis正則刪除指定數據庫編號中的批量key
redis-cli -n 2 keys "w_id=*,pid=*" | xargs redis-cli del -n：指定數據庫編號 keys：指定正則表達式 將通過正則查詢到的key交給管道後的命令進行批量刪除
2020-06-24 01:45:44
原创 datax配置支持vertica
進入rdbmsreader對應目錄，如下所示： 在rdbmsreader插件目錄下有plugin.json配置文件，在此文件中註冊vertica的數據庫驅動 { "name": "rdbmsreader", "c
2020-06-24 01:45:44
原创 datax使用小記
DataX DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCo
2020-05-26 14:28:14
原创 使用python從一個列表中尋找不在另一個列表中的數據的方法
假設有以下兩個數據集列表 a = list(range(1, 100000)) b = list(range(150000, 50000, -1)) 要從a中找到不在b中的數據，常常會想直接遍歷兩個列表即可 a_alone =
2020-03-12 11:15:39
原创 python中random隨機抽樣
random.choice() # 一次隨機選出一個 random.choices() # 抽一個列表出來，但是這是有放回抽樣，即抽出的數據可能會重複 random.sample() # 無放回抽取一個列表出來，即抽出的數據
2020-02-29 15:18:17
1
原创 ubuntu18.04安裝mysql 5.7
ubuntu 18.04安裝mysql相較ubuntu 16.04會有一些問題出現，在此記錄這一安裝及配置過程。 1、安裝數據庫 sudo apt-get install mysql-server 執行完成後即可，安裝後默認是啓動
2019-08-28 21:46:48
1
原创 centos7 安裝mysql5.7及簡單配置
mysql5.7下載地址 https://dev.mysql.com/downloads/mysql/5.7.html#downloads 1、卸載mariadb rpm -e --nodeps mariadb-libs 2、安
2019-08-28 21:46:48
原创 python列表嵌套字典排序
L=[{'status':1,'com':'a'},{'status':2 ,'com':'c' },{'status':1 ,'com':'b' },{'status':1 ,'com':'a' }] L.sort(key=la
2019-07-30 21:52:40