原创 記一次es集羣啓動異常
異常起因 由於致命查詢導致es集羣所有節點掛掉後，各節點重啓後報SERVICE_UNAVAILABLE/1/state not recovered / initialized警告，其中有個節點始終無法加入集羣，導致主節點一直等待無
2020-07-03 22:10:27
原创 python日誌處理包log4py
log4py日誌工具包基於python自帶logging進行的封裝，默認配置了比較常用的日誌輸出，方便使用 安裝 pip3 install log4py 快速上手 新建demo.py from log4py import Log
2020-06-24 14:11:46
原创 python ETL工具 pyetl
pyetl是一個純python開發的ETL框架， 相比sqoop, datax 之類的ETL工具，pyetl可以對每個字段添加udf函數，使得數據轉換過程更加靈活，相比專業ETL工具pyetl更輕量，純python代碼操作，更加符
2020-06-11 09:53:58
8
原创 python通用數據庫操作工具 pydbclib
pydbclib是一個通用的python關係型數據庫操作工具，使用統一的接口操作各種關係型數據庫（如 oracle、mysql、postgres、hive、impala等）進行增刪改查，對各python數據庫連接驅動包（如sqla
2020-06-11 09:53:58
原创 python ETL工具
應對小規模業務場景使用專業的etl會有點費勁，還得增加運維監控成本，想想直接寫個框架，用代碼直接做etl數據接入 安裝 pip install pyetl 使用 首先看下最簡單的demo from pyetl import Etl
2018-08-23 21:43:14
原创 python 數據庫通用工具包pydbclib
由於python的數據庫操作有各種樣的第三方庫，相互之間使用都會有點差別（比如sql佔位符就有’?’,’:’,’%s’等，該工具的通配符都是”:”標準），導致代碼在切換數據庫時也需要相應改動，應此自己封裝了一個通用的庫可以用python
2018-08-23 21:43:14
原创 logstash json 格式日誌timestamp覆蓋寫入elasticsearch
我們的需求是通過logstash將json格式的log導入到elasticsearch並且使用log中的記錄時間覆蓋@timestamp字段 最簡單的方式是在json中將時間字段改直接命名爲@timestamp，如下json格式示例：
2018-08-23 21:43:10