原创 在一個Python腳本中加載2種不同版本的庫

起因: 從ES集羣A往ES集羣B導數,然後比對2個ES的數據差異,逐個ID比對。由於ES集羣A的版本是1.4.x,ES集羣B的版本是5.3.x,所以無法使用同一個ES client包 1. 加載不同版本的client包 對比的過程

原创 優雅的終止docker容器

重要 我的博客從今天起開始陸續遷移到 http://vearne.cc 敬請關注 起因: 本文受到參考資料1的啓發 我們線上的服務有不少都是部署在docker中,部署涉及的機器多大幾十臺, 服務發佈時,要求前一個版本

原创 用grequests實現併發http請求

重要 我的博客從今天起開始陸續遷移到 http://vearne.cc 敬請關注 本文地址: http://vearne.cc/archives/100 起因 要用http請求探測服務的有效性,多進程,多線程,感覺似

原创 Elasticsearch經驗總結(持續補充)

重要 我的博客從今天起開始陸續遷移到 http://vearne.cc 敬請關注 本文新地址 http://vearne.cc/archives/65 起因: ES在筆者所在的公司使用也有3年多了,集羣的規模達到上百

原创 kafka查看隊列的消費情況

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group $group --topic $topic --zookeeper $zk_ho

原创 happybase put()操作默認使用批量?

起因:前段時間,我們把通過happybase向hbase 寫數據的操作put() 操作換成了batch() 結果發現性能並沒有提升 閱讀代碼,我發現put() 實現使用的就是批量插入 table.py def put(s

原创 https 原理簡析

起因:週四下午要在公司做關於https的分享,就順便結合已經寫好的PPT,在CSDN 中也分享下。 參考資料: 加密與解密 電子工業出版社 HTTP Over TLS RFC2818 The Transport Layer

原创 UTF8 encoding is longer than the max length 32766

重要 我的博客從今天起開始陸續遷移到 http://vearne.cc 敬請關注 本文地址: http://vearne.cc/archives/150 點贊 收藏 分享 文章舉

原创 python 模塊==命名空間?

起因: 想利用模塊傳遞某個變量,修改某個變量的值,且在其它模塊中也可見 於是我做了這樣一個實驗: [email protected]:vearne/test_scope.git base.py value = 10 b.py imp

原创 對稱加密算法和非對稱加密算法速度對比

測試環境: CPU 1 核 Intel 2.2GHZ 內存 1GB 算法 種類 對稱加密算法 AES CBC 模式 非對稱加密算法 RSA 256 加密明文長度爲160 bytes 各運行10000次

原创 python 使用multiprocessing需要注意的問題

重要 我的博客從今天起開始陸續遷移到 http://vearne.cc 敬請關注 本文新地址: http://vearne.cc/archives/166 點贊 收藏 分享 文章

原创 tornado 數據庫初始化

起因: 在使用tornado構建的web服務中,我們常常需要對數據庫進行訪問,如何數據連接纔是最爲友好的方式,我們一般寫法可能是這樣的 db.py class DB(object): def __init__(self):

原创 內存計數器實現限頻

以分鐘爲單位計數,超過相應數值則超過頻率限制,很簡單,不多解釋 import time import threading class Counter(object): def __init__(self):

原创 Delayqueue (python 實現)

起因:幾年前爲了開發一個監控系統,需要週期性的對系統狀態進行檢查,因此需要對檢查任務進行添加,排隊(按時間),移除等操作,無意中發現java jdk 中有DelayQueue,因此實現了一個python版本 源碼如下: # -*-

原创 我看過的好書推薦

C/C++ 篇 起因:以前一直想有人能給我介紹下有哪些好的計算機方面的書,卻也一直沒怎麼得到高人的點撥,現在自己跌跌撞撞的走個5年職場生活,也算有了寫讀書經歷,可以跟大家分享。 我儘量按照體系或者編程語言分類: 公共篇: 書名