原创 KAFKA集羣搭建

一、簡介  Kafka是Apache下的一個子項目，是一個高性能跨語言分佈式發佈/訂閱消息隊列系統，使用Scala編寫，它以可水平擴展和高吞吐率而被廣泛使用。目前越來越多的開源分佈式處理系統如Cloudera、Apache Storm、Sp

2019-09-30 14:26:30

原创 vim+python打造自己的IDE插件推薦

  今天同事小夥伴突然告訴我說，他用的編輯器sublime3導致筆記本突然卡頓，看當時內存吃到了30G,而他筆記本總共才8G內存，懷疑是內存泄漏，果斷換回了原來用的PyCharm。因爲我也用PyCharm學習python，深知它的內存使用基

2019-09-30 14:26:30 3

原创 Kafka性能調優

  Kafka的配置詳盡、複雜，想要進行全面的性能調優需要掌握大量信息，這裏只記錄一下我在日常工作使用中走過的坑和經驗來對kafka集羣進行優化常用的幾點。1.JVM的優化  java相關係統自然離不開JVM的優化。首先想到的肯定是Heap

2019-09-30 14:26:30 1

原创 zookeeper集羣搭建

  簡介  Zookeeper 分佈式服務框架是Apache Hadoop的一個子項目它主要是用來解決分佈式應用中經常遇到的一些數據管理問題如統一命名服務、狀態同步服務、集羣管理、分佈式應用配置項的管理等等。zookeeper本身可以單節點

2019-09-30 14:26:19

原创 log日誌輪轉--logrotate

  服務器上的日誌包括系統日誌和服務日誌每天都會產生n多log,好多人會自己寫腳本來進行日誌的切割、壓縮等，而忽略了系統自帶的服務--logrotate。  簡介  logrotate是個十分有用的工具，它可以自動對日誌進行截斷（或輪循）、

2019-09-30 14:26:19 4

原创 Linux源進源出與iproute2

  最近在給客戶做解決方案的時候遇到這麼一個場景也給自己埋了個坑這裏記錄一下。具體需求如下現在客戶國內服務器和國外的防火牆已經內網打通客戶在國內有臺WEB服務器要通過國外的一臺防火牆訪問外網需要從國外防火牆上能夠回源到國內的WEB服務器即能

2019-07-28 14:28:44 1

原创 Flask+Gunicorn+Gevent+Supervisor+Nginx生產環境部署

  老毛病了，在用某個新框架或新架構之前，總得花時間谷歌和自己折騰一番，才能知道這個框架和架構的優缺點，纔會發現自己最喜歡、用的最順手的的一種。近期在學習python，這裏記錄一下自己用的一套python web開發的部署環境。簡介  之所

2019-07-19 14:53:13 5

原创 Linux MemFree與MemAvailable的區別

  最近在做Prometheus的監控，結合Grafana做前端展示，其中涉及到內存的時候，有不少人對Memory Free和Memory Avaliable這兩個參數比較疑惑，這裏我結合linux下常用的查看內存使用情況的free命令，做

2019-07-11 14:22:32 12

原创 Sentry--錯誤日誌收集框架

  簡介  Sentry’s real-time error tracking gives you insight into production deployments and information to reproduce and f

2019-02-22 19:54:47

原创 Python監控服務器利器--psutil

服務器的監控通過安裝一些常用的監控軟件之外，有時也需要運行一些shell或Python腳本；shell下可以使用系統自帶的ps/free/top/df等shell命令，Python可以調用subprocess等模塊來運行shell命令，不過

2019-02-22 19:54:29

原创 Sentry--錯誤日誌收集框架

  簡介  Sentry’s real-time error tracking gives you insight into production deployments and information to reproduce and f

2018-09-11 05:57:03 1

原创 監控之美--prometheus配置文件動態管理

  Prometheus是一套開源的監控、報警解決方案，是由SoundCloud公司開發的，從 2012 年開始編寫代碼，再到 2015 年 開源以來，該項目有非常活躍的社區和開發人員，目前在全世界最大的男性交友社區上已經有了1.1w多st

2018-09-11 05:57:03 9

原创 無人值守安裝

                          無人值守安裝--PXE網絡裝機簡介：   PXE:（無人值守安裝?） Pre-boot eXcution Environment批量安裝操作系統：ＰＸＥ服務器 　　　　客戶端（網卡要支持

2018-09-11 05:57:03 3

原创 Prometheus智能化報警流程避免郵件轟炸

Prometheus作爲專業的監控體系，有自己專門的報警插件Alertmanager；Alertmanager是一個獨立的告警模塊，接收Prometheus等客戶端發來的警報，之後通過分組、刪除重複等處理，並將它們通過路由發送給正確的接收器

2018-09-11 05:57:02 12

原创 Django中的日期處理注意事項和自定義時間格式轉換

我們在用Django創建models時，常常會涉及時間日期字段的處理，Django裏日期相關Field有DateTimeField、DateField和TimeField三種類型，看似簡單，但其中有一些容易出錯的地方需要注意；另外，如果不習

2018-09-11 05:57:02 2