原创 ELK5---Elasticsearch Cluster的搭建

前言:    ELK 不是一款軟件,而是 Elasticsearch、Logstash 和 Kibana 三種軟件產品的首字母縮寫。這三者都是開源軟件,通常配合使用,而且又先後歸於 Elastic.co 公司名下,所以被簡稱爲 ELK St

原创 Nginx緩存開啓

衆所周知,Nginx是一個高性能的web服務器,尤其在高併發和處理靜態頁面的時候有先天的優勢;很大一部分得益於緩存的開啓,那麼如何開啓nginx的緩存呢。 簡單來說可以分兩步: 定義緩存存儲目錄並指定共享內存空間 在location裏指定

原创 高併發情況下Linux系統及kernel參數優化

  衆所周知在默認參數情況下Linux對高併發支持並不好,主要受限於單進程最大打開文件數限制、內核TCP參數方面和IO事件分配機制等。下面就從幾方面來調整使Linux系統能夠支持高併發環境。Iptables相關  如非必須,關掉或卸載ipt

原创 Supervisord守護Prometheus遇到的坑

一直以來我採用supervisord來進行第三方服務的管理,百試不爽。所謂的第三方服務,我這裏把不能通過yum或apt進行安裝的,統統歸攏爲第三方;當然使用systemd來進行管理也很不錯,不過在服務exit的時候需要自己寫腳本來進行重啓和

原创 VyOS--企業軟路由推薦

  今天給大家推薦一個好用的開源路由操作系統---VyOS,也是我個人非常喜歡的一款軟路由器。VyOS 是基於 Debian GNU/Linux 的,提供了和其他諸如Cisco的IOS、Juniper的JUNOS類似的操作方式,配置起來感覺

原创 用Mikrotik Router搭建GRE over IPSec 備用鏈路

  公司在國內、日本、美國、德國、新加坡等多地均有業務,中間業務網絡用的公司專有GPN(Global Private Network中文名是全球私有化網絡)鏈路,目前測試搭建一條備用鏈路,用於網絡冗餘和故障切換。  初步選用方案GRE ov

原创 P2P--大文件分發網絡的搭建

  六月份去上海蔘加了DockOne組織的容器大會,報了一個小項目,不小心得了一等獎,這裏拿出來跟大家共享一下其中核心的P2P傳輸網絡的搭建,也是公司已經投入使用的大文件傳輸方式。項目設計:初衷:1、作爲一個提供全球雲計算業務的運營商來說,

原创 服務發現之美:Consul集羣搭建

  近幾年隨着Docker容器技術、微服務等架構的興起,人們開始意識到服務發現的必要性。微服務架構簡單來說,是一種以一些微服務來替代開發單個大而全應用的方法, 每一個小服務運行在自己的進程裏,並以輕量級的機制來通信, 通常是 HTTP RE

原创 pyvmomi 實現VMware自動化

    運維離不開自動化,python的發展更是給自動化注入了一劑興奮劑;還記得當時公司年會,大家都在嗨皮,苦逼的運維攻城獅還在賣力的給一個大客戶手動開通500臺雲主機的情形,現在想想好傻O(∩_∩)O哈哈~。如果早點接觸pyVmomi,就

原创 Chrome HSTS異常導致無法訪問HTTPS網頁

今天小夥伴突然告訴我,他的電腦上打不開網頁了,然後把以下截圖給我發了過來: 瞭解到他是用shadowsocks訪問谷歌的時候網頁打不開,之前是都是OK的。簡單讓他做了下網絡連通性測試:ping域名,telnet網站的80和443端口,發現網

原创 Grafana與Elasticsearch

  之前一直用ELK體系裏的Kibana做ES的WEB前端展示,kibana功能簡單,可以直接顯示log的內容,非常人性化,缺陷是沒有權限、用戶管理(我之前用Nginx和haproxy其中之一來代替),圖形展示不夠豐富,管理api等限制,更

原创 Python監控服務器利器--psutil

服務器的監控通過安裝一些常用的監控軟件之外,有時也需要運行一些shell或Python腳本;shell下可以使用系統自帶的ps/free/top/df等shell命令,Python可以調用subprocess等模塊來運行shell命令,不過

原创 Python心得--如何提高代碼質量

  前些日子用python基於prometheus開發了一個vsphere volume卷監控的exporter,於是跟vsphere的api(pyvmomi)接口打上了交道,開發的過程中你會發現pyvmomi的接口返回的對象好多列表類型的

原创 開發自己的分佈式監控Prometheus Exporter時遇到的坑

   這裏說下我在開發自己的Prometheus Exporter時遇到的幾個坑,所謂的坑,其實是在開發過程中需要注意到的幾個關鍵點,如果忽略,那麼可能會產生錯誤和非預期的結果。  如果對Prometheus不瞭解的,可以自行谷歌或百度一下

原创 用Prometheus細化Nginx監控

國內用Nginx的比較多,Nginx的監控比較老的方案可能是通過跑腳本定期收集nginx的status模塊的數據,或者監控nginx的日誌;後來阿里的tengine在國內開始流行,於是誕生了很多不錯的lua模塊;但是這些監控方案在有新的監控