原创 Linux 性能監測：Memory

這裏的講到的 “內存” 包括物理內存和虛擬內存，虛擬內存（Virtual Memory）把計算機的內存空間擴展到硬盤，物理內存（RAM）和硬盤的一部分空間（SWAP）組合在一起作爲虛擬內存爲計算機提供了一個連貫的虛擬內存空間，好處是我們擁有

2018-09-12 02:06:12

原创 HDFS中的NameNode和DataNode

    HDFS集羣中以Master-Slave模式運行，主要有兩類節點：一個Namenode節點(即master)和多個Datanode節點。Namenode管理文件系統的Namespace.他維護着文件系統樹以及文件樹中所有的文件和文

2018-09-12 02:06:12

原创 Linux 性能監測：CPU

CPU 的佔用主要取決於什麼樣的資源正在 CPU 上面運行，比如拷貝一個文件通常佔用較少 CPU，因爲大部分工作是由 DMA（Direct Memory Access）完成，只是在完成拷貝以後給一箇中斷讓 CPU 知道拷貝已經完成；科學計算

2018-09-12 02:06:09

原创 圖解YARN工作原理

      YARN 即MapReduce V2版本。相比MapReduce V1 它有很多優點：        1. 分散了jobTracker 的任務。資源管理任務由資源管理器負責，作業啓動、運行和監測任務由分佈在集羣節點上的應用主題負

2018-09-12 02:06:09

原创 ES1.4 中文分詞插件ik

    ES 官方只支持smartcn這個中文分詞插件，是按照單個字進行索引。前端產品搜索時，凡是帶這個關鍵字的都會被索引到。打個比方:搜索"蘋果"關鍵詞，凡是包含"蘋"和"果"的title都會被索引到。所以爲了這個需求，找一個第三方的中文

2018-09-12 02:06:09

原创 dns 自動化管理平臺

   又一次開發DNS管理平臺，去年開發過兩個版本。來到新公司，又來了這樣的需求。好吧~  那就再開發一個版本。         去年第一個版本底層是bind，給予文件管理，這樣管理起來比較複雜，而且每次發佈持續時間特別長。第二個版本使用b

2018-09-12 02:06:09

原创 運維自動化--代碼發佈平臺

   隨着業務線和項目增加，使用rsync 命令方式發佈代碼已經無法滿足需求。所以想搞一套代碼發佈平臺。【需求收集】  1.年前開發了一個版本，當時只是和前端PHP團隊溝通過。開發完發現後端需求和前端的需求有出入。所以這個版本給廢掉了。 

2018-09-12 02:06:09

原创 Linux 性能監測：IO

磁盤通常是計算機最慢的子系統，也是最容易出現性能瓶頸的地方，因爲磁盤離 CPU 距離最遠而且 CPU 訪問磁盤要涉及到機械操作，比如轉軸、尋軌等。訪問硬盤和訪問內存之間的速度差別是以數量級來計算的，就像1天和1分鐘的差別一樣。要監測 IO

2018-09-12 02:06:08

原创 python __slots__ 使你的代碼更加節省內存

      在默認情況下,Python的新類和舊類的實例都有一個字典來存儲屬性值。這對於那些沒有實例屬性的對象來說太浪費空間了，當需要創建大量實例的時候，這個問題變得尤爲突出。       因此這種默認的做法可以通過在新式類中定義了一個__

2018-09-12 02:06:08

原创 全能冠軍：Linux系統性能和使用活動監控工具 sysstat

Sysstat是一個非常方便的工具，它帶有衆多的系統資源監控工具，用於監控系統的性能和使用情況。我們在日常使用的工具中有相當一部分是來自sysstat工具包的。同時，它還提供了一種使用cron表達式來制定性能和活動數據的收集計劃。下表是包含

2018-09-12 02:06:08

原创 python 代碼檢查，實現行級代碼優化

    有時候運行一個python程序，它需要運行很長時間。你或許想提升該程序的運行效率。那該怎麼做那？     首先需要你要找到該程序瓶頸在哪裏~   比如，哪個函數的運行花費時間比較長？ 哪個函數佔用內存比較多，是否需要優化對內存的使用

2018-09-12 02:06:08 1

原创 zabbix 實現短信告警

       之前一直調用飛信接口發送告警信息，最近購買了第三方短信接口。所以準備使用接口發送告警。        短信接口是基於https的摘要認證。https認證還是自己做的，調用接口的時候還需要load證書。感覺超級難用，不管那麼多，

2018-09-12 02:06:08

原创 python並行處理任務時 該用多進程？還是該用多線程？

      在python並行處理任務時要使用多線程還是多進程？ 說到這個話題，必須要提的GIL( Global Interpreter Lock)全局解釋鎖，當Cpython每次執行字節碼時都要先申請這個鎖。那麼問題就來了，如果使用多線程

2018-09-12 02:06:07 2

原创 Linux 性能監測：Network

網絡的監測是所有 Linux 子系統裏面最複雜的，有太多的因素在裏面，比如：延遲、阻塞、衝突、丟包等，更糟的是與 Linux 主機相連的路由器、交換機、無線信號都會影響到整體網絡並且很難判斷是因爲 Linux 網絡子系統的問題還是別的設備的

2018-09-12 02:06:00

原创 三張圖看遍Linux 性能監控、測試、優化工具

Linux 平臺上的性能工具有很多，眼花繚亂，長期的摸索和經驗發現最好用的還是那些久經考驗的、簡單的小工具。系統性能專家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大會上更新了他那個有名的關於 Linux

2018-09-12 02:06:00 2