原创 Spark on YARN的cluster模式
目錄 YARN架構 Spark on YARN的cluster模式 常用命令 日誌查看與處理 參考資料 YARN架構 YARN是Hadoop2.0之後出現的集羣資源的管理與任務調度的分佈式框架。 資源管理： 集羣中的資源（如內存、c
2020-07-05 23:46:23
原创 Mysql 5.7實現存在則更新，不存在則新增
需求：如果表中存在某行，那麼更新即可；不存在某行，那麼就新增一條。通常是將主鍵索引或唯一索引作爲判斷條件。 思路：可以使用Mysql的INSERT ... ON DUPLICATE KEY UPDATE或REPLACE或UPDATE實現。
2020-07-05 23:46:22
原创 【筆記】Kafka生產者理解
目錄 生產邏輯 參數說明 發送消息模式 代碼實現 序列化器 分區器 生產者客戶端的內部原理 參考資料 生產邏輯 1）配置生產者客戶端參數及創建相應的生產者實例； 2）構建待發送的消息； 3）發送消息； 4）關閉生產者實例。 參數說明
2020-07-05 23:46:22
原创 gin框架的簡單使用
gin框架是基於golang語言的web框架。如果用gin實現服務，有下述的場景需求，那麼可以繼續閱覽： 服務針對不同的路由，有不同的驗證規則。比如服務對應PC管理端和移動端，分別有不同的驗證規則，涉及路由組、中間件攔截驗證； 請求記錄、
2020-07-05 23:46:22
原创 Spark資源參數調優
目錄 資源參數 參考資料 資源參數 1）num-executors 參數說明：該參數用於設置Spark作業總共要用多少個Executor進程來執行。Driver在向YARN集羣管理器申請資源時，YARN集羣管理器會盡可能按照你的設置來
2020-07-05 23:46:22
原创 【筆記】Kafka消費者理解
目錄 消費者與消費組 分區分配策略 消費邏輯 參數說明 消費位置 位移提交方式 參考資料 消費者與消費組 消費組是一個邏輯上的概念，它將旗下的消費者歸爲一類，每一個消費者只隸屬於一個消費組。每一個消費組都會有一個固定的名稱，消費者在進
2020-07-05 23:46:22
原创 Elasticsearch7.2集羣的安全性配置
目錄 集羣身份認證 集羣內部通訊的安全 集羣與外部間的安全通信 集羣身份認證 說明：訪問ES集羣需要用戶名和密碼，否則不能調用接口等。 具體實現：這裏以單個節點進行演示，ip爲192.168.52.127 1）elasticsearc
2020-07-05 23:46:22
原创 Ansible快速瞭解
前言 本文依據於課堂《ansible入門到精通》，旨在快速瞭解ansible。文章篇幅較長，可通過目錄快速進入需要了解的部分。 目錄 是什麼？ 工作原理？ 部署？ 常用模塊？ playbook？ roles 是什麼？ ansible是
2020-07-05 23:46:22
原创 Codis報錯：proxy accept new connection failed [error]: too many open files
Codis頻繁報錯：proxy accept new connection failed [error]: accept tcp4 0.0.0.0:19000: accept4: too many open files 原因：連接數過多
2020-07-05 23:46:22
原创 Spark應用中斷監控
前言 本文主要是圍繞spark on yarn cluster模式運行spark應用。在實際應用中，會碰到這種情況，應用被中斷、應用未中斷但是不執行計算、應用中某些任務失敗等。我們將應用部署後，不可能時時都關注，當應用被中斷時，怎麼能儘快
2020-07-05 23:46:22
原创 Codis/Redis數據莫名丟失
問題 codis3.2.2集羣中（三臺機器），其中一臺機器上會出現這種情況：某個庫莫名消失或某個庫的數據（非過期數據）莫名丟失。其他兩臺機器未出現這種情況。 排查 redis的內存問題。因爲三臺機器上的redis的maxmemory均設置
2020-07-05 23:46:22
原创 Elasticsearch hot&warm架構的簡單實現
hot&warm架構，簡單說，就是將Elasticsearch集羣部署劃分爲hot數據節點和warm數據節點，適用於time based 索引數據。其中，hot數據節點用於處理不斷有文檔新寫入的索引，warm數據節點用於處理不再有新文檔寫
2020-07-05 23:46:22
1
原创 golang omitempty實現嵌套結構體的省略輸出
golang在處理json轉換時，對於標籤omitempty定義的field，如果給它賦得值恰好等於空值（比如：false、0、""、nil指針、nil接口、長度爲0的數組、切片、映射），則在轉爲json之後不會輸出這個field。那麼，
2020-05-26 17:05:06
原创 golang同步總結
目錄 鎖 條件變量 原子操作 只會執行一次 WaitGroup context.Context 臨時對象池 參考資料 鎖 1.互斥鎖 表示：sync.Mutex，類型sync.Mutex的零值表示了未被鎖定的互斥量 作用：保證在同一時
2020-05-23 05:12:51
原创 golang通道總結
目錄 概念 緩衝與非緩衝 雙向與單向 for select Q & A 參考資料 概念 go語言提倡“以通信作爲手段來共享內存”，而channel就是最直接和最重要的體現。channel指通道類型，是Go語言預定義的數據類型之一，使用
2020-05-01 13:08:13