原创 elasticsearch如何設計集羣
本文爲博客園作者所寫： 一寸HUI，個人博客地址：https://www.cnblogs.com/zsql/ 在寫本文時就在想，如果讓你負責一個elasticsearch集羣，從零開始，你會從哪些方面考慮？我們也知道es基本都是開箱即用
2021-03-23 13:50:39
原创 elasticsearch如何設計索引
本文爲博客園作者所寫： 一寸HUI，個人博客地址：https://www.cnblogs.com/zsql/ 最近在做es相關的工作，所以記錄下自己的一些想法，可能很多方面不會很全面，但是基本都是經過驗證的。本文主要是圍繞着思考，從多個方面
2021-03-22 18:35:27
原创 聊聊elasticsearch7.8的模板和動態映射
最近想寫一篇es的索引的一個設計，由於設計的東西特別多，當然，elasticsearch的模板和動態映射也是其中的一個設計點，所以乾脆先來聊聊索引的模板和動態映射，模板，聽這個名字就相當於一些公共可用的東西可以作爲所有索引的一個設置， 本文
2021-03-22 18:34:51
原创 elasticsearch7.8權限控制和規劃
由於在版本7開始，x-pack可以免費使用了，但是權限控制免費的不夠細，但是控制到索引級別都基本夠用了。付費的可以體驗更細緻的權限控制。本文的基礎是已經有了es集羣的基礎上進行的。 官網：https://www.elastic.co/gui
2021-03-22 18:34:45
原创 cloudera manager server遷移
一、遷移背景 服務器出了問題，導致整個cm server界面呈現出不可用的狀態，也就是獲取不到各個大數據組件以及主機相關的狀態的信息，整個cm server的前端界面處於癱瘓的狀態，不可用，剛開始懷疑是存放元數據的mysql有問題，但是
2021-03-22 18:34:39
原创 工作兩年半的一次覆盤
一、覆盤的目的 今天是2021年1月30號了，時間過得真的是挺快的，轉眼間就參加工作兩年半有餘了，回想起來其實感覺就是時間過去了，也不知道自己做了什麼，沒有記錄，沒有思考，這樣就很難得到個人的成長和提升。前幾天在網上看到覆盤，可能一
2021-01-31 13:45:38
原创 聊聊數據結構和算法
#####廢話的開始#####，從今天開始，可能就會多一個話題了，雖然以前在學校也學過數據結構這門課程，但是作爲新世紀的90後，還是把學到的東西原原本本還給了老師，有借有還再借不難。其實後續也陸陸續續學習過，但是沒有去做很好總結，容易忘
2021-01-22 13:46:08
原创 談談hive中join下on和where
本文爲博客園作者所寫： 一寸HUI，個人博客地址：https://www.cnblogs.com/zsql/ 很多人如果先接觸mysql的執行順序（from ->on ->join ->where ->group by ->having -
2020-12-25 13:50:57
原创 ss命令結合zabbix對socket做監控
本文爲博客園作者所寫： 一寸HUI，個人博客地址：https://www.cnblogs.com/zsql/ 最近天冷了，socket也出問題了，一直沒有做監控，現在就把監控加起來，目前我們使用的有zabbix和prometheus兩種監控
2020-12-25 13:50:57
原创 xargs--冬天裏的一絲暖意
本文爲博客園作者所寫： 一寸HUI，個人博客地址：https://www.cnblogs.com/zsql/ 你有批量kill作業嗎？有因爲刪除文件夾的內容太多而報錯嗎？-bash: /bin/rm: Argument list too l
2020-12-05 12:52:32
原创 "三劍客"之awk心中無劍
一、awk介紹 awk 是一種程序語言. 它具有一般程序語言常見的功能. 因awk語言具有某些特點, 如 : 使用直譯器(Interpreter)不需先行編譯; 變量無類型之分(Typeless), 可使用文字當數組的下標(Assoc
2020-11-25 12:52:26
原创 “三劍客”之sed手中有劍
一、sed介紹 sed是Stream Editor（字符流編輯器）的縮寫，簡稱流編輯器。sed是操作、過濾和轉換文本內容的強大工具。常用功能包括對文件實現快速增刪改查（增加、刪除、修改、查詢），其中查詢的功能中最常用的兩大功能是過濾（過
2020-11-21 12:52:33
原创 hadoop之yarn（優化篇）
最近一直在學習hadoop的一些原理和優化，然後也做了一些實踐，也有沒有去做實踐的，反正個人觀點都記錄下來 一、yarn的介紹 YARN的基本結構由一個ResourceManager與多個NodeManager組成。ResourceMa
2020-11-14 12:52:36
原创 對hadoop RPC的理解
因爲公司hadoop集羣出現了一些瓶頸，在機器不增加的情況下需要進行優化，不管是存儲還是處理性能，更合理的利用現有集羣的資源，所以來學習了一波hadoop的rpc相關的知識和hdfs方面的知識，以及yarn相關的優化，學完之後確實明白了可以
2020-11-11 12:53:25
原创 mysql優化篇（基於索引）
在上一篇文章：Mysql索引（一篇就夠le） 中介紹了索引的基本使用，分類和原理，也強烈建議先讀Mysql索引（一篇就夠le），然後繼續本文的閱讀 我們也知道mysql的優化可以從很多的方面進行，比如硬件，換個ssd的磁盤也很爽，環境的搭建
2020-10-23 12:52:31