原创 ELK日誌分析平臺(三) (Logstash簡介+安裝+常用插件示例)
文章目錄Logstash簡介Logstash安裝與配置file 輸出插件標準輸入到標準輸出標準輸入到文件elasticsearch輸出插件標準輸入到es主機file輸入插件把文件內容輸出到es主機logstash如何區分設備、文件
2020-06-30 23:22:22
1
原创 ELK日誌分析平臺(五) 爲es集羣開啓xpack驗證
文章目錄xpack簡介實驗步驟ES集羣的設置Kibana端Logstash 端測試 xpack簡介 在配置好es集羣之後，可以選擇開啓安全認證功能。X-Pack 提供以下幾個級別保護elastic集羣 1）用戶驗證 2）授權和基於
2020-06-30 23:22:22
原创 ELK日誌分析平臺(二) (elasticsearch節點角色+節點優化)
文章目錄elasticsearch節點角色elasticsearch優化節點劃分節點需求實驗 elasticsearch節點角色 Master： 主要負責集羣中索引的創建、刪除以及數據的Rebalance等操作。Master
2020-06-30 23:22:22
原创 自動化運維工具 SaltStack (四) (Job概念+將job存儲在數據庫中的兩種方式)
文章目錄Job的概念job管理中的基本命令將job存儲到數據庫External Job CacheMaster Job Cache Job的概念 1.master在下發指令任務時，會附帶上產生的jid。 Jid： job id 格
2020-06-30 23:22:22
1
原创 ELK日誌分析平臺(一) (ELK 簡介+Elasticsearch集羣的部署+head插件的安裝)
文章目錄ELK是什麼Elasticsearch簡介Elasticsearch的部署head插件的安裝過程爲集羣添加ser8和ser9節點 ELK是什麼 ELK Stack 是Elasticsearch、Logstash、Kiban
2020-06-30 23:22:22
1
原创 Hadoop(五) (Hadoop+zookeeper實現hdfs及yarn的高可用)
文章目錄實驗簡介部署zookeeperZooKeeper簡介Hadoop 配置啓動 hdfs 集羣進行 測試yarn的高可用 實驗簡介 在典型的 HA 集羣中,通常有兩臺不同的機器充當 NN。在任何時間,只有一臺機器處於Activ
2020-06-08 19:26:41
原创 Hadoop (一) （hadoop簡介+四大模塊+五大節點+HDFS的讀寫原理+故障檢測機制)
文章目錄hadoop簡介hadoop四大模塊hadoop的五大節點hadoop的應用場景HDFS的存儲架構HDFS讀寫的原理hadoop的故障檢測機制 hadoop簡介 Hadoop是一個由Apache基金會所開發的分佈式系統基礎
2020-06-04 08:59:14
原创 Hadoop（二) ( HDFS之單機版部署+僞分佈式的部署)
文章目錄單機版的部署僞分佈式的部署 單機版的部署 官方文檔: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup
2020-06-04 08:59:14
原创 MFS分佈式文件系統（三) (Storage class 存儲類)
文章目錄什麼是storage class什麼是label實驗過程 什麼是storage class 在moosefs中，storage class允許指定文件的chunks存放在哪些chunkservers上。 storage c
2020-06-04 08:59:14
1
原创 Hadoop (三） HDFS之完全分佈式部署
文章目錄完全分佈式的部署nfs的實現對master(ser3)進行設置測試存儲結點(dn)的熱添加 完全分佈式的部署 實驗背景： 172.25.2.3 ser3 namenode 172.25.2.4 ser4 dadanode
2020-06-04 08:59:14
原创 Hadoop （四） （MapReduce 的原理+實現)
文章目錄MapReduce簡介爲什麼需要mapreducemapreduce的工作原理部署過程 MapReduce簡介 MapReduce是一種編程模型，用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）“和"Redu
2020-06-04 08:59:14
原创 MFS分佈式文件系統（四) pacemaker 實現 mfs集羣的高可用
文章目錄pacemaker的安裝和設置基本爲集羣配置fence爲集羣添加vip資源爲集羣添加共享存儲爲集羣中添加mfsservice當mfsmaster被意外終止時 pacemaker的安裝和設置基本 實驗背景: 172.25.2
2020-06-04 08:59:14
原创 MFS分佈式文件系統（二) (恢復客戶端刪除的文件 + 恢復意外掛掉的mfsmaster + master對內存的設置）
文章目錄對客戶端刪除的文件進行恢復master對內存的設置恢復意外掛掉的mfsmaster服務 本文在mfs分佈式文件系統（一）的基礎下進行編寫。 對客戶端刪除的文件進行恢復 1.在客戶端刪除客戶端mfs目錄中的文件 2.創建元數
2020-06-04 08:59:14
原创 MFS分佈式文件系統（一) (MFS簡介+環境部署+測試使用)
文章目錄分佈式文件系統簡介MFS簡介MFS的組成MFS的工作過程MFS讀取數據的處理過程MFS寫入數據的處理過程環境部署測試使用 分佈式文件系統簡介 分佈式文件系統（Distributed File Systemm）是指文件系統管
2020-05-27 16:02:14
1
原创 ELK日誌分析平臺(四)（kibana 實現數據可視化）
文章目錄kibana簡介安裝與配置創建索引匹配基於ES索引創建可視化創建儀表盤創建垂直條形圖(訪問量排行榜)創建餅圖（訪問量比例)開發者api kibana簡介 kibana，elasticsearch項目的產品之一。官網地址：h
2020-05-27 16:02:14