原创 CentOS 7.3 Xinetd服務的安裝與配置
一、Linux守護進程與初始化進程1. 什麼是守護進程Linux服務器的主要任務就是爲本地或遠程用戶提供各種服務。通常Linux系統上提供服務的程序是由運行在後臺的守護進程（Daemon）來執行。一個實際運行中的Linux系統一般會有多個這
2019-07-05 13:21:40
1
原创 Kafka學習之路 （三）Kafka的高可用
一、高可用的由來 1.1 爲何需要Replication 在Kafka在0.8以前的版本中，是沒有Replication的，一旦某一個Broker宕機，則其上所有的Partition數據都不可被消費，這與Kafka數據持久性及Deliver
2019-02-22 14:41:00
原创 自動化運維工具Ansible實戰（四）常用模塊
Ansible默認提供了很多模塊來供我們使用。在Linux中，我們可以通過 ansible-doc -l 命令查看到當前Ansible支持哪些模塊，通過 ansible-doc -s [模塊名] 又可以查看該模塊有哪些參數可以使用。 ans
2019-02-22 14:41:00
4
原创 ELK實時日誌分析平臺環境部署
一、概念介紹 日誌主要包括系統日誌、應用程序日誌和安全日誌。系統運維和開發人員可以通過日誌瞭解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解服務器的負荷，性能安全性，從而及時採取措施糾正錯誤。 通常，日誌被分散
2019-02-22 14:40:35
原创 Kafka學習之路 （一）Kafka的簡介
一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發，是一個分佈式、分區的、多副本的、多訂閱者，基於zookeeper協調的分佈式日誌系統（也可以當做MQ系統），常見可以用於web/nginx日誌、訪問日誌，消息服務等等，Li
2019-02-22 14:40:33
原创 Kafka學習之路 （五）Kafka在zookeeper中的存儲
當kafka啓動的時候，就會向zookeeper裏面註冊一些信息，這些數據也稱爲Kafka的元數據信息。 一、Kafka在zookeeper中存儲結構圖 二、分析 根目錄下的結構 服務端開啓的情況下，進入客戶端的命令：{zookeeper
2019-02-22 14:40:31
10
原创 Kafka學習之路 （四）Kafka的安裝
zookeeper1：192.168.1.11 zookeeper2：192.168.1.12 zookeeper3：192.168.1.13 kafka1：192.168.1.14 kafka2：192.168.1.15 kafka3：
2019-02-22 14:40:30
原创 Kafka學習之路 （二）Kafka的架構
一、Kafka的集羣架構 如上圖所示，一個典型的Kafka集羣中包含若干Producer（可以是web前端產生的Page View，或者是服務器日誌，系統CPU、Memory等），若干broker（Kafka支持水平擴展，一般broker數
2019-02-22 14:40:29
原创 Zabbix監控系統部署
Linux下常用的系統監控軟件有Nagios、Cacti、Zabbix、Monit等，這些開源的軟件，可以幫助我們更好的管理服務器，在第一時間內發現錯誤，並通知系統維護人員。 那我們今天就開始研究Zabbix。使用Zabbix的目的，是爲了
2019-02-22 14:40:29
原创 Flume學習之路 （二）Flume的Source類型
一、概述 官方文檔介紹：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1 Avro Source 2.1.1 介紹 Avro端口
2019-02-22 14:40:29
原创 LAMP環境搭建
一、LAMP架構介紹 LAMP網站架構是目前國際流行的Web框架，該框架包括：Linux操作系統，Apache網絡服務器，MySQL數據庫，Perl、PHP或者Python編程語言，所有組成產品均是開源軟件，是國際上成熟的架構框架，很多流行
2019-02-22 14:40:28
4
原创 Flume學習之路 （三）Flume的配置方式
一、單一代理流配置 1.1 官網介紹 http://flume.apache.org/FlumeUserGuide.html#avro-source 通過一個通道將來源和接收器鏈接。需要列出源，接收器和通道，爲給定的代理，然後指向源和接收器
2019-02-22 14:40:28
原创 LNMP環境搭建
一、LNMP架構介紹 本文介紹的LNMP環境各個軟件的版本爲：Centos7 + Nginx1.12.2 + Mysql-5.7.17 + PHP7.2.5。本文是在假設Centos7已經安裝完成的前提下進行介紹的，若尚未安裝，可以前往Ce
2019-02-22 14:40:27
3
原创 Flume學習之路 （一）Flume的基礎介紹
一、背景 Hadoop業務的整體開發流程：從Hadoop的業務開發流程圖中可以看出，在大數據的業務處理過程中，對於數據的採集是十分重要的一步，也是不可避免的一步。 許多公司的平臺每天會產生大量的日誌（一般爲流式數據，如，搜索引擎的pv，查詢
2019-02-22 14:40:26
原创 自動化運維工具Ansible實戰（二）主機清單的管理
Ansible安裝好之後的主機清單配置文件有如下兩種：1、yum安裝，配置文件默認路徑爲：/etc/ansible/hosts2、源碼包安裝，主機清單配置文件路徑需要從軟件包裏面拷貝，如下： [root@Ansible ~]# mkdir
2019-02-22 14:40:26
4