原创 自動化運維工具Ansible實戰（一）簡介和部署
一、Ansible的介紹 Ansible是新出現的自動化運維工具，基於Python開發，集合了衆多運維工具（puppet、cfengine、chef、func、fabric）的優點。實現了批量系統配置、批量程序部署、批量運行命令等功能。An
2019-02-22 14:40:26
2
原创 Flume學習之路 （三）Flume的配置方式
一、單一代理流配置 1.1 官網介紹 http://flume.apache.org/FlumeUserGuide.html#avro-source 通過一個通道將來源和接收器鏈接。需要列出源，接收器和通道，爲給定的代理，然後指向源和接收器
2018-11-12 02:15:03
原创 Flume學習之路 （二）Flume的Source類型
一、概述 官方文檔介紹：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1 Avro Source 2.1.1 介紹 Avro端口
2018-11-12 02:14:52
1
原创 Flume學習之路 （一）Flume的基礎介紹
一、背景 Hadoop業務的整體開發流程：從Hadoop的業務開發流程圖中可以看出，在大數據的業務處理過程中，對於數據的採集是十分重要的一步，也是不可避免的一步。 許多公司的平臺每天會產生大量的日誌（一般爲流式數據，如，搜索引擎的pv，查詢
2018-11-12 02:14:52
原创 Kafka學習之路 （三）Kafka的高可用
一、高可用的由來 1.1 爲何需要Replication 在Kafka在0.8以前的版本中，是沒有Replication的，一旦某一個Broker宕機，則其上所有的Partition數據都不可被消費，這與Kafka數據持久性及Deliver
2018-11-12 02:08:26
1
原创 Kafka學習之路 （五）Kafka在zookeeper中的存儲
當kafka啓動的時候，就會向zookeeper裏面註冊一些信息，這些數據也稱爲Kafka的元數據信息。 一、Kafka在zookeeper中存儲結構圖 二、分析 根目錄下的結構 服務端開啓的情況下，進入客戶端的命令：{zookeeper
2018-11-12 02:08:26
1
原创 Kafka學習之路 （四）Kafka的安裝
zookeeper1：192.168.1.11 zookeeper2：192.168.1.12 zookeeper3：192.168.1.13 kafka1：192.168.1.14 kafka2：192.168.1.15 kafka3：
2018-11-12 02:08:26
1
原创 Kafka學習之路 （二）Kafka的架構
一、Kafka的集羣架構 如上圖所示，一個典型的Kafka集羣中包含若干Producer（可以是web前端產生的Page View，或者是服務器日誌，系統CPU、Memory等），若干broker（Kafka支持水平擴展，一般broker數
2018-11-11 02:11:00
原创 Kafka學習之路 （一）Kafka的簡介
一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發，是一個分佈式、分區的、多副本的、多訂閱者，基於zookeeper協調的分佈式日誌系統（也可以當做MQ系統），常見可以用於web/nginx日誌、訪問日誌，消息服務等等，Li
2018-11-11 02:11:00
1
原创 CentOS 7.3 Rsync服務的安裝與配置
一、Rsync服務簡介1. 什麼是Rsync它是一個遠程數據同步工具，它在同步文件的同時，可通過LAN/WAN快速同步多臺主機間的文件。Rsync使用所謂的“rsync算法”來使本地和遠程兩個主機之間的文件達到同步，這個算法只傳送兩個文件的
2018-09-12 03:27:12
原创 自動化運維工具Ansible實戰（五）Playbooks劇本使用
一、Playbook 簡介 Playbooks與Ad-Hoc相比，是一種完全不同的運用Ansible的方式，而且是非常之強大的；也是系統ansible命令的集合，其利用yaml語言編寫，運行過程，ansbile-playbook命令根據自上
2018-09-12 03:27:12
1
原创 CentOS 7.3 NFS服務器的安裝與配置
一、NFS服務簡介 NFS 是Network File System的縮寫，即網絡文件系統。一種使用於分散式文件系統的協定，由Sun公司開發，於1984年向外公佈。功能是通過網絡讓不同的機器、不同的操作系統能夠彼此分享個別的數據
2018-09-12 03:27:12
3
原创 LAMP環境搭建
一、LAMP架構介紹 LAMP網站架構是目前國際流行的Web框架，該框架包括：Linux操作系統，Apache網絡服務器，MySQL數據庫，Perl、PHP或者Python編程語言，所有組成產品均是開源軟件，是國際上成熟的架構框架，很多流行
2018-09-12 03:27:12
原创 Git分佈式版本工具的部署與使用
一、Git概述 1. Git誕生 很多人都知道，Linus在1991年創建了開源的Linux，從此，Linux系統不斷髮展，已經成爲最大的服務器系統軟件了。 Linus雖然創建了Linux，但Linux的壯大是靠全世界熱心的志願者參與的，這
2018-09-12 03:27:12
原创 自動化運維工具Ansible實戰（三）配置和命令集
一、Ansible配置 Ansible安裝好之後的配置文件有如下兩種：1、yum安裝，配置文件默認路徑爲：/etc/ansible/ansible.cfg2、源碼包安裝，配置文件路徑需要從軟件包裏面拷貝，如下： [root@Ansible
2018-09-12 03:27:12
3