原创 rsync的使用總結
rsync遠程同步：rsync是以文件名來區分的文件是否已經同步，文件同步之後進程會自動中斷1.需要兩臺主機實現免密登錄2.rsync的同步參數 a 歸檔傳輸。保留文件的原始屬性 z 傳輸時壓縮文件，可能會佔用更多的資源 -delete
2019-03-03 13:11:36
原创 HDFS知識點總結
HDFS知識點總結學習完Hadoop權威指南有一段時間了，現在再回顧和總結一下HDFS的知識點。1、HDFS的設計HDFS是什麼：HDFS即Hadoop分佈式文件系統（Hadoop Distributed Filesystem），以流式數據
2019-02-22 14:52:45
原创 sql中in和exists的使用情況
in 和 exists的區別: 如果子查詢得出的結果集記錄較少，主查詢中的表較大且又有索引時應該用in, 反之如果外層的主查詢記錄較少，子查詢中的表大，又有索引時使用exists。其實我們區分in和exists主要是造成了驅動順序的改變(這
2019-02-22 14:52:43
原创 linux免交互登陸遠程主機並執行命令(密鑰對和Expect)
1. SSH無密碼認證方式 客戶端使用ssh-keygen生成密鑰對，將公鑰複製到服務端（authorized_keys），SSH提供公鑰登陸，當SSH訪問服務端時，服務端先在本機尋找客戶端的公鑰，然後把客戶端發來的公鑰進行比較，如果
2019-02-22 14:52:42
原创 TCP UDP傳輸原理 及 數據塊，分節，分組，數據報，數據包的區別
關於TCP輸出： 每個TCP套接口有一個發送緩衝區，當應用程序調用write時，內核將應用程序的緩衝區的數據拷貝到TCP的發送緩衝區，(如果write成功返回，僅僅表示應用程序的緩衝區已經全部拷貝到TCP的發送緩衝區，說明此時應用程
2019-02-22 14:52:42
原创 zabbix_get檢測key值提示grep:invalid matcher ms
使用zabbix_get測試自動發現創建的監控項，在server端提示報錯[root@zabbix ~]# zabbix_get -s 192.168.191.151 -p 10050 -k flume.flumeCpu-[flume-cb
2019-02-02 13:08:32
2
原创 zabbix自動發現規則刪除已經實現的監控項
測試通過讀取文件中的信息自動創建監控項，創建結果下圖:由於修改了原始的文件信息，再次查看創建的監控項時，系統提示:該時間默認的時30天，上圖是已經修改過的配置需要在創建自動發現規則時，修改參數Keep lost resources peri
2019-02-02 13:08:21
2
原创 zabbix_get查看agent端的key值提示沒有權限:Permission denied
zabbix使用自動發現創建監控項 agent端的配置: 自動發現實例名，ip，端口#!/bin/bash printf "{\n" printf '\t'"\"data\":[" first=1 for info in `c
2019-02-01 13:07:08
原创 linux通過命令udp發送信息
使用命令shell同通過udp發信信息echo test > /dev/upd/localhost/514 可以使用flume採集本機的514端口採集端配置 a1.sources = r1 a1.channels = c1
2019-02-01 13:07:08
原创 syslog知識
1. syslog概念syslog本身是一種協議， 一個用來描述系統日誌格式的協議， 當前的協議包括三部分:如下面是一個syslog消息：<30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit
2019-01-08 13:07:45
1
原创 tcp和ip知識講解
一、TCP 協議的作用 互聯網由一整套協議構成。TCP 只是其中的一層，有着自己的分工。 (圖片說明：TCP 是以太網協議和 IP 協議的上層協議，也是應用層協議的下層協議) 最底層的以太網協議（Etherne
2018-12-24 13:06:17
原创 HDFS知識點總結
HDFS知識點總結學習完Hadoop權威指南有一段時間了，現在再回顧和總結一下HDFS的知識點。1、HDFS的設計HDFS是什麼：HDFS即Hadoop分佈式文件系統（Hadoop Distributed Filesystem），以流式數據
2018-12-24 13:06:16
原创 初步掌握HDFS的架構及原理
初步掌握HDFS的架構及原理目錄HDFS 是做什麼的HDFS 從何而來爲什麼選擇 HDFS 存儲數據HDFS 如何存儲數據HDFS 如何讀取文件HDFS 如何寫入文件HDFS 副本存放策略Hadoop2.x新特性1、HDFS 是做什麼的
2018-12-23 13:02:42
原创 Elasticsearch利用cat api快速查看集羣狀態、內存、磁盤使用情況
使用場景當Elasticsearch集羣中有節點掛掉，我們可以去查看集羣的日誌信息查找錯誤，不過在查找錯誤日誌之前，我們可以通過elasticsearch的cat api簡單判斷下各個節點的狀態，包括磁盤，heap，ram的使用情況，先做初
2018-12-03 13:01:50