原创 ELK生態：Logstash增量讀取log文件數據，導入到Elasticsearch
簡介 ELK生態之Logstash導入數據到Elasticsearch； 數據源：log格式文件，內容爲log日誌； Elasticsearch和Logstash版本：5.6.1； 前提環境：Elasticsearch單機或集羣；Logs
2019-06-17 21:49:07
6
原创 ELK生態：Logstash增量讀取csv文件數據，導入到Elasticsearch
簡介 ELK生態之Logstash導入數據到Elasticsearch； 數據源：csv格式文件； Elasticsearch和Logstash版本：5.6.1； 前提環境：Elasticsearch單機或集羣；Logstash客戶端；
2019-06-15 22:32:54
123
原创 ELK生態：Logstash增量讀取txt文件數據，導入到Elasticsearch
簡介 ELK生態之Logstash導入數據到Elasticsearch； 數據源：txt格式文件，內容爲json或json數組； Elasticsearch和Logstash版本：5.6.1； 前提環境：Elasticsearch單機或集
2019-06-15 22:32:53
64
原创 ELK生態：linux系統安裝和配置kibana管理工具
簡介 Kibana是一個針對Elasticsearch的開源分析及可視化平臺，用來搜索、查看交互存儲在Elasticsearch索引中的數據； 使用Kibana，可以通過各種圖表進行高級數據分析及展示，是對elasticsearch搜索引
2019-06-14 17:40:57
1
原创 ELK生態：linux系統安裝和配置logstash數據導入工具
簡介 上一篇博客講到了elasticsearch搜索引擎的管理工具kibana的安裝和配置，那麼本篇博客將會具體介紹數據導入工具logstash的安裝和配置； Logstash是一款強大的數據處理工具，它可以實現多樣化的數據源數據全量或增
2019-06-14 17:40:57
4
原创 java開發代碼工具類(時間戳/隨機數/日期等)
簡介 java開發代碼工具類，提高開發效率，持續更新~ 實踐 package com.springboot.sixmonth.common.util; import java.math.BigInteger; import java.n
2019-06-11 00:55:58
1
原创 centos7服務器(free -h)命令詳解
簡介 centos7服務器linux命令：free -h，查詢當前服務器內存使用狀況以及剩餘內存狀況； 實踐 1. 如下圖： 2. 命令詳解： total：服務器內存總大小：7.6G used：已經使用了多少內存：3.8G
2019-06-11 00:55:58
原创 Hbase總結（四）- Hbase與傳統數據庫的區別
在說HBase之前，我想再嘮叨幾句。做互聯網應用的哥們兒應該都清楚，互聯網應用這東西，你沒辦法預測你的系統什麼時候會被多少人訪問，你面臨的用戶到底有多少，說不定今天你的用戶還少，明天系統用戶就變多了，結果您的系統應付不過來了了，不幹了，這
2019-06-11 00:55:57
1
原创 Nginx安裝手冊
前提是搭建yum安裝環境，見前面的教程資料 nginx安裝環境 nginx是C語言開發，建議在linux上運行，本教程使用Centos6.5作爲安裝環境。 gcc 安裝nginx需要先將官網下載的源碼進行編譯，編譯依賴gcc環境，如果沒有
2019-06-11 00:55:57
原创 阿里雲ECS7安裝搭建：hive-2.1.1客戶端
簡介 hive在hadoop大數據生態裏面，主要用於hdfs上的數據的統計查詢，與hbase形成互補關係，但查詢時間會相對較慢； 搭建hive客戶端前提環境： 已經安裝hadoop集羣，可參考上一篇博客：hadoop集羣安裝搭建； 已經有
2019-06-11 00:55:57
原创 Hadoop大數據生態：hive與hbase整合
簡介 hive和hbase都是基於hadoop大數據生態而衍生的不同的技術，hbase是一種nosql的key/value數據庫，主要用於數據的實時查詢，速度比較快，而hive主要使用HQL語言運行MapReduce任務，主要用於統計查詢
2019-06-11 00:55:57
原创 阿里雲ECS7安裝搭建：hbase1.3.3分佈式集羣
簡介 Apache HBase是一種Key/Value系統，它運行在HDFS之上。和Hive不一樣，Hbase的能夠在它的數據庫上實時運行，而不是運行MapReduce任務； Hbase適合用來進行大數據的實時查詢，支持增刪查改，但不支持
2019-06-11 00:55:57
原创 linux下的緩存機制及清理buffer/cache/swap的方法梳理
一、緩存機制介紹 在Linux系統中，爲了提高文件系統性能，內核利用一部分物理內存分配出緩衝區，用於緩存系統操作和數據文件，當內核收到讀寫的請求時，內核先去緩存區找是否有請求的數據，有就直接返回，如果沒有則通過驅動程序直接操作磁盤。 緩存
2019-06-11 00:55:57
原创 Hadoop大數據生態：Hive自定義設置連接用戶名和密碼
簡介 當hive客戶端搭建起來之後，應用項目遠程連接hive需要設置用戶名和密碼； 由於hive默認的用戶名和密碼都是空的，所以需要我們自定義用戶名和密碼； 實踐 首先，需要先用java開發工具打包一個jar工具類，用於解析用戶名和密碼，
2019-06-11 00:55:57
原创 ELK可視化管理工具之：kibana常用操作命令
簡介 ELK是三個開源軟件的縮寫，分別表示：Elasticsearch、Logstash和Kibana，這裏主要講述kibana的基本操作命令； 實踐 1.9200訪問索引庫 2.9100訪問非官方管理工具 3.5601訪問kiba
2019-06-11 00:55:57