原创 讓Thunderbird跨越Ubuntu和Windows

Thunderbird簡介 Thunderbird是一款跨平臺、開源的電子郵件客戶端軟件。由開發Firefox的Mozilla基金會維護。功能強大,插件衆多。 Why Thunderbird 我選中Thunderbird的主要原因就是

原创 Hadoop權威指南實踐--第二章

在上一篇已經完成java環境和hadoop環境配置。接下去開始進行第二章到實踐。 首先,爲了方便編輯和組織文件目錄。我下載解壓了一個Eclipse。直接解壓就可以運行了。 然後創建一個Java Project。 由於原書有代碼可以下載,我

原创 ubuntu上卸載DEB文件

首先使用下面的命令查詢要卸載的文件名: dkpg -l 然後再通過下面的命令卸載: dkpg -r * 比如我們要卸載google的chrome瀏覽器: 首先執行dkpg -l: root@lqm:/home/lqm# dpkg -l D

原创 eclipse hadoop開發環境配置

一、在eclipse下安裝開發hadoop程序的插件 http://download.csdn.net/detail/xcl119xcl/4732112 下載  hadoop-eclipse-plugin-1.0.3.jar, 重

原创 Hadoop權威指南——之僞分佈模式環境部署。

借鑑Hadoop官網說明: 環境說明: Hadoop版本:1.0.3.  JDK:1.6.0_27 Ubuntu12.04 Purpose This document describes how to set up and conf

原创 Grok Debug ELK 在線調試grok工具

Grok Debug ELK 在線調試grok工具 千辛萬苦找到的groktiao調試工具: http://120.203.18.89:6969/130/grok-debug-elk-%e5%9c%a8%e7%ba%bf%e8%b0%83

原创 Filebeat實現簡單格式化數據dissect

在使用Filebeat替代Logstash的時候遇到需要從log中摘取數據的case,比如解析access log,最開始的方案是使用Filebeat module功能,把所有load都轉移到Elasticsearch的Ingest No

原创 Java 實現Elasticsearch Aggregations 統計buckets中key的個數

統計訪問超5000的ulr有多少個(sum的最大值會小於等於size,因此size的預估很重要) GET /logstash-2018.03.27/_search? { "size": 0, "aggs": {

原创 Elasticsearch BulkProcessor 批量插入、刪除的具體實現

原文鏈接:http://120.203.18.89:6969/wp-admin/post.php?post=93&action=edit 參考http://120.203.18.89:6969/

原创 elasticsearch搜索QueryStringQueryBuilder實現模糊查詢

參考http://120.203.18.89:6969/96/elasticsearch搜索q…erybuilder實現模糊查詢 需要Java實現查詢ELK中狀態碼是4××和5××開頭的狀態碼,如果使用CURL查詢,可以使用如下方式 G

原创 基於Filebeat開發一個新的格式文件採集(超詳細步驟)

1、測試環境: OS:Ubuntu 16 Filebeat:  Version: 8.0.0 Elasticsearch: Version 7.3.2 Kibana: Kibana 7.3.0 如果需要這套測試環境的,可以聯繫我,捐贈一元

原创 Chrome利器之FireShot:網頁長截圖工具

轉自 http://120.203.18.89:6969/80/chrome利器之fireshot:網頁長截圖工具 不多說,需要的請點擊下面的鏈接下載: fireshot 下載解壓後,打開chrome瀏覽器,更多工具-》擴展程序,然後將c

原创 小白自學ELK:如何改造beat / Filebeat之準備工作

參考:http://120.203.18.89:6969/74/小白自學elk:如何改造beat-filebeat之準備工作 功能說明:本次參考Elasticsearch官網和百度一些其他資料,終於實現自己改造Filebeat實現個性化需

原创 filebeat cannot contain colon

參考:http://120.203.18.89:6969/38/filebeat-cannot-contain-colon/ 在配置filebeat.yml時,計劃輸出到ElasticSearch,配置後在logs/filebeat中出現

原创 filebeat 設置Multiline配置,支持合併數字流水開頭的日誌

參考:http://120.203.18.89:6969/57/filebeat-%e8%ae%be%e7%bd%aemultiline%e9%85%8d%e7%bd%ae%ef%bc%8c%e6%94%af%e6%8c%81%e5%90