原创 基於Flume的美團日誌收集系統(一)架構和設計

轉自:http://tech.meituan.com/mt-log-system-arch.html 美團的日誌收集系統負責美團的所有業務日誌的收集,並分別給Hadoop平臺提供離線數據和Storm平臺提供實時數據流。美團的日誌收集

原创 ElasticSearch實戰-日誌監控平臺部署

轉自:http://www.cnblogs.com/smartloli/p/4701642.html 1.概述   今天接着《ElasticSearch實戰-日誌監控平臺》一文來給大家分享後續的學習,在《ElasticSearc

原创 ZooKeeper 安裝,啓動,驗證

轉自:http://www.cnblogs.com/smartloli/p/4298430.html 2.7.1安裝   將下載好的安裝包,解壓到指定位置,這裏爲直接解壓到當前位置,命令如下: tar -zxvf zk-{ve

原创 Spring緩存註解@Cacheable、@CacheEvict、@CachePut使用

 從3.1開始,Spring引入了對Cache的支持。其使用方法和原理都類似於Spring對事務管理的支持。Spring Cache是作用在方法上的,其核心思想是這樣的:當我們在調用一個緩存方法時會把該方法參數和返回結果作爲一個鍵值對存

原创 Spark Streaming + Flume Integration Guide

Spark Streaming + Flume Integration Guide Apache Flume is a distributed, reliable, and available service for effic

原创 Tomcat配置server.xml文件Executor元素屬性

<!-- 將tomcat servlet.xml 這句話註釋去掉就可以了   --> <Executor      name="tomcatThreadPool"        <!--線程名稱-->     namePrefix

原创 Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分佈式集羣搭建

轉自:http://weir2009.iteye.com/blog/2082719 Ip  主機名 程序 進程 192.168.137.11 h1 Jdk Hadoop hbase Namenod

原创 Flume接收Log4j日誌

注意依賴一定要有flume-ng-log4jappender.jar,後面配置log4j要用。   log4j,properties配置如下: <span style="font-size:14px;">### set log level

原创 過濾器(filter)和攔截器(interceptor)區別

一、filter基於filter接口中的doFilter回調函數,interceptor則基於Java本身的反射機制; 二、filter是依賴於servlet容器的,沒有servlet容器就無法回調doFilter方法,而intercep

原创 FTP 服務器主被動模式

FTP是僅基於TCP的服務,不支持UDP。與衆不同的是FTP使用2個端口,一個數據端口和一個命令端口(也可叫做控制端口)。通常來說這兩個端口是21(命令端口)和20(數據端口)。但FTP工作方式的不同,數

原创 logstash input-file 插件使用詳解

轉自:http://www.cnblogs.com/xing901022/p/4805586.html 最小化的配置文件   在Logstash中可以在 input{} 裏面添加file配置,默認的最小化配置如下: i

原创 配置高可用的Hadoop平臺

轉自:http://www.cnblogs.com/smartloli/p/4298430.html 1.概述   在Hadoop2.x之後的版本,提出瞭解決單點問題的方案--HA(High Available 高可用

原创 Zookeeper 安裝和配置

轉自:http://coolxing.iteye.com/blog/1871009 Zookeeper的安裝和配置十分簡單, 既可以配置成單機模式, 也可以配置成集羣模式. 下面將分別進行介紹. 單機模式 點擊這裏下載zooke

原创 HBase集羣搭建

轉自:http://www.tuicool.com/articles/Af6vYb 1.概述 今天補充一篇HBase集羣的搭建,這個是高可用系列遺漏的一篇博客,今天抽時間補上,今天給大家介紹的主要內容目錄如下所示: 基礎軟件的準

原创 AKKA 實現併發、分佈式和容錯

  Actor系統    把一個複雜的問題不斷分解成更小規模的子問題通常是一種可靠的解決問題的技術。這個方法對於計算機科學特別有效(和 單一職責原則一致),因爲這樣容易產生整潔的、模塊化的代碼,產生的冗餘很少甚至沒有,而且維護起來相