原创 flume-ng配置文件詳解（二）
4 Syslogtcp案例 [root@localhost apache-flume-1.7.0-bin]# vi conf/tcp.conf agent1.sources = r1 agent1.sinks = k1 agent1.c
2020-02-25 23:21:14
原创 hadoop-2.7.1的安裝
注意：官網提供的都是32位的安裝包，64位的安裝包需要自己編譯 1 部署 192.168.100.200 master 192.168.100.201 sla
2020-02-25 23:21:14
原创 HBase系列（三）
1 發展背景 隨着大數據時代的到來，數億級的數據存儲和檢索成爲難題，HDFS將成百上千的服務器硬盤融合成一個整體用以解決大數據的存儲問題，構建其上的MapReduce解決了計算這些超大硬盤的數據的問題；但是MapReduce就是一個簡單
2020-02-25 23:21:14
原创 Apache Spark 內存管理詳解
Spark 作爲一個基於內存的分佈式計算引擎，其內存管理模塊在整個系統中扮演着非常重要的角色。理解 Spark 內存管理的基本原理，有助於更好地開發 Spark 應用程序和進行性能調優。本文旨在梳理出 Spark 內存管理的脈絡，拋磚引玉
2018-09-04 04:24:17
原创 openTSDB的分佈式集羣的安裝和使用
1 安裝提前 確保安裝了jdk 確保安裝了hadoop集羣 確保安裝了hbase的集羣 本次在centos7上測試成功 192.168.100.20
2018-09-04 04:24:17
2
原创 Spring AOP實現原理簡介
AOP聯盟標準AOP聯盟將AOP體系分爲三層，從三層結構可以看出，AOP實現方式有很多種，包括反射、元數據處理、程序處理、攔截器處理等，通過本節學習，你就會看到Spring AOP的實現使用的是Java語言本身的特性，即Java Prox
2018-09-04 04:24:16
原创 spark系列之一
1 spark簡介 Spark是基於內存計算的大數據分佈式計算框架，提高了大數據環境下數據處理的實時性。 分佈式計算 內存計算 容錯 多計算範式 2 安裝部署 sp
2018-09-04 04:24:16
原创 java實現一個Rpc
import java.io.ObjectInputStream; import java.io.ObjectOutputStream; import java.lang.reflect.InvocationHandler; import
2018-09-04 04:24:16
原创 全文檢索引擎Solr系列—–全文檢索基本原理
索引 Solr/Lucene採用的是一種反向索引，所謂反向索引：就是從關鍵字到文檔的映射過程，保存這種映射這種信息的索引稱爲反向索引 左邊保存的是字符串序列右邊是字符串的文檔（Document）編號鏈表，稱爲倒排表（Posting Li
2018-09-04 04:24:16
原创 storm系列之一
1 storm 對比Hadoop的批處理，Storm是個實時的、分佈式以及具備高容錯的計算系統 同hadoop一樣，strom也可以處理大批量的數據，storm可以保證高可靠性的前提下還可
2018-09-04 04:24:16
原创 spring IOC和DI源碼分析
引言先看下最基本的啓動 Spring 容器的例子：public static void main(String[] args) { ApplicationContext context = new ClassPathXmlAppl
2018-09-04 04:24:15
原创 hadoop2.0生產環境高可用集羣原理和搭建
非高可用集羣搭建可以參看我寫的博客 http://blog.csdn.net/wyl6019/article/details/52874779 1 體系架構圖 集羣節點分配情況 192.168.100.200 wangy
2018-09-04 04:24:15
原创 使用工具網址
1 openssl使用教程 https://www.cnblogs.com/binchen-china/p/5651142.html http://blog.csdn.net/oldmtn/article/details/52208
2018-09-04 04:24:15
原创 hadoop2.0內核介紹
1 hadoop2.0內核 1.1 HDFS 分佈式文件存儲系統HDFS，提供高可用、高擴展性、高吞吐率的數據存儲服務 高可用：NameNode通過zookeeper實現高可用 高擴展性：可以通過添加服務器來水平擴展hadoop集羣
2018-09-04 04:24:15
3