原创 kafka啓動報錯is empty Please build the project first e.g. by running gradlew jar
kafka啓動遇到的兩個錯誤如下： 錯誤一 [hadoop@node1 bin]$ pwd /usr/local/devtool/kafka-2.0.0-src/bin [hadoop@node1 bin]$ ./kafka-serve
2018-11-22 01:06:09
原创 在idea下使用java將Log4j日誌實時寫入Kafka（Kafka實時日誌寫入）
本篇文章主要介紹在windows下使用idea新建web項目將Log4j日誌實時寫入Kafka。 簡要步驟： ①、新建web項目 ②、啓動zookeeper ③、啓動Kafka ④、創建topic ⑤、啓動 Kafka 消費者，運行項目，
2018-11-22 01:06:09
原创 Kafka架構、Kafka核心組件、Kafka工作原理、Kafka應用場景
什麼是消息系統？ 消息系統負責將數據從一個應用程序傳輸到另一個應用程序，因此應用程序可以專注於數據，但不擔心如何共享它。 分佈式消息傳遞基於可靠消息隊列的概念。 消息在客戶端應用程序和消息傳遞系統之間異步排隊。 有兩種類
2018-11-19 23:45:01
1
原创 Centons7下安裝配置Kafka、Linux下安裝配置Kafka
本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Kafka。 簡要步驟： ①、下載Kafka解壓包 ②、解壓Kafka ③、修改配置文件 ④、啓動Kafka ⑤、創建topic 詳
2018-11-19 23:45:01
原创 Centons7下安裝配置Flume、Linux下安裝配置Flume
本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Flume。 目前Flume 的最新版本爲1.8，筆者安裝的是1.6，是Flume的一個經典版本，通常在生產環境中使用的就是這個版本，在安
2018-11-13 23:38:22
原创 Flume架構、Flume工作原理、Flume應用場景
一、Flume概述 Flume是由 Cloudera 提供的一個分佈式、高可靠、高可用的服務，用於分佈式的海量日誌的高效收集、聚合、移動系統。簡單來說，Flume 就是一個針對日誌數據進行採集和彙總的一個工具（把日誌從A地方移動到B地方）
2018-11-08 01:51:18
原创 Hbase錯誤總結：Hbase連接不上Zookeeper
錯誤信息： Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) wil
2018-11-07 01:02:02
原创 Hbase常用優化、Hbae性能優化、Hbase優化經驗總結
Hbase優化 1.預先分區 默認情況下，在創建 HBase 表的時候會自動創建一個 Region 分區，當導入數據的時候，所有的 HBase 客戶端都向這一個 Region 寫數據，直到這個 Region 足夠大了才進行切分。一種可以加
2018-11-07 01:02:02
原创 Spring Boot整合thymeleaf使用、thymeleaf常用標籤、thymeleaf常用語法
Spring Boot 推薦使用 Thymeleaf 來代替 JSP，Thymeleaf 模板到底是什麼來頭呢，下面我們來聊聊。 Thymeleaf 介紹 Thymeleaf 是一款用於渲染 XML/XHTML/HTML 5 內容的模板引
2018-11-03 23:44:11
原创 mybatis多數據源錯誤：org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)
使用Spring Boot2.0整合mybatis多數據源遇到如下錯誤 錯誤信息： org.apache.ibatis.binding.BindingException: Invalid bound statement (not fou
2018-11-03 23:44:11
原创 Hbase錯誤總結：Hbase未正常關閉啓動報錯
錯誤信息： org.apache.hadoop.hbase.NotServingRegionException: Region is not online 2018-10-24 17:20:02,554 INFO [node1:16
2018-11-03 23:44:11
原创 Hbase架構及工作原理、數據及物理模型、Hbase優化
一、HBase 簡介 1.HBase 概述 HBase 是一個構建在HDFS之上的，分佈式的、面向列的開源數據庫 HBase 是 Google BigTable的開源實現，它主要用於存儲海量數據 個人理解： 分佈式：採用分而治
2018-11-03 23:44:11
原创 使用redis實現session共享(基於Spring Boot)
Session 共享 什麼是 Session 由於 HTTP 協議是無狀態的協議，所以服務端需要記錄用戶的狀態時，就需要用某種機制來識具體的用戶。Session 是另一種記錄客戶狀態的機制，不同的是 Cookie 保存在客戶端瀏覽器中，而
2018-11-03 23:44:11
原创 大數據入門教程系列之Hbase安裝(僞分佈式)
本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Hbase。 簡要步驟： ①、下載Hbase解壓包 ②、安裝zookeeper ③、解壓Hbase，配置環境環境 ④、修改Hbase腳本文
2018-11-03 23:44:11
原创 大數據入門教程系列之Hive的Java API 操作
Java 想要訪問Hive，需要通過beeline的方式連接Hive，hiveserver2提供了一個新的命令行工具beeline，hiveserver2 對 之前的hive做了升級，功能更加強大，它增加了權限控制，要使用beeline需
2018-10-19 23:49:06