原创 mapreduce書寫遇到的問題總結
1.mapreduce本地運行： 1）導入jar包，找到hadoop的安裝目錄HADOOP_HOME就可以找到這些jar包 HADOOP_HOME/share/hadoop/common目錄下的hadoop-common-2.7.1.ja
2020-06-17 10:37:31
原创 java結合kylin的jdbc實現查詢
kylin支持直接的sql查詢。那就意味這我們可以直接使用平時使用的sql從kylin中查出需要的數據 方法如下： 1.statenment的query查詢 /** * * @param sql 查詢的語句 * @par
2020-06-17 10:37:31
原创 kylin之java調用Rest Api接口
1.官方文檔 http://kylin.apache.org/docs15/howto/howto_build_cube_with_restapi.html http://kylin.apache.org/docs15/howto/how
2020-06-17 10:37:21
原创 exel一系列操作----java
1.添加maven依賴 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </d
2020-06-17 10:37:21
原创 yarn的詳解
yarn是什麼？ yarn是hadoop集羣的資源管理系統，是hadoop2中引入的。最初的目的是爲了改善MapReduce的實現。 hadoop爲什麼引入yarn？ 解釋這個問題之前我們先來了解一下hadoop1中mapreduce的運
2020-06-17 10:37:21
1
原创 superset的安裝以及和echart整合
前提條件需要python3 1、創建虛擬環境 python3 -m venv env_superset 2、進入虛擬環境 source /data/env_superset/bin/activate 3、更新pip和setuptools
2020-06-02 07:46:34
原创 flume之kafkachannel
1.安裝flume 2.安裝kafka 3.測試kafka的topic是否能正常的傳遞消息 4.都準備好之後開始接通kafkachannel， 1）kafka的no-sink #定義agent名， source、channel的名稱 a
2020-06-02 07:46:23
原创 flume之freebsd系統的安裝
1.去http://flume.apache.org/網站下載相應的包apache-flume-1.7.0-bin.tar.gz 2.用ftp傳到相應的機上 然後解壓 在/root/.cshrc 裏面配置環境變量就可以了 3. 4
2020-06-02 07:46:23
原创 java使用poi操作excel導出爲html
最近做了個項目需要對excel進行發送郵件。但是有個需求是需要將excel裏面的sheet0的內容原本複製爲郵件的正文。樣式都要。所以只能操作excel轉爲html然後嵌套再郵件中發送了。 1.導入pom <dependency>
2020-05-12 17:34:39
原创 apollo整合java客戶端的簡單的springmvc的項目
Apollo（阿波羅）是攜程框架部門研發的開源配置管理中心，能夠集中化管理應用不同環境、不同集羣的配置，配置修改後能夠實時推送到應用端，並且具備規範的權限、流程治理等特性。 Apollo支持4個維度管理Key-Value格式的配置： ap
2020-04-29 21:13:29
原创 kafka+自帶zk的僞集羣部署
kafka是用來傳遞消息的分佈式的消息隊列。kafka使用自帶的zk進行僞集羣部署的步驟如下： 1.檢查環境。kafka的啓動需要jdk1.8的支撐。 2.下載kafka的安裝包 https://archive.apache.org/d
2020-04-29 21:13:29
原创 java使用poi操作hbase
1.添加maven依賴 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </d
2020-04-17 08:19:01
原创 hbase 複製表數據
使用CopyTable同步HBase數據 CopyTable是Hbase提供的一個數據同步工具，可以用於同步表的部分或全部數據 使用步驟： 1.創建目標表。表的列族和原表列族保持一致。如果不一致可以修改 先增加新的：alter '表名',
2020-04-17 08:19:01
原创 hadoop+flume+kafkachannel修改commit cannot be completed due to group reblance的歷程
解決辦法：增加心跳時間heartbeat.interval.ms j解決步驟詳解： 部署kafkachannel連接flume日誌入庫之後一直報一個錯。前前後後一共改了好多參數 session.timeout.ms group co
2019-12-04 02:49:53
原创 flume在非hbase部署的機器上部署，使用aysnHbaseSink
------------------------------------------------------------------------遇到的問題導致我們要部署-----------------------------------
2019-12-04 02:49:53