原创 kafka指定分區消費
public class DConsumer { public static void main(String[] args) { Properties prop = new Properties();
2018-10-12 22:16:34
原创 spark連接並讀取本地文件報錯總結
1.scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; 錯誤原因：scala版本與spark版本兼容問題導致，可在maven倉
2018-09-20 23:03:25
3
原创 JSON參數轉jsonnode實例代碼
import com.fasterxml.jackson.databind.JsonNode; import com.fasterxml.jackson.databind.ObjectMapper; public static Jso
2018-09-04 11:57:54
原创 impala表數據導出，批量插入elasticsearch
1.從impala表導出文件，導出格式爲Csv impala-shell -q "select * from qscar.kcar " -B --output_delimiter="," --print_header -o kcar.c
2018-09-04 11:57:54
原创 快速進入hive客戶端beeline
beeline時推薦的hive命令行客戶端，兩條命令即可：1. hive --service beeline2. !connect jdbc:hive2://ip地址:10000
2018-09-04 11:57:54
原创 windows下安裝5.0以上版本的elasticsearch插件head
舊命令plugin install mobz/elasticsearch-head已經不起作用，es5以上版本安裝head需要安裝node和grunt。主要步驟：1.安裝node，grunt2.下載head插件3.在https://git
2018-09-04 11:57:54
2
原创 azkaban已編譯版，解壓即用
解壓zip包後，需要注意的一點就是啓動命令的位置： bin/azkaban-web-start.sh(務必要在azkaban-web-server目錄下啓動) bin/azkaban-web-start.sh務必要在azkaban-Exe
2018-09-04 11:57:54
原创 文件編碼相關
最近寫代碼由於編碼格式的問題，耽誤了挺長時間去糾錯。總結一下： 文件的編碼形式有：ASC II碼 ，UNICODE碼，utf-8是其中一種unicode。 關鍵的是： 在unix，windows，mac系統平臺對於換行的定義是不一樣的！！
2018-09-04 11:57:54
原创 elasticsearch6.3版本jdbc連接
使用jdbc連接es6.3需要破解es的license，將其升級爲白金版本。以下爲步驟：首先要下載maven依賴，但是我的maven下載不來，遠程庫配置沒用，以下爲官方提供的依賴：<repositories> <repository>
2018-09-04 11:57:54
原创 jdbc連接elasticsearch6.3.0demo展示
連接方式和jdbc連接其他工具一樣，關鍵是驅動。代碼如下： public void con() { String driver = "org.elasticsearch.xpack.sql.jdbc.jdbc.JdbcD
2018-09-04 11:57:54
1
原创 ES通過http客戶端獲取數據，自動識別返回類型
在通過http客戶端發送sql請求時。形式如下： 192.168.90.xxx:9200/_sql?sql=select * from car order by ctime desc limit 0,2 當sql中包含字段排序時
2018-09-04 11:57:54
原创 jdbc連接cdh版本hive
在使用IDE連接cdh版本hive時，由於jdbc版本問題，會出現如下幾個錯誤：1.jdbc版本不是cdh的，必須使用cdh版本的；2.使用阿里雲鏡像倉庫，從maven倉庫中下載相應版本，下載失敗，沒有；3.從cdh內置的lib庫取出相應
2018-09-04 11:57:53
原创 hive建立hbase內部表，外部表
操作hbase，hive建連接，impala操作hbase查詢1.進入hbase命令：hbase shell2.建表 create ‘test’，‘c f’： 建表時必須指定表名和列族名 list ：列舉表信息，（相當於hive
2018-09-04 11:57:53