原创 SQOOP可能會導致HDFS分片數量過多的總結
使用多少個mapreduce來進行移植數據，例如：./sqoop import --create-hive-table --hive-import --hive-overwrite --connect jdbc:oracle:thin
2019-02-23 00:13:33
1
原创 從0開始搭建基於Zookeeper的Spark集羣
完全從0搭建Spark集羣備註：這個步驟，只適合用root來搭建，正式環境下應該要有權限類的東西后面另外再進行實驗寫教程1、安裝各個軟件，設置環境變量（每種軟件需自己單獨下載）export JAVA_HOME=/usr/java/jdk1.
2019-02-23 00:13:33
原创 HIVE和SPARKSQL計算引擎在TEXT導入PARQUET格式的HIVE存儲引擎分片數量機制
表的hive導入：create table XXXXXXX201512 (N多字段構成)STORED AS PARQUETFILE;insert into XXXXXXX201512 select * from XXXXXXX2015123
2019-02-23 00:13:32
4
原创 執行java程序是不是隻能java -jar？
java -jar xxx.jar params 的形式用了這麼多年，都沒在意原來java的執行命令可以多元的。這兩天剛好在看rocketmq，順便看了下它的shell腳本，然後才發現原來我這麼多年的java -jar有多麼的無知。先來一段
2018-09-12 06:44:42
3