原创 hive列
set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical
2020-06-26 12:48:11
原创 spring 定時器 補充
Quartz是一個任務進度管理器，可以與任何其他軟件系統集成或者一起使用。是用一個小Java庫發佈的文件（.jar文件），這個庫文件包含了所有Qua
2020-06-26 12:48:11
原创 關於YUM問題
修改/etc/yum.repos.d/CentOS-Base.repo，將鏡象站點地址改爲在中國的鏡像站點地址。如下： baseurl=http://mirror.centos.org/centos/4/os/$basearch/
2020-06-26 12:48:11
原创 Hive中LIKE查詢使用通配符'%'的一個BUG--當轉義符'\'遇到通配符'%'或'_'
如果確實想寫和Oracle中等價的查詢： SELECT * FROM T001 WHERE COL1 LIKE ‘ABC\\%’; 建議在Hive中用正則實現： SELECT * FROM T001 WHERE COL1 REGE
2020-06-26 12:48:01
5
原创 spark-sql 優化
1. merger小文件 set spark.sql.hive.mergeFiles = true; 2. 緩衝小表 set spark.sql.autoBroadcastJoinThreshold = 838861000; set sp
2020-06-26 12:48:00
14
原创 從hbase(hive)將數據導出到mysql
在上一篇文章《用sqoop進行mysql和hdfs系統間的數據互導》中，提到sqoop可以讓RDBMS和HDFS之間互導數據，並且也支持從mysql中導入到HBase，但從HBase直接導入mysql則不是直接支持，而是間接支持。要麼將H
2020-02-20 16:10:44
原创 hive導出查詢結果到本地文件
bin/hive -e "select * from test" >> res.csv 或者是： bin/hive -f sql
2020-02-20 16:10:43
原创 hadoop hdfs的一些操作
HDFS的文件操作 格式化HDFS命令：user@namenode:hadoop$ bin/hadoop namenode -format 啓動HDFS命令：user@namenode:hadoop$ bin/start-dfs.sh
2020-02-20 16:10:33
原创 談談HTable的實現
servercachestringbytetablehbase 背景HTable作爲HBase的CRUD的客戶端底層是怎麼實現的，雖然HBase-The-Definitive-Guide 這本書的作者推薦在生產環境使用HTablePoo
2020-02-20 16:10:32
原创 Hive導出到Mysql中中文亂碼的問題
一、mysql中的編碼 mysql> show variables like 'collation_%'; +----------------------+-------------------+ | Variable_name |
2020-02-20 16:10:32
原创 用sqoop進行mysql和hdfs系統間的數據互導
sqoop 是apache下用於RDBMS和HDFS互相導數據的工具。 本文檔是sqoop的使用實例，實現從mysql到hdfs互導數據，以及從Mysql導數據到HBase。 下載： http://www.apache.org/dyn/c
2020-02-20 16:10:32
原创 hadoop 的一些錯誤
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序裏面需要打開多個文件，進行分析，系統一般默認數量是1024，（用ulimit -a可以看到
2020-02-20 16:10:32
原创 hbase
<property> <name>hbase.zookeeper.quorum</name> <value>hadoop.datanode3.com,hadoop.dat
2018-09-05 00:49:39