原创 日常問題：今日數據導入到MySQL，出現table is full問題，待解決
今天，將hadoop一份2G數據，通過sqoop和navicate工具分別導入到mysql數據庫，出現了table is full 的問題。 尚未解決！
2020-06-13 03:23:20
原创 Hive 遇到兩表join,數據發散
首先對SQL進行explain Explain Plan optimized by CBO Vertex dependency in root stage Map 1 <- Map 2 (BROADCAST_EDGE) Stage-0 F
2020-06-13 03:23:20
原创 sqoop:使用sqoop工具，把數據從MySQL導入到hive。
sqoop import \ --connect jdbc:mysql://had01:3306/DB_CRY_TEST \ --username root \ --password root \ --table POI_INFO \ -
2020-06-13 03:23:20
原创 消費kafka數據：處理消息模塊改成爲多線程的實現方式
package application; import org.apache.kafka.clients.consumer.*; import org.apache.kafka.common.TopicPartition; impor
2019-08-29 06:46:57
1
原创 Hbase 操作時出現：Server is not running yet
問題： 解決辦法： 1）啓動Hadoop 2）輸入指令：hadoop dfsadmin -safemode leave 出現該問題的原因是：hadoop處在安全模式下。所以hbase的操作會出現異常。 造成此問題的故障是：在沒有退出舊
2019-08-29 06:46:57
2
原创 kafka_2.12測試操作
--1.創建topic主題 kafka-topics.sh --create --zookeeper had01:2181,had02:2181,had03:2181 --replication-factor 3 --partitions
2019-06-11 14:44:41
原创 通過BulkLoad快速將海量數據導入到Hbase
在第一次建立Hbase表的時候，我們可能需要往裏面一次性導入大量的初始化數據。我們很自然地想到將數據一條條插入到Hbase中，或者通過MR方式等。但是這些方式不是慢就是在導入的過程的佔用Region資源導致效率低下，所以很不適合一次性導入
2018-11-28 13:05:26
原创 正則例子
2013:{SB_TOTALWAGES_SO110:0,SB_TOTALWAGES_SO210:0,SB_TOTALWAGES_SO310:0,SB_TOTALWAGES_SO410:0,SB_TOTALWAGES_SO510:0,SB_
2018-09-17 07:09:44
原创 Navicate導入數據到Oracle
操作手冊 說明：使用Navicate工具進行數據導入。 步驟： 1.選定需要導入數據的表； 2.右鍵數據表，選擇“導入嚮導” 3.選擇原數據的文本格式，下一步： 4.選擇數據源 5.選擇分隔符，再選擇欄位分隔符，根據原數據中的分割符
2018-09-13 10:22:51
原创 用Java實現去除文本文件中的空行
package com.chen.work.day0905; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.File;
2018-09-07 17:32:28
原创 OOM：Java heap space
今日寫代碼。出現一個OOM問題： Exception in thread "main" java.lang.OutOfMemoryError: Java heap space at java.lang.Class.getDecla
2018-09-07 17:32:28
原创 PL\SQLPLSQL Developer 12 (64 bit)安裝配置
第一步，Oracle實例安裝目錄： D:\ProgramData\instantclient_11_2 第二步，plsql開發工具安裝在： D:\ProgramData\plsqldev tnsnames.ora文件放入到如下目錄中： D
2018-09-05 19:04:29
原创 hive創建表
1.要注意；user是一個關鍵字，不能普通的使用；不能直接將其作爲表名，列名；如果需要使用user ，應該這樣：`user` 是tab鍵上面的一個按鍵。犯下的錯誤：2.hive建表語句：建表字段：username str
2018-09-03 14:28:46