原创 hive小文件問題及hive小文件合併
HDFS塊的概念--http://www.cnblogs.com/zlslch/p/5081487.html 關於 HDFS 的 file size 和 block size--http://blog.csdn.net/samhack
2020-02-20 23:41:07
原创 Mysql5.7.14-linux版密碼忘記解決辦法
在/etc/my.conf文件中[mysqld] 下面最後增加一行：skip-grant-tables 記住是[mysqld]下最後，不要增加到[mysqld_safe]下面 保存之後，重啓Mysql，在linux命令行直接執行：my
2020-02-20 23:41:07
原创 sqoop /user/local/jdk1.8.0_131/bin/java:No such file or directory.........
執行sqoop導數到hive的時候報錯sqoop xxxx ：UNsupported major.minor version 52.0，是jdk版本衝突（CDH默認安裝的是jdk1.7），改掉環境變量之後（將jdk1.8環境變量刪除，目
2018-08-23 18:46:21
原创 sqoop No columns to generate for ClassWriter
在執行sqoop從oracle導出數據到hive時報錯：No columns to generate for ClassWriter 問題原因：oracle數據庫的IP/用戶名/密碼/數據庫名稱 錯誤導致連接不上。
2018-08-23 18:46:20
2
原创 Pycharm 的python console 啓動'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'
python啓動後報錯:AttributeError: 'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'這個問題源於pycharm version
2018-08-23 18:46:20
3
原创 log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists
mysql啓動報錯： Starting MySQL.171106 00:55:53 mysqld_safe error: log-error set to '/usr/local/mysql/log/mysqld.log', howe
2018-08-23 18:46:20
1
原创 Hbase Table already exists:
CDH重新安裝過之後，打開HBase shell，建表的時候報錯：表已經存在；list查看，沒有表； 問題原因：由於在cloudera-manager管理頁面上刪除CDH集羣的時候，默認不會刪除zk的數據目錄，因此數據依然存在； 解決
2018-08-23 18:46:19
原创 Check that mysqld is running and that the socket: '/tmp/mysql.sock' exists!
[root@datanode01 bin]# /usr/local/mysql/bin/mysqladmin -u root password 'root' /usr/local/mysql/bin/mysqladmin: connec
2018-08-23 18:46:19
2
原创 VMware14 黑屏
vmware workstation 10升級到vmware workstation 14，發現所有虛擬機打開都黑屏，那麼請按照以下方法執行；命令：netsh winsock reset作用：重置winsock網絡規範輸入命令方法：打開
2018-08-23 18:46:19
原创 sqoop could not load db driver class:oracle.jdbc.OracleDriver
在使用sqoop從oracle導數到hive，報錯：sqoop could not load db driver class:oracle.jdbc.OracleDriver 解決：在安裝sqoop server的節點上放oracl
2018-08-23 18:46:19
4
原创 windows10安裝scala出現報錯"不應有 \scala\bin\scala.bat"問題解決
安裝完畢，配置完換進變量，在dos命令行輸入：>scala 報錯：“此時不應有 \scala\bin\scala.bat”問題原因：出現上述問題，說明你的PATH與SCALA_HOME都設置正確了，但是可能由於scala尚不完善，這
2018-08-23 18:46:19
原创 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
MySQL啓動報錯： ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 解決： ln -s /us
2018-08-23 18:46:19
原创 idea中maven項目遇到pom文件jar包不能下載解決方式
在做graphframes開發過程中遇到pom文件不能下載：<!-- https://mvnrepository.com/artifact/graphframes/graphframes --><dependency> <group
2018-08-23 18:46:19
原创 使用hive OPTION SQL_SELECT_LIMIT=DEFAULT
安裝完CDH，使用hive的時候報錯： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive
2018-08-23 18:46:19
7
原创 sqoop xxxx ：UNsupported major.minor version 52.0
在執行sqoop導出某表數據到hive的時候報錯：Error xxxx ：UNsupported major.minor version 52.0 問題原因：出現該問題是由於cloudera manager和系統的jdk版本不一致導
2018-08-23 18:46:19
11