原创 java中try、catch、finally執行順序

在面試的時候,經常會問到關於try、catch、finally相關的問題。總結一下。 case 1     try{ } catch{ } finally{ } return; public int condition1(){

原创 Azkaban-3.43.0 安裝部署

1.遇到的問題在數據分析系統,有大量的shell,hive,sqoop腳本。之間存在一定的依賴。比如A腳本,將日誌數據導入到hdfs中。B腳本對日誌數據進行分析。A執行完成以後,B纔開始執行。如果需要A還未執行完,B就開會執行,分析結果必

原创 sqoop報錯:ERROR tool.ImportTool: Error during import: Import job failed

可能是文件權限 修改hive數據倉庫權限 hadoop fs -chmod 777 /data/hive hadoop fs -chmod 777 /data/hive/warehouse

原创 sqoop使用教程

1.sqoop導數據0.基礎使用sqoop list-databases--connect "jdbc:mysql://10.1.6.21:3306/"--username root --password 123456sqoop list

原创 sqoop安裝

0.下載sqoop  使用1.x版本 1.拷貝MySQL的jdbc驅動包mysql-connector-Java-5.1.31-bin.jar到sqoop/lib目錄下。 2.配置環境變量 #sqoop export SQOOP_

原创 AttributeError: module 'pandas' has no attribute 'read_excel'

data = pd.read_excel(case_file, index_col='time')報錯:Traceback (most recent call last): File "/Users/allin/PycharmProj

原创 搭建Hbase1.3.0

0.官網下載hbase1.修改環境變量 HBASE_HOME=/data/hbase export PATH= .:$PATH:$HBASE_HOME/bin:2.修改hbase-env.sh export

原创 sqoop報錯:java.io.IOException: SQLException in nextKeyValu

mysql時間數據格式 java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyV

原创 Hadoop-2.7.3 HA高可用搭建

0.zookeeper集羣的搭 略,自行百度 1.hadoop2.7.3下載 http://hadoop.apache.org/releases.html 2.tar 解壓,mv到 /data,並將文件夾改爲hadoop(也可以不改,看心