原创 hive查詢語句合併問題
困惑 20190927 合併兩條查詢語句 第一條 use mydatabase; select max(date_id) as max_date_id from my_date_table where date_int <
2020-06-21 08:50:48
原创 shell 文件大小寫替換
文件大小寫替換 20191030 tr命令[需要文件重定向] #小寫轉換到大寫 tr [a-z] [A-Z] < $file > $newfile #大寫轉換到小寫 tr [A-Z] [a-z] < $file > $new
2020-06-21 08:06:53
1
原创 shell轉碼腳本
shell轉碼腳本 20191017 !/bin/bash #iconv -f GB2312 -t utf-8 "filename.sql" -o "newfilename.sql" #將GB2312文件轉換爲UTF-8文件
2020-06-21 08:06:53
1
原创 Airflow Operators + Dag
airflow Operators 20190927 一、 Dag 編寫步驟 import DAG類和若干operater類以及必要的Python模塊 設定默認參數，創建DAG對象 提供必要的參數（比如task_id和dag)
2020-06-21 08:06:53
12
原创 hive科學計數法引發的問題
hive科學計數法引發的問題 20191011 （1）20191010 hive 中數值類型和字符串類型string運算 hive中數值類型可以和和字符串類型string運算，其中字符串爲純數字類型，都轉爲了浮點類型doub
2020-06-21 08:06:53
2
原创 hive科學計數法轉字符串
科學計數法轉字符串 20191014 有時需要將表裏的int, double, float轉爲string類型的（主要的是int）,但有時int在hive裏是用科學計數法來表示的，不能直接轉string.參考文章【鏈接】.
2020-06-21 08:06:53
1
原创 datax Github項目鏈接
datax 20190920 DataX 是一個異構數據源離線同步工具，致力於實現包括關係型數據庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構數據源之間穩定高效的數據同步功能。 G
2020-06-21 08:06:53
原创 shell md5sum命令
md5sum命令 20191028 #生成文件的MD5值 md5sum file > my.md5 #my.md5文件，第一列爲16進制的32位MD5值，第二列爲文件名 00a14c842863b0c9ef52956b107e
2020-06-21 08:06:53
原创 hive isnull或ifnull的替代方法if()方法
hive isnull或ifnull的替代方法if()方法 20190917 hive沒有SQL Server 的isnull和MySQLd的ifnull函數，可以用if()函數替代 if(條件，值1，值2) 條件爲真：值1，
2020-06-21 08:06:53
1
原创 shell命令執行結果$?
shell命令執行結果$? 20190929 例子 在shell中，有時我們需要知道上調命令（或者上條函數）是否執行成功，可以用$?命令 #!/bin/bash # 無參 num1=3 num2=4 sql="select
2020-06-21 08:06:53
原创 nmp 設置淘寶鏡像
nmp 設置淘寶鏡像 ·20191018· nmp 設置淘寶鏡像 2019/8/17 9:18:21 一、通過命令設置 1.命令 npm config set registry https://registry.npm.ta
2019-10-25 15:41:31
原创 shell腳本後臺運行
shell腳本後臺運行 20191024 nohup ( no hang up) (CTRL-C)無效，但是關掉終端會終止執行 & (後天執行) (CTRL-C)有效，但是關掉終端不會終止執行 一般配合使用 n
2019-10-25 15:41:31
原创 hive union all
hive union all 問題 20191025 （1） hive中使用union all要保證聯結的字段類型一致 （2）要保持字段名稱一致，否則報錯Schema of both sides of union sho
2019-10-25 15:41:31
原创 shell 循環
循環 20191025 whlie s=0 i=1 while [[ i < 4 ]] do s=(( $s + $i )) i=(( $i + 1 )) done echo $s # 輸出：6 for s=0 n
2019-10-25 15:41:31
原创 shell 多行註釋
shell 多行註釋 20191017 學習一下shell腳本中多行註釋的方法 方法一 :<<! #被註釋的內容 ! 方法二 ：' #被註釋的內容 ' 方法三 if false;then #被註釋的內容
2019-10-25 15:41:31