原创 抽取數據到impala數據量異常
最近，用kettle把DB2的數據抽取到impala上，發現數據量異常，數據錯開等情況。 檢查發現DB2源表裏的數據某個字段中內容含有英文的逗號，而impala上建的表TERMINATED BY ','也用英文逗號分隔的，所以造成
2020-07-03 01:00:15
1
原创 mysql連接報ERROR 1045 (28000)
連接mysql 報 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) ；一般這個錯誤是由密碼錯誤引起，一般重置密
2020-07-03 01:00:15
原创 mysql 日期轉換方法
mysql日期轉換用str_to_date(date,'%Y-%m-%d') 相當於Oracle或DB2 中的to_date() eg: str_to_date(CREATE_DATE,'%Y-%m-%d %H:%i:%s') m
2020-07-03 01:00:15
原创 Linux中scp 命令使用
scp是secure copy的簡寫；一般用於在Linux下進行遠程拷貝文件，可以在linux服務器之間複製文件和目錄。 命令格式：scp [參數] [原路徑] [目標路徑] 例如複製文件 可以指定用戶名也可以不指定，可以覆蓋
2020-07-03 01:00:15
原创 kettle 運行常見的報錯
kettle 加工抽取數據到另一個數據庫運行常見的報錯： DB2 SQLCODE=-206, SQLSTATE=42703 定義表字段問題 解決辦法 檢查建表字段（要用大寫），在DB2中，默認情況下所有的名稱都可包含字符：A-
2020-07-03 01:00:15
20
原创 greenplum 時間戳及日期函數
一、greenplum獲取當前時間： select now(); --2020-06-24 16:43:32 獲取當前時間年月日到時分秒 select to_char(now(),'yyyymmdd'); --20200624 s
2020-07-03 01:00:15
原创 DB2 創建、刪除索引
查詢數據庫表的時候，有時需要優化查詢速度，給表創建索引。 DB2 給表創建索引： create index index_name on table_name(column1,column2 ...); CREATE INDEX
2020-05-22 10:56:50
原创 [Error Code: 0, SQL State: HY000] Disk I/O error: Failed to open HDFS file
impala上tdm庫的order表的某月數據有異常，需要重新上傳，order表是按年、月、日分區的parquet文件格式存儲數據的； 20200501那天真實情況是沒有數據的，但是因爲異常操作導致混入了日期爲20200501的數
2020-05-21 00:23:43
原创 設置表自增長ID
給表設置一個自增長主鍵ID，一般可以建表時指定自增長 DB2數據庫中，給加工後的數據加一個自增長的ID，建表時指定： CREATE TABLE TEST_TMP( ROW_ID INTEGER NOT NULL
2020-05-21 00:23:43
原创 kettle 跨庫關聯
要關聯兩個不同的數據庫表獲取一些數據，因爲不在同一個庫，所以一個SQL搞不定；又不想把A庫的數據拿到B庫，再處理；所以用kettle 的記錄集連接（類似我們SQL中常用的 left join、right join、inner jo
2020-05-13 16:06:45
原创 mysql建表報Error Code: 1067, SQL State: 42000
mysql 建表 報[Error Code: 1067, SQL State: 42000] Invalid default value for 'XXX' mysql建表時對TIMESTAMP 類型的字段如果不設置缺省值或沒有標
2020-04-27 16:18:43
原创 DB2查看錶鎖定情況與解鎖
當數據庫中的表查詢異常慢時，考慮可能是表鎖定的原因 連接數據庫服務器，查看鎖定情況 用命令：db2pd -db DB_NAME -locks show detail 用命令db2 get snapshot for locks
2020-03-21 00:38:24
原创 DB2刪除數據報錯
delete 數據時報錯DB2 SQL error: SQLCODE: -964, SQLSTATE: 57011 是由於數據庫日誌文件已滿 數據庫日誌大小=LOGFILSIZ4(LOGPRIMARY+LOGSECOND)
2020-03-21 00:38:24
原创 linux find與grep命令
linux系統 find文件查找命令與grep文件內容查找命令 find命令根據文件的屬性進行查找，如文件名，文件大小，所有者，所屬組，是否爲空，訪問時間，修改時間等 grep根據文件的內容進行查找，會對文件的每一行按照給定的模
2020-03-18 12:46:27
原创 shell中一些常用變量和符號用法總結
1.shell中變量$相關的含義： $$ ：Shell本身的PID（ProcessID）； $! ：Shell最後運行的後臺Process的PID； $? ：狀態值，最後運行的命令的結束代碼（返回值），一般指令程序執行成功
2020-03-18 12:46:27