批量數據文件用sqlldr導數據到oracle中

    使用sqlload導文本數據到oracle中想必很多人多使用過，但是倘若有幾百或者幾千個數據文本，或者實時有文本數據產生。這種場景如何批量導入oracle呢，下面就來講解下我處理的方式。

    1.shell腳本LoadData.sh如下

#!/bin/bash
data_dir=/home/bea/datasource/warn-log/dayflow  # 文本數據目錄
data_dir_bak=/home/bea/datasource/warn-log/dayflow_bak
shell_dir=/home/bea/script
while [ 1 ]
do
cd $data_dir
if [ `pwd` == $data_dir ]
then
   filelist=`ls -rt | grep dayflow.log_.`  #數據文本文件名匹配
fi

#echo $filelist
cd $shell_dir
if [ `pwd` == $shell_dir ]
then
   for file in $filelist
   do
       date=`date "+%Y%m%d %H:%M:%S"`
       export LoadFileName=$data_dir"/"$file    #這個地方很重要，要加載變量到環境中
       echo "Time is $date ,開始導$LoadFileName數據"
       sqlldr user_1/123456@213_db control=dayflow.log.ctl BAD=dayflow.log.bad
       echo "Time is $date ,$LoadFileName數據導入完畢"
       
       echo "開始備份文件$file"
       mv $LoadFileName $data_dir_bak
       echo "$file備份完畢"
   done
fi
done

這個地方最應該要注意的是

export LoadFileName=$data_dir"/"$file

這裏將LoadFileName （導入oracle 的文本，絕對路徑）這個變量 export到linux環境中，這樣sqlload的控制文件就可以讀到這個變量並進行導入

2.sqlldr控制文本dayflow.log.ctl

load data
CHARACTERSET AL32UTF8
infile '$LoadFileName'
APPEND into table user_1.BIL_FLUX_HIGH_CUR
fields terminated by '|'
trailing nullcols
(ACCS_NBR "TRIM(:ACCS_NBR)",
DATE_ID "TRIM(:DATE_ID)",
TOTAL_FLUX "TRIM(:TOTAL_FLUX)",
sys_date "sysdate")

請注意 infile '$LoadFileName'，這裏就是shell中 剛纔export的變量，通過這種方式就可以以變量的形式傳入文件名，那麼批量導入也就是一個循環的操作。