基於Hadoop集羣開發shell採集腳本

原創

瀧十三

2021-06-17 12:59

需求分析：

生活中存在這樣的情況，需要將同名日誌文件進行上傳週期性上傳至指定文件夾中

技術分析：

　　定時調度器： Linux crontab

　　crontab -e

　　*/5 * * * * $home/bin/command.sh //五分鐘執行一次系統會自動執行腳本，每5分鐘一次，執行時判斷文件是否符合上傳規則，符合則上傳

所需要解決的問題

1.雖然上傳到Hadoop集羣上，但對於原始文件如何處理 -----------------> 建立帶上傳目錄，將文件傳入帶上傳目錄後，刪除原文件

2.日誌同名如何解決 -------------> 加入類似時間戳的東西，用data獲取時間，加到文件名末尾

首先我們到 /export/data/ogs/路徑下建立log目錄輸入： cd /export/data/ mkdir -p logs/log

建立三個模擬文件

touch access.log access.log.1 access.log.2

建立一個帶上傳文件夾

mkdir -p /export/data/logs/toupload

創建Shell腳本

#!/bin/bash

#set java env
export JAVA_HOME=/export/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#set hadoop env
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

#版本1的問題：
#雖然上傳到Hadoop集羣上了，但是原始文件還在。如何處理？
#日誌文件的名稱都是xxxx.log1,再次上傳文件時，因爲hdfs上已經存在了，會報錯。如何處理？

#如何解決版本1的問題
#       1、先將需要上傳的文件移動到待上傳目錄
#   2、在將文件移動到待上傳目錄時，將文件按照一定的格式重名名
#       /export/software/hadoop.log1   /export/data/click_log/xxxxx_click_log_{date}

#日誌文件存放的目錄
log_src_dir=/export/data/logs/log/

#待上傳文件存放的目錄
log_toupload_dir=/export/data/logs/toupload/

#設置日期
date1=`date +%Y-%m-%d`

#日誌文件上傳到hdfs的根路徑
hdfs_root_dir=/data/clickLog/$date1/

#打印環境變量信息
echo "envs: hadoop_home: $HADOOP_HOME"

#讀取日誌文件的目錄，判斷是否有需要上傳的文件
echo "log_src_dir:"$log_src_dir
ls $log_src_dir | while read fileName
do
   if [[ "$fileName" == access.log.* ]]; then
   # if [ "access.log" = "$fileName" ];then
       date=`date +%Y_%m_%d_%H_%M_%S`
       #將文件移動到待上傳目錄並重命名
       #打印信息
       echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"
       mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
       echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
   fi

done

ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
   #打印信息
   echo "toupload is in file:"$line
   mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
   cat $log_toupload_dir$line"_COPY_" |while read line
   do
       #打印信息
       echo "puting...$line to hdfs path.....$hdfs_root_dir"
       hadoop fs -mkdir -p $hdfs_root_dir
       hadoop fs -put $line $hdfs_root_dir
   done
   mv $log_toupload_dir$line"_COPY_" $log_toupload_dir$line"_DONE_"
done