Faster RCNN訓練1: faster_rcnn_end2end.sh文件

faster_rcnn_end2end.sh文件是位於./experiments/scripts/faster_rcnn_end2end.sh目錄下的腳本文件，用於Faster RCNN的end2end方式訓練；

採用了端到端(end2end的方式訓練，shell命令：./experiments/scripts/faster_rcnn_end2end.sh 0 VGG16 pascal_voc ，其中，指定了gpu編號，網絡名稱，數據集名稱三個參數；

#!/bin/bash
# Usage:
# ./experiments/scripts/faster_rcnn_end2end.sh GPU NET DATASET [options args to {train,test}_net.py]
# DATASET is either pascal_voc or coco.
#
# Example:
# ./experiments/scripts/faster_rcnn_end2end.sh 0 VGG_CNN_M_1024 pascal_voc \
#   --set EXP_DIR foobar RNG_SEED 42 TRAIN.SCALES "[400, 500, 600, 700]"

#

set -x   #將後面執行的命令輸出到屏幕，便於調試；
set -e   #如果命令返回值不是0則退出shell；

export PYTHONUNBUFFERED="True" #和緩存有關係的一個變量，使得按順序輸出

#讀取輸入的GPU編號　網絡名稱　數據集三個參數
GPU_ID=$1
NET=$2
NET_lc=${NET,,}
DATASET=$3

#GPU_ID=0
#NET=ZF
#NET_lc=${NET,,}
#DATASET=pascal_voc

#大意是獲取剩下的參數，放在EXTRA_ARGS變量中
array=( $@ )
len=${#array[@]}
EXTRA_ARGS=${array[@]:3:$len}
EXTRA_ARGS_SLUG=${EXTRA_ARGS// /_}


#根據參數DATASET進入對應的條件分支：只有pascal_voc, coco兩種數據集類型，否則報錯
case $DATASET in
  pascal_voc)
    TRAIN_IMDB="voc_2007_trainval"　#訓練數據集名稱
    TEST_IMDB="voc_2007_test"　　#測試數據集名稱
    PT_DIR="pascal_voc"
    # ITERS=70000　　#設定的訓練迭代次數
    # ITERS=50000
    ITERS=2000
    ;;
  coco)
    # This is a very long and slow training schedule
    # You can probably use fewer iterations and reduce the
    # time to the LR drop (set in the solver to 350,000 iterations).
    TRAIN_IMDB="coco_2014_train"
    TEST_IMDB="coco_2014_minival"
    PT_DIR="coco"
    ITERS=490000
    ;;
  *)
    echo "No dataset given"
    exit
    ;;
esac

#將訓練過程中的輸出記錄到txt文本，log日誌中
#`date +'%Y-%m-%d_%H-%M-%S'`獲取日期:Year month day Hour Minute Second
LOG="experiments/logs/faster_rcnn_end2end_${NET}_${EXTRA_ARGS_SLUG}.txt.`date +'%Y-%m-%d_%H-%M-%S'`"　　#日誌存儲路徑
exec &> >(tee -a "$LOG")
echo Logging output to "$LOG"


#調用對應的python腳本執行訓練和測試
time ./tools/train_net.py --gpu ${GPU_ID} \
  --solver models/${PT_DIR}/${NET}/faster_rcnn_end2end/solver.prototxt \
  --weights data/imagenet_models/${NET}.v2.caffemodel \
  --imdb ${TRAIN_IMDB} \
  --iters ${ITERS} \
  --cfg experiments/cfgs/faster_rcnn_end2end.yml \
  ${EXTRA_ARGS}
  
set +x #關閉腳本中訓練部分輸出，此後shell上的輸出爲上面訓練時代碼中的打印輸出

# 在log日誌中查找與"done solving"匹配字段所在的行 的上一行；
NET_FINAL=`grep -B 1 "done solving" ${LOG} | grep "Wrote snapshot" | awk '{print $4}'`
#grep awk '{print $1}':去除第一個空格之後的所有數據
#grep awk '{print $４}':找到需要的行之後，去除第四個空格之後的所有數據，這句應該是爲了去除log日誌裏那一行中 caffe模型路徑 後面多餘的東西

set -x　#開始測試部分的shell輸出

#對訓練後的網絡進行測試，可得到參數AP
time ./tools/test_net.py --gpu ${GPU_ID} \
  --def models/${PT_DIR}/${NET}/faster_rcnn_end2end/test.prototxt \
  --net ${NET_FINAL} \
  --imdb ${TEST_IMDB} \
  --cfg experiments/cfgs/faster_rcnn_end2end.yml \
  ${EXTRA_ARGS}

若訓練直接使用python腳本，跳過此sh文件，則在shell中輸入：

1. 使用端到端的訓練方式:

./tools/train_net.py --gpu 0 --solver models/pascal_voc/VGG16/faster_rcnn_end2end/solver.prototxt --weights data/imagenet_models/VGG16.v2.caffemodel --imdb voc_2007_trainval --iters 2000 --cfg experiments/cfgs/faster_rcnn_end2end.yml

2. 使用交替聯合訓練方式:

`./tools/train_faster_rcnn_alt_opt.py --gpu 0 --net_name ZF --weights data/imagenet_models/ZF.v2.caffemodel --imdb voc_2007_trainval --cfg experiments/cfgs/faster_rcnn_alt_opt.yml`

參考鏈接１
參考鏈接2