源碼地址：tensorflow/tensorflow/contrib/slim/python/slim
slim主要包括learning.py, evaluation.py, summary.py, queue.py和model_analyzer.py，分別對應模型的訓練，測試，日誌記錄，隊列管理和模型分析部分。
1. 模型分析模塊 model_analyzer.py
這段代碼提供了分析Tensorflow圖中的運算和變量的工具。
＃To analyze the operations in a graph:
images, labels = LoadData(…)
predictions = MyModel(images)
slim.model_analyzer.analyze_ops(tf.get_default_graph(), print_info=True)
＃To analyze the model variables in a graph:
variables = tf.model_variables()
slim.model_analyzer.analyze_vars(variables, print_info=False)
2. queue.py提供了隊列內容管理代碼
3. summaries.py 包括了生成日至紀錄的輔助函數, summaries_test.py是它的一個測試，使用例子見下：
import tensorflow as tf
slim = tf.contrib.slim
slim.summaries.add_histogram_summaries(slim.variables.get_model_variables())
slim.summaries.add_scalar_summary(total_loss, ‘Total Loss’)
slim.summaries.add_scalar_summary(learning_rate, ‘Learning Rate’)
slim.summaries.add_histogram_summaries(my_tensors)
slim.summaries.add_zero_fraction_summaries(my_tensors)
4. evaluation.py一般不會使用slim的代碼，故忽略。
5. 最重要的訓練模型的代碼在learning.py中，其中learning_test.py是一個測試例子
learning.py中包括訓練模型所需的多個函數，包括操作梯度，生成一個訓練操作（train_op, 一個計算loss並應用梯度的操作）以及訓練的循環函數。訓練循環要求用戶傳入train_op就可以進行優化。注意在這裏訓練循環使用了tf.train.Supervisor以及在它代碼實現中的managed_session，這可以保證機器可以從運行失敗中恢復訓練。Supervisor是對負責訓練程序的Coordinator，Saver和SessionManager的封裝。下面是一個簡單的例子：
# Load data and create the model:
images, labels = LoadData(…)
predictions = MyModel(images)
# Define the loss:
slim.losses.log_loss(predictions, labels)
total_loss = slim.losses.get_total_loss()
# Define the optimizer:
optimizer = tf.train.MomentumOptimizer(FLAGS.learning_rate, FLAGS.momentum)
# Create the train_op
train_op = slim.learning.create_train_op(total_loss, optimizer)
# Run training.
slim.learning.train(train_op, my_log_dir)
訓練必須首先定義一個 train_op， 它的作用包括：（1）計算損失（2）將梯度運用於參數的更新（3）返回損失值
train_op有時還必須在訓練時，執行額外的非梯度更新的操作，比如batch_norm。batch_norm在訓練時需要執行一系列非梯度的更新操作。slim.learning.create_train_op允許用戶同時將update_ops的列表以及梯度更新操作同時傳遞給函數。
train_op = slim.learning.create_train_op(total_loss, optimizer, update_ops)
默認情況下，slim.learning.create_train_op包括了所有在tf.GraphKeys.UPDATE_OPS集合中的更新操作。而且，slim的slim.batch_norm函數將moving mean和moving variance的更新加入了這個集合。因此，使用slim.batch_norm的用戶不用考慮任務多餘的步驟就能保證moving mean 和moving variance的更新會被正確的計算。如果用戶需要加入額外的更新操作，可以使用下面的代碼：
# Force TF-Slim NOT to use ANY update_ops:
train_op = slim.learning.create_train_op(
total_loss,
optimizer,
update_ops=[])
# Use an alternative set of update ops:
train_op = slim.learning.create_train_op(
total_loss,
optimizer,
update_ops=my_other_update_ops)
# Use an alternative set of update ops in addition to the default updates:
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, my_update0)
tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, my_update1)
train_op = slim.learning.create_train_op(
total_loss,
optimizer)
# Which is the same as:
train_op = slim.learning.create_train_op(
total_loss,
optimizer,
update_ops=tf.get_collection(tf.GraphKeys.UPDATE_OPS))
learning訓練最重要的有兩個函數：create_train_op以及train
（1）def create_train_op(total_loss,
optimizer,
global_step=_USE_GLOBAL_STEP,
update_ops=None,
variables_to_train=None,
clip_gradient_norm=0,
summarize_gradients=False,
gate_gradients=tf_optimizer.Optimizer.GATE_OP,
aggregation_method=None,
colocate_gradients_with_ops=False,
gradient_multipliers=None,
check_numerics=True)
clip_gradient_norm:當它大於0時，梯度被截止於這個值。
返回值時一個Tensor，它計算了梯度並返回了loss值。
（2）def train(train_op,
logdir,
train_step_fn=train_step,
train_step_kwargs=_USE_DEFAULT,
log_every_n_steps=1,
graph=None,
master=”,
is_chief=True,
global_step=None,
number_of_steps=None,
init_op=_USE_DEFAULT,
init_feed_dict=None,
local_init_op=_USE_DEFAULT,
init_fn=None,
ready_op=_USE_DEFAULT,
summary_op=_USE_DEFAULT,
save_summaries_secs=600,
summary_writer=_USE_DEFAULT,
startup_delay_steps=0,
saver=None,
save_interval_secs=600,
sync_optimizer=None,
session_config=None,
trace_every_n_steps=None)
這個函數使用Tensorflow的supervisor運行了一個訓練循環。當使用sync_optimizer時，梯度計算是同步進行的。否則，梯度計算是異步進行的。
參數：
log_every_n_steps:損失函數和step的打印頻率
master：tensorflow master的地址
is_chief：指定是否訓練是有主副本實現的，當進行多副本訓練時。
sync_optimizer: 一個tf.SyncReplicasOptimizer 或它們的一個列表。如果提供了這個參數，梯度更新會是同步的，如果使用None，則更新是異步的。