Keras關於訓練凍結部分層

設置凍結層有兩種方式。

1. （不推薦）是在搭建網絡時，直接將某層的trainable設置爲false，例如:

   layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)

    

2. 在網絡搭建完成時，遍歷model.layer,然後將layer.trainable設置爲False:

   # 凍結網絡倒數的3層
   for layer in model.layers[:-3]:
       print(layer.trainable)
       layer.trainable = False
   

   也可以根據layer.name來確定哪些層需要凍結,例如凍結最後一層和RNN層：

   for layer in model.layers:
   	layerName=str(layer.name)
   	if layerName.startswith("RNN_") or layerName.startswith("Final_"):
   		layer.trainable=False
   

   可以在實例化之後將網絡層的 trainable 屬性設置爲 True 或 False。爲了使之生效，在修改 trainable 屬性之後，需要在模型上調用 compile()。這是一個例子

   x = Input(shape=(32,))
   layer = Dense(32)
   layer.trainable = False
   y = layer(x)
   
   frozen_model = Model(x, y)
   # 在下面的模型中，訓練期間不會更新層的權重
   frozen_model.compile(optimizer='rmsprop', loss='mse')
   
   layer.trainable = True
   trainable_model = Model(x, y)
   # 使用這個模型，訓練期間 `layer` 的權重將被更新
   # (這也會影響上面的模型，因爲它使用了同一個網絡層實例)
   trainable_model.compile(optimizer='rmsprop', loss='mse')
   
   frozen_model.fit(data, labels)  # 這不會更新 `layer` 的權重
   trainable_model.fit(data, labels)  # 這會更新 `layer` 的權重

   在網絡搭建時，可以考慮最後一個分類層命名和分類數量關聯，這樣當費雷數量方式變化時，model.load_weight(“weight.h5”，by_name=True)不會加載最後一層