mxnet的模型參數初始化方法總結

1.mxnet框架的初始化方法在類mxnet.initializer中，參考官方文檔https://mxnet.apache.org/api/python/docs/api/initializer/index.html#mxnet.initializer.Xavier

2.具體方法

（1）Bilinear():Initialize weight for upsampling layers.翻譯過來就是：初始化上採樣層的權重。什麼意思？看看源碼解釋

官方源代碼

class Bilinear(Initializer):
    """Initialize weight for upsampling layers."""
    def __init__(self):
        super(Bilinear, self).__init__()

    def _init_weight(self, _, arr):
        weight = np.zeros(np.prod(arr.shape), dtype='float32')
        shape = arr.shape 
        f = np.ceil(shape[3] / 2.) # 計算列數/2，向上求餘
        c = (2 * f - 1 - f % 2) / (2. * f)
        for i in range(np.prod(shape)): # 重新生成權重
            x = i % shape[3] # 根據列數
            y = (i // shape[3]) % shape[2]
            weight[i] = (1 - abs(x / f - c)) * (1 - abs(y / f - c))
        arr[:] = weight.reshape(shape)

arr是一個矩陣數組，np.prod進行連乘計算，計算出arr中共有多少元素，根據arr數組生成一個全零的一維數組。

無解，只知道是這個意思，具體幹什麼的，怎麼用的，沒見過用的，有知道的老哥告知一下，謝謝！

（2）mxnet.initializer.Constant(value)：將權重參數初始化爲常數。

源碼

class Constant(Initializer):
    """Initializes the weights to a given value.
    The value passed in can be a scalar or a NDarray that matches the shape
    of the parameter to be set.

    Parameters
    ----------
    value : float, NDArray
        Value to set.
    """
    def __init__(self, value):
        super(Constant, self).__init__(value=value)
        self.value = value

    def _init_weight(self, _, arr):
        arr[:] = self.value

      def dumps(self):
        val = self._kwargs['value']
        if not np.isscalar(val):
            self._kwargs['value'] = val.tolist() if isinstance(val, np.ndarray) else val.asnumpy().tolist()
        return json.dumps([self.__class__.__name__.lower(), self._kwargs])

（3）mxnet.initializer.Normal(sigma=0.01)：將權重初始化爲均值爲0，標準差爲sigma的隨機數

（4）mxnet.initializer.One：將權重參數初始化爲1

（5）mxnet.initializer.Orthogonal(scale=1.414, rand_type='uniform')：將權重初始化爲正交矩陣。

scale權重比例因子，rand_type使用“均勻”或“正常”隨機數初始化權重

（6）mxnet.initializer.Uniform(scale=0.07)：使用從給定範圍內均勻採樣的隨機值初始化權重

scale界限值

（7）mxnet.initializer.Xavier(rnd_type='uniform', factor_type='avg', magnitude=3)：返回對權重執行“ Xavier”初始化的初始化器。該初始化程序旨在使所有圖層的漸變比例大致相同。

md_type決定生成的隨機數類型是“gaussian” or "uniform";factor_type決定隨機數的範圍，可以是"avg" or "in" or "out"

magnitude決定隨機數的規模

（8）mxnet.initializer.Zero：將權重矩陣初始化爲0