DBN(深度信念網絡) 在訓練模型的過程中主要分爲兩步:
第 1 步:分別單獨無監督地訓練每一層 RBM 網絡,確保特徵向量映射到不同特徵空間時,都儘可能多地保留特徵信息;
第 2 步:在 DBN 的最後一層設置 BP 網絡,接收 RBM 的輸出特徵向量作爲它的輸入特徵向量,有監督地訓練實體關係分類器.而且每一層 RBM 網絡只能確保自身層內的 權值對該層特徵向量映射達到最優,並不是對整個 DBN 的特徵向量映射達到最優,所以反向傳播網絡還將錯誤信息自頂向下傳播至每一層 RBM,微調整個 DBN 網絡.RBM 網絡訓練模型的過程可以看作對一個深層 BP 網絡權值參數的初始化,使DBN 克服了 BP 網絡因隨機初始化權值參數而容易陷入局部最優和訓練時間長的缺點.