BERT 下 面 詳 細 解 釋 一 下 BERT 的 特 點 。
首 先 BERT 只 有 encoder 沒 有 decoder 。 這 很 容 易 理 解 ， 因 爲 BERT 是 一 個 通 用 的 預 訓 練 模 型 ， 可 以 接 各 種 下 遊 任 務 ， 它 的 輸 出 只 是 文 本 表 示 ， 所 以 不 能 使 用 固 定 的 decoder 。
第 二 點 ， BERT 是 百 層 左 右 的 深 度 神 經 網 絡 ， 才 能 把 各 種 語 言 學 的 特 徵 提 取 出 來 。 BERT 面 世 之 前 ，NLP 領 域 的 神 經 網 絡 基 本 上 只 有 幾 層 ， Transformer 架 構 之 後 才 有 可 能 將 NLP 網 絡 推 向 幾 十 上 百 層 。 淺 層 是 分 析 語 法 ， 詞 法 層 級 的 特 徵 ， 深 層 進 入 語 義 的 範 疇 。
第 三 點 ， 非 常 重 要 的 一 點 ， BERT 是 一 個 預 訓 練 模 型 ， 這 意 味 着 做 NLP 項 目 的 起 點 已 經 大 幅 提 升 。 在 2018 年 之 前 ， 任 何 一 個 NLP 項 目 的 起 點 都 是 以 Word2Vec 爲 代 表 的 詞 向 量 。 我 們 拿 到 一 句 話 的 詞 向 量 之 後 ， 自 己 構 建 句 向 量 ， 再 實 現 下 遊 任 務 。 構 建 句 向 量 的 過 程 往 往 是 簡 單 的 詞 向 量 平 均 或 者 加 總 ， 難 以 實 現 深 層 語 義 的 提 取 ， 導 致 下 遊 任 務 效 果 較 差 。
相 信 從 BERT 開 始 ， 會 出 現 各 種 細 分 領 域 的 語 言 模 型 ， 效 果 也 會 越 來 越 好 。 第 四 個 特 點 ， BERT 是 用 self - attention 作 爲 特 徵 提 取 器 的 能 力 。
第 五 個 特 點 ， 就 是 這 個 預 訓 練 模 型 是 直 接 設 計 了 兩 個 下 遊 任 務 作 爲 預 訓 練 模 型 的 任 務 ， 產 生 的 句 向 量 只 是 副 產 品 。 這 兩 個 任 務 一 個 是 詞 級 別 的 ， 一 個 是 句 子 級 別 的 。 詞 任 務 就 是 單 詞 預 測 ， 隨 機 遮 擋 住 15 % 的 詞 進 行 預 測 ， 要 正 確 預 測 就 需 要 精 準 學 習 每 個 詞 與 其 它 所 有 詞 的 關 系 ， 學 習 詞 序 。 句 子 級 別 的 任 務 就 是 預 測 兩 句 話 是 不 是 上 下 句 。 這 兩 個 下 遊 任 務 可 以 用 作 知 識 的 來 源 。
第 六 個 特 點 就 是 對 多 義 詞 的 識 別 。 在 Word2Vec 、 GloVe 等 詞 向 量 的 年 代 ， 所 有 的 詞 向 量 都 是 靜 態 的 ， 就 是 訓 練 之 後 詞 向 量 就 不 再 變 化 ， 而 固 定 下 來 了 。 但 是 一 個 詞 在 不 同 句 子 不 同 語 境 裏 詞 義 是 會 有 或 大 或 小 的 變 化 的 ， 例 如 apple 可 以 指 代 水 果 ， 也 可 以 指 代 一 家 公 司 ， 詞 向 量 需 要 動 態 變 化 。
BERT 在 訓 練 過 程 中 ， 同 一 個 詞 會 在 非 常 多 的 語 料 裏 出 現 ， 訓 練 後 會 混 合 所 有 的 含 義 。 使 用 時 放 到 一 個 句 子 裏 ， 會 根 據 上 下 文 把 這 個 詞 的 語 義 提 煉 出 來 ， 表 達 在 這 個 上 下 文 裏 的 具 體 含 義 ， 以 解 決 多 義 詞 的 問 題 。
第 七 個 特 點 就 是 雙 向 語 言 模 型 。
總 結 我 們 了 解 了 目 前 階 段 智 能 機 器 人 的 能 力 ， 知 道 了 AI 是 怎 麼 一 步 步 地 處 理 語 言 數 據 ， 這 是 目 前 爲 止 最 先 進 的 AI 處 理 人 類 語 言 的 方 式 。 在 前 面 的 研 究 中 ， 我 們 知 道 AI 處 理 的 全 部 都 是 數 字 ， 輸 入 時 將 每 個 字 轉 化 爲 一 個 多 維 數 學 向 量 ， 然 後 通 過 大 量 數 據 的 訓 練 ， 尋 找 每 個 字 之 間 的 關 系 。 翻 譯 也 好 ， 對 話 也 好 ， 對 於 AI 都 是 數 字 對 數 字 的 遊 戲 ， 我 們 最 終 看 到 的 語 言 輸 出 ， 只 是 這 些 數 字 最 終 通 過 字 典 翻 譯 回 了 人 類 的 語 言 。