BERT 下 面 详 细 解 释 一 下 BERT 的 特 点 。
首 先 BERT 只 有 encoder 没 有 decoder 。 这 很 容 易 理 解 ， 因 为 BERT 是 一 个 通 用 的 预 训 练 模 型 ， 可 以 接 各 种 下 游 任 务 ， 它 的 输 出 只 是 文 本 表 示 ， 所 以 不 能 使 用 固 定 的 decoder 。
第 二 点 ， BERT 是 百 层 左 右 的 深 度 神 经 网 络 ， 才 能 把 各 种 语 言 学 的 特 征 提 取 出 来 。 BERT 面 世 之 前 ，NLP 领 域 的 神 经 网 络 基 本 上 只 有 几 层 ， Transformer 架 构 之 后 才 有 可 能 将 NLP 网 络 推 向 几 十 上 百 层 。 浅 层 是 分 析 语 法 ， 词 法 层 级 的 特 征 ， 深 层 进 入 语 义 的 范 畴 。
第 三 点 ， 非 常 重 要 的 一 点 ， BERT 是 一 个 预 训 练 模 型 ， 这 意 味 着 做 NLP 项 目 的 起 点 已 经 大 幅 提 升 。 在 2018 年 之 前 ， 任 何 一 个 NLP 项 目 的 起 点 都 是 以 Word2Vec 为 代 表 的 词 向 量 。 我 们 拿 到 一 句 话 的 词 向 量 之 后 ， 自 己 构 建 句 向 量 ， 再 实 现 下 游 任 务 。 构 建 句 向 量 的 过 程 往 往 是 简 单 的 词 向 量 平 均 或 者 加 总 ， 难 以 实 现 深 层 语 义 的 提 取 ， 导 致 下 游 任 务 效 果 较 差 。
相 信 从 BERT 开 始 ， 会 出 现 各 种 细 分 领 域 的 语 言 模 型 ， 效 果 也 会 越 来 越 好 。 第 四 个 特 点 ， BERT 是 用 self - attention 作 为 特 征 提 取 器 的 能 力 。
第 五 个 特 点 ， 就 是 这 个 预 训 练 模 型 是 直 接 设 计 了 两 个 下 游 任 务 作 为 预 训 练 模 型 的 任 务 ， 产 生 的 句 向 量 只 是 副 产 品 。 这 两 个 任 务 一 个 是 词 级 别 的 ， 一 个 是 句 子 级 别 的 。 词 任 务 就 是 单 词 预 测 ， 随 机 遮 挡 住 15 % 的 词 进 行 预 测 ， 要 正 确 预 测 就 需 要 精 准 学 习 每 个 词 与 其 它 所 有 词 的 关 系 ， 学 习 词 序 。 句 子 级 别 的 任 务 就 是 预 测 两 句 话 是 不 是 上 下 句 。 这 两 个 下 游 任 务 可 以 用 作 知 识 的 来 源 。
第 六 个 特 点 就 是 对 多 义 词 的 识 别 。 在 Word2Vec 、 GloVe 等 词 向 量 的 年 代 ， 所 有 的 词 向 量 都 是 静 态 的 ， 就 是 训 练 之 后 词 向 量 就 不 再 变 化 ， 而 固 定 下 来 了 。 但 是 一 个 词 在 不 同 句 子 不 同 语 境 里 词 义 是 会 有 或 大 或 小 的 变 化 的 ， 例 如 apple 可 以 指 代 水 果 ， 也 可 以 指 代 一 家 公 司 ， 词 向 量 需 要 动 态 变 化 。
BERT 在 训 练 过 程 中 ， 同 一 个 词 会 在 非 常 多 的 语 料 里 出 现 ， 训 练 后 会 混 合 所 有 的 含 义 。 使 用 时 放 到 一 个 句 子 里 ， 会 根 据 上 下 文 把 这 个 词 的 语 义 提 炼 出 来 ， 表 达 在 这 个 上 下 文 里 的 具 体 含 义 ， 以 解 决 多 义 词 的 问 题 。
第 七 个 特 点 就 是 双 向 语 言 模 型 。
总 结 我 们 了 解 了 目 前 阶 段 智 能 机 器 人 的 能 力 ， 知 道 了 AI 是 怎 么 一 步 步 地 处 理 语 言 数 据 ， 这 是 目 前 为 止 最 先 进 的 AI 处 理 人 类 语 言 的 方 式 。 在 前 面 的 研 究 中 ， 我 们 知 道 AI 处 理 的 全 部 都 是 数 字 ， 输 入 时 将 每 个 字 转 化 为 一 个 多 维 数 学 向 量 ， 然 后 通 过 大 量 数 据 的 训 练 ， 寻 找 每 个 字 之 间 的 关 系 。 翻 译 也 好 ， 对 话 也 好 ， 对 于 AI 都 是 数 字 对 数 字 的 游 戏 ， 我 们 最 终 看 到 的 语 言 输 出 ， 只 是 这 些 数 字 最 终 通 过 字 典 翻 译 回 了 人 类 的 语 言 。