CogLTX：将BERT应用于长文本

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"背景"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"自从谷歌的 BERT 预训练模型横空出世，预训练 - 下游任务微调的方式便成了自然语言处理任务的灵丹妙药。然而，复杂度高、显存消耗大等问题一直困扰着 BERT 等预训练模型的优化；由于 BERT 中 Transformer（多层自注意力）关于输入文本长度 L 有的 O () 的时间空间复杂度，长文本消耗显存陡然增加。想象一下，一位工程师兴致勃勃地将数据在设计好的下游任务上微调，满怀期待地盼望着结果的提升，却因为其中的一些长文本使得显存溢出或超过位置嵌入（position embedding）最大长度，该是一件多么沮丧的事情。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"解决这个问题最直接的方法是滑动窗口（sliding window）对每个 512（通常 BERT 位置嵌入的最大长度）字符的窗口分别预测，最终合并不同窗口的结果的方式随着具体下游任务的不同略有差异，例如阅读理解问答可以输出各段中总评分最高的小段（span）作为答案。然而，如果问题需要长程注意力，也就是两个关键的句子分布在段落中相距较远位置的时候，这种方法的效果就会大打折扣，下图就是一个例子。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/wechat\/images\/46\/465ebbf2fe9fe1c93e1f5d1209348844.png","alt":null,"title":null,"style":null,"href":null,"fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}}]}