Greedy Search VS Beam Search 贪心搜索 vs 集束搜索

在做NLP领域的NMT或者chatbot等方面的工作时,在进行inference(推理)的时候,经常会用到两种搜索方式,即Greedy Search和Beam Search。

1. Greedy Search

贪心搜索最为简单,直接选择每个输出的最大概率,直到出现终结符或最大句子长度。

2. Beam Search。

Beam Search可以认为是维特比算法的贪心形式,在维特比所有中由于利用动态规划导致当字典较大时效率低,而集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。集束搜索是在测试阶段为了获得更好准确性而采取的一种策略,在训练阶段无需使用。

针对上例,得到如下计算(beam size=2)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章