文本生成策略

Greedy Search

贪心搜索是一种简单直接的文本生成策略，即每一步都选择具有最高概率的下一个词。

Beam Search

束搜索是对贪心策略一个改进。

简单示例

假设我们正在生成一个简单的句子，初始状态是<s>，束宽为 2。模型在每一步生成下一个词的概率分布如下：

初始状态<s>：

• “I”：0.6
• “You”：0.3
• “They”：0.1

在此我们选择前两个概率最高的词，得到初始候选序列：[("I", 0.6), ("You", 0.3)]

• 扩展 “I”：

  • “am”：0.8
  • “like”：0.2

• 扩展 “You”：

  • “are”：0.7
  • “can”：0.3

由此可以得到新候选序列及其得分：

• “I am”：0.6 * 0.8 = 0.48
• “I like”：0.6 * 0.2 = 0.12
• “You are”：0.3 * 0.7 = 0.21
• “You can”：0.3 * 0.3 = 0.09

我们仍然选择得分最高的两个序列，得到新的候选序列：[("I am", 0.48), ("You are", 0.21)]。然后继续重复上述步骤，直至生成完整的序列。