clasp

CLaSp：让大语言模型生成文本更快的自我推测解码技术

想象一下，当你使用ChatGPT时，AI需要一个一个地生成单词，就像一个人一次只能写一个字一样。这种方式虽然确保了文本质量，但速度较慢。研究人员发现，如果AI能够"猜测"接下来的几个单词，然后一次性验证这些猜测，就能大大提高生成速度。这就是所谓的"推测解码"技