近年来，大语言模型在各领域应用广泛，但其文本生成过程昂贵且缓慢。为解决这一问题，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的目标是提升大语言模型的推理速度，同时确保输出文本的分布一致性。通过外推大语言模型的第二顶层特征向量，EAGLE成功实现了大模型推理效率的无损提升，比普通自回归解码快3倍，比Lookahead解码快2倍，比Medusa解码快1.6倍。
代码地址:https://github.com/SafeAILab/EAGLE
为了加速自回归解码，EAGLE采用了投机采样方法，使用一个轻量级的自回归头和冻结的分类头相结合。与传统投机采样方法不同，EAGLE的输入包括了抽样结果的词嵌入，使得输入和输出之间更具一致性。这种创新的方法有效地处理了抽样过程中的随机性，提高了生成文本的准确性。
EAGLE的工作原理基于特征向量的可压缩性，通过训练一个轻量级插件，即自回归头，从原始模型的第二顶层预测下一个特征，然后使用原始LLM的冻结分类头预测下一个词。这种外推特征向量的方法使得EAGLE在生成文本的同时保持了与普通解码一致的分布。
总体而言，EAGLE的发布标志着大语言模型推理效率的重大突破，为大规模文本生成任务提供了更加高效的解决方案，将在各领域推动语言模型的应用和发展。
首页
AI对话
资讯 
我的