LLMs 传统上被认为是顺序解码器，一个接一个地解码_

#LLMs并行解码可将推理速度提高3.5倍# LLMs 传统上被认为是顺序解码器，一个接一个地解码。而一项新研究发现——将 LLMs 转换为并行解码器后，推理速度最高可提升3.5倍。在研究中，相关人员提出了一系列新型的大语言模型 CLLM。它们采用雅克比迭代算法将语言生成过程转化为可并行求解的非线性方程组。从而在每个推理步骤中有效地解码多个令牌序列。通过这种方式，CLLM能够在保证生成质量的同时，提高语言模型的响应速度。论文：项目主页：