据SiliconANGLE报道，Reflection AI Inc.于10月16日在Hugging Face开放其首个大语言模型Beam的权重，并同步发布后训练配方等技术资源，供开发者定制该算法。Beam上周首次推出，是当前行业内较先进的开源大语言模型之一，参数规模约5000亿。

Reflection AI称，Beam在一些基准测试上的表现接近参数规模为其四倍的模型，同时消耗的算力和内存明显更少。公司用数千块高端显卡、历时约两个月完成训练。大规模训练容易出现降低模型质量的错误，其工程师为此开发了一套定制可靠性优化算法。

这些优化重点针对训练与推理不匹配问题，即AI训练环境组件配置出现轻微不一致时产生的缺陷。Reflection AI还开发了可自动修复某些数据质量错误的系统。此类错误出现时，系统会将训练回退到较早阶段并继续，而不是从头重启。公司称，相关优化使其在训练Beam时几乎实现零集群停机。

此次发布的Beam权重包含多个版本，除标准版外，还有将信息保存在更小数据单元中的缩减版。这种被称为量化的做法以部分输出质量换取更高的硬件效率。权重与训练配方一同发布，后者是供用户微调模型的代码模板。例如，一家氛围编程初创公司可以创建微调工作流，增强模型的编程能力。配套工具还能衡量定制化如何改变Beam的能力和安全护栏。

Reflection AI还发布了Beam的草稿模型，可用于实现推测解码，这是一种旨在降低硬件使用量的推理方法。其基本思路是让轻量级大语言模型即草稿模型生成提示响应的初始版本，再由Beam检查输出中的错误，之后显示给用户。

要以硬件高效的方式执行推理，开发者需要使用被称为服务引擎的软件工具。让大语言模型适配特定服务引擎可能涉及大量工作。Reflection AI称，本次发布包含面向多款流行服务引擎的即用型Beam配置。开发者还可使用融合内核，这类代码片段将多项推理计算压缩为单次操作，以加快处理速度。

Reflection AI计划在未来几天发布更多训练配方，使Beam能通过自蒸馏方式改进自身输出质量。公司还打算以向开源AI工具贡献代码等形式，分享开发该模型过程中获得的部分经验。