这章没有结束,请点击下一页继续阅读!
1. 知识检索能力显着增强
这是最符合预期的提升。在MMLU、CMMLU等知识密集型任务中,Engram模型的准确率提升了3-4分。毕竟,专门的记忆检索模块,就是为了解决知识问答的效率问题而生的,这一提升在意料之中。
2. 推理与代码数学能力“意外飞跃”
令人惊喜的是,Engram模型不仅在知识任务上表现出色,还在需要深层思考的任务中大放异彩:在BigBench Hard(BBH)推理任务上提升5.0分,在HumanEval代码生成任务上提升3.0分,在MATH数学任务上提升2.4分。
这背后的逻辑很简单:Transformer主干网络从繁琐的知识记忆中解放出来后,算力资源被集中用于推理计算,自然能够“更专注地解题”。就像一个学生不用再死记硬背公式,而是可以把精力放在理解公式的应用逻辑上,解题能力自然会提升。
3. 长上下文理解能力实现“质变”
在32K上下文长度的RULER基准测试中,多查询“大海捞针”任务的准确率从84.2%跃升至97.0%,这是一个堪称“质变”的提升。
传统大模型在处理长上下文时,注意力机制很容易被大量冗余信息分散,导致关键信息检索效率低下。而Engram模块负责处理局部的固定依赖关系,注意力机制得以解放,能够更专注于全局上下文的建模和关键信息的抓取——这就像清理了电脑的内存,让系统运行更加流畅。
四、 产业影响:打破硬件枷锁,重塑AI产业链的价值版图
Engram技术的颠覆性,远不止于模型性能的提升,更在于它打破了大模型对高端GPU的“硬件枷锁”,进而引发整个AI产业链的价值重估。
1. 硬件范式革新:从“GPU显存依赖”到“存储算力协同”
传统大模型的运行,高度依赖超大容量、超高带宽的GPU显存(HBM),这也是高端GPU价格居高不下的核心原因。而Engram的确定性寻址方式,使得系统可以在计算进行时,提前从CPU内存(CPU DRAM)中预取所需数据,完美掩盖了CPU内存读取速度慢的缺陷。
实验数据显示,将一个千亿参数的Engram词表完全放置在CPU内存中,整体推理吞吐量的损耗小于3%。这意味着什么?
- 降低部署门槛:未来运行千亿参数模型,可能只需要一张消费级显卡负责核心计算,再搭配廉价的大容量CPU内存条存储知识——中小企业、科研机构甚至个人,都能以更低的成本部署大模型。
- 动态知识更新:无需重新训练整个模型,只需在CPU内存中“外挂”新的Engram表,就能让模型快速学习最新的法律条文、医疗数据、市场动态——这极大降低了垂直行业应用的维护成本,让大模型的“迭代速度”跟上现实世界的变化。
- 超大规模模型成为可能:通过将“热知识”(高频使用)存放在GPU显存、“温知识”(中频使用)存放在CPU内存、“冷知识”(低频使用)存放在固态硬盘中,理论上可以外挂数万亿参数的超大知识库,而成本却远低于传统方案。
2. 产业链价值重估:谁被利空?谁将受益?
Engram技术的普及,将不可避免地引发AI产业链的“价值洗牌”,不同板块的命运将出现分化。