你有没有想过,训练一个大语言模型的时候,GPU里挤满了什么东西?
答案可能让你意外。不只是模型参数,还有一大堆为了让模型"记住更多模式"而硬塞进去的额外embedding表。这些表专门用来记录词组搭配,比如"纽约"后面大概率跟着"时报"或者"大学",这类统计规律。问题是,这些表想要快速读写,就必须待在昂贵的GPU显存里,和模型主体参数挤在一起抢地盘。
而与此同时,服务器主机上那些便宜的内存条,大部分时候是闲置的。
这就是华盛顿大学和艾伦人工智能研究所的研究者们盯上的那个矛盾点。他们发现一个几十年前就有的老办法,词组计数,其实天生就不需要塞进GPU,完全可以放在主机内存里。于是他们做了一个叫COUNT的系统,把这个老办法和现代神经网络拼在了一起。
### 为什么N-gram记忆这么贵
要理解COUNT解决了什么问题,得先说清楚N-gram embedding是什么。
N-gram:连续出现的N个词组成的片段,比如"吃了没"是一个三元N-gram,"吃了"是二元N-gram。语言模型如果能记住"看到某个N-gram后面最常跟什么词",预测效果会明显提升
给每一个可能出现的N-gram都分配一个独立的embedding向量,理论上能让模型学到非常细粒度的搭配知识。但这里有个几乎无法绕过的障碍:词汇表里哪怕只有十万个词,三元组合的可能性就是十万的三次方,这是一个天文数字,根本存不下。
现有的解决办法,比如Over-Encoding和N-grammer这类方法,用哈希函数把海量的N-gram压缩映射到一个有限大小的表里,让冲突的N-gram共享同一行参数。这些表确实能装下更多知识,但它们是从零开始学出来的参数,训练时需要频繁读写,必须放在GPU显存里,和模型主干的参数、优化器状态挤在一起。
训练到1B参数规模的时候,这种"学出来的N-gram表"要占多少GPU资源?论文里给出的设定是学习参数和主干模型1:1的比例,也就是说,为了塞下这些N-gram表,GPU上留给主干模型的空间直接少了一半。
这就好比你租了一间仓库放货,本来打算塞满自己最赚钱的那批商品,结果仓库管理员说必须留一半空间给另一批周转速度慢但偶尔有用的杂货。你能做的生意量直接打了折扣。如果不腾出这部分空间,杂货没地方放;但腾出了空间,你主力商品的库存量又上不去了,这是个两头为难的局面。
### COUNT的核心想法:算频率,不学参数
COUNT的全称是Counting Offline Unlocks N-gram Transformers,翻译过来就是"离线计数解锁N-gram transformer"。它的思路和前面说的哈希压缩完全不同。
它不去学习一套全新的N-gram向量,而是提前,在训练开始之前,离线地把整个训练语料库过一遍,统计每个N-gram历史后面跟着哪些词、跟了多少次。这个统计表存下来之后,是只读的,不需要梯度更新,自然也就不需要放在金贵的GPU显存里,扔到主机内存就行。
Stupid backoff:一种给词组续接打分的老办法,1980年代就有雏形,2007年由Brants等人系统化。核心逻辑很简单,如果当前这个N-gram历史在语料里出现过,就直接用"这个历史后面跟这个词的次数除以这个历史出现的总次数"算分;如果没见过这么长的历史,就退一步用短一点的历史接着算,每退一步打个折扣系数(论文里用的是0.4)
那统计出来的这些频率分数,具体怎么变成模型能用的embedding?这才是COUNT真正巧妙的地方。它没有新建一套向量表,而是直接复用了语言模型自带的unembedding矩阵。
Unembedding矩阵:语言模型最后一层,负责把模型内部的隐藏向量转换成词汇表上每个词的预测分数的那个矩阵。它本身就包含了模型对每个词的某种"语义理解"
COUNT的做法是,对于当前这段文字,先查出它最长能匹配到语料库里哪几个历史片段,再从统计表里取出这些历史片段最常见的那几个续接词和它们的分数,然后用这些分数作为权重,把对应续接词在unembedding矩阵里的那一行向量加权求和,拼成一个新的向量,叠加到原来的词向量上,一起送进transformer的第一层。
这个设计有个很直接的好处:整个过程没有引入任何新的可学习参数。统计表是死的数据,unembedding矩阵是模型本来就有的东西,权重计算是纯数学运算,没有一个字节需要训练。
这就像是你开了一家餐厅,想给顾客提供"根据历史点单推荐菜品"的功能。一种做法是雇一个数据科学家专门训练一套推荐算法,这需要额外的工资和办公位(对应GPU显存和学习参数)。另一种做法是你翻一下过去几年的账本,发现点了宫保鸡丁的人八成会加点米饭,这个信息直接写在便利贴上贴在收银台(对应主机内存里的统计表),服务员一看便利贴就知道该推荐什么,完全不需要额外雇人。如果不这样做,你就得养着那个数据科学家,哪怕生意清淡的时候他也在占着工位、拿着工资。
### 效果到底好不好
说了这么多设计理念,关键还是要看效果。研究者在60M到1B参数规模的模型上做了系统的对比实验,涵盖了不同的训练数据量配比。
结果相当亮眼。
在语言模型验证损失这个指标上,COUNT带来的提升,相当于让一个标准transformer多花46%到89%的计算量才能达到同样效果。
在更贴近实际应用的下游任务损失上,COUNT的提升相当于让标准模型多花6%到56%的计算量。
这里要插一句解释一下这两个指标的区别。
验证损失和任务损失:验证损失衡量模型在预测下一个词时的整体准确程度,用交叉熵衡量;任务损失则是模型在74个具体下游任务(比如数学题、常识问答、代码生成)上,预测标准答案文字时的表现,用bits per byte衡量,数值越低说明模型越"懂"这个答案该怎么说
这组数字意味着什么?意味着在固定的计算预算下,COUNT相当于是白捡了接近一半的算力提升,而付出的代价仅仅是多占用几百GB的主机内存,这些内存在大多数训练服务器上本来就是闲置资源。
研究者还做了一个特别有意思的对比:如果把"学到的可训练参数总量"作为横轴,而不是计算量,COUNT和前面提到的那种哈希压缩式N-gram embedding相比,表现如何?
结果是,在几乎所有参数预算下,COUNT构成了性能的帕累托前沿,也就是说在同样的参数开销下,COUNT的损失更低。原因也很直白,COUNT的改进不消耗任何学习参数预算,所有的提升都是"白给的"。那些需要学习的N-gram表,想要达到类似的效果,就必须不断增加自己的参数规模,而这些参数又挤占着宝贵的GPU空间。
### 表能换,还不用重新训练
如果COUNT只是省了点GPU资源,那还只是个工程优化。真正让这篇论文有意思的地方,是它打开了一个新的可能性:训练好的模型,可以在推理阶段直接换一张统计表,瞬间适应一个新领域,完全不需要重新训练。
为什么能做到这一点?因为COUNT的统计表存的是"词汇表上每个续接词的分数",这是一种和具体领域无关的、通用的数据格式。换一张表,只是换了一组统计数字,模型结构、unembedding矩阵、所有学过的参数都原封不动。
研究者针对数学、生物医学、法律三个领域,专门用对应领域的小规模语料(数学领域只用了106.6亿token,相比预训练用的几万亿token规模,可以说是九牛一毛)重新统计出三张领域专用表,大小都在80GB上下,远小于预训练用的797GB通用表。
接着他们把通用表和领域表按不同比例混合插值,测试在λ=0.25(领域表占四分之一权重)这个混合比例下,三个领域的任务损失全部下降了,数学和法律领域的任务准确率也跟着提升,生物医学领域的准确率表现则比较波动。
这个发现让我想到一个场景。假设你训练了一个什么都懂一点的全科医生,现在想让他临时客串急诊室值夜班。你不可能连夜重新培养他七年,但你可以塞给他一本急诊常见病速查手册,让他在原有知识基础上,对急诊场景下的某些判断稍微倾斜一点。COUNT干的就是这件事,而且这本"速查手册"是统计出来的,不是靠反复刷题练出来的,制作成本极低。如果没有这种可替换的设计,想要适应新领域就只能重新喂数据、重新跑训练,耗时耗力得多。
研究者还测试了反方向的场景:如果部署环境内存紧张,能不能用更小的表替代原来的大表?
答案同样令人满意。他们把1B参数模型原本797GB的通用表,换成了压缩版本,最小压缩到17.1GB,整整缩小了四十多倍,模型性能依然优于不用COUNT的标准transformer。这意味着COUNT不仅能"涨分",还能根据实际部署条件灵活伸缩,性能衰减是平滑且可预期的,不会突然崩掉。
### 速度和内存代价
免费的午餐天下少有,COUNT虽然不占用GPU学习参数的预算,但查表这个动作本身是要花时间的,总得评估一下实际跑起来会不会拖慢速度。
研究者在8张H200显卡上实测了训练吞吐量,COUNT在1B参数规模下,保留了标准transformer训练速度的93.1%到97.8%。推理阶段的prompt预填充阶段保留了95.5%到95.8%的速度,逐词生成阶段保留了95.9%到96.7%的速度。
这些数字能做到这么高,靠的是三个工程优化:编译过的多线程主机查表、训练和预填充阶段提前预取下一批要查的内容(让CPU查表和GPU计算同时进行,互不等待)、以及把向量收集和加权求和这两步合并成一个操作,避免中间结果占用额外存储。
对比的学习型N-gram方案在相近的优化水平下,训练速度是98.3%,推理阶段速度和COUNT相差无几。换句话说,两种方案在工程上打磨到位之后,速度差距都不大,真正拉开差距的是前面提到的那个参数预算和适应能力的问题。
### 这个思路从哪儿来,又往哪儿去
把计数式语言模型和神经网络结合起来,这个想法并不是COUNT第一个提出的。
Neubig和Dyer在2016年的工作就已经尝试过把基于计数的下一词分布和神经网络预测混合起来。更早之前,Jelinek和Mercer在1980年、Kneser和Ney在1995年,就已经把N-gram计数和回退(backoff)这套理论打磨得相当成熟,这是COUNT里stupid backoff评分公式的直接来源。
更近一点,kNN-LM(2020年提出)和Infini-gram(2025年的工作)走的是另一条路,叫做后融合(late fusion),在模型输出的最后一步,把神经网络预测的概率分布和检索出来的统计概率分布直接混合。这类方法同样支持免训练的领域适应,论文里也专门做了对比实验。
结果显示,后融合这种方式在通用性能的提升上不如COUNT的做法明显,而且研究者还专门测试过把后融合放进预训练阶段会不会有额外收益,结论是没有,不如直接在推理时套用更省事。
这揭示了一个有意思的设计分歧:后融合是在最后一刻才把统计信息掺进去,相当于是让两个独立的声音在决策的最后一秒各自投票;而COUNT是在最开始就把统计信息编码进共享的向量空间里,让这份信息从第一层transformer开始就参与整个推理过程。前一种做法简单直接,后一种做法整合得更深,效果也更好,但代价是必须复用unembedding矩阵这个巧妙的工程设计。
往后看,这个方向上还有不少后续探索。2026年Liu等人的LongCat项目把哈希式N-gram embedding扩展到了更大规模,并提出了"embedding amplification"(嵌入放大)技术,COUNT的研究者发现这个技巧用在自己的方法上同样管用,于是直接借用了过来。同一年,Cheng等人提出用模型自身的隐藏状态去门控N-gram embedding的使用程度,让网络自己判断什么时候该相信统计信息、什么时候该忽略它,这代表着这一领域正在往"更智能地决定何时使用先验知识"这个方向演化。
### 写在后面
读完这篇论文,我最大的感触是,很多时候效率问题的答案不在于发明新技术,而在于重新审视手头已有的资源分配方式。
GPU显存和主机内存的价格差了一个数量级以上,但过去几年大家在设计N-gram embedding的时候,几乎没人认真问过"这东西非得放在GPU里吗"。COUNT的答案是,只要你愿意放弃一点点灵活性(不能像学习参数那样自由调整),用计数代替学习,就能把这块负担甩到几乎白给的主机内存上。
还有一个细节让我印象很深。研究者尝试过把COUNT的基向量换成输入token embedding矩阵而不是unembedding矩阵,结果任务损失和准确率都变差了,虽然语言模型损失依然比标准transformer好。这说明unembedding矩阵里编码的信息和token embedding矩阵里编码的信息,并不是对称的,前者更贴近"预测下一个词"这个任务本身的语义结构,这个发现本身就值得单独写一篇论文去深挖。
另外论文里提到的那个细节也挺值得琢磨:在190M规模上,给COUNT训练出的后融合方法单独做预训练,并没有比纯推理时套用效果更好。这说明有些设计选择的收益上限,可能早就被结构本身锁死了,砸更多训练资源也撬不动。
那么下一个问题自然就浮现出来了:如果主机内存便宜到几乎不用考虑成本,这张统计表到底能做多大才算到头?论文里已经用到了797GB,如果换成几TB甚至几十TB呢,收益曲线会继续往上走,还是会在某个点上开始走平?这篇论文没有回答,但这恰恰是它留给后来者最有意思的一道题。
Q&A
Q1:COUNT是什么?
A:COUNT是一种让语言模型用上N-gram词组统计信息的新方法,它不学习新的参数,而是把提前统计好的词组频率表存在主机内存里,再用模型自带的unembedding矩阵把这些频率转换成embedding,叠加到词向量上,从而在几乎不增加GPU负担的情况下提升模型效果。
Q2:COUNT和之前的N-gram embedding方法有什么区别?
A:之前的方法比如Over-Encoding需要从零学习一套N-gram向量表,这些参数必须放在GPU显存里训练,和模型主干抢资源。COUNT则是离线统计词组频率,表是只读的,可以放在便宜的主机内存里,不占用任何可学习参数预算。
Q3:COUNT能不能在不重新训练的情况下适应新领域?
A:可以。因为COUNT的统计表是一种通用格式,换一张领域专用的统计表(比如数学、法律、生物医学领域),模型结构完全不用变,推理时直接混合通用表和领域表的分数就能带来性能提升,论文中数学和法律领域的提升比较明显。
