要想让 AI 跑得更快，不错给大模子找个替身队友？这是阐扬戚正伟团队的最新效果。你有莫得玩过这么的游戏：一个团队里每个东谈主都有我方的特长，但偶然候某个队员临时来不了，要是找个手段相似的替补队员顶上，通盘团队也能顺利完成任务。当今，AI 大模子也遭遇了近似情况。

想象一下，AI 大模子就像一个由千千万万个小众人构成的超等团队。每个小众人都擅所长理不同类型的问题，有的擅长数学、有的擅长写稿、有的擅长编程。

但神奇的是，每当你问 AI 一个问题，它并不需要请出统共众人来呈报。就像你问 AI 一谈数学题的时候，只需要请出来数学众人职责就不错，不需要惊动写稿众人和绘画众人。这种假想让 AI 大概保合手较高遵循，同期其还领有海量的学问。

不外问题来了：固然每次只用到少数众人，然而统共众人都必须随时待命准备被召唤。为了惩处这个“太胖装不下”的问题，东谈主们想了一个宗旨：把不常用的众人搬到电脑的泛泛内存里待命，就像把不常用的物品放到仓库同样。当需要某个众人的时候，再临时把它从仓库请追忆。

然而这个才调存在一个大问题：从仓库搬东西太慢了，把一位众人从泛泛内存请到显卡上职责，需要浪掷 10 毫秒独揽的搬运时分。而众人在显卡上的职责时分却只需要不到 1 毫秒。也即是说，搬运时分比职责时分长了 10 倍。

戚正伟团队在仔细不雅察这些 AI 众人之后发现，好多众人其实长得终点像，功能也差未几。比如，在处理“苹果”这个词语的时候，可能同期有好几个众人都能意会它，有的众人将苹果意会为生果，有的众人将苹果意会为苹果公司，但它们在某些情况之下不错相互替代。为此，他和团队通过绘图众人关系热力争，厘清了哪些众人泛泛一皆职责、哪些众人的才调很相似。

基于此，戚正伟团队忽视一款名为 BuddyMoE 的智能系统（Buddy 即是好一又友的敬爱敬爱）。这个系统的中枢想想很浮浅：当需要某个众人但它又不在显卡上的时候，不是急着去仓库搬运，而是立即找一个也曾在显卡上的、才调相似的伙伴众人莅临时顶替。

BuddyMoE 的众人预取经由。当 GPU 正在处理第 i 层的贪图时，CPU 会提前量度并预加载第 i+1 层所需的众人（Prefetch），将数据的搬运与贪图并行进行，从而镌汰蔓延。

但这个替换并不是粗率进行的，BuddyMoE 系统死守以下三个判断律例：

第一，看问题自己抉剔不抉剔。有些问题关于众人的条目很高，必须指定众人才能呈报好。

第二，看需要替换的众人多未几。要是要替换的众人太多，阐发系统出了景象，这时就不太允洽大都使用替身，而是应该采纳愈加安妥的才调。第三，要遴荐合适的替身。

在统共可用的伙伴众人中，系统会遴荐才调最接近、配合最剖释的来顶替。经过大都测试，这个替身队友系统的进展异常好，在保证呈报质料基本不变的前提下，准确度仅下落不到 2%，推理速率最高能进步 10%。

在内存终点垂死的情况下，效果愈加显然。这项技艺不仅能用于单个 AI 模子，也能在云作事中让多个 AI 模子分享相互的众人。就像不同班级的学霸构成了一个超等学霸团，大概为全校同学答疑解惑。

大模子的大小（红线）比拟于显卡内存的容量（蓝线）增长得更快，这愈加突显了 CPU 与 GPU 协同职责（异构贪图）的需求。

已在 llama.cpp 中进行原型杀青和实验考证。

戚正伟告诉 DeepTech，BuddyMoE 的基本想路是：当量度失败、所需众人不在 GPU 时，不再执着于从 CPU 赢得该众人，而是转而寻找一个也曾在 GPU 显存中、且功能相似的伙伴众人来替代它实施贪图。

这就好比一项职责底本的认真东谈主无法到场，请另一位才调相仿的共事代为处理。通过这种姿色，幸免了耗时的高速/低速内存间数据传输或逐渐的 CPU 贪图，统共贪图均在高速的 GPU 内完成，从而极地面进步了推理速率。

天然，使用替代众人可能会带来渺小的精度亏损。但经过其测试，在众人替换比例低于 20% 的情况下，精度亏损泛泛不错适度在 0.5% 到 1.5% 之间，某些情况下可能会稍高，但一般不会进步 5%。

这个代价联系于其带来的显耀性能进步而言是不错罗致的。也即是说，本次职责受到众阳世存在相似性这一征象的启发，将这种相似性转机为布置量度失败的灵验备选决策，最终杀青在基本不亏损模子精度的前提下，灵验进步了推理速率。

该团队通过大都施行测端庄证了本次才调的灵验性。在大部分数据集上，使用伙伴众人进行替换会带来一定的精度亏损，这是不错意会的，毕竟替代者并非原定的众人，不错看作是一个“功能左近的替补”。因此，很天然地会有东谈主质疑这种才调的实用性，合计粗率找个众人替代势必导致精度下落。

针对这些疑问，该团队进行了异常防卫的量化分析。他们假想了一套完满的机制来描述和适度这种影响，其引入了众人遴荐的明锐度评估，并设定了一个全局的“众人替换比例”动作要道参数。

要是这个比例设立得过高，即替换的众人过多，如实会蕴蓄导致精度显耀镌汰；反之，要是将这个比例调低，减少替换发生的次数，就能将精度亏损适度在更小的领域内。

这套机制使得系统在工程实践上异常生动和完备，主要体当今两个方面：

第一，精度与速率是可结伙的。系统允许凭据施行需求进行权衡，要是应用场景不错容忍举例 2% 的精度亏损以疏导更高的迷糊量，那么就不错采纳更激进的替换战略。

要是对精度条目极为严苛，那么系统会减少替换，代价是反馈蔓延会相应加多。而这施行上是一个面向用户需求的、可竖立的权衡。

保留了完满的后备决策。要是系统监测到某次替换可能导致无法罗致的精度下落，或者用户明确条目零精度亏损，不错立即回退到传统处理姿色：要么恭候将该众人从 CPU 再行加载到 GPU 进行贪图，要么平直在 CPU 上实施。

这两种后备决策都能确保模子的输出精度与原始情况皆备一致，仅仅需要承担相应的性能蔓延。咫尺，该团队也曾在 llama.cpp 技俩中进行了原型杀青和实验考证。

稀少激活的 MoE 模子（下方）与顺次 Transformer 模块（上方）的对比，它通过门控机制（Gate）只激活部分众人（Experts）进行贪图，以保合手高效和海量学问。

异构贪图的一种邃密实践

戚正伟示意，这项技艺施行上是异构贪图的一种实践，在与业界的合营中，业界伙伴也终点柔软怎样不将贪图任务皆备绑定在单一硬件（如 GPU 或 XPU）上。从这少许来看，本次决策具有邃密的可迁徙性，皆备大概适配国产硬件生态，因为其中枢假想框架与底层硬件架构是解耦的。

在本次决策的假想中，CPU 和 GPU 是协同职责的，并非只依赖其中一方。该团队采纳了异构交融的贪图面貌，让两者都参与到推理任务中来。实验数据标明，这种协同带来了举座系统遵循的进步。

具体而言，CPU 在这个过程中承担了要道的后勤与补助职责，包括实施众人预取量度、管制伙伴众人列表，以及在替换失败时驱动回退决策等，从而大概显耀提高 CPU 的诓骗率。

与此同期，GPU 的诓骗率也得到了进步。在传统决策中，一朝预取失败，GPU 必须罢手贪图，恭候从 CPU 加载所需众人，从而产生平静和蔓延。

而在本次决策中，GPU 在遭遇这种情况时不错平直找到一个替代众人并连续全速进行贪图，幸免了因恭候 I/O 而产生的性能停顿。因此，通过这种 CPU 与 GPU 的协同单插手负载优化，通盘系统杀青了更高的迷糊率和更低的推理蔓延。

后续，该团队将在华为昇腾等具备渊博算力的“超等节点”国产硬件上进行更大限制的实验。这么的环境将使其大概考证 BuddyMoE 在复杂多佃户场景下的应用后劲。

举例，探索不同模子之间的众人是否也能确立伙伴关系并杀青分享，这关于进步通盘数据中心集群的资源诓骗率和推理遵循具有重正途理。

参考贵寓：

联系论文 https://arxiv.org/pdf/2511.10054

运营/排版：何晨龙