WEKA CTO谈大模型推理：最多60%GPU计算被用于重算上下文

在2026年10月举行的VentureBeat AI Impact Series活动上，WEKA现场CTO Alan McSeveney接受分析师Rob Strechay采访时表示，GPU运行大模型推理时，最多可将60%的算力用于重算已处理过的上下文。问题根源在于大模型将对话历史保存在GPU内存的KV缓存中，当旧缓存因内存不足被驱逐后，会话恢复时GPU往往需要重新计算相同的历史内容。

McSeveney指出，如果不采取任何缓存管理策略，GPU用于新任务的利用率可能低至30%；采用合理策略后，这一比例可超过90%，理想情况下可达95%。考虑到自建AI基础设施时GPU往往占预算的80%以上，将大量周期耗费在重算上是对资金的巨大浪费。企业当前普遍受制于预算、电力供应和机房空间，因此更希望从现有投资中挖掘更多算力。

他提到，业界已在推动更积极的KV缓存复用与卸载，例如Mooncake、近期DeepSeek相关技术，以及英伟达集成在Vera Rubin平台中的CMX上下文内存平台。McSeveney认为，相比扩展服务器DRAM，NVMe闪存更适合承载KV缓存：它在保持或优于DRAM表现的同时，可扩展性更强、成本更低。WEKA的Augmented Memory Grid基于NeuralMesh存储软件，可将KV缓存从GPU服务器集中捕获并存储，再加载到数据中心内的任意主机，使会话能在不同服务器间切换而无需重新计算历史。

McSeveney称，与卸载到DRAM相比，集中加载KV缓存使相同GPU上的用户数量提升7倍，同一时间窗口内的输出从20万token增至200万token。他也提醒，缓存优化并不能替代应用层面优化，团队仍需对应用、工作流和流水线进行调优。