AI 行业资讯 - WEKA

WEKA CTO谈大模型推理：最多60%GPU计算被用于重算上下文

WEKA现场CTO Alan McSeveney在VentureBeat AI Impact Series活动上接受分析师Rob Strechay采访时表示，GPU运行大模型推理时最多60%算力用于重算已处理上下文，KV缓存被驱逐后需重算导致利用率低至30%，优化后可超90%；企业面临预算、电力、机房空间限制，NVMe闪存比扩展DRAM更适合承载KV缓存。