中昊芯英CMO:算力需求激增,Token成本成竞争焦点

By AI123

在“智能无界:AI重塑产业底座与全球化创新范式”圆桌对话上,中昊芯英首席市场官黄绪表示,智能体热潮正推动算力需求呈指数级增长,AI行业的竞争已不再取决于消耗Token的总量,而在于每单位算力能否产出可执行、可验证、并能创造实际价值的智能成果。他认为,AI芯片的竞争正从“谁拥有最强算力”转向“谁能构建更适合大模型及智能体公司研发与业务需求的专用计算体系,谁能提供最低的Token成本”。

据黄绪介绍,公司于6月30日发布的新一代TPU架构AI专用算力芯片“须臾®”,综合算力性能是上一代芯片“刹那®”的3倍,单芯片混合精度浮点算力达到896 TFLOPS,8-bit推理算力可达1792 TOPS,并对Token生成、上下文缓存和批量并发推理进行了专属优化。该芯片已与多家国内领先大模型完成深度算子调优,实现芯模联动,百万Token推理成本仅为海外GPU的35%至50%。

Explore topicsChipsCompute Power须臾®中昊芯英

Source

View all