深势科技:科学场景大模型token质量存痛点,批量离线计算可助GPU利用率升至90%

By AI123

在2026年10月20日于上海举办的2026可持续全球领导者大会上,深势科技合伙人兼技术高级副总裁廖若雪表示,科学应用场景下,大模型token的质量是核心痛点。她指出,企业自行采购GPU、从零搭建大模型并完成部署推理的流程复杂繁琐,而在项目落地中,部分供应商提供的token存在掺水、过度量化问题,直接影响模型输出质量。

廖若雪介绍,科学领域的AI应用具有两大特征:一是token消耗体量达数万亿级别,且对品质要求极高。科学计算希望使用原版模型,避免过度量化、激进优化等损害模型原生能力的做法。二是科学场景对推理实时性要求不高,存在大量批量、离线计算需求,这类业务特性可提升token与GPU资源使用效率,助力token运营厂商把GPU利用率拉高至80%至90%。

她强调,虽然同样调用token,但科学场景在质量标准、时延指标、TTFT(首token输出时间)等方面与通用互联网应用存在显著差异,不能直接套用通用大模型的供给逻辑。

Explore topics2026具身智能机器人大会Compute PowerConference深势科技

Source

View all