2026-10-21 07:00
最后更新于2026-10-21 07:02
AI123

深势科技:科学场景大模型token质量存痛点,批量离线计算可助GPU利用率升至90%

在2026年10月20日于上海举办的2026可持续全球领导者大会上,深势科技合伙人兼技术高级副总裁廖若雪表示,科学应用场景下,大模型token的质量是核心痛点。她指出,企业自行采购GPU、从零搭建大模型并完成部署推理的流程复杂繁琐,而在项目落地中,部分供应商提供的token存在掺水、过度量化问题,直接影响模型输出质量。

廖若雪介绍,科学领域的AI应用具有两大特征:一是token消耗体量达数万亿级别,且对品质要求极高。科学计算希望使用原版模型,避免过度量化、激进优化等损害模型原生能力的做法。二是科学场景对推理实时性要求不高,存在大量批量、离线计算需求,这类业务特性可提升token与GPU资源使用效率,助力token运营厂商把GPU利用率拉高至80%至90%。

她强调,虽然同样调用token,但科学场景在质量标准、时延指标、TTFT(首token输出时间)等方面与通用互联网应用存在显著差异,不能直接套用通用大模型的供给逻辑。

来源
  1. 2026-10-20 18:10 | 新浪财经:深势科技廖若雪:科学场景AI对token质量要求严苛,离线算力可大幅抬升GPU利用率
    阅读原文

    专题:2026可持续全球领导者大会&第二届绿色产业与可持续消费博览会   2026可持续全球领导者大会于10月20日-22日在上海黄浦世博园区举办。深势科技合伙人&技术高级副总裁廖若雪出席并发言。   廖若雪在发言中承接魏总的分享指出,科学应用场景下,大模型token的质量是核心痛点,行业面临不少现实难题。如果企业自行采购GPU、从零搭建大模型并完成部署推理,整套流程复杂繁琐。在项目落地过程中,深势科技多次发现,部分供应商提供的t...

其他新闻

查看全部