AT&T引入LiteLLM模型路由器：按任务复杂度自动选型，部分编码成本降56%

美国电信巨头AT&T正在通过LiteLLM模型路由器优化AI调用成本。据AT&T负责员工AI业务的副总裁Mark Austin介绍，该系统会根据任务复杂程度，自动判断是否将请求转交给成本更低的模型处理。在部分编码及其他高级AI任务中，这一方式最高将成本降低56%，而AI输出质量仅下降2%。

LiteLLM是一种模型路由工具，能够在不同大语言模型之间智能分配请求。AT&T目前约40%的员工AI请求由开源或开放权重模型处理，公司计划未来将这一比例提高至60%至70%，以控制使用Anthropic和OpenAI模型的支出。Mark Austin表示，开源模型的能力通常比最前沿模型落后6至10个月，但差距正在缩小，一些开源模型的表现已不输甚至超越Anthropic和OpenAI此前推出的模型。

这一做法反映了企业AI成本压力上升的行业趋势。Gartner今年6月发布报告警告，随着Token使用量增长以及AI服务向按使用量收费转变，到2028年，AI编程成本可能超过开发者的平均工资。Yum Brands首席数字与技术官Jim Dausch认为，企业交给AI处理的绝大多数任务都可以由更基础、价格更低的模型完成，这一比例甚至可能高达95%。电子签名软件公司Docusign也通过调整默认设置，仅提取完成具体任务所需的相关上下文，使Token使用量下降近50%。美国医疗保险公司Cigna则批准了超过70种AI模型，对于不需要大量推理能力的任务，允许员工使用小语言模型或更早、更便宜的模型。

AT&T的实践表明，根据任务复杂度动态选择模型，正在成为企业控制AI支出的有效手段之一。