2026-10-16 05:20
最后更新于2026-10-16 16:48
AI123

IBM发布Granite Switch 4.1,一个托管端点可切换对话、决策与语音转写任务

2026年10月16日,IBM发布Granite Switch 4.1模型系列,包含8B和30B两个版本。该模型在一个托管端点中集成了通用决策aLoRA、Guardian安全决策aLoRA,以及OpenASR榜单上速度最快的语音识别模型Granite-Speech-5.0-Turbo-CTC,可在对话、决策与语音转写任务之间灵活切换。

据IBM介绍,Granite Switch 4.1在GPU上的显存占用与基础模型大致相当,能够以更少的GPU资源提供更多能力。由于Switch适配器采用缓存高效的激活LoRA设计,基础模型生成的KV缓存可复用于后续适配器决策,结合团队在vLLM推理加速方面的贡献,模型可以在聊天请求、决策请求和语音请求之间快速切换。

Granite-Switch-4.1-8B可以在单个端点实时完成音频转写、摘要生成、有害内容筛查,并测试15种以上通用标志。Granite Switch项目于今年春季推出,旨在通过模块化方式支持模型开发。IBM还计划发布用于训练适配器的Adapter SDK,并鼓励社区利用Granite Libraries中的适配器自行组合定制Switch模型。

来源
  1. 2026-10-16 04:34 | Huggingface:Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
    阅读原文

    Introduced last spring, the Granite Switch project enables a modular approach to model development. Now Granite Switch 4.1 models, armed with a Decision adapter and the fastest ASR model on the OpenASR leaderboard, can move efficiently between natural-language responses, general and specialized deci...

其他新闻

查看全部