2026-10-20 04:25
最后更新于2026-10-21 05:03
AI123

TorchNeuron公开测试版将发布,Trainium原生运行PyTorch模型

AWS宣布,PyTorch插件TorchNeuron将于2026年10月20日作为公开测试版发布。该插件为AWS Trainium芯片提供新的PyTorch原生后端,支持eager模式、torch.compile以及FSDP、TP等原生分布式API,研究人员和开发者可通过pip install torch-neuronx安装使用。

此前,Hugging Face模型在Trainium和Inferentia上的运行依赖optimum-neuron库,该库基于PyTorch XLA,需要以编译器思维处理惰性张量、静态形状等问题。TorchNeuron改变了这一方式,它直接集成到PyTorch中,将Neuron暴露为原生设备,使Transformers、Diffusers、Accelerate、PEFT和TRL等库可以直接在Trainium上运行,无需再通过Optimum Neuron。

在推理方面,Transformers现已原生支持文本生成,TorchNeuron可开箱支持Top 100最常用文本生成模型架构中的89%,而Optimum Neuron v0.4.5仅为46%。用户只需在代码中传入device_map=neuron参数,即可将模型迁移至Neuron设备。Diffusers库中FLUX.1-dev、FLUX.2、Qwen-Image等管线也兼容Tensor并行,以充分利用Neuron实例。

训练方面,用户可直接使用标准的TRL微调脚本在Trainium实例上运行,无需专用训练器或Neuron专用模型代码。并行由Transformers原生处理,通过DistributedConfig设置张量并行和FSDP大小,模型在加载权重时即完成分片。训练生成的检查点为标准Transformers格式,可上传至Hugging Face Hub并在其他硬件上加载。

来源
  1. 2026-10-20 18:21 | 新浪财经:亚马逊叫板英伟达!TorchNeuron落地,AI应用集体沸腾
    阅读原文

    2026年10月20日 18:21:0110月20日,A股AI应用概念上涨,成分股博汇科技(688004.SH)、赛摩智能(300466.SZ)、凡拓数创(301313.SZ)、迪安诊断(300244.SZ)20CM涨停,东华测试(300354.SZ)涨超15%,奥普特(688686.SH)、翔宇医疗(688626.SH)、索辰科技(688507.SH)、觅睿科技(920036)涨超13%。消息面上,近日,亚马逊云科技发布了一款名为TorchNeuron的新工具,帮助AI初创企业轻松将其AI应用迁移至亚马逊自研AI芯片Trainium上。此举直指英伟达的软件优势,该优势正是英伟达成为AI应用默...

  2. 2026-10-20 17:47 | 新浪财经:亚马逊TorchNeuron开源 ,亚马逊聚焦生态解绑与算力话语权
    阅读原文

    【#亚马逊TorchNeuron开源# ,#亚马逊聚焦生态解绑与算力话语权# 】当地时间10月19日,亚马逊推出了工具TorchNeuron,使得开发者只需更改一项配置就能将已经编写的PyTorch 代码在亚马逊的AWS Trainium芯片上运行。同时,亚马逊计划10月20日在北美PyTorch 大会上发布TorchNeuron的开源版本。TorchNeuron 的早期用户覆盖实时语音、分子设计等领域,包括语音AI初创公司Cartesia。亚马逊称此举是为了给开发者真正的选择权,当开发者可以无代价地在不同芯片间切换时,芯片制造商就必须努力赢得开发者的青睐,而开发者则从更低成本和更快迭代中受益...

  3. 2026-10-20 08:22 | IT之家:挑战英伟达 CUDA:亚马逊推出开源工具 TorchNeuron,自研 Trainium 芯片轻松运行 PyTorch 代码
    阅读原文

    感谢IT之家网友 补药吖 的线索投递! IT之家 10 月 20 日消息,当地时间 10 月 19 日,亚马逊宣布推出开源工具 TorchNeuron,借助该工具,开发人员编写的 PyTorch 代码可以在亚马逊的自研 Trainium 芯片上本地运行,只需更改一次配置,无需重写。IT之家获悉,TorchNeuron 将于当地时间 10 月 20 日在加州圣何塞举行的北美 PyTorch 大会上以开源许可形式正式发布。PyTorch 是由 Meta 主导的开源框架,被大多数人工智能开发者所采用。英伟达投入了十多年的时间研发 CUDA 工具,能够让 PyTorch 代码在...

  4. 2026-10-20 04:09 | TechCrunch:Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool
    阅读原文

    On Monday, Amazon Web Services released a tool called TorchNeuron that lets AI startups easily move their AI apps onto Amazon’s AI chip, Trainium. In doing so, Amazon is also taking a direct stab at the the software advantage that has helped Nvidia become the default hardware choice for AI apps, and...

  5. 2026-10-19 08:00 | Huggingface:TorchNeuron: running HF models on AWS Trainium is easier than ever
    阅读原文

    TorchNeuron provides a new native backend for PyTorch on AWS Trainium. Transformers, Diffusers and Kernels natively support it, making it easier than ever to run models on Trainium and to share them on the HF hub. TorchNeuron TorchNeuron is a PyTorch plugin that brings a new backend f...

其他新闻

查看全部