AI 行业资讯 - NCP-ArchPreview

上海人工智能实验室与上交大开源全球首个8.9B隐空间基座模型，预训练效率大幅提升

上海人工智能实验室与上海交大LUMIA Lab联合发布技术报告《NCP-ArchPreview Tech Report》，提出下一个概念预测（NCP）预训练任务，跑通全球首个8.9B规模离散隐空间基座模型，在5.73T Dolma-3语料上仅用51.3% Token预算追平OLMo-3-7B最终预训练Loss，等效收敛速度提升1.95倍，GSM8K推理提升近6个点，并已开源全部资产。