清华教授谈稀疏连接技术:AI模型仅保留5%连接表现仍优于全连接
清华大学脑与智能实验室首席研究员卡洛·维托里奥·坎尼斯特拉奇近日在四川接受采访时,介绍了其团队在AI算力效率方面的研究进展。他提出,与其持续增加人工智能的计算资源,不如尝试让模型学会更有效地“沟通”,减少不必要的计算。
坎尼斯特拉奇从人脑运作中获得启发。他指出,人脑完成复杂任务并不需要所有神经细胞彼此相连。其团队研究的“稀疏连接”技术,旨在让人工智能在学习过程中自行调整内部信息传递路径,保留有应用价值的连接,从而减少计算开销。他比喻称,这不是让所有人一直开会,而是让真正需要协作的人找到彼此。
实验显示,在两项机器翻译对照测试中,仅保留约5%连接的神经网络,表现仍优于全连接神经网络。不过坎尼斯特拉奇强调,这并不意味着设备耗电量也能相应减少95%。
成都人形机器人创新中心决策规划专家邓轲表达了类似看法。他认为,机器人无法无限堆算力,因为更强计算设备往往更耗电、需更多散热,还可能增加重量、缩短续航。减少无效计算具有应用前景,但算法节省的计算量未必直接转化为整机节电,机器人还需驱动关节、使用传感器和通信,真正降低能耗需要软硬件协同改进。
邓轲也提到,若AI效率进一步提升,更多模型有望直接运行在手机、电脑或机器人上,减少对远端服务器的依赖,但这仍需持续技术攻关。坎尼斯特拉奇认为,下一代人工智能既需借鉴人脑高效原理,也需新的计算硬件支持,算法与硬件的匹配仍是待突破的难题。
- 2026-10-26 13:48 | 新浪:人工智能越“聪明”,就越需要算力吗?阅读原文
中新网成都10月26日电 题:人工智能越“聪明”,就越需要算力吗? 作者 程兆 一个人要完成工作,需要每天与所有的同事交流吗?在清华大学意大利籍教授卡洛·维托里奥·坎尼斯特拉奇(Carlo Vittorio Cannistraci)看来,答案是否定的。人们通常只需与任务相关的人沟通,而人工智能也可以如此。 近日,在四川接受中新网采访时,这位来自清华大学脑与智能实验室的首席研究员谈起他的研究:与其不断增加人工智能的计算资源,不如尝试让它学会更有效地“沟通”。 如今,不少人工智能模型依靠增加参数和计算规模提高能力,这往往意味着投入更多设备和电力。坎尼斯特拉奇则从人脑得到启发:大脑能完成语言...