最近,Nature期刊上发布了一项重要研究,挑战了长达35年的关于神经网络缺乏系统泛化能力的经典观点。这项研究由纽约大学的Brenden Lake和西班牙加泰罗尼亚研究所的Marco Baroni共同完成。
人类可以系统地结合新旧概念,这种能力被称为“系统泛化”。例如,学会“跳跃”后,人类能迅速理解“向后跳跃”或“跳过障碍物”。
尽管神经网络在过去35年中在诸如自然语言处理等领域取得了巨大进展,但其是否具备系统泛化能力长期受到质疑。
Lake和Baroni成功创建了一个神经网络,其在学习并应用新词汇时,展现出与人类相似的能力。
相比于如ChatGPT这类大型语言模型,他们的研究展示了更为接近人类的表现,表明了人类在训练网络的系统化能力方面已迈出了坚实的一步。
人类与神经网络的系统泛化能力对比
人类在语言上展现出强大的系统泛化能力,能够轻松将新学的词汇运用于多种场景。相较于人类,神经网络需要依赖大量示例文本才能训练并使用新词汇。
人工智能领域已争论了35年:如果神经网络不能体现系统泛化,它们是否可以作为模拟人类认知的有效工具?
Brenden Lake和Marco Baroni证明了神经网络可以展现出与人类相似的系统泛化能力。
采用了名为“组合性元学习”(Meta-Learning for Compositionality)的方法,这种方法优化了组织能力(按逻辑顺序组织概念的能力),使得系统能够在动态变化的任务中学习。
论文作者首先将25名参与者进行测试其使用特制伪语言的能力。他们通过用两类无意义伪造词组成的伪语言测试他们,确保参与者是第一次学习这些单词。
使用基础词汇如“dax”,“wif”,“lug”代表“jump”、“skip”等具体动作,以及功能性词。如“blicket”,“kiki”,“fep”来组合和定义像“跳三次”或“向后跳跃”这样的词组。
训练参与者将基础词汇与特定颜色的圆圈关联。红色圆圈代表“dax”,蓝色圆圈代表“lug”。例如,短语“dax fep”用三个红色圆圈表示,而“lug fep”用三个蓝色圆圈表示。这说明fep代表了一个抽象规则,即将一个基本单词重复三次。然后测试中,参与者需要根据给定的规则选择正确的圆圈颜色和数量,并进行排序。
结果显示,80%的参与者能够准确完成任务,验证了人类的系统泛化能力。
然后,研究者们对神经网络进行了培训,让其完成与之前人类实验者所进行的相似任务。
该人工智能的训练方法与常规有所不同,允许其在各种不断变化的任务中进行学习,而不是仅在静态的数据集上优化。
为了模拟人类的认知,研究者特意它在训练中复现人类实验中出现的错误模式。在神经网络进行新的测试中,神经网络展现出与人类相似的表现,有时甚至优于人类。
当ChatGPT的升级版本GPT-4被用于相同的测试时,其表现不尽如人意,平均错误率高达42%至86%。这样的成绩相比研究中的神经网络和人类表现都明显较差。
总结与展望
该研究旨在提高神经网络的学习效率,这可能降低训练如ChatGPT这类系统所需的大量数据。研究还指出,优化学习过程可以减少AI“幻觉”——即AI误解并产生不准确输出的情况。
与机器不同,人类在系统泛化方面表现出色。这项研究尝试模拟这种人类的认知能力,并努力让机器在系统泛化方面做得更好。尽管目前的元学习方法尚不能完全实现系统泛化,但他们相信,此研究为未来开发更接近人类大脑行为的AI系统提供了有价值的方向。
图片参考论文:https://www.nature.com/articles/s41586-023-06668-3
关于企元大数据
广州企元大数据科技有限公司,专注于人工智能企业应用,为企业提供内部专属的人工智能模型开发、生成式AI开发以及全面的人工智能咨询服务。我们的产品 AIW全智通,凭借其独特的认知引擎,不仅为中小企业提供了经济、定制化的AI解决方案,还确保了其输出的可管理性与准确性,完全满足企业的业务策略和道德规范。AIW开发底座版(AI PaaS),利用核心的封装式AI模块化技术,为企业提供了与现有业务系统兼容的AI增强解决方案。它的模块化和标准化设计,以及为企业现有系统增加AI功能的能力,都使得企业可以低成本、高效率地进行数字化升级。
关于汇思人机资本
汇思软件(上海)有限公司(简称:Cyberwisdom Group)是一家领先的企业级人工智能、数字学习解决方案和人才持续专业发展管理提供商,基于一套平台、内容、技术和方法论构建,我们的服务包括学习管理系统(LMS)、企业人工智能管理平台、企业Metaverse设计、定制课件设计、现成的电子学习内容和数字化劳动力业务流程外包管理。
汇思在香港、广州、深圳、上海、北京、中山、新加坡和吉隆坡均设有分支机构,汇思超过 200人强大研发团队,拥有自主研发的一系列企业级人才发展学习方案,包括wizBank7.0学习管理系统以及企业全栈人工智能管理平台 TalentBot AI PAAS 2.0。作为领先的企业人工智能及人机发展解决方案供应商,汇思不仅提供平台技术,并且拥有亚太地区庞大的定制课程设计开发团队,超过2000门自主版权的通用课件,游戏化学习,学习支持与推广服务等。
汇思深度企业人工智能咨询 Deep Enterprise AI Consulting基于多年来的”人机发展“的成熟经验,深厚技术和影响力,团队的定位是给予”企业人机学习及发展无限的可能性。”
我们的目标是帮助您解锁AI的潜力,提升业务效率和客户体验。欢迎与我们联系,共同探讨AI的未来可能性。
扫码交流,一起构建企业人工智能的未来