大型语言模型(LLM)的逆转诅咒：存在推理局限性

大型语言模型(LLM)存在着一项重大缺陷，即无法进行反向推理，无法进行反向推理是指LLM无法从“A是B”这样的命题推广到“B是A”。即使经过训练，LLM也无法正确回答与训练数据相反的问题，回答正确率接近0%，而这种现象被称为“逆转诅咒”。揭示了LLM在推理能力在某种程度上存在局限性，无法概括其他方向的事件。

截图参考论文地址：https://owainevans.github.io/reversal_curse.pdf

不仅如此，研究者通过实验验证了LLM无法进行反向推理的问题，结果显示其回答正确率接近0%。他们利用了明星和父母的关系进行测试，结果显示Chat GPT4能在79%情况下答出明星的父母，而相反询问子女时却只有33%的正确率，这一现象证明了LLM无法进行反向推理。

以一个简单例子为证：当向模型正确给出了汤姆克鲁斯母亲的名字（左）。然而，当提示母亲的名字时，它未能检索到“汤姆克鲁斯”（右）。我们假设这种排序效应是由于逆转诅咒。在“A is B（例如”Tom Crise的母亲是Mary Lee Pfeiffer“）上训练的模型不会自动推断”B是A”。这一逆向推理的错误，正是逆转诅咒现象的体现。

截图参考论文地址：https://owainevans.github.io/reversal_curse.pdf

而这一发现与马库斯在2001年提出的相关理论相符，揭示了LLM在某种程度上的局限性，即它难以概括不同语境中的事件。尽管在语言生成和理解方面有所成就，LLM仍面临着推理能力的挑战。

不可否认，LLM在语言生成和理解方面已取得了令人瞩目的进展。然而，由“逆转诅咒”引发的推理能力问题提醒我们，仅依靠大量的训练数据并不能确保模型具备与人类思维相匹配的全面推理能力。为了解决这一问题，研究者们正在探索引入逆向训练和整合更多外部知识等方法。

实际上，逆转诅咒问题不仅为语言模型的发展提出了新的挑战，也引发了人们对人工智能的深入思考。我们真的可以通过累积更多的数据来完美模拟人类的思维吗？或者，是否存在其他的推理机制和方法，可以使机器更好地理解和推导？

总之，大型语言模型存在着无法进行反向推理的重大缺陷，限制了其推理能力的发展。研究者们通过引入逆向训练和外部知识等方式来解决这个问题，尽管仍面临一些挑战。这一问题的存在为我们提供了思考的空间，同时也提醒着我们，在发展大型语言模型的同时，需要更多地关注其推理能力和与人类思维的接轨。

关于企元大数据

广州企元大数据科技有限公司，专注于人工智能企业应用，为企业提供内部专属的人工智能模型开发、生成式AI开发以及全面的人工智能咨询服务。我们的产品 AIW全智通，凭借其独特的认知引擎，不仅为中小企业提供了经济、定制化的AI解决方案，还确保了其输出的可管理性与准确性，完全满足企业的业务策略和道德规范。AIW开发底座版（AI PaaS），利用核心的封装式AI模块化技术，为企业提供了与现有业务系统兼容的AI增强解决方案。它的模块化和标准化设计，以及为企业现有系统增加AI功能的能力，都使得企业可以低成本、高效率地进行数字化升级。

关于汇思人机资本

汇思软件（上海）有限公司（简称：Cyberwisdom Group）是一家领先的企业级人工智能、数字学习解决方案和人才持续专业发展管理提供商，基于一套平台、内容、技术和方法论构建，我们的服务包括学习管理系统（LMS）、企业人工智能管理平台、企业Metaverse设计、定制课件设计、现成的电子学习内容和数字化劳动力业务流程外包管理。

汇思在香港、广州、深圳、上海、北京、中山、新加坡和吉隆坡均设有分支机构，汇思超过 200人强大研发团队，拥有自主研发的一系列企业级人才发展学习方案，包括wizBank7.0学习管理系统以及企业全栈人工智能管理平台 TalentBot AI PAAS 2.0。作为领先的企业人工智能及人机发展解决方案供应商，汇思不仅提供平台技术，并且拥有亚太地区庞大的定制课程设计开发团队，超过2000门自主版权的通用课件、，游戏化学习，学习支持与推广服务等。

汇思深度企业人工智能咨询 Deep Enterprise AI Consulting基于多年来的 ”人机发展” 成熟经验，深厚技术和影响力，团队的定位是给予”企业人机学习及发展无限的可能性”

我们的目标是帮助您解锁AI的潜力，提升业务效率和客户体验。欢迎与我们联系，共同探讨AI的未来可能性。

扫码交流，一起构建企业人工智能的未来