LLM 并非(始终)符合贝叶斯:量化 LLM 概率信念的内部(不)一致性

苹果机器学习研究团队提出一种新方法,将 LLM 视为信息处理规则,利用其与贝叶斯更新的信息处理差距,研究模型如何根据证据更新概率信念的内部(不)一致性。实验评估了 LLM 在医学、科学、法律等复杂领域的信念更新表现,揭示其概率推理与贝叶斯理想之间的系统性偏差。

摘要

苹果机器学习研究团队提出一种新方法,将 LLM 视为信息处理规则,利用其与贝叶斯更新的信息处理差距,研究模型如何根据证据更新概率信念的内部(不)一致性。实验评估了 LLM 在医学、科学、法律等复杂领域的信念更新表现,揭示其概率推理与贝叶斯理想之间的系统性偏差。

原文链接

本站已稳定运行: 计算中... 天 | 博客: 32 篇 | 字数: 26276
使用 Hugo 构建
主题 StackJimmy 设计