明明能写出复杂的代码,却在简单事实和数学上频频翻车?我们将拆解 Token 预测机制与代码语法结构的关系,带你洞察 AI 产生幻觉的底层逻辑,掌握与大模型高效协作的逻辑底色。

大语言模型在本质上其实是一个极其复杂的‘概率预测器’,它并不拥有存放事实的数据库,所有的知识都压缩在它预测‘下一个词是什么’的能力里。
深度解析 AI 的底层逻辑:为什么基于概率预测的 LLM 在处理严谨数学运算时容易产生幻觉,但在编写代码这种逻辑结构极其严密的任务上却表现出色?探讨 Tokens 预测、逻辑推理与代码语法结构之间的关系。



![[论文解读] Is Code Better Than Language for Algorithmic Reasoning?](https://d1y2du6z1jfm9e.cloudfront.net/assets/podcast/green.png)



大语言模型本质上是一个基于概率的“下一个词预测器”,它并不拥有存储事实的真实数据库。当模型处理训练数据中出现频率极低的“低频事实”(如特定人物的生日或论文标题)时,它感受到的统计压力不足,无法确定准确答案。由于目前的评估体系往往只奖励答对而不奖励“承认不知道”,模型为了获得潜在的得分机会,会倾向于根据概率分布“蒙一个”逻辑自洽的答案,从而产生自信的幻觉。
代码具有极其严密的语法结构,其预测熵值远低于自然语言。在编写代码时,强约束的语法(如 if 后面必须接冒号和缩进)为模型提供了一个天然的“逻辑脚手架”。更重要的是,代码是可执行的。研究表明,将推理任务转化为代码并交给外部解释器运行,能让准确率大幅提升,因为这种确定性的外部反馈弥补了模型概率预测的不确定性。
代码是逻辑密度最高、噪音最低的人类数据,将其加入预训练可以显著提升模型的通用推理和任务分解能力。然而,代码训练与知识密集型任务之间存在竞争关系。如果纯代码数据比例过高,可能会削弱模型在数学推理和常识知识上的表现。目前顶尖的研究倾向于使用带有解释性文字的“结构化推理数据”,以在逻辑严密性和知识丰富度之间取得平衡。
首先,在提示词中明确给予 AI “弃权”的机会,告诉它如果不确定可以回答“不知道”,这能有效调整其激励机制。其次,尝试将复杂的文字任务“代码化”,要求 AI 先写出处理逻辑的伪代码或步骤拆解。最后,尽量引入外部验证环节,例如利用 AI 的代码执行工具来运行计算任务,用物理世界的确定性逻辑来校准模型的概率预测。
コロンビア大学卒業生が開発 サンフランシスコ発
"Instead of endless scrolling, I just hit play on BeFreed. It saves me so much time."
"I never knew where to start with nonfiction—BeFreed’s book lists turned into podcasts gave me a clear path."
"Perfect balance between learning and entertainment. Finished ‘Thinking, Fast and Slow’ on my commute this week."
"Crazy how much I learned while walking the dog. BeFreed = small habits → big gains."
"Reading used to feel like a chore. Now it’s just part of my lifestyle."
"Feels effortless compared to reading. I’ve finished 6 books this month already."
"BeFreed turned my guilty doomscrolling into something that feels productive and inspiring."
"BeFreed turned my commute into learning time. 20-min podcasts are perfect for finishing books I never had time for."
"BeFreed replaced my podcast queue. Imagine Spotify for books — that’s it. 🙌"
"It is great for me to learn something from the book without reading it."
"The themed book list podcasts help me connect ideas across authors—like a guided audio journey."
"Makes me feel smarter every time before going to work"
コロンビア大学卒業生が開発 サンフランシスコ発
