Coding

NYU UT Austin研究:AI文本训练多用代码数学模式

\n A study from New York University and the University of Texas at Austin shows that frontier language models systematically overuse linguistic patterns that are hard for h

Full article body is primarily in Chinese for SEO depth; key points above are localized. Use the language switcher and deep links for global navigation.

NYU UT Austin研究:AI文本训练多用代码数学模式

摘要 纽约大学(NYU)和德克萨斯大学奥斯汀分校(UT Austin)的一项最新研究发现,前沿大语言模型(LLMs)在代码、数学和逻辑推理训练数据驱动下,系统性地倾向于使用信息密度较高的语言模式。这些模式对人类读者而言常常显得密集、复杂,甚至“让人读得喘不过气”。这项研究对14个模型在对话、编程和论证场景下的输出进行了分析,指出训练奖励正确性而非清晰度,是AI文本“吃自己读者耐心预算”的核心原因。

对编程开发者、API集成者和模型测试人员来说,这意味着理解和优化AI输出时需要特别注意这些模式的影响。适合需要高效处理代码数学相关任务的用户决策参考。

信源:rss-the-decoder(T2)2026-10-26 直接源于代码与数学训练数据,符合编码模型中转与编程场景的切入点。

NYU UT Austin研究发现的前沿AI文本模式

纽约大学与德克萨斯大学奥斯汀分校的研究团队(Thomas Hikaru Clark、Matias B. Martin 和 Kyle Mahowald)通过实证分析,证明AI生成文本比人类写作更易引发阅读疲劳。研究使用14个前沿模型(包括Claude、GPT系列、GLM、Kimi等)在120个对话、45个代码会话和980篇论文中生成文本,并与人类文本(电影字幕、StackExchange和学生论文)对比。

结果显示,AI模型在六个关键语言结构上显著偏离人类表达。这些模式并非随机,而是训练数据中代码和数学任务的直接反映——这类任务强调“信息密度”和可验证正确性,而非自然流畅。

1. 奇怪的词语组合(unusual word combinations)

模型常生成人类从未用过的短语,例如“reader-patience budget”。这种组合听起来合理,但实际使用率远低于人类写作。

2. 句子成分分离(long-distance dependencies)

相关部分被长句隔开,增加工作记忆负担。例如,Claude Opus 5生成的“A cat who can always get up and away is a much calmer cat”中,主语和谓语被长从句分开。

3. 省略连接词的缩短引用(dropped connectors)

“the book the professor wrote”代替“the book that the professor wrote”,虽然节省一个词,但容易让人分不清关系。

4. 堆叠名词(stacked nouns)

“horror movie soundtrack generator”需要读者自己拆解修饰关系。

5. 名词动词化(noun-to-verb conversions)

“calendar it”可理解为“put it in the calendar”,但人类更倾向于保持名词形式。

6. 动物动词作用于非生物主体(animate verbs on inanimate subjects)

“the whole conversation is eating its own tail”听起来有趣,却违背常识。

这些模式在代码和数学场景下尤其突出,因为训练数据中代码注释、数学证明和逻辑推理文本更倾向于压缩信息。

为什么代码与数学训练数据会推高这些模式

研究指出,现代LLM训练从RLHF(基于人类反馈强化学习)转向RLVR(基于可验证奖励的强化学习)后,人类反馈被移除,转而奖励“正确”和“高效”。数学问题和代码任务天生需要高信息密度——每行代码都要精确表达逻辑,而非冗余解释。

结果就是AI学会了一种“LLM方言”:适合机器间传递信息,却对人类读者不友好。Anthropic工程师Jackson Kernion曾在相关分析中指出,这种转向导致Claude早期模型在写作上“退步”——现在针对数学和代码的优化又在回升。

实验验证显示,在较小模型上加入“惩罚冗长回答”的奖励项后,模型几乎强制使用更短的表达方式,甚至推广到从未见过的句子结构。人类则根据上下文灵活选择长短。

模型与人类文本对比数据

研究测量了六个特征的偏差(与人类文本对比)。小模型如Llama和Olmo家族最接近人类,其中Olmo Think(推理增强版)已接近前沿水平。这表明后训练(post-training)是关键影响因素。Claude Opus 5.5在19/21个对比中优于前代,证明针对清晰度的微调有效。

模型偏差对比表(数据来源:Clark, Martin & Mahowald 2026论文,移动端可横向滚动):

模型系列与人类偏差水平关键观察
Llama / Olmo基础版最低最接近人类写作
Olmo家族(基础→指令→推理)逐步上升推理增强后接近前沿
Claude Opus 5.5显著改善针对数学代码优化后仍优于前代
GPT-5.6 / GLM-5 / Kimi K2.5中等偏高信息密度过高场景中明显

(表格基于论文多特征聚合评分;具体数值以官方arXiv预印本为准)

对编程场景的影响与决策建议

编程开发者在使用GrokCode等API中转服务时,常需处理AI生成的代码片段或调试日志。这些模式会让技术文档、调试输出或API响应显得“吃力”。建议:

  • 在提示词中明确要求“保持人类可读性”;
  • 结合本地部署工具测试模型输出清晰度;
  • 在代码审查时特别注意“堆叠名词”和“动物动词”这类模式。

GrokCode API中转页面提供实时检测功能,可帮助开发者快速识别并优化输出风格:API中转页面。

检查清单(适用编程与API集成场景):

  • 是否输出过“reader-patience budget”类组合?
  • 句子成分是否过度分离?
  • 名词动词化现象是否常见?
  • 输出是否需要额外解释才能理解?

延伸阅读

风险与边界

本指南仅为研究现象总结,非任何法律、商业或技术决策意见。任何实际操作请以官方最新数据为准。AI文本模式在不同模型、版本和场景下可能变化,过度依赖特定研究可能导致误判。

English summary

A new study from NYU and UT Austin reveals that frontier AI models overuse six linguistic patterns—unusual word combinations, long-distance dependencies, dropped connectors, stacked nouns, noun-to-verb conversions, and animate verbs on inanimate subjects—making text exhausting to read. These patterns stem directly from training on code and math data, which rewards information density over human clarity. Smaller models like Llama and Olmo come closest to natural writing, while post-training for verifiable rewards creates an “LLM dialect” optimized for machines. For programmers and API users, this means AI outputs in coding sessions or technical docs can feel dense; adopting prompts for readability or tools like vLLM local deployment helps. The research (arXiv:2610.29162) provides a clear checklist and table for evaluation. Full details in the original study; check GrokCode channels for updates.

适用于 GrokCode 倍率榜。信息仅供参考,不构成购买、投资或法律意见。