关于AI写作的批评有很多，但大多数都集中在更具创意性、更具个人风格的声音上，比如像本博客这样的内容。这些批评——包括我自己写的那些——常常认为，原因在于好的写作是高度个人化的，有观点，有需要传达的深刻人文表达，或者是一种通过所选文字得以窥见的思考过程。随着LLM作为工具而非对话助手变得越来越精细，我认为在让模型产出鼓舞人心的写作这一目标上，我们实际上是在倒退。
另一面则是非虚构写作。填充性、复制性文本曾是LLM真正有用的能力之一（Sam Altman在最近一期播客中谈到了GPT-3早期业务的很多情况）。看起来这里的任何缺陷主要都归结于模型整体智能水平的不足，或其他一些训练问题，而所有非虚构和解释性文本最终都会被快速进步的步伐所摧毁。过去几年里，我把这些模型当作写作助手来使用，它们确实变得好了一些，但值得反思的是，是什么在阻碍它们。
模型在长篇非虚构写作上的停滞，对于那些指望模型在不久的将来自主解决宏大、开放的科学问题的人来说，应该敲响警钟。如今的模型在组织和有力呈现其领域内一些最成熟科学知识方面都存在困难。这似乎是一个自然的先决条件，我们应该期望模型在能够独立解决广泛、开放式问题之前先掌握这一点。在这一点解决之前，LLM在科学上的进步看起来更像是摘取低垂的果实和跨越领域连接遥远的知识，而不是任何形式的革命性洞见。
对于一个对AI进展非常乐观的人来说，这是一个有些争议的观点，尤其是在Anthropic发布了一篇关于Claude在著名的黎曼猜想上取得一些进展的博客文章的那一天写下这些。科学问题有着极其广泛的覆盖面，我不认为当前的AI模型拥有许多人以为的那样大的覆盖范围。
组织知识本身就是一种压缩。这种压缩是产生洞见所必需的。如今的大语言模型在长篇非虚构写作中增加了熵值，而我看不出这种趋势如何能无限地自我叠加。它们将依赖人类充当某种引导者。
我仍然对从这些狭窄的科学领域（比如我们在数学领域看到的极端进展）转化为持续、更广泛的进步感到非常乐观——大语言模型是科学家们使用过的最强大的助手。但我首先需要解释，在写作中观察模型处理这些扎实的、底层知识问题时，我为何会看到一种令人惊讶的泛化能力缺失。
为了提供更多背景，我刚刚完成了一本后训练教科书的写作，书名为《基于人类反馈的强化学习》（可在 Manning 或 Amazon 购买）。我在很多方面都借助了大语言模型来支持这项工作，从帮助处理方程式的 LaTeX 格式、进行大量文字编辑，到为 TikZ（在 LaTeX 中）或 Python 等编程语言创建图表。
为什么模型在写作质量上停滞不前？
我原本预期模型在非虚构写作方面会取得更大的进步。我甚至曾以为，鉴于 2024 年的发展态势，在 2026 年出版一本非虚构书籍会让我看起来很愚蠢。如今，一些在写作能力上最著名的模型已经相当老旧了，例如 OpenAI 的大型 GPT 4.5 和月之暗面的 Kimi K2。在这些模型发布前后，模型在编码和数学等其他任务上已经从表现平平跃升到了超人水平。也许一个更接近但仍不完美的比较是，模型在搜索和研究任务上如何从无能为力变得相当不错。大多数其他技能的发展速度都非常陡峭，但写好文章感觉与其中大多数技能都互不相关。我不认为写作只是被忽视了，而是它本身就具有挑战性，并且缺乏良好的训练数据来针对性地进行干预。
要让 AI 模型在写作方面变得更好，确实有一些显而易见的“低垂果实”——比如像 Claude Code 这样的专用工具框架、提示词，以及能让模型在输出上投入更多推理 token 的训练环境——但我并不认为这些会对能力产生倍增式的影响。把文章写好是一项非常困难的任务！我们尚未在人类最伟大的智力追求之一上解锁推理时扩展（inference-time scaling），这实在令人遗憾。不管怎样，写作似乎与模型所擅长的领域截然不同。
如今，模型在长篇技术写作方面确实表现得很糟糕。它们能把单个句子写对，但如果你让它们写整整一章，结果就会是：措辞令人困惑、组织结构混乱、整体上总有些不对劲。它们会在不需要的地方刻意卖弄文采，过程中还会犯下随机的概念性错误。在不久的将来，模型在小错误方面会好得多，尤其是随着模型规模变大——这让它们能容纳更多世界知识——但我并不指望它们运用这些知识的能力会发生质变。
例如，GPT 系列模型长期以来在发现错别字和小问题方面表现出色。我把书稿接近定稿的 PDF 版本发给 GPT 5.5 Pro，它在这份 200 到 300 页的手稿中发现了深层且令人意外的细微错别字。
另一方面，Claude 系列模型作为编辑要有用得多。它们更有品味，往往更能理解任务的心智模型，并且在打破各种形式的写作瓶颈时能给出更有意思的建议。
我上面举的例子都有一个共同的主题。模型知道如何检查每一块内容——在这里通常是一个句子、一个公式或一张图——或者把卡住你的那一个具体章节做好。凭借这些技能，它们在反复审视各个组成部分并把它们串联起来方面做得并不好，因为它们在不断叠加新的内容。这感觉像是一种不可约的复合错误。我们过去在数学和代码中遇到过这类错误，但回想起来，RLVR 在减少这些错误方面确实是一个堪称神奇的解决方案。
作为写作者，如何从现有模型中获取价值
我愿意分享一个事实：我书中有几句技术解释性的句子出自 AI 模型——占比不到 1%——它们之所以存在，是因为我真的很喜欢那些句子。我允许自己考虑在书中纳入一些 AI 生成的 token，因为如果我自己作为真正的专家，觉得那句话正是读者所需要的，那就不像是在作弊。尤其是在编辑过程中，我对一切细节都盯得很紧，同时也很担心在手上事务繁多的情况下这本书能否如期完成，这成了一条极其宝贵的推进路径。
举个例子，我的编辑提出的问题列表散布在 LaTeX 文件中，用类似 `\editor{}` 这样的特定分隔符标记。我会让 Claude Code 定位到每条评论，打印出前后文，然后告诉我这只是一个简单的错别字修正，还是需要更细致处理的问题。我会写出回复——即要插入的文本——或者在修改前请 Claude 给出建议。从智识层面来说，这是一个非常聚焦的编辑过程，也是改进这本书的一种有趣方式。有时 Claude 建议中的措辞最终就被收录进了书里。
这绝对是一个滑坡，当我接受了一些 AI 的建议时，正值我进行第二次全稿审阅的阶段。情感上这个项目已经感觉完成了，但我还有更多工作要做。走出教科书写作的过程后，我深深感激自己在 Interconnects 上写作时那条干脆利落的规定：绝不在内容中使用 AI 输出。用一种只属于你自己的方式写作要有趣得多——独特的声音，过程本身被深深珍视——但撰写一本标准参考书并不是一项以有趣著称的活动。我理解为什么当人们的大部分写作只是填充空间的输出、而非达成目的的手段时，他们会把 AI 工具当作拐杖。我写作的动力来自于大量输出，是为了学习、为了感受、为了表达。
我在自己的科研工作中也在权衡类似的取舍。AI 模型非常适合处理论文中重复性的部分，比如起草你烂熟于心的相关工作或背景章节，但用它们来写摘要、引言、实验或结论，就太可惜了。那些部分才是作品的故事和灵魂所在——正是在那里，你才真正明白自己的研究到底在讲什么。
我确信，借助 AI 模型来创作和校验我的非虚构写作，我创造了多得多的净价值。它们让写公式变得轻而易举，还能帮忙重构代码仓库、在不同语言之间移植，以及做许多其他事情。一开始这非常有趣，直到后来我被出版流程的漫长拖得有些疲惫，眼看着这个领域不断向前推进。
举一个说明 AI 在此过程中至关重要的例子：我需要同时维护书籍的 Markdown 和 LaTeX 两个版本，分别放在两个地方——读者在网页版上反馈意见，而 Manning 的编辑团队则在审阅一个分叉副本。如果没有 AI 智能体，同步这两个版本所花的时间轻松就要多出四倍（而这项任务本身已经耗费了数十个小时）。
与这个故事交织在一起的，是我在思考智能体时偶然意识到的一点：使用智能体并不会加快你理解的速度。那种以直觉、品味、本能等形式呈现的理解，才是未来真正有价值的东西。用 AI 来写非虚构作品，会削弱这种成长。更糟糕的是，如果你本来就不是专家，你根本发现不了它的缺陷。
就我而言，我强烈地想把脑子里的知识倾倒到纸面上，以至于有些时候，使用 AI 模型确实是个值得的工具。我写这本书的很大一部分动机，是想为拒绝采样或角色训练这类重要的后训练方法提供一个集中参考，而这类内容在网上几乎找不到。
这本教科书在很大程度上是对社区的回馈，能以任何形式完成它，本身就是一种巨大的胜利，所以我觉得这样就可以了。我确信，如果投入更多人力，我本可以学到更多，成品质量也能略有提升。但决定性的因素是，我感觉这本书在出版之时就会过时——一方面是担心 AI 模型的能力，另一方面是这个领域发展得太快了。
这个判断是不是大错特错了？我对最终结果非常满意，而且现在比 2024 年刚开始动笔时更有信心它能经得起时间考验，因为模型在非虚构写作方面远远没有达到宣传中的水准。
技术写作接下来该往哪里走
模型是不可思议的工具，它们让你能以不同的形式表达知识。它们非常适合用来创作创意性的填充内容或背景材料——例如，幻灯片初稿的真正价值在于为老师讲课提供话题切入点——这让任何知识都能从一种媒介转换到另一种媒介。
在撰写非虚构类或参考性教科书时，有一个微妙的早期阶段，感觉有点像在写一篇像这样的高调博客文章。在推进早期的组织架构和呈现核心骨架的过程中，新的知识被创造出来。这部分需要洞察力，而大语言模型在取代这一环节上还远远落后。
上面这段和前一节的核心意思是：如果世界上有更多专家愿意用 AI 模型来写他们书中的一小部分，从而让更多知识得以分享给世界，我会很高兴。问题在于，如今你只能用 AI 模型节省 10%–20% 的精力，而我看不到这个比例在短期内成为多数。
还有社会压力的问题——人们期望大语言模型成为最优秀、最个性化的教育者，因此他们认为写书或做教育内容毫无意义。我觉得这些观点正在逐渐过时，因为高质量的教育作品存在巨大的缺口——而且这一缺口一直存在。AI 擅长把已有的内容加工成适合学生的形式，而不是从零开始创造内容。
与此同时，我觉得我们正困在一个令人沮丧的局部最优解里：AI 模型总体上会减少人们在非虚构写作上投入的平均精力，但它们本可以激发精彩的表达。愿意动笔并坚持写完的人会越来越少。
所以，在未来 2 到 5 年内，我仍然认为最好的教科书会大量由人工精心打磨。在那之后我就不确定了，但考虑到这些模型掌握的知识量之大，以及它们在结构上倾向于源源不断地输出这些知识，这个时间跨度已经比很多人预期的要长了。
至于能力方面的结论，模型在两种情境下表现出色：1）任何真正可验证的领域；2）在获得大量上下文并做小幅修改时——比如找 bug、解一道非常具体的数学题，或者给反馈——而不是开放式地生成散文。长篇写作肯定会比创意写作更早被攻克，但这强烈说明，模型在问题定义不清晰的情况下，无法充分表达它们所掌握的全部知识。当我们试图推动模型成为某种“数据中心里的天才”、去解决宏大的科学问题时，这似乎是一个相当根本的局限。
有一篇很棒的文章，讲了为什么 LLM 能成为好编辑，同时却是糟糕的写作者。
这部分取决于人们如何使用模型。如果你在 Claude Code（或者聊天应用里，我相信也一样）里问 Claude Fable 5：“给我写一首关于金鱼的好诗”，模型会很快吐出一段回答。我问模型它是怎么做到的，是否有一个类似草稿纸的东西，在返回好结果之前会反复迭代更新，它说没有。它只是在推理 token 里做了一个极简的计划，然后自回归地生成了一首诗。它完全没有利用推理时扩展（inference-time scaling），也没有把它当作一个困难任务来处理。
这大概就是大多数人使用模型写作的方式，结果平庸也就不足为奇了。要从模型身上得到最佳结果，需要非常重度地提示模型，让它在回答你之前进行大量工作，并在把文本返回给你之前参考其他评判模型的意见。鉴于这些模型目前确实具备一些真正的技能，有一个简单的方法可以让长篇写作变得更好。