营销公司 Graphite 发布了一项研究,确定了前沿语言模型生成内容中持续存在的语言模式。该研究由首席 AI 官 Greg Druck 领导,分析了 13,000 个在 AI 写作中出现频率至少是人类样本两倍的短语。研究考察了 Claude Opus 5.5、OpenAI Astra 和 Gemini 3.1 Pro 等模型,结果显示,尽管早期的检测特征(如过度使用破折号)已经被消除,但随着每个模型版本的推出,新的明显特征模式仍在不断出现。研究结果表明,尽管 AI 实验室声称其沟通风格更加自然,但要完全复制人类的写作模式,它们仍面临持续的挑战。
Graphite 的研究方法:分析 10,000 篇 ChatGPT 发布前的文章
Graphite 使用 ChatGPT 发布前发表的 10,000 篇文章构建语料库,将其作为人类生成内容的对照组。研究人员让不同的 AI 模型根据摘要重写这些文章,以消除来源偏差。通过比较人类样本与各模型生成的匹配样本,研究人员得以分析词语和短语的出现频率,以及更广泛的句子结构模式。
Claude Opus 5.5 过度使用“这很重要”这一短语,频率是人类的 116 倍
根据 Graphite 的结果,Claude Opus 5.5 最明显的特征是“可靠”一词,其出现频率是人类样本中的 23 倍。该模型使用“这很重要”这一短语的频率是人类写作的 116 倍,而“为什么 X 很重要”的出现频率则高出 92 倍。Opus 5.5 现在避免使用“不是 X,而是 Y”的句式,但仍倾向于说某事“不仅仅是 X,而是 Y”。
“事实证明,随着时间推移,Claude 模型实际上越来越接近人类的词语分布,”Greg Druck 告诉 TechCrunch。“而对于 GPT 模型来说,它们则越来越偏离。”
OpenAI Astra 依赖纠正式框架结构
OpenAI 的 Astra 展现出了不同的明显特征模式。该模型经常描述主题的“另一个维度”,并通过表示某个行动“可能带来”或“能够带来”某种特定益处来弱化断言。Astra 最明显的特征是 Graphite 所称的“纠正式框架”,即将某个主题定义为“并不只是 X”,或将其描述为“而不是依赖 X”的替代方案。根据 Graphite 的研究,这些结构在 Astra 生成的文本中的出现频率是人类写作中的 100 多倍。
前沿模型最多将破折号的使用量降低了 99%
所有前沿 AI 实验室都回应了模型过度使用破折号的批评。在 Graphite 的样本中,Opus 5.5 使用该标点符号的频率比 Opus 5 低 99%。Astra 目前的使用频率比人类样本低 88%,而 Gemini 3.1 Pro 几乎已经完全消除了写作中的破折号。
尽管单个明显特征被消除了,但明显特征的总体数量仍保持稳定。“这并不是说这些明显特征在减少,”Druck 告诉 TechCrunch。“它们设法移除了最广为人知的明显特征,但其他特征又会出现。而且每个模型版本都有自己的特征。”
Anthropic 和 OpenAI 声称写作更加自然
在 Opus 5.5 发布时,Anthropic 表示该模型“比之前的模型沟通得更加自然”,并称早期用户“发现其写作更加清晰、更容易理解”。OpenAI 在发布 Sol 和 Luna 的 GPT-6 版本时也做出了类似声明,称用户可以“期待更加清晰、更少术语、[and]、更少奇怪的措辞”。
Druck 对实验室能否完全消除明显特征模式或短语表示怀疑。“我的一个总体假设是,实验室控制其中一些因素的能力没有你想象的那么强,”Druck 说。“这些是拥有数十亿参数的巨型模型。它们能够运行的测试数量有限,总会有一些东西漏网。”
常见问题
Graphite 的研究发现了哪些关于 AI 写作模式的情况?
Graphite 确定了 13,000 个在 AI 生成内容中出现频率至少是人类写作两倍的短语。该研究分析了包括 Claude Opus 5.5、OpenAI Astra 和 Gemini 3.1 Pro 在内的前沿模型,发现尽管各实验室努力消除检测特征,每个模型版本仍具有独特的明显特征模式。
为什么 Claude Opus 5.5 如此频繁地使用“这很重要”这一短语?
根据 Graphite 的研究,Claude Opus 5.5 使用“这很重要”的频率是人类写作样本的 116 倍。该模型使用“为什么 X 很重要”的频率也高出 92 倍,表明它持续强调重要性的模式,这使其有别于人类创作的内容。