AI 写作研究发现前沿模型中存在 13,000 个标志性短语

关键要点

  • Graphite 的研究发现,有 13,000 个短语在前沿 AI 模型的写作中出现的频率至少是人类样本中的两倍。
  • Claude Opus 5.5 使用“这很重要”的频率是人类写作的 116 倍,凸显了持续存在的 AI 语言模式。
  • 前沿模型将破折号的使用量减少了最多 99%,但随着每次版本更新,新的显著特征仍在不断出现。

营销公司 Graphite 发布了一项研究,确定了前沿语言模型生成内容中持续存在的语言模式。该研究由首席 AI 官 Greg Druck 领导,分析了 13,000 个在 AI 写作中出现频率至少是人类样本两倍的短语。研究考察了 Claude Opus 5.5、OpenAI Astra 和 Gemini 3.1 Pro 等模型,结果显示,尽管早期的检测特征(如过度使用破折号)已经被消除,但随着每个模型版本的推出,新的明显特征模式仍在不断出现。研究结果表明,尽管 AI 实验室声称其沟通风格更加自然,但要完全复制人类的写作模式,它们仍面临持续的挑战。

Graphite 的研究方法:分析 10,000 篇 ChatGPT 发布前的文章

Graphite 使用 ChatGPT 发布前发表的 10,000 篇文章构建语料库,将其作为人类生成内容的对照组。研究人员让不同的 AI 模型根据摘要重写这些文章,以消除来源偏差。通过比较人类样本与各模型生成的匹配样本,研究人员得以分析词语和短语的出现频率,以及更广泛的句子结构模式。

Claude Opus 5.5 过度使用“这很重要”这一短语,频率是人类的 116 倍

根据 Graphite 的结果,Claude Opus 5.5 最明显的特征是“可靠”一词,其出现频率是人类样本中的 23 倍。该模型使用“这很重要”这一短语的频率是人类写作的 116 倍,而“为什么 X 很重要”的出现频率则高出 92 倍。Opus 5.5 现在避免使用“不是 X,而是 Y”的句式,但仍倾向于说某事“不仅仅是 X,而是 Y”。

“事实证明,随着时间推移,Claude 模型实际上越来越接近人类的词语分布,”Greg Druck 告诉 TechCrunch。“而对于 GPT 模型来说,它们则越来越偏离。”

OpenAI Astra 依赖纠正式框架结构

OpenAI 的 Astra 展现出了不同的明显特征模式。该模型经常描述主题的“另一个维度”,并通过表示某个行动“可能带来”或“能够带来”某种特定益处来弱化断言。Astra 最明显的特征是 Graphite 所称的“纠正式框架”,即将某个主题定义为“并不只是 X”,或将其描述为“而不是依赖 X”的替代方案。根据 Graphite 的研究,这些结构在 Astra 生成的文本中的出现频率是人类写作中的 100 多倍。

前沿模型最多将破折号的使用量降低了 99%

所有前沿 AI 实验室都回应了模型过度使用破折号的批评。在 Graphite 的样本中,Opus 5.5 使用该标点符号的频率比 Opus 5 低 99%。Astra 目前的使用频率比人类样本低 88%,而 Gemini 3.1 Pro 几乎已经完全消除了写作中的破折号。

尽管单个明显特征被消除了,但明显特征的总体数量仍保持稳定。“这并不是说这些明显特征在减少,”Druck 告诉 TechCrunch。“它们设法移除了最广为人知的明显特征,但其他特征又会出现。而且每个模型版本都有自己的特征。”

Anthropic 和 OpenAI 声称写作更加自然

在 Opus 5.5 发布时,Anthropic 表示该模型“比之前的模型沟通得更加自然”,并称早期用户“发现其写作更加清晰、更容易理解”。OpenAI 在发布 Sol 和 Luna 的 GPT-6 版本时也做出了类似声明,称用户可以“期待更加清晰、更少术语、[and]、更少奇怪的措辞”。

Druck 对实验室能否完全消除明显特征模式或短语表示怀疑。“我的一个总体假设是,实验室控制其中一些因素的能力没有你想象的那么强,”Druck 说。“这些是拥有数十亿参数的巨型模型。它们能够运行的测试数量有限,总会有一些东西漏网。”

常见问题

Graphite 的研究发现了哪些关于 AI 写作模式的情况?
Graphite 确定了 13,000 个在 AI 生成内容中出现频率至少是人类写作两倍的短语。该研究分析了包括 Claude Opus 5.5、OpenAI Astra 和 Gemini 3.1 Pro 在内的前沿模型,发现尽管各实验室努力消除检测特征,每个模型版本仍具有独特的明显特征模式。

为什么 Claude Opus 5.5 如此频繁地使用“这很重要”这一短语?
根据 Graphite 的研究,Claude Opus 5.5 使用“这很重要”的频率是人类写作样本的 116 倍。该模型使用“为什么 X 很重要”的频率也高出 92 倍,表明它持续强调重要性的模式,这使其有别于人类创作的内容。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论