研究：Meta AI模型可以再现《哈利·波特》近一半内容

这项研究可能对生成式AI版权诉讼产生重大影响。

Timothy B. Lee – 6月20日，2025年7:00 AM | 136

Meta首席执行官马克·扎克伯格。 信用：Andrej Sokolow/picture alliance via Getty Images

近年来，包括书籍、报纸、计算机代码和照片出版商在内的众多原告都起诉AI公司，指控其使用受版权保护的材料训练模型。所有这些诉讼中的一个关键问题是AI模型在多大程度上能产生原告受版权保护内容的逐字摘录。

例如，在2023年12月对OpenAI提起的诉讼中，《纽约时报》公司提供了数十个例子，显示GPT-4准确复制了《纽约时报》文章中的重要段落。在其回应中，OpenAI将其描述为”边缘行为”，并称这是”OpenAI和其他研究人员努力解决的问题”。

但这真的是一种边缘行为吗？领先的AI公司是否已经解决了这个问题？新研究——专注于书籍而非报纸文章，并针对不同公司——为这一问题提供了令人惊讶的见解。一些发现应该加强原告的论点，而另一些可能对被告更有帮助。

这项论文由斯坦福大学、康奈尔大学和西弗吉尼亚大学的计算机科学家和法律学者团队上个月发表。他们研究了五种流行的开源权重模型——其中三个来自Meta，另外两个分别来自微软和EleutherAI——是否能够从Books3中再现文本，Books3是一个广泛用于训练LLM的书籍集合。其中许多书籍仍受版权保护。

这张图表展示了他们最令人惊讶的发现：

该图表显示了如何轻松地让模型生成《哈利·波特与魔法石》不同部分的50个标记摘录。线条越深，就越容易再现该部分的书。

每一行代表一个不同的模型。最下面的三行是Meta的Llama模型。正如你所看到的，Meta于2024年7月发布的中型模型Llama 3.1 70B比其他四个模型更有可能再现《哈利·波特》文本。

具体来说，论文估计Llama 3.1 70B已经记忆了《哈利·波特与魔法石》的42%，足以在至少一半的时间内再现50个标记的摘录。（我将在下一节解释如何测量这一点。）

有趣的是，Llama 1 65B，一个于2023年2月发布的类似大小的模型，仅记忆了《哈利·波特与魔法石》的4.4%。这表明尽管存在潜在的法律责任，Meta在训练Llama 3时并未做太多工作来防止记忆。至少对于这本书来说，从Llama 1到Llama 3，这个问题变得更糟。

《哈利·波特与魔法石》是研究人员测试的数十本书之一。他们发现，Llama 3.1 70B比冷门书籍更可能再现流行书籍——如《霍比特人》和乔治·奥威尔的《1984》。对于大多数书籍，Llama 3.1 70B的记忆程度高于其他任何模型。

“在记忆逐字文本方面，不同模型之间存在非常显著的差异，”康奈尔大学法律教授James Grimmelmann说，他曾与该论文的几位作者合作。

这些结果让研究作者感到惊讶，包括斯坦福大学法律教授Mark Lemley。（Lemley曾是Meta法律团队的一员，但今年1月，他在Facebook采用更亲特朗普的审核政策后放弃了他们作为客户。）

“我们原本预期看到的可复制性水平在1%或2%左右，”Lemley告诉我。”第一个让我惊讶的是变化有多大。”

这些结果让AI版权辩论中的每个人都找到了可以抓住的论点。对于AI行业批评者来说，主要观点是——至少对于某些模型和某些书籍而言——记忆不是边缘现象。

另一方面，该研究仅发现少数几本流行书籍存在显著记忆。例如，研究人员发现Llama 3.1 70B仅记忆了理查德·卡德雷2009年的小说《Sandman Slim》的0.13%。这是《哈利·波特》42%数字的一个微小部分。

这对已经对AI公司提起集体诉讼的律师事务所来说可能是个麻烦。卡德雷是Meta集体诉讼的原告之一。为了认证原告群体，法院必须发现原告在法律和事实情况上大致相似。

像这样的差异可能会让人质疑将J.K.罗琳、卡德雷和数千名其他作者归为一个大规模诉讼是否合理。这可能对Meta有利，因为大多数作者缺乏提起单独诉讼的资源。

这项研究的更广泛教训是，在这些版权案件中，细节将变得很重要。在线讨论经常将”生成模型是否会复制其训练数据或仅仅是学习它？”视为理论性甚至哲学性的问题。但这是一个可以实证检验的问题——答案可能因模型和受版权保护的作品而异。

如何测量记忆

人们经常谈论LLM预测下一个标记。但在后台，模型实际上是对下一个标记的所有可能性生成一个概率分布。例如，如果你用短语”花生酱和”提示LLM，它会以如下虚构示例作出回应：

• P(“果冻”) = 70%
• P(“糖”) = 9%
• P(“花生”) = 6%
• P(“巧克力”) = 4%
• P(“奶油”) = 3%

依此类推。

在模型生成这样的概率列表后，系统会随机选择一个选项，根据其概率加权。因此，70%的时间系统会生成”花生酱和果冻”。9%的时间我们会得到”花生酱和糖”。6%的时间，它会是”花生酱和花生”。你明白了。

研究作者不需要生成多个输出来估计特定响应的可能性。相反，他们可以计算每个标记的概率，然后将它们相乘。

假设有人想估计模型对”My favorite sandwich is”的响应为”peanut butter and jelly”的可能性。以下是方法：

• 提示模型为”My favorite sandwich is”，查看”peanut”的概率（假设为20%）。
• 提示模型为”My favorite sandwich is peanut”，查看”butter”的概率（假设为90%）。
• 提示模型为”My favorite sandwich is peanut butter”，查看”and”的概率（假设为80%）。
• 提示模型为”My favorite sandwich is peanut butter and”，查看”jelly”的概率（假设为70%）。

然后我们只需这样相乘：

0.2 * 0.9 * 0.8 * 0.7 = 0.1008

因此我们可以预测模型大约10%的时间会生成”peanut butter and jelly”，而无需实际生成100或1,000个输出并统计其中有多少是这个确切短语。

这种技术大大降低了研究成本，使作者能够分析更多书籍，并使精确估计非常低的概率成为可能。

例如，作者估计，要准确再现某些书籍中的一些50个标记序列，需要超过10千万亿次样本。显然，实际生成这么多输出是不可能的。但不需要：仅通过相乘50个标记的概率就可以估计概率。

需要注意的关键一点是概率可以非常快地变得非常小。在我的虚构示例中，模型生成四个标记”peanut butter and jelly”的概率仅为10%。如果添加更多标记，概率会进一步降低。如果添加46个更多标记，概率可能会下降几个数量级。

对于任何语言模型来说，生成任何给定的50个标记序列”偶然”的概率是微乎其微的。如果模型从受版权保护的作品中生成50个标记，这强烈表明这些标记”来自”训练数据。即使它只生成这些标记10%、1%或0.01%的时间也是如此。

我们不知道《哈利·波特》是如何进入Llama模型的

研究作者选取了36本书，并将每本书分成重叠的100个标记段落。使用前50个标记作为提示，他们计算了下一个50个标记与原始段落完全相同的概率。如果模型有超过50%的可能性逐字再现该段落，则将其计为”记忆”。

这个定义非常严格。对于一个50个标记的序列来说，概率超过50%意味着该段落中的每个平均标记的概率至少需要98.5%！此外，作者只计算了精确匹配。他们没有尝试统计模型生成48或49个原始段落标记但有一个或两个标记错误的情况。如果计算这些情况，记忆量会更高。

这项研究提供了强有力的证据，证明《哈利·波特与魔法石》的很大一部分被复制到了Llama 3.1 70B的权重中。但这一发现并没有告诉我们为什么会这样。我怀疑部分原因是Llama 3 70B训练了15万亿个标记——比Llama 1 65B使用的14亿个标记多出10倍以上。

模型对特定示例训练的次数越多，就越可能记住该示例。也许Meta难以找到15万亿个不同的标记，因此多次在Books3数据集上进行训练。或者可能Meta添加了第三方来源——如在线《哈利·波特》粉丝论坛、消费者书评或学生书评——这些内容包含《哈利·波特》和其他流行书籍的引用。

我不确定这两种解释是否完全符合事实。记忆问题在最流行的书籍中更为严重这一事实表明，Llama可能是在引用这些书籍的次级来源上进行训练，而不是书籍本身。在线讨论《哈利·波特》的数量远多于《Sandman Slim》。

另一方面，Llama记忆了《哈利·波特与魔法石》的如此多内容令人惊讶。

“如果是引用和引文，你可能会预期它集中在一些所有人都引用或谈论的流行事物上，”Lemley说。Llama 3记忆了几乎一半的书这一事实表明，整个文本在训练数据中得到了很好的体现。

或者可能有完全不同的解释。也许Meta在其训练配方中做了细微的改动，意外地加剧了记忆问题。我上周发邮件给Meta征求意见，但还没有收到回复。

“看起来并不是所有流行书籍都是如此，”Mark Lemley告诉我。”一些流行书籍有这个结果，而其他则没有。很难提出一个清晰的故事来解释为什么会出现这种情况。”

三种责任理论

实际上有三种不同的理论说明训练模型使用受版权保护的作品可能侵犯 * * * * * * * * * * * *

注意

以下内容为 a a a a a a a a a a a a a a a a a aaa。