AI训AI，越训越离谱：牛津剑桥等研究成果登上Nature封面

研究指出，随着LLM（大型语言模型）的广泛应用，互联网上的大量文本和图像内容逐渐被AI生成。如果训练模型时不加区分地使用这些由AI生成的数据，将会导致模型出现不可逆转的缺陷，即所谓的“模型崩溃”。这种效应如同近亲繁殖，产生的后代质量低劣，无法真实反映现实世界的多样性。

研究者们通过一系列实验，展示了这一现象的严重性。他们首先使用维基百科文章训练了一个基础模型，然后利用该模型生成的文本继续训练后续模型。经过九次迭代后，模型开始输出与输入提示完全无关的内容，甚至出现了乱码和错误的事实描述。

在被污染的数据上进行训练，这些数据往往缺乏真实世界中的多样性和复杂性，导致模型无法正确感知现实。随着迭代次数的增加，模型逐渐偏离原始分布。这样一来，会导致多代AI生成模型的退化。这也就形成这一现象——垃圾进，垃圾出。