OpenAI 的 Sora 表明 Deepfakes 将如何恶化

在一篇病毒式传播的网站帖子中，OpenAI 宣布 Sora打开一个新窗口，一种文本转视频模型，可以根据用户的提示生成长达一分钟的视频。这篇文章提供了 9 个示例，展示了多个场景的逼真 4K 分辨率视频，这些场景与现实几乎无法区分。这些视频呈现的提示包括“加州淘金热期间的历史镜头”，视频看起来就像老式的彩色电影，以及 19 世纪末一座熙熙攘攘的小镇的场景，蜿蜒的河流沿岸充满了马匹和探矿者。另一段视频捕捉到了一窝金毛幼犬在雪地里嬉戏，随着耳朵下垂和雪花飞舞，它们以慢动作可爱地嬉戏。在另一个场景中，特写镜头显示了一位老人的灰色胡须、角框眼镜和毛毡贝雷帽的细节。

这些视频代表了 OpenAI 令人兴奋的成就，使其更接近 Sora 的既定目标——“理解和模拟运动中的物理世界”。然而，它们也给刚刚开始看到人工智能驱动的深度造假带来负面影响的社会敲响了警钟。我们正处于临界点的边缘，我们对在线图像和视频的信任能力正在迅速削弱，这预示着可能的不归路。

OpenAI 知道人们会担心这些风险，因此他们强调了为减少这些风险而采取的措施。为了降低风险，OpenAI 雇佣了“红队成员”，他们的任务是尝试破解模型或利用它进行恶意活动，从而确定需要额外保护的区域。此外，OpenAI 打算将识别元数据纳入任何面向公众的产品的未来版本中。此外，现有的安全方法将拒绝违反公司使用政策的用户提示，包括描述极端暴力、性内容和名人肖像。 

OpenAI 善意的安全措施需要纳入其中。然而，它们并不能阻止深度伪造人工智能视频最终被恶意行为者轻易创建。最近发布的新人工智能功能向我们表明，深度造假带来的风险并没有被仍然不受监管和不受限制的市场很好地遏制。人工智能深度造假不会被阻止的原因之一是先进的生成人工智能模型的开源发布和泄露给公众。

Meta 是 OpenAI 的主要竞争对手之一，开发了各种 AI 模型，例如 Llama，这是一种大型语言模型 (LLM)，被认为在性能上接近匹配 GPT 4。本周，他们还宣布了V-JEPA 在视频相关人工智能方面的进展打开一个新窗口，根据知识共享非商业许可发布，供研究人员探索。这符合 Meta 的战略，即将其所有模型开源，允许任何人用它们构建商业或非商业产品。 其中也包括坏人。 

开源模型很容易被滥用

虽然 OpenAI 可以通过访问层对其模型应用保护措施，但开源模型通过开源倡议的开源 AI 定义牺牲了该选项。它指出，为了满足开源许可要求，其他人需要能够研究、使用、修改和共享人工智能系统。修改是这里的关键词，因为它意味着其他人可以删除人工智能模型的原始创建者添加的任何保护措施。 

白宫了解太多有关高性能人工智能模型的信息落入坏人之手的风险。这就是为什么去年，它呼吁七家领先的人工智能公司同意自愿保护未发布的模型权重。模型权重相当于人工智能模型的“秘密武器”，允许其他人在没有保障措施的情况下在新系统中重新创造他们的能力。正如为英国人工智能安全峰会准备的讲话中明确指出的那样，Meta 致力于保护其未发布的模型权重。但当模型完成时，它会将这些模型权重开源。它在 Llama 2 上就是这样做的，Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 最近在 Instagram 上发布的视频表明，他们将在 Llama 3 上继续采用这种方法。  

恶意行为者利用生成式人工智能模型的主要威胁是现实的深度伪造。这些威胁不再是理论上的威胁，而是在过去一年中记录下来的危害，主要与深度伪造色情和政治误导有关。互联网观察基金会 (IWF) 发现犯罪分子正在使用人工智能来创建儿童性虐待材料 (CSAM)，并且能够访问开源模型的犯罪分子可以创建最真实的图像。根据IWF 报告打开一个新窗口，它在短短一个月内在一个暗网论坛上记录了 20,000 张人工智能生成的图像。其调查结果包括在经过处理的图像中出现 CSAM 真实受害者的例子，以及一些名人的图像，使其看起来更年轻。IWF 指出，罪犯社区经常讨论稳定扩散（Stable Diffusion），这是一种用于制作人工智能图像的开源模型。 
最近，当流行歌手泰勒·斯威夫特 (Taylor Swift) 的露骨和虚假图片在 Telegram 和 X（该网站以前称为 Twitter）上传播时，更广泛的公众意识到了深度伪造的性内容。据《纽约时报》报道，虽然尚未证明这些图像是如何制作的，但网络安全公司 Reality Defender 有 90% 的置信度确定这些图像是使用扩散模型制作的。 

现在，可以通过网络和移动应用商店中的应用程序轻松获得能够有效制作逼真图像的开源扩散模型，甚至高中生也可以使用它们为同学创建明确的材料。新泽西州一所高中的一名学生制作了一个可以从女孩照片中制作露骨图像的网站，女同学报告说，她们是人工智能生成的裸照在学生中分发的受害者。据哥伦比亚广播公司新闻报道，这只是高中发生的许多类似事件的一个例子。

 
为“AI Deepfake”选举做好准备

政治宣传和误导也是深度造假带来危害的领域。据美联社新闻报道，在美国总统选举年，乔·拜登总统的声音被深度伪造，以阻止选民在新罕布什尔州初选前进行机器人呼叫。。据《商业内幕》报道，此类事件让白宫开始想象深度造假视频的潜在后果，并计划对其发布的视频进行签名，以加密方式证明其真实性。 

OpenAI 和 Meta 等公司正在研究帮助识别人工智能制作内容的措施。这可以在创建时通过“水印”来完成，也可以在分发时通过检测人工智能图像特征的算法来完成。虽然人工智能水印最近取得了可喜的进展，但随着组织参与 Adob​​e 的内容真实性计划，利用开源模型的恶意行为者不会配合并添加这些功能。分发后检测人工智能生成的图像只能在一定程度的置信度下完成，而当前的解决方案通常不可靠，会产生太多的误报或漏报。

俗话说“眼见为实”。自从人类能够将相机对准现实并记录下来，它可以说成为大众传播中最强大的工具，向人们展示他们没有亲身经历过的地方、事件和事物，并让他们做出判断并根据客观记录形成意见。但 OpenAI 的 Sora 表明，我们正在进入一个不再如此的未来。 

想要降低组织风险的技术领导者应该开始考虑潜在的威胁。据美国有线电视新闻网 (CNN) 报道，高级网络钓鱼尝试只是一个例子，一名驻香港的财务工作人员在与一名看似该公司首席财务官的人进行虚假视频通话后，已被说服向诈骗者发送 2500 万美元。此类事件应该会促使更多组织探索类似于白宫对加密身份验证感兴趣的措施。  
眼见不再可信。从现在开始，“不要相信你的眼睛”将成为数字媒体渠道中更常见的口头禅。

组织如何应对难以区分的深度造假时代？为什么开源人工智能模型是一把双刃剑？在Facebook上告诉我们打开一个新窗口, X打开一个新窗口和LinkedIn打开一个新窗口。我们很乐意听取您的意见！

关于专家贡献者：专家贡献者计划旨在帮助围绕对 C 级管理人员最重要的优先事项和挑战启动有意义的对话。这些见解和观点将帮助首席信息官解决对他们来说最重要的事情。我们一直在寻找能够帮助我们的企业受众讲述故事的行业思想家。
原文链接；https://www.spiceworks.com/tech/artificial-intelligence/guest-article/deepfakes-are-about-to-become-a-lot-worse-openais-sora-demonstrates/