5月16日，在湖南省常宁市，中国电信股份有限公司常宁分公司的工作人员在为老年顾客讲解防范电信网络诈骗知识

　　随着深度合成技术的发展，辨别真假内容变得越来越困难。这种对信任的侵蚀会在新闻传播、日常社交等各领域产生深远影响，也给人们在数字社会的生存提出新挑战——要改变“眼见为实”的底层认知，重新寻找信任建立的方式。

文/张凌寒

编辑/胡艳芬

　　想象一下，你突然接到一通来自家庭成员的紧急电话，电话中他称自己身陷困境，求你给他寄钱。他熟悉的声音听起来苦恼沮丧，甚至带着哭腔。然而当你向他汇款后，却发现自己被骗了。这是因为你接到的电话并非来自家庭成员本人，而是骗子用人工智能（AI）伪造而成。

　　这并非科幻小说的情节，随着人工智能技术被快速应用和普及，近两年世界范围内欺诈事件频发，造成了巨大损失。今年5月有媒体报道，内蒙古自治区包头市警方接到报案，诈骗分子利用深度合成技术支持的换脸技术，在视频通话中冒充受害者的朋友，声称其需要在竞标过程中交纳保证金。受害人跟朋友视频通话并亲耳听到朋友的要求后，按要求转账430万元。直到其朋友表示不知情后，受害者方知自己被骗。有消息称目前警方已追回大部分被窃资金，正努力追踪其余资金去向。

　　在一个日益数字化的世界里，人工智能深度合成技术的快速发展一方面便利了生活，另一方面技术被滥用也带来各种威胁。然而，公众对此尚未有充分的认知和防范意识，相应的平台治理和政府监管措施也亟待落地。

以假乱真的深度合成技术

　　以假乱真的能力是深度合成技术最重要的特点。人们常说“耳听为虚，眼见为实”“有图有真相”，可见在公众潜意识中照片、视频等可信度远胜文字。深度合成技术恰恰颠覆了这一认知，它可以被用于伪造音频、图片、视频，捏造人物的行为与语言。

　　深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术。近年来，深度合成技术被广泛应用于影视、传媒、教育等领域，可实现特效制作、元宇宙场景搭建、虚拟仿真教学等功能。而随着各类商业化产品普及，深度合成的信息内容在网络上大量涌现，让越来越多的社会公众接触到深度合成技术。

　　深度合成服务也已实现公众化、平民化，普通人仅需少量的图像、音频、视频、文本等样本数据，利用简便易用的深度合成工具，就能达到模糊真实信息和虚假信息边界的目的。深度合成技术诞生之初，由于技术尚不成熟，存在合成视频中人物微表情不自然、图像边缘有锯齿等明显痕迹之类的问题。但近年来网上传播的深度合成视频内容，人物动作的逼真度、自然度，以及视频整体的清晰度、流畅度都足以达到以假乱真的水平，用户已经难以鉴别。

　　深度合成技术需求场景日益多元化并且应用日趋成熟。2019年9月，一位母亲向阿里巴巴人工智能实验室求助，希望能够将她患癌离世的14岁女儿做成可以交互的软件。3个月后，实验室帮助这位母亲合成了一段女儿长达20秒的语音，存入天猫精灵里。这位母亲认为，这对于失独家庭是一种新的疗愈手段，如同旅行、心理咨询。在知乎“失独妈妈把女儿做成AI，这样留下挚爱的方式你能接受吗？”问题下的166个回答中，持接受态度的网友占70%以上。

　　但随着深度合成内容制作技术门槛越来越低，它常被利用作为诈骗工具。2021年10月，《福布斯》杂志根据一份法庭文件报道称：欺诈者用深度合成语音冒充客户，电话联系阿拉伯联合酋长国某银行经理，声称公司即将进行收购，需要银行批准一笔3500万美元的转账。银行经理确认转账金额和收款账户后进行了转账。随后，这笔被窃取的资金被转移到全球各地的银行账户。

深度合成治理监管机制逐步建立

　　深度合成技术一旦被滥用，会造成巨大风险与实质性危害，可能给个人、企业造成肖像、名誉等人格和财产权益损害，也可能给社会秩序、国家政治稳定和安全造成巨大威胁。

　　比如，将深度合成技术用于捏造国家政要言论、伪造公务人员虚假视频，可能给政治安全和国家安全带来重大危害。2022年初乌克兰危机升级后，一条乌克兰总统泽连斯基的合成视频被广泛传播。在视频中，泽连斯基呼吁乌克兰士兵放下武器。因为这条视频在推特上传播广泛，观看人数超过25万，泽连斯基本人也在推特发文辟谣。美国布朗大学信息未来实验室的负责人之一克莱尔·沃德尔说：“这种情况不断发生，提醒人们，愚弄人是多么容易。”

　　对个人与企业来说，深度合成技术的滥用也可能造成巨大权益损害。比如，企业高管被深度合成捏造视频、篡改发言内容，可能造成市场恐慌，引发金融市场动荡；个人则可能被伪造虚假视频等，诈骗者借此欺诈其亲友，或伪造此人的不雅视频进行传播甚至赚取非法利益，导致个人名誉权受损。

　　针对深度合成服务带来的机遇与恶意使用导致的挑战，世界各国纷纷出台相关法律法规，探索依法治理路径。欧盟与美国均有相关立法考虑，同时加强打入数字水印的技术应用、开发真伪鉴别技术等治理手段，并要求互联网企业对平台内容进行自我审查，从源头打击网络虚假内容等。

　　中国自2020年开始，逐步建立了深度合成技术的治理监管机制。一方面抓信息内容监管，要求不得生成合成虚假新闻信息，不能利用深度合成技术从事法律法规禁止的活动。2021年开始实施的民法典在人格权编中明确规定，无论是否出于营利目的，均不得利用信息技术手段伪造他人肖像、声音。2022年3月1日起施行的《互联网信息服务算法推荐管理规定》明确要求不得生成合成虚假新闻信息。

　　另一方面，我国提出了对深度合成技术提供者、信息发布者的一系列要求。要求深度合成技术支持者在开发、测试、训练相关技术时，就要考虑到可能的风险与危害，履行相应的安全评估责任、数据安全管理义务等。对于信息发布传输者，要求其在发布、传播时必须对深度合成内容进行标注。今年1月10日生效的《互联网信息服务深度合成管理规定》，对上述要求也均有详细规定。

　　从立法到监管的落地尚需时日。尽管世界各国通过立法、技术治理等多种方式打击深度合成技术的滥用，但在人工智能技术加持下深度合成的诈骗信息正海量涌向普通民众，而民众尚未建立起相关的防范意识与认知。

“用魔法打败魔法”

　　随着深度合成技术的发展，辨别真假内容变得越来越困难。这种对信任的侵蚀会在新闻传播、日常社交等各领域产生深远影响，也给人们在数字社会的生存提出新挑战——要改变“眼见为实”的底层认知，重新寻找信任建立的方式。

　　如何应对深度合成技术引发的网络空间与现实世界中的信任危机呢？普通人应从保护自我做起。首先需要谨慎对待个人信息，避免在网络特别是社交媒体平台上分享一旦泄露可能对自己不利或导致身份被盗用的敏感个人信息。当在网络上看到新闻或信息时，尽可能寻找多个可靠的消息源来进行交叉参考、印证，一定要核实信源的可信度，尤其对那些耸人听闻或未经核实的说法，须持怀疑态度。

　　其次，更加谨慎地处理个人财务。例如个性化的电子邮件可能欺骗你透露敏感信息，对主动要求提供个人或财务信息的行为要保持警惕。使用电脑、手机和网络处理财务信息的，要定期更新操作系统、网络浏览器和安全软件。

　　最后，可能需要更加相信自己的直觉。如果感觉有些事情好得不像真的，或者看起来很可疑，请相信自己的直觉。如果不够确定，就反复核实信息来源是否可靠，而不能仅仅依赖通话和视频中的信息。

　　未来可能更需要科学家积极研发“用魔法打败魔法”的人工智能技术。例如网易和毕马威合作发布的名为“用模型的模型打击欺诈”的白皮书，讨论了双方合作开发的人工智能反欺诈引擎。该反欺诈引擎可在现有人工智能防欺诈措施基础上减少40%的欺诈交易。进入数字时代，人类的专业知识需要与人工智能技术共同合作，积极提供欺诈预防服务并提高其准确性。

　　（作者系中国政法大学数据法治研究院教授）

来源：2023年7月12日出版的《环球》杂志 第14期

《环球》杂志授权使用，如需转载，请与本刊联系。

更多内容敬请关注《环球》杂志官方微博、微信：“环球杂志”。