国家互联网信息办公室 中华人民共和国工业和信息化部 中华人民共和国公安部 令

第12号

《互联网信息服务深度合成管理规定》已经2022年11月3日国家互联网信息办公室2022年第21次室务会议审议通过，并经工业和信息化部、公安部同意，现予公布，自2023年1月10日起施行。

国家互联网信息办公室主任 庄荣文

工业和信息化部部长 金壮龙

公安部部长 王小洪

2022年11月25日

互联网信息服务深度合成管理规定

第一章 总则

第一条 为了加强互联网信息服务深度合成管理，弘扬社会主义核心价值观，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益，根据《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《互联网信息服务管理办法》等法律、行政法规，制定本规定。

第二条 在中华人民共和国境内应用深度合成技术提供互联网信息服务（以下简称深度合成服务），适用本规定。法律、行政法规另有规定的，依照其规定。

第三条 国家网信部门负责统筹协调全国深度合成服务的治理和相关监督管理工作。国务院电信主管部门、公安部门依据各自职责负责深度合成服务的监督管理工作。

地方网信部门负责统筹协调本行政区域内的深度合成服务的治理和相关监督管理工作。地方电信主管部门、公安部门依据各自职责负责本行政区域内的深度合成服务的监督管理工作。

第四条 提供深度合成服务，应当遵守法律法规，尊重社会公德和伦理道德，坚持正确政治方向、舆论导向、价值取向，促进深度合成服务向上向善。

第五条 鼓励相关行业组织加强行业自律，建立健全行业标准、行业准则和自律管理制度，督促指导深度合成服务提供者和技术支持者制定完善业务规范、依法开展业务和接受社会监督。

第二章 一般规定

第六条 任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。

深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息。转载基于深度合成服务制作发布的新闻信息的，应当依法转载互联网新闻信息稿源单位发布的新闻信息。

第七条 深度合成服务提供者应当落实信息安全主体责任，建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度，具有安全可控的技术保障措施。

第八条 深度合成服务提供者应当制定和公开管理规则、平台公约，完善服务协议，依法依约履行管理责任，以显著方式提示深度合成服务技术支持者和使用者承担信息安全义务。

第九条 深度合成服务提供者应当基于移动电话号码、身份证件号码、统一社会信用代码或者国家网络身份认证公共服务等方式，依法对深度合成服务使用者进行真实身份信息认证，不得向未进行真实身份信息认证的深度合成服务使用者提供信息发布服务。

第十条 深度合成服务提供者应当加强深度合成内容管理，采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。

深度合成服务提供者应当建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序，记录并留存相关网络日志。

深度合成服务提供者发现违法和不良信息的，应当依法采取处置措施，保存有关记录，及时向网信部门和有关主管部门报告；对相关深度合成服务使用者依法依约采取警示、限制功能、暂停服务、关闭账号等处置措施。

第十一条 深度合成服务提供者应当建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告。

第十二条 深度合成服务提供者应当设置便捷的用户申诉和公众投诉、举报入口，公布处理流程和反馈时限，及时受理、处理和反馈处理结果。

第十三条 互联网应用商店等应用程序分发平台应当落实上架审核、日常管理、应急处置等安全管理责任，核验深度合成类应用程序的安全评估、备案等情况；对违反国家有关规定的，应当及时采取不予上架、警示、暂停服务或者下架等处置措施。

第三章 数据和技术管理规范

第十四条 深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定。

深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。

第十五条 深度合成服务提供者和技术支持者应当加强技术管理，定期审核、评估、验证生成合成类算法机制机理。

深度合成服务提供者和技术支持者提供具有以下功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估：

（一）生成或者编辑人脸、人声等生物识别信息的；

（二）生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。

第十六条 深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。

第十七条 深度合成服务提供者提供以下深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况：

（一）智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；

（二）合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；

（三）人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务；

（四）沉浸式拟真场景等生成或者编辑服务；

（五）其他具有生成或者显著改变信息内容功能的服务。

深度合成服务提供者提供前款规定之外的深度合成服务的，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。

第十八条 任何组织和个人不得采用技术手段删除、篡改、隐匿本规定第十六条和第十七条规定的深度合成标识。

第四章 监督检查与法律责任

第十九条 具有舆论属性或者社会动员能力的深度合成服务提供者，应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。

深度合成服务技术支持者应当参照前款规定履行备案和变更、注销备案手续。

完成备案的深度合成服务提供者和技术支持者应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。

第二十条 深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的，应当按照国家有关规定开展安全评估。

第二十一条 网信部门和电信主管部门、公安部门依据职责对深度合成服务开展监督检查。深度合成服务提供者和技术支持者应当依法予以配合，并提供必要的技术、数据等支持和协助。

网信部门和有关主管部门发现深度合成服务存在较大信息安全风险的，可以按照职责依法要求深度合成服务提供者和技术支持者采取暂停信息更新、用户账号注册或者其他相关服务等措施。深度合成服务提供者和技术支持者应当按照要求采取措施，进行整改，消除隐患。

第二十二条 深度合成服务提供者和技术支持者违反本规定的，依照有关法律、行政法规的规定处罚；造成严重后果的，依法从重处罚。

构成违反治安管理行为的，由公安机关依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。

第五章 附则

第二十三条 本规定中下列用语的含义：

深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，包括但不限于：

（一）篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术；

（二）文本转语音、语音转换、语音属性编辑等生成或者编辑语音内容的技术；

（三）音乐生成、场景声编辑等生成或者编辑非语音内容的技术；

（四）人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术；

（五）图像生成、图像增强、图像修复等生成或者编辑图像、视频内容中非生物特征的技术；

（六）三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术。

深度合成服务提供者，是指提供深度合成服务的组织、个人。

深度合成服务技术支持者，是指为深度合成服务提供技术支持的组织、个人。

深度合成服务使用者，是指使用深度合成服务制作、复制、发布、传播信息的组织、个人。

训练数据，是指被用于训练机器学习模型的标注或者基准数据集。

沉浸式拟真场景，是指应用深度合成技术生成或者编辑的、可供参与者体验或者互动的、具有高度真实感的虚拟场景。

第二十四条 深度合成服务提供者和技术支持者从事网络出版服务、网络文化活动和网络视听节目服务的，应当同时符合新闻出版、文化和旅游、广播电视主管部门的规定。

第二十五条 本规定自2023年1月10日起施行。

【新闻链接】

《互联网信息服务深度合成管理规定》答记者问

2022年12月11日 21:19来源： 中国网信网

一、问：请您简要介绍《规定》出台的背景？

答：制定《规定》主要基于以下几个方面的考虑。一是深入贯彻落实党中央决策部署。《法治社会建设实施纲要（2020-2025年）》明确提出制定完善对算法推荐、深度伪造等新技术应用的规范管理办法。出台《规定》，能够进一步加强对新技术新应用新业态的管理，统筹发展与安全，推进深度合成技术依法合理有效利用。二是维护网络空间良好生态。深度合成服务在满足用户需求、改进用户体验的同时，也被一些不法人员用于制作、复制、发布、传播违法信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等违法行为，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会稳定。出台《规定》，能够划定深度合成服务的“底线”和“红线”，维护网络空间良好生态。三是促进深度合成服务规范发展。落实《网络安全法》《数据安全法》《个人信息保护法》《互联网信息服务管理办法》等法律、行政法规，对应用深度合成技术提供互联网信息服务制定系统性、专门性规定，能够明确各类主体的信息安全义务，为促进深度合成服务规范发展提供有力法治保障。

二、问：《规定》中所称深度合成技术是指什么？

答：《规定》中所称深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，具体包括篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术，文本转语音、语音转换、语音属性编辑等生成或者编辑语音内容的技术，音乐生成、场景声编辑等生成或者编辑非语音内容的技术，人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术，图像生成、图像增强、图像修复等生成或者编辑图像、视频内容中非生物特征的技术，三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术等。

三、问：《规定》中所称的深度合成服务提供者和技术支持者是指什么？

答：《规定》中所称的深度合成服务提供者，是指提供深度合成服务的组织、个人。深度合成服务技术支持者，是指为深度合成服务提供技术支持的组织、个人。

四、问：《规定》对深度合成服务提供者落实信息安全主体责任作出了哪些要求？

答：《规定》对深度合成服务提供者主体责任进行了明确规定。一是不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，或从事法律、行政法规禁止的活动。二是建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度，具有安全可控的技术保障措施。三是制定和公开管理规则、平台公约，完善服务协议，落实真实身份信息认证制度。四是加强深度合成内容管理，采取技术或者人工方式对输入数据和合成结果进行审核，建立健全用于识别违法和不良信息的特征库，记录并留存相关网络日志。五是建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告。

五、问：《规定》明确了深度合成服务提供者和技术支持者的哪些数据和技术管理规范？

答：一是加强训练数据管理。采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定；提供人脸、人声等生物识别信息显著编辑功能的，应当提示使用者依法告知被编辑的个人，并取得其单独同意。二是加强技术管理。定期审核、评估、验证生成合成类算法机制机理；提供具有对人脸、人声等生物识别信息或者可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息编辑功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估。

六、问：《规定》明确了深度合成服务提供者的哪些标识要求？

答：一是深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依法依规保存日志信息。二是提供智能对话、合成人声、人脸生成、沉浸式拟真场景等具有生成或者显著改变信息内容功能服务的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示信息内容的合成情况，避免公众混淆或者误认；提供非上述深度合成服务的，应当提供显著标识功能，并提示使用者可以进行显著标识。任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。

七、问：《规定》明确了深度合成服务提供者和技术支持者的哪些备案义务？

答：《规定》明确，具有舆论属性或者社会动员能力的深度合成服务提供者，应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。深度合成服务技术支持者应当参照服务提供者履行备案和变更、注销备案手续。完成备案的深度合成服务提供者和技术支持者应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。

八、问：《规定》对深度合成服务提供者履行安全评估和配合监督检查义务提出了哪些要求？

答：《规定》明确，深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的，应当按照国家有关规定开展安全评估。深度合成服务提供者和技术支持者应当依法配合网信部门和有关主管部门开展的监督检查，并提供必要的技术、数据等支持和协助。发现存在较大信息安全风险的，网信部门和有关主管部门可以按照职责依法要求其采取暂停信息更新、用户账号注册或者其他服务等措施。

【专家解读】

推动深度合成服务综合治理 促进深度合成技术安全发展

2022年12月12日10:50来源： 中国网信网

随着新一代信息技术的快速发展，深度合成技术作为人工智能领域的新应用、新实践，已在多个行业场景中被推广应用，并催生了“元宇宙”等新的应用场景。当前，网络传播环境日趋复杂，新型合成方法层出不穷，技术滥用的风险也在不断加剧。为加强互联网信息服务深度合成管理，国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理规定》（以下简称《规定》）。《规定》构建了互联网信息服务深度合成治理制度规范，迈出我国新技术新应用立法的重要一步。

一、《规定》出台必要及时，意义深远

技术发展与风险挑战相伴而生，新技术新应用发展日新月异，技术治理是一场永恒的攻防对抗博弈，也是技术从创新应用到规范发展的必经阶段。当前，换脸、换声、三维重建、智能对话等深度合成服务已经在国外互联网社交媒体中广泛应用，催生了美颜美妆、影视制作、智能客服、虚拟主播、元宇宙等一系列形式新颖丰富、功能便捷智能的应用形态，丰富了互联网信息内容生态，推动了互联网相关产业发展，为人民生活带来了便利便捷和多样化体验。然而，深度合成技术也正在被恶意利用制作虚假信息内容，进而可能带来政策干扰、谣言泛滥、低俗内容肆意传播等影响国家安全、社会稳定的风险问题。

出台《规定》，是进一步提升网络综合治理能力的应时应势之举，具有针对性和前瞻性。《规定》是目前我国针对深度合成服务出台的第一部专门性部门规章，作出了一系列明确合规指引，对加强互联网信息服务深度合成管理、促进互联网信息服务健康发展、推进网络空间治理意义重大，影响深远。

二、《规定》为深度合成技术安全应用和健康发展奠定制度基础

（一）明确了深度合成技术定义和服务范围。深度合成技术由来已久，随着深度学习技术，特别是对抗式生成网络技术的发展，深度合成技术门槛大幅降低，2017年11月Reddit网站的用户“deepfakes”发布伪造视频令这项技术引起关注。近年来，深度伪造技术在国内外反响强烈，其以制作足以“以假乱真”的信息内容严重威胁国家安全、干扰传播秩序，让人们广泛关注和深切担忧，给相关技术和产业发展带来一定影响。从技术进步的角度来说，深度合成技术应用的初衷是让生成合成内容更逼真，但深度合成技术在愈趋“智能”的同时，也不可避免地带来更多的安全风险，除深度伪造风险外，还包括生成合成信息内容带来的个人信息泄漏、侵犯人格权和知识产权等他人合法权益等风险。

《规定》在深度伪造基础上对深度合成技术作出了更全面的规范，从利用算法角度提出包括利用深度学习、虚拟现实等生成合成类算法，从制作内容形态角度提出包括文本、图像、音频、视频、虚拟场景等多种类型，从具体应用形态上分类列举了多种典型场景，明确了深度合成技术的定义和范围。

（二）从内容管理深化到行为管理。有别于信息内容发布与传播，互联网信息服务深度合成活动是一项涉及算法技术、应用功能、产品业务，覆盖数据采集、分析、编辑、加工等多环节的数据处理过程，产生的安全风险也是由参与多方、不同环节共同作用形成的，因此对互联网信息服务深度合成的规范和引导，需要覆盖各主体、各环节。

《规定》明确了相关主体的责任和义务。在监管主体上，将深度合成服务技术支持者纳入管理。服务技术支持者为上游主体，为服务提供者提供技术支撑；服务提供者为中游主体，为服务使用者提供深度合成服务；服务使用者为下游主体，是使用深度合成服务的组织、个人。《规定》从信息呈现和传播两个维度开展治理，通过显式标识和隐式标识两种管理手段，实现对内容和行为双重规范。在信息呈现方面，提出深度合成服务提供者应当在可能导致公众混淆或者误认的深度合成信息内容中加入显式标识，以提示公众该内容的生成合成特性，保障公众知情权，降低虚假信息传播的风险，实现内容治理。在信息传播方面，通过有效技术保障措施在深度合成信息内容中添加隐式标识，实现深度合成内容安全溯源和技术应用安全可控，确保内容传播链条明确清晰，事后追责准确无误，实现行为治理，为参与深度合成信息内容制作传播的各方主体厘清责任边界。

（三）突出全过程安全评估管理。2021年12月，国家互联网信息办公室发布《互联网信息服务算法推荐管理规定》（以下简称《算法规定》），对包括生成合成类在内的五类算法推荐服务进行规范。《规定》在《算法规定》基础上，一是加强对深度合成服务全过程管理。深入深度合成服务的数据处理环节、算法运行阶段、使用者行为全过程，提出更明确细化和更具有操作性的管理要求和合规指引。二是深化备案与评估标本兼治。《规定》要求具有舆论属性或者社会动员能力的深度合成服务提供者和技术支持者依法履行算法备案手续，并公示备案编号，有助于引导互联网信息服务深度合成合规运营、提升产品口碑、增强企业互信、促进行业健康发展。《规定》明确了对深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能应当开展安全评估管理，有助于帮助企业防范和应对深度合成内容安全风险、数据安全风险和技术滥用风险，有助于促进管理部门备案摸底、风险监测和监督检查等工作依法开展、落地成效。

三、健全深度合成治理技术支撑体系，促进服务健康有序发展

《规定》的出台，是网络内容治理由结果管理迈向行为管理的重要一步，标志着我国网络空间治理能力进一步优化提升。但是，深度合成技术与应用管理目前仍处于起步阶段，在技术支撑和能力建设方面有待进一步加强。加快推进深度合成治理技术支撑体系建设，是切实保障深度合成服务治理工作有力有序推进的关键。建议从以下方面加强工作：

（一）促进多方共治深入细化安全标准。《规定》充分结合深度合成技术特点与发展趋势，提出了针对深度合成服务和技术的普适性的规范思路，但在生成合成类算法服务范围、深度合成技术具体范围、深度合成服务业务分类、显式标识条件与标识方式、隐式标识方法与识别等诸多具体方面，仍亟需行业内部进一步细化相关配套标准规范。在实际落地过程中，建议行业内推进产业联盟建立，研制相关标准规范，以产业自治、多方共治的方式，不断推进深度合成技术应用高质量发展。

（二）用以技术管技术思维促进深度合成服务治理。深度合成技术是一项非常前沿的智能技术，治理其带来的安全问题不能仅靠传统的结果导向治标方法。建议从深度合成信息内容源头上解决其衍生的内容安全风险，利用技术创新、技术对抗等方式，持续提升和迭代检测技术的能力。互联网信息服务深度合成综合治理，不仅着眼于管理好、使用好、发展好深度合成技术及相关服务，同时，也致力于深度合成技术的合法合理合规使用，促进深度合成技术及相关服务健康有序的发展。

（三）推进深度合成服务治理技术能力建设。构建互联网信息服务深度合成安全监管体系需要在技术支撑和能力建设方面进一步加强。国家科研机构应加大深度合成安全方面的科技攻关，建设深度合成安全评估和风险监测的科研创新平台，探索共建新型研发机构，形成引领深度合成安全基础研究的战略力量。组织建立专业技术评估队伍，研究深度合成安全内生机理、安全风险评估、全生命周期安全监测等关键技术。加强基础科研设施建设，完善算法安全治理人才队伍培养体系，提升深度合成自主创新和安全可控能力。（作者：孟丹，中国科学院信息工程研究所所长）

规范智能技术供给 构建现代化深度合成治理能力

2022年12月12日10:50来源： 中国网信网

随着人工智能技术的快速发展，数字产业化进程不断加快，产业数字化、智能化水平进一步提升。多媒体深度合成技术是人工智能技术的重要研究和典型应用领域，涉及深度学习、虚拟现实、预训练大模型等生成合成类算法，国内外著名高校、科研机构、互联网公司和人工智能企业纷纷展开相关技术研究。随着其与互联网信息服务的深度融合，在变革互联网信息制作模式、智能生产新闻媒体内容、改善人机交互体验、繁荣数字经济等方面产生巨大影响。同时我们应该清醒地认识到，利用该技术进行违法和不良信息的制作、复制、发布、传播等行为，对维护网络安全、社会经济稳定、公共利益带来巨大挑战。习近平总书记在党的二十大报告中强调，“健全网络综合治理体系，推动形成良好网络生态”。2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（以下简称《规定》），《规定》深入贯彻《网络安全法》《数据安全法》《个人信息保护法》《互联网信息服务管理办法》等法律、行政法规，聚焦突出问题，有效规范深度合成服务，加强网络内容建设，强化对人工智能技术、服务、内容、平台的综合治理能力。

一、坚持维护国家利益和站稳人民立场，强化算法治理能力

《规定》落实总体国家安全观，坚持以人民为中心，对利用深度合成技术危害国家安全和利益、损害国家形象、侵害公民合法权益和隐私的行为，作出全面、具体的回应，对现行算法应用安全监管规则进一步细化，为营造风清气正的网络空间提供制度保障和治理依据。

（一）有效衔接现行法规制度，健全我国算法综合治理体系。在《网络安全法》《数据安全法》《个人信息保护法》《互联网信息服务管理办法》等法律法规框架下，深刻把握深度合成服务存在的安全风险，与《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》等相关规定制度紧密衔接，理清深度合成技术定义与应用场景，明确服务提供者的信息安全主体责任，延伸互联网信息服务算法治理思路，给出生成合成类算法服务安全管理样板，完善了我国互联网信息服务算法综合治理体系。

（二）构建多方共同治理格局，创新人工智能伦理监管的中国方案。《规定》统筹各方力量，构建政府监管、企业履责、行业自律、社会监督的多元共治体系，将网络信息内容生态治理和深度合成服务管理有机结合，通过贯穿深度合成服务事前事中事后的监管模式，针对不同的深度合成活动给出规范要求，进一步明确深度合成服务提供者、技术支持者和使用者以及应用程序分发平台责任，鼓励推动行业自律和出台标准规范，要求社会监督和申诉渠道畅通，及时处理公众诉求，对深度合成服务管理提出了兼具针对性、指导性、规范性的中国方案。

（三）聚焦违法和不良信息治理，引导深度合成服务向上向善。针对利用深度合成服务制作、复制、发布、传播违法信息等行为，《规定》划定“红线”，规定不得利用深度合成服务开展法律法规禁止的活动，要求深度合成服务提供者制定和公开管理规则、平台公约，完善服务协议，依法依约履行信息安全管理责任。发现违法和不良信息的，依法采取处置措施，保存有关记录，及时向有关主管部门报告。

（四）促进智能技术健康有序发展，引领相关信息产业落地应用。《规定》的发布进一步提升了我国网络空间信息安全治理能力，引导以深度学习为主的新兴智能技术健康发展，有效促进围绕音频、视频、图像和文本的多模态人工智能算法在应用管理方面的积极探索。随着深度合成技术应用的普及和发展，深度合成检测技术也将顺势而来，通过深度合成与检测的技术演练与应用对抗，能促进构建良性迭代的深度合成信息服务生态，共同推动新兴人工智能技术应用落地。

二、界定各方责任要求，构建深度合成服务治理体系

《规定》明确各方在深度合成活动全流程的主体责任，在《互联网信息服务算法推荐管理规定》已有规定基础上，明确指导性极强的生成合成标识方法，要求完善管理制度和技术保障措施。

（一）明确义务要求，强化主体责任。《规定》分析梳理了深度合成活动边界，明确了深度合成技术定义，对深度合成服务提供者、技术支持者和使用者以及应用程序分发平台等主体应履行的责任义务作出规定，如深度合成服务提供者应履行建立健全管理制度、对使用者真实身份信息认证、加强深度合成信息内容管理等义务，服务提供者和技术支持者应履行加强训练数据管理、加强深度合成技术管理等义务。同时，《规定》对具有舆论属性或者社会动员能力的深度合成服务提供者提出了更严格的监管要求。

（二）监管针对性强，涵盖技术管理要求。《规定》针对利用生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息，明确了算法备案、安全评估、显著标识等强制性要求及适用情形，如规定深度合成服务提供者和技术支持者若生成或编辑生物识别信息，必须进行算法安全评估。此外，《规定》针对各类生成合成技术应用，还提出要加强制度建设、技术保障措施安全可控、制定和公开管理规则、完善服务协议、建立健全辟谣机制等要求。

（三）细化标识规则，明确具体规范要求。《规定》对《互联网信息服务算法推荐管理规定》关于生成合成类算法标识相关要求作出细化，明确采取技术措施添加不影响用户使用的标识，如可能导致混淆或者误认的，还应当在合理位置、区域进行显著标识等要求，规定任何组织和个人不得采用技术手段删除、篡改、隐匿深度合成标识。

三、强化支撑体系建设，推动深度合成治理走深向实

随着数字化、智能化进程的加快，互联网信息服务综合治理不断细化、深入，规范深度合成活动对营造健康安全的网络空间和加强社会治理有着重要意义。为推动《规定》落实，下一步建议加强如下工作：

一是强化智能监管平台支撑。加大科技攻关力度，深入研究深度合成类算法内生安全机理和深度合成鉴别等关键技术，推动深度合成管理技术能力建设。加强人机混合的智能监管技术，研究深度合成服务提供者的安全可控技术保障方案，把监管规范转化为评估标准，建设面向网络全域监管的监测管理平台。研发深度合成与鉴别对抗机制，鼓励新兴科技企业与研究机构开展技术演练，共同推动深度合成服务健康发展。紧密结合国际前沿，建设自主可控的深度合成算法安全应用体系与技术生态。

二是强化人工智能安全评估支撑。抓紧建立深度合成安全评估机制，组织研究制定深度合成安全评估相关标准规范，基于《规定》要求和深度合成类算法机制机理特点，对评估流程、方法、内容等制定规定，明确提供具有对人脸、人声等生物识别信息或者可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息编辑功能的模型、模板等工具的，应当进行安全评估。组建专业队伍对相关深度合成服务提供者和技术支持者评估情况进行检查，以评促建，完善行业标准，加强行业自律，加快推进深度合成服务规范化。

三是加强科普宣贯工作支撑。配合国家人工智能算法综合治理工作部署，面向互联网企业、重点行业企业和相关管理部门等进行《规定》的宣贯培训，督促企业提升深度合成技术服务水平；推进多模态人工智能相关学科研究全面开展，培育高层次人才，鼓励相关科研机构、高校与企业建立广泛合作机制；加强科普教育，提升音视图文多媒体深度合成技术透明度，引导社会各界积极参与社会监督，共同推进深度合成服务综合治理，强化多方治理成效。（作者：徐波，中国科学院自动化研究所所长）

加快规范深度合成技术应用

2022年12月12日15:27来源： 中国网信网

近年来，人工智能各项技术飞速发展，应用更加普及多元。其中，深度合成技术作为人工智能领域的创新应用技术，以其较低的应用门槛、较强的娱乐属性、丰富的应用场景受到广泛关注。特别是在互联网信息服务领域，深度合成技术丰富了网络内容形式，进一步释放新技术新应用发展活力。但是，部分深度合成技术应用缺乏规范，对国家安全、社会稳定和公民合法权益带来风险挑战。党的二十大报告强调，“健全网络综合治理体系，推动形成良好网络生态”。《法治社会建设实施纲要（2020-2025年）》明确要求，要制定完善算法推荐、深度伪造等新技术应用的规范管理办法。为规范深度合成服务，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（以下简称《规定》）。《规定》通过系统性、创新性制度设计，首次回应了对深度合成服务的管理要求，为互联网信息服务深度合成的规范发展提供了基本遵循和合法依据。

一、坚持系统观念，完善互联网信息服务法律体系

《规定》积极落实党的二十大报告关于立法系统性、整体性、协同性、时效性的要求，对互联网信息服务深度合成作出了科学全面的制度规范。一方面，《规定》有效衔接了相关法律法规。在《网络安全法》《数据安全法》《个人信息保护法》《互联网信息服务管理办法》等上位法框架下，《规定》有效承接了《网络信息内容生态治理规定》《网络音视频信息服务管理规定》《互联网信息服务算法推荐管理规定》等规章、规范性文件中关于网络信息内容管理、新技术新应用安全评估、显著标识、备案管理等制度规定，对深度合成服务管理机制、主体责任等作出了衔接性制度安排。另一方面，《规定》构建了统筹协调、多方参与的监管体制。《规定》明确，国家网信部门负责统筹协调全国深度合成服务的治理和监督管理工作，国务院电信主管部门、公安部门依据各自职责负责深度合成服务的监督管理工作。地方网信部门负责统筹协调本行政区域内深度合成服务的治理和监督管理工作，地方电信主管部门、公安部门依据各自职责负责本行政区域内深度合成服务的监督管理工作。《规定》还鼓励相关行业加强行业自律，搭建齐抓共管、协同共治的治理机制。《规定》的出台，全面贯彻落实了党中央关于网络综合治理的最新要求，通过系统化的制度安排进一步构建完善了我国网络综合治理法治体系。

二、坚持问题导向，精准破解深度合成治理难题

近年来，深度合成技术在社交、影视、广告、医疗、教育、科研等诸多领域不断深化应用，展现出较大的技术价值和商用潜力。同时，其“双刃剑”效果明显，在增加社会福祉的同时也带来一系列风险挑战。一是深度合成技术被用于非法目的，侵犯个人合法权益。如有案例反映诈骗分子利用深度合成技术冒充公司高管的声音，诈骗该公司另一名高管巨额款项，给个人财产权益造成了重大损失。二是深度合成虚假内容引发信任危机，影响社会稳定。利用深度合成技术形成的新闻信息本身真实性、客观性难以保障，更有不法分子利用深度合成技术发布虚假新闻、散布谣言等，造成错误舆论导向，影响社会稳定。三是深度合成技术可能被敌对势力恶意利用，威胁国家安全。国外已出现多起利用深度合成技术伪造政治人物、公众人物音频和视频的情形，不仅影响国内政治稳定，还可能会引发国家间的危机冲突。

《规定》聚焦深度合成服务中存在的主要风险隐患进行针对性制度设计。一是明确深度合成服务不得用于非法目的。禁止任何个人和组织利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，或从事危害国家利益、社会公共利益或个人合法权益等违法活动。禁止深度合成服务提供者和使用者利用深度合成服务制作、复制、发布、传播虚假新闻信息。二是强化对个人合法权益的保护。《规定》强调深度合成服务提供者和技术支持者应当强化个人信息保护，提供人脸、人声等生物识别信息编辑功能的，须提示使用者依法取得个人单独同意。防止个人信息被非法利用，侵害个人合法权益。三是对深度合成服务提供者提出安全管理要求。《规定》要求深度合成服务提供者进行用户真实身份认证，建立信息发布审核、反电信网络诈骗等管理制度。《规定》通过相关制度设计，科学精准地回应了深度合成服务应用发展对国家、社会及个人带来的风险挑战，为促进新技术新应用的规范发展提供了有益范例。

三、坚持规范发展，促进深度合成技术向上向善

随着深度合成技术不断优化发展，其开发应用的空间将更为广阔。近几年，深度合成信息内容制作和传播数量高速增长。同时，在“元宇宙”等新模式新场景下，深度合成技术将为智能化、视觉化、场景化、虚拟化的互联网信息服务发展提供更多技术实现方案。《规定》坚持统筹发展和安全，以促进技术在规范中发展为价值取向，在明确“红线”的同时为技术发展留足空间。一是对深度合成服务明确技术向善要求。《规定》要求提供深度合成服务应当尊重社会公德和伦理道德，坚持正确政治方向、舆论导向、价值取向，促进深度合成服务向上向善。同时要求深度合成服务提供者应当建立算法机制机理审核、科技伦理审查等管理制度。二是以技术手段保障深度合成内容可溯源。《规定》要求深度合成服务提供者通过有效技术措施对使用其服务所制作的信息内容添加标识，保证深度合成信息内容可识别、可追溯。三是区分场景规定差异化管理要求。《规定》要求深度合成服务提供者对其生成或编辑的信息内容添加不影响用户使用的标识，但对于可能导致公众混淆或误认的深度合成信息内容应当进行显著标识。同时，要求具有舆论属性或者社会动员能力的深度合成服务提供者和技术支持者履行备案义务。《规定》基于不同的应用场景对深度合成服务进行区分管理，在实现监管目的的同时也为技术发展提供了有效保障。

四、坚持底线原则，压实深度合成服务相关主体责任

深度合成服务提供者和技术支持者，既是新技术新应用的创造者、受益者，也应是控制技术风险、引导技术向善的责任践行者。《规定》围绕明确各方责任义务进行了系统性制度设计。一方面，明确深度合成服务提供者的主体责任。《规定》要求深度合成服务提供者建立健全算法机制机理审核、信息内容管理、从业人员教育培训等管理制度，具备安全可控的技术保障措施。制定并公开管理规则和平台公约，并提示深度合成服务技术支持者和使用者承担信息安全义务。加强内容管理，采取技术或者人工方式对输入数据和合成结果进行审核，并建立健全相关特征库。加强技术管理，定期审核、评估、验证算法机制机理。提供具有对人脸、人声等生物识别信息或者可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息编辑功能的模型、模板等工具的，应当开展安全评估。加强训练数据管理，采取必要措施保障数据和个人信息安全。另一方面，明确深度合成服务技术支持者等主体的责任义务。《规定》要求深度合成服务技术支持者应承担训练数据管理、算法机制机理审核、安全评估等义务。应用程序分发平台应落实上架审核、日常管理、应急处置等安全管理责任。

五、坚持守正创新，贡献深度合成服务治理中国智慧

习近平总书记指出：“要深度参与全球科技治理，贡献中国智慧，塑造科技向善的文化理念，让科技更好增进人类福祉，让中国科技为推动构建人类命运共同体作出更大贡献！”近年来，我国加快推进新技术新应用创新发展，并对技术发展过程中带来的挑战及时回应，针对区块链信息服务、互联网信息服务算法推荐活动、汽车数据安全管理等技术发展的新兴领域加速出台相关立法，为保障数字经济高质量发展、提升我国数字治理能力提供了法治保障。

针对深度合成技术带来的颠覆性风险挑战，多个国家和地区不断探索深度合成服务的治理路径。美国从联邦和州层面推出立法提案，欧盟将深度合成涉及的个人数据保护问题纳入《通用数据保护条例》（GDPR）的规制框架，德国、英国、新加坡、韩国等国将深度合成相关犯罪纳入刑法范畴，但尚未有国家出台规范深度合成服务的专门立法。《规定》立足我国发展实践，充分发挥法治固根本、稳预期、利长远的保障作用，率先通过体系化制度安排，构建深度合成服务治理机制，塑造科技向善的治理理念，提供了保护与发展并行的中国方案。（作者：王志勤，中国信息通信研究院副院长）

加速推进深度合成服务规范化

2022年12月12日15:30来源： 中国网信网

随着人工智能和大数据技术的飞速发展，深度合成技术在互联网信息服务中得到广泛应用。这些技术在为用户提供个性化、精准化、智能化信息服务的同时，如非法应用也容易引发侵害用户合法权益、传播违法信息、操纵社会舆论等一系列问题，给国家利益、社会公共利益和公民合法权益带来巨大挑战。11月25日，国家网信办会同工信部、公安部发布《互联网信息服务深度合成管理规定》（下文简称《规定》），以贯彻落实《网络安全法》《数据安全法》《个人信息保护法》和《互联网信息服务管理办法》等法律、行政法规有关规定。《规定》是我国第一部针对深度合成服务治理的专门性部门规章，对规范深度合成服务、促进相关应用健康发展具有重要时代意义。

一、深度合成成为重要技术应用

深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、视频、音频、虚拟场景等网络信息的技术。深度合成技术最大的特点之一是“以假乱真”，其通过人工智能和大数据算法合成的虚拟数据具有极佳的视觉、听觉等效果，能够使人难辨真假。深度合成技术的代表性研究是在2014年提出的生成对抗网络（GAN），其通过对抗式迭代训练生成器和判别器两个部分，大幅提升数据生成的逼真程度，使得深度合成的结果难以被人眼辨别真伪。伴随着日益增长的应用需求，深度合成技术在教育、影视、传媒等领域扮演着愈发重要的角色，其面部替换、表情操纵、语音合成等不同技术分支，能够升级传统内容制作方法，改善制作效果，提高制作效率，在各类商业化产品中使用比例显著提升。

二、深度合成技术非法使用带来严重安全风险

深度合成技术在支持正向应用的同时，也为我们带来新的安全风险。随着深度合成技术的快速发展，其使用门槛愈发降低，呈现出“平民化”的趋势。普通人可以利用简单方便的软件或工具，制作出真假难辨的合成内容。若非法使用深度合成技术，将导致传播违法和不良信息的乱象，对社会信任、媒体信任、政治信任造成冲击。例如，不法分子通过制作虚假的视频、图像、音频等，进行诽谤、诈骗、勒索、诬陷，甚至通过从互联网获得明星、高管、学者、政要的视频、图像、音频数据，利用深度合成技术对其进行恶意攻击。误用、滥用以及恶意使用深度合成技术生成的数据，将为个人、企业带来声誉损害和财产损失，甚至对国家安全、社会稳定造成威胁。因此，《规定》聚焦深度合成服务乱象问题，构建算法安全治理体系，规范互联网信息服务深度合成管理，意义重大，影响深远。

三、正确处理服务管理规范与技术研究发展的关系

深度合成技术研究应在安全可靠的基础上推进，在规范中科学发展。深度合成技术已展现其强大的能力，在各个领域的加速应用已成为趋势。然而，在相关技术研究发展的同时，也须直面技术带来的风险，保证算法和数据的安全性、可靠性，最大程度做到技术进步的趋利避害。《规定》在保护深度合成技术良性发展的基础上，明确了生成合成类算法治理的对象，确立了算法治理的基本原则，并鼓励相关行业组织加强行业自律，建立健全行业标准、行业准则和自律管理制度，强化了深度合成服务提供者和技术支持者的主体责任，为安全可靠的深度合成技术发展指明了方向，并为技术的服务应用提供指引和规范。

四、深度合成的安全性、可靠性保障对技术治理提出新要求

《规定》在规范互联网信息服务深度合成管理的同时，也为相关安全性、可靠性保障提出了新的技术治理要求。一方面，深度合成服务提供者应加强深度合成内容管理，建立健全用于识别违法和不良信息的特征库，在非人工审核情形下，则应对使用者的输入数据和合成成果进行精准有效的技术审核，进而对违法和不良信息依法采取处置措施。另一方面，深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识。这要求服务提供者开发新的技术，在不影响用户使用的前提下，在视频、图像、音频、虚拟场景等深度合成信息上合理添加显著标识。此外，由于数据传输过程中，可能会出现如视频帧率降低、图像压缩等常见处理，所添加标识还须具备强鲁棒性，避免在传输过程的正常处理中受到破坏。

综上，《规定》的颁布标志着我国深度合成服务的规范管理工作进入新阶段。深度合成服务提供者和技术支持者应认真学习和理解《规定》，明确主体权责，积极应对深度合成安全性、可靠性技术要求。深度合成服务使用者也应加强算法应用的安全意识，保证使用的合规合法性，有效维护自身的合法权益。（作者：周杰，清华大学研究生院院长）