关于印发《人工智能生成合成内容标识办法》的通知
2025-03-14 17:14:28 来源: 中国网信网
关于印发《人工智能生成合成内容标识办法》的通知
国信办通字〔2025〕2号
各省、自治区、直辖市互联网信息办公室、通信管理局、公安厅(局)、广播电视局,新疆生产建设兵团互联网信息办公室、工业和信息化局、公安局、文化体育广电和旅游局:
为了促进人工智能健康发展,规范人工智能生成合成内容标识,保护公民、法人和其他组织合法权益,维护社会公共利益,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局制定了《人工智能生成合成内容标识办法》,现印发给你们,请认真遵照执行。
国家互联网信息办公室 工业和信息化部 公安部 国家广播电视总局
2025年3月7日
人工智能生成合成内容标识办法
第一条 为了促进人工智能健康发展,规范人工智能生成合成内容标识,保护公民、法人和其他组织合法权益,维护社会公共利益,根据《中华人民共和国网络安全法》、《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等法律、行政法规和部门规章,制定本办法。
第二条 符合《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》规定情形的网络信息服务提供者(以下简称“服务提供者”)开展人工智能生成合成内容标识活动,适用本办法。
第三条 人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。
人工智能生成合成内容标识包括显式标识和隐式标识。
显式标识是指在生成合成内容或者交互场景界面中添加的,以文字、声音、图形等方式呈现并可以被用户明显感知到的标识。
隐式标识是指采取技术措施在生成合成内容文件数据中添加的,不易被用户明显感知到的标识。
第四条 服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的,应当按照下列要求对生成合成内容添加显式标识:
(一)在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识,或者在交互场景界面、文字周边添加显著的提示标识;
(二)在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识,或者在交互场景界面中添加显著的提示标识;
(三)在图片的适当位置添加显著的提示标识;
(四)在视频起始画面和视频播放周边的适当位置添加显著的提示标识,可以在视频末尾和中间适当位置添加显著的提示标识;
(五)呈现虚拟场景时,在起始画面的适当位置添加显著的提示标识,可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识;
(六)其他生成合成服务场景根据自身应用特点添加显著的提示标识。
服务提供者提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识。
第五条 服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定,在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。
鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。
文件元数据是指按照特定编码格式嵌入到文件头部的描述性信息,用于记录文件来源、属性、用途等信息内容。
第六条 提供网络信息内容传播服务的服务提供者应当采取下列措施,规范生成合成内容传播活动:
(一)核验文件元数据中是否含有隐式标识,文件元数据明确标明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,明确提醒公众该内容属于生成合成内容;
(二)文件元数据中未核验到隐式标识,但用户声明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容可能为生成合成内容;
(三)文件元数据中未核验到隐式标识,用户也未声明为生成合成内容,但提供网络信息内容传播服务的服务提供者检测到显式标识或者其他生成合成痕迹的,识别为疑似生成合成内容,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容疑似生成合成内容;
(四)提供必要的标识功能,并提醒用户主动声明发布内容中是否包含生成合成内容。
有前款第一项至第三项情形的,应当在文件元数据中添加生成合成内容属性信息、传播平台名称或者编码、内容编号等传播要素信息。
第七条 互联网应用程序分发平台在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务。互联网应用程序服务提供者提供人工智能生成合成服务的,互联网应用程序分发平台应当核验其生成合成内容标识相关材料。
第八条 服务提供者应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容,并提示用户仔细阅读并理解相关的标识管理要求。
第九条 用户申请服务提供者提供没有添加显式标识的生成合成内容的,服务提供者可以在通过用户协议明确用户的标识义务和使用责任后,提供不含显式标识的生成合成内容,并依法留存提供对象信息等相关日志不少于六个月。
第十条 用户使用网络信息内容传播服务发布生成合成内容的,应当主动声明并使用服务提供者提供的标识功能进行标识。
任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。
第十一条 服务提供者开展标识活动的,还应当符合相关法律、行政法规、部门规章和强制性国家标准的要求。
第十二条 服务提供者在履行算法备案、安全评估等手续时,应当按照本办法提供生成合成内容标识相关材料,并加强标识信息共享,为防范打击相关违法犯罪活动提供支持和帮助。
第十三条 违反本办法规定的,由网信、电信、公安和广播电视等有关主管部门依据职责,按照有关法律、行政法规、部门规章的规定予以处理。
第十四条 本办法自2025年9月1日起施行。
【政策解读】
国家互联网信息办公室有关负责人就《人工智能生成合成内容标识办法》答记者问
2025-03-14 17:12:29 来源:中国网信网
近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《标识办法》),自2025年9月1日起施行。日前,国家互联网信息办公室有关负责人就《标识办法》有关问题回答了记者提问。
一、问:请介绍一下《标识办法》的出台背景?
答:近年来,人工智能技术快速发展,为生成合成文字、图片、音频、视频等信息提供了便利工具,海量信息得以快速生成合成并在网络平台传播,在促进经济社会发展的同时,也产生了生成合成技术滥用、虚假信息传播扩散加剧等问题,引发社会各界的关注关切。经深入开展调研、广泛征求意见、多轮技术论证试点,国家互联网信息办公室联合工业和信息化部、公安部、国家广播电视总局制定了《标识办法》,进一步规范人工智能生成合成内容标识活动。
《标识办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,以合理成本提高安全性,促进人工智能在文本对话、内容制作、辅助设计等各应用场景加快落地,同时减轻人工智能生成合成技术滥用危害,防范利用人工智能技术制作传播虚假信息等风险行为,推动人工智能健康有序发展。
二、问:请问制定《标识办法》的总体思路是什么?
答:一是细化已有规定。《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》中提出了标识有关要求,《标识办法》作为规范性文件,进一步细化标识的具体实施规范。二是解决关键问题。《标识办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。三是统筹发展和安全。考虑人工智能技术发展需要,针对在文本内容中添加隐式标识,在多媒体文件中添加数字水印,仍是技术难点或可能增加企业成本,不作强制要求。为降低平台企业标识成本,提升落地实施的可操作、可执行性,创新提出文本符号标识、音频节奏标识、文件元数据标识等低成本实施的可行方法。四是管理要求与技术标准一体化考虑。为推动《标识办法》落地实施,强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》同步发布,更好地指导相关主体规范开展标识活动。
三、问:《标识办法》适用范围是什么?
答:《标识办法》规定,符合《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》规定情形的网络信息服务提供者开展人工智能生成合成内容标识活动,适用本办法。
同时,《互联网信息服务深度合成管理规定》第二条明确“法律、行政法规另有规定的,依照其规定”,《生成式人工智能服务管理暂行办法》第二条第二款明确“国家对利用生成式人工智能服务从事新闻出版、影视制作、文艺创作等活动另有规定的,从其规定”。《标识办法》同样遵照上述适用条款,开展特定活动对内容标识另有规定的,从其规定。
四、问:请说明一下《标识办法》与强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》的关系?
答:《标识办法》主要从立法层面提出管理要求,明确生成合成内容制作传播各主体的责任义务,为促进人工智能技术创新发展,对具体实施操作不做要求。《网络安全技术 人工智能生成合成内容标识方法》以强制性国家标准形式制定实施,主要提出强制执行部分的标识具体实施方式和操作方法,两者同步推出,于2025年9月1日同步实施,以更好地指导相关主体规范开展标识活动。
五、问:强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》的主要内容?
答:标准支撑《标识办法》,对人工智能生成合成内容服务提供者与网络信息传播服务提供者提出了内容标识方法的具体要求。一是明确人工智能生成合成内容服务提供者对文本、图片、音频、视频、虚拟场景等内容,添加文字、角标、语音、节奏等显式标识的方法,在内容生成合成环节提出了显著提示公众、防范混淆误认的方案。二是明确服务提供者在文件中添加元数据隐式标识的方法,为内容传播服务提供者有效识别生成合成内容提供便捷方案,也为内容传播服务提供者履行向公众提醒提示主体责任提供了依据。三是在元数据隐式标识设置了预留字段,可用于记录标识完整性、内容一致性等安全防护信息,为促进标识技术创新发展和保护标识安全性预留了空间。
六、问:《标识办法》明确了服务提供者哪些具体要求?
答:《标识办法》明确服务提供者应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识,在提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识;应当在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息;应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容,并提示用户仔细阅读并理解相关的标识管理要求。
七、问:《标识办法》明确互联网应用程序分发平台应当采取哪些措施规范人工智能生成合成服务?
答:《标识办法》第七条明确,互联网应用程序分发平台在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务,并核验其生成合成内容标识相关材料。
八、问:如何合规获得没有添加显式标识的生成合成内容?
答:前期,国家互联网信息办公室出台的《互联网信息服务深度合成管理规定》第十七条针对“可能导致公众混淆或者误认的”深度合成服务情形提出显著标识要求。在此基础上,《标识办法》第四条进一步明确了针对文本、音频、图片、视频、虚拟拟真等具体场景的显式标识要求,确保生成合成内容在面向公众时具有满足要求的显式标识。
此外,充分考虑生成合成内容在实际场景中的落地应用,积极回应社会关切和产业需要,《标识办法》第九条提出,在用户主动要求提供未添加显式标识内容时,网站平台在不违反相关法律法规要求前提下,可通过在用户协议中明确责任义务并依法留存相关日志信息后,面向用户予以提供。同时,用户在后续使用过程中,需遵守《标识办法》第十条等相关要求,主动声明生成合成情况并添加显式标识后,方可面向公众发布和传播。
九、问:《标识办法》对规范开展标识行为明确了哪些具体要求?
答:《标识办法》第十条明确任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。
十、问:关于《标识办法》和配套强制性国家标准的正式施行时间的考虑?
答:坚持循序渐进的治理原则,考虑到企业需要时间充分理解相关规定和标准规范,针对性地开展能力建设和功能研发,基于标识技术实施的复杂程度、试点试行的实践经验,设定《标识办法》和配套强制性国家标准6个月左右的施行过渡期。
强化全流程管理 引导技术向善——《人工智能生成合成内容标识办法》解读
2025-03-16 14:54:14 来源:新华网
新华社北京3月16日电 题:强化全流程管理 引导技术向善——《人工智能生成合成内容标识办法》解读
新华社记者王思北
近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》。办法聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。
专家认为,办法是我国推进人工智能领域安全治理、促进产业规范健康发展、引导技术向善的重要举措,标志着我国在生成式人工智能领域迈出了构建安全可信生态的关键一步。
近年来,生成式人工智能、深度合成等新技术快速发展,为生成合成文本、图片、音频、视频等信息提供了便利工具。
“然而,人工智能生成合成内容日益逼真,也催生虚假消息传播、身份信息冒充、恶意内容生成等新型安全风险,并削弱着公众对网络传播内容的信任根基。”中国工程院院士、浙江大学教授陈纯认为,面对人工智能安全治理这一世界性难题,四部门适时出台《人工智能生成合成内容标识办法》,配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》也同时发布,成为保障人工智能时代网络生态安全有序的关键手段。
国家网信办有关负责人表示,办法重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。
——针对服务提供者,办法明确应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识,在提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识;应当在生成合成内容的文件元数据中添加隐式标识。
——针对互联网应用程序分发平台,办法提出在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务,并核验其生成合成内容标识相关材料。
——针对用户,办法要求使用网络信息内容传播服务发布生成合成内容的,应当主动声明并使用服务提供者提供的标识功能进行标识。
此外,任何组织和个人不得恶意删除、篡改、伪造、隐匿办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。
“此前出台的《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》提出了标识有关要求,办法进一步细化了标识的具体实施规范。”北京航空航天大学法学院副教授赵精武认为,办法明确了生成合成内容制作传播各主体的责任义务,用户能够清晰识别人工智能生成的内容,减轻人工智能生成合成技术滥用危害,防范利用生成合成内容传播虚假信息、实施电信诈骗等风险行为。
一方面,清晰的内容标识有助于提升信息透明度,增强用户的知情权和选择权,培养公众对人工智能技术的理性认知。另一方面,对于服务提供者及传播平台而言,内容标识制度既是责任更是机遇,在鼓励企业追求技术能力提升的同时,也将提升对产品社会影响的关注度,推动整个行业向更加规范、健康的方向发展。
良法善治,重在实施。专家认为,办法的落地需要各方协同配合,推动标识工作行稳致远。
公安部第三研究所副所长金波说,伴随标识管理与算法备案、安全评估等机制逐步实现有机衔接,生成合成内容标识合规或将成为相关部门开展人工智能监督检查、专项行动的重点关注领域。在此进程中,如何平衡好发展与安全、创新与责任,提升执法的专业化、精细化、智慧化水平,从而培育出安全、开放、公平的人工智能产业生态环境,还需要深入探究。
“此外,‘人的因素’应融入人工智能标识管理的全过程。”金波说,要着重提升公众对信息内容真实性、来源可追溯性的评估能力,积极培育公众的人工智能素养,确保人工智能技术成果普惠共享。
【新闻链接】
9月1日起 AI生成合成内容必须添加标识
2025-09-01 08:56:28 来源:央视网
国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》,9月1日起正式施行,“标识办法”明确所有AI生成的文字、图片、视频等内容都要“亮明身份”。
截至目前,我国已有490余款大模型在国家网信办完成备案,240余款大模型在省级网信办完成登记,我国生成式人工智能产品的用户规模已达2.3亿人。“标识办法”明确,人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。人工智能生成合成内容标识包括显式标识和隐式标识。平台在服务提供者的内容上架或上线时要进行审核,核验生成合成内容标识,对未标识或疑似生成内容要添加风险提示,从而在传播端阻断虚假信息扩散。
“标识办法”与《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法规充分衔接。服务提供者在履行算法备案、安全评估等手续时,相关材料可能涉及标识的技术细节,如水印算法、元数据格式、服务商编码等,这些信息能够帮助执法部门在发现违法内容时快速识别内容来源,追踪到服务提供者或者用户。
【延伸阅读】
国家互联网信息办公室 中华人民共和国工业和信息化部
中华人民共和国公安部 国家市场监督管理总局
令
第9号
《互联网信息服务算法推荐管理规定》已经2021年11月16日国家互联网信息办公室2021年第20次室务会议审议通过,并经工业和信息化部、公安部、国家市场监督管理总局同意,现予公布,自2022年3月1日起施行。
国家互联网信息办公室主任 庄荣文
工业和信息化部部长 肖亚庆
公安部部长 赵克志
国家市场监督管理总局局长 张 工
2021年12月31日
互联网信息服务算法推荐管理规定
第一章 总 则
第一条 为了规范互联网信息服务算法推荐活动,弘扬社会主义核心价值观,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,促进互联网信息服务健康有序发展,根据《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《互联网信息服务管理办法》等法律、行政法规,制定本规定。
第二条 在中华人民共和国境内应用算法推荐技术提供互联网信息服务(以下简称算法推荐服务),适用本规定。法律、行政法规另有规定的,依照其规定。
前款所称应用算法推荐技术,是指利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。
第三条 国家网信部门负责统筹协调全国算法推荐服务治理和相关监督管理工作。国务院电信、公安、市场监管等有关部门依据各自职责负责算法推荐服务监督管理工作。
地方网信部门负责统筹协调本行政区域内的算法推荐服务治理和相关监督管理工作。地方电信、公安、市场监管等有关部门依据各自职责负责本行政区域内的算法推荐服务监督管理工作。
第四条 提供算法推荐服务,应当遵守法律法规,尊重社会公德和伦理,遵守商业道德和职业道德,遵循公正公平、公开透明、科学合理和诚实信用的原则。
第五条 鼓励相关行业组织加强行业自律,建立健全行业标准、行业准则和自律管理制度,督促指导算法推荐服务提供者制定完善服务规范、依法提供服务并接受社会监督。
第二章 信息服务规范
第六条 算法推荐服务提供者应当坚持主流价值导向,优化算法推荐服务机制,积极传播正能量,促进算法应用向上向善。
算法推荐服务提供者不得利用算法推荐服务从事危害国家安全和社会公共利益、扰乱经济秩序和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动,不得利用算法推荐服务传播法律、行政法规禁止的信息,应当采取措施防范和抵制传播不良信息。
第七条 算法推荐服务提供者应当落实算法安全主体责任,建立健全算法机制机理审核、科技伦理审查、用户注册、信息发布审核、数据安全和个人信息保护、反电信网络诈骗、安全评估监测、安全事件应急处置等管理制度和技术措施,制定并公开算法推荐服务相关规则,配备与算法推荐服务规模相适应的专业人员和技术支撑。
第八条 算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等,不得设置诱导用户沉迷、过度消费等违反法律法规或者违背伦理道德的算法模型。
第九条 算法推荐服务提供者应当加强信息安全管理,建立健全用于识别违法和不良信息的特征库,完善入库标准、规则和程序。发现未作显著标识的算法生成合成信息的,应当作出显著标识后,方可继续传输。
发现违法信息的,应当立即停止传输,采取消除等处置措施,防止信息扩散,保存有关记录,并向网信部门和有关部门报告。发现不良信息的,应当按照网络信息内容生态治理有关规定予以处置。
第十条 算法推荐服务提供者应当加强用户模型和用户标签管理,完善记入用户模型的兴趣点规则和用户标签管理规则,不得将违法和不良信息关键词记入用户兴趣点或者作为用户标签并据以推送信息。
第十一条 算法推荐服务提供者应当加强算法推荐服务版面页面生态管理,建立完善人工干预和用户自主选择机制,在首页首屏、热搜、精选、榜单类、弹窗等重点环节积极呈现符合主流价值导向的信息。
第十二条 鼓励算法推荐服务提供者综合运用内容去重、打散干预等策略,并优化检索、排序、选择、推送、展示等规则的透明度和可解释性,避免对用户产生不良影响,预防和减少争议纠纷。
第十三条 算法推荐服务提供者提供互联网新闻信息服务的,应当依法取得互联网新闻信息服务许可,规范开展互联网新闻信息采编发布服务、转载服务和传播平台服务,不得生成合成虚假新闻信息,不得传播非国家规定范围内的单位发布的新闻信息。
第十四条 算法推荐服务提供者不得利用算法虚假注册账号、非法交易账号、操纵用户账号或者虚假点赞、评论、转发,不得利用算法屏蔽信息、过度推荐、操纵榜单或者检索结果排序、控制热搜或者精选等干预信息呈现,实施影响网络舆论或者规避监督管理行为。
第十五条 算法推荐服务提供者不得利用算法对其他互联网信息服务提供者进行不合理限制,或者妨碍、破坏其合法提供的互联网信息服务正常运行,实施垄断和不正当竞争行为。
第三章 用户权益保护
第十六条 算法推荐服务提供者应当以显著方式告知用户其提供算法推荐服务的情况,并以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等。
第十七条 算法推荐服务提供者应当向用户提供不针对其个人特征的选项,或者向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭算法推荐服务的,算法推荐服务提供者应当立即停止提供相关服务。
算法推荐服务提供者应当向用户提供选择或者删除用于算法推荐服务的针对其个人特征的用户标签的功能。
算法推荐服务提供者应用算法对用户权益造成重大影响的,应当依法予以说明并承担相应责任。
第十八条 算法推荐服务提供者向未成年人提供服务的,应当依法履行未成年人网络保护义务,并通过开发适合未成年人使用的模式、提供适合未成年人特点的服务等方式,便利未成年人获取有益身心健康的信息。
算法推荐服务提供者不得向未成年人推送可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好等可能影响未成年人身心健康的信息,不得利用算法推荐服务诱导未成年人沉迷网络。
第十九条 算法推荐服务提供者向老年人提供服务的,应当保障老年人依法享有的权益,充分考虑老年人出行、就医、消费、办事等需求,按照国家有关规定提供智能化适老服务,依法开展涉电信网络诈骗信息的监测、识别和处置,便利老年人安全使用算法推荐服务。
第二十条 算法推荐服务提供者向劳动者提供工作调度服务的,应当保护劳动者取得劳动报酬、休息休假等合法权益,建立完善平台订单分配、报酬构成及支付、工作时间、奖惩等相关算法。
第二十一条 算法推荐服务提供者向消费者销售商品或者提供服务的,应当保护消费者公平交易的权利,不得根据消费者的偏好、交易习惯等特征,利用算法在交易价格等交易条件上实施不合理的差别待遇等违法行为。
第二十二条 算法推荐服务提供者应当设置便捷有效的用户申诉和公众投诉、举报入口,明确处理流程和反馈时限,及时受理、处理并反馈处理结果。
第四章 监督管理
第二十三条 网信部门会同电信、公安、市场监管等有关部门建立算法分级分类安全管理制度,根据算法推荐服务的舆论属性或者社会动员能力、内容类别、用户规模、算法推荐技术处理的数据重要程度、对用户行为的干预程度等对算法推荐服务提供者实施分级分类管理。
第二十四条 具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息,履行备案手续。
算法推荐服务提供者的备案信息发生变更的,应当在变更之日起十个工作日内办理变更手续。
算法推荐服务提供者终止服务的,应当在终止服务之日起二十个工作日内办理注销备案手续,并作出妥善安排。
第二十五条 国家和省、自治区、直辖市网信部门收到备案人提交的备案材料后,材料齐全的,应当在三十个工作日内予以备案,发放备案编号并进行公示;材料不齐全的,不予备案,并应当在三十个工作日内通知备案人并说明理由。
第二十六条 完成备案的算法推荐服务提供者应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。
第二十七条 具有舆论属性或者社会动员能力的算法推荐服务提供者应当按照国家有关规定开展安全评估。
第二十八条 网信部门会同电信、公安、市场监管等有关部门对算法推荐服务依法开展安全评估和监督检查工作,对发现的问题及时提出整改意见并限期整改。
算法推荐服务提供者应当依法留存网络日志,配合网信部门和电信、公安、市场监管等有关部门开展安全评估和监督检查工作,并提供必要的技术、数据等支持和协助。
第二十九条 参与算法推荐服务安全评估和监督检查的相关机构和人员对在履行职责中知悉的个人隐私、个人信息和商业秘密应当依法予以保密,不得泄露或者非法向他人提供。
第三十条 任何组织和个人发现违反本规定行为的,可以向网信部门和有关部门投诉、举报。收到投诉、举报的部门应当及时依法处理。
第五章 法律责任
第三十一条 算法推荐服务提供者违反本规定第七条、第八条、第九条第一款、第十条、第十四条、第十六条、第十七条、第二十二条、第二十四条、第二十六条规定,法律、行政法规有规定的,依照其规定;法律、行政法规没有规定的,由网信部门和电信、公安、市场监管等有关部门依据职责给予警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停信息更新,并处一万元以上十万元以下罚款。构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任。
第三十二条 算法推荐服务提供者违反本规定第六条、第九条第二款、第十一条、第十三条、第十五条、第十八条、第十九条、第二十条、第二十一条、第二十七条、第二十八条第二款规定的,由网信部门和电信、公安、市场监管等有关部门依据职责,按照有关法律、行政法规和部门规章的规定予以处理。
第三十三条 具有舆论属性或者社会动员能力的算法推荐服务提供者通过隐瞒有关情况、提供虚假材料等不正当手段取得备案的,由国家和省、自治区、直辖市网信部门予以撤销备案,给予警告、通报批评;情节严重的,责令暂停信息更新,并处一万元以上十万元以下罚款。
具有舆论属性或者社会动员能力的算法推荐服务提供者终止服务未按照本规定第二十四条第三款要求办理注销备案手续,或者发生严重违法情形受到责令关闭网站、吊销相关业务许可证或者吊销营业执照等行政处罚的,由国家和省、自治区、直辖市网信部门予以注销备案。
第六章 附 则
第三十四条 本规定由国家互联网信息办公室会同工业和信息化部、公安部、国家市场监督管理总局负责解释。
第三十五条 本规定自2022年3月1日起施行。
国家互联网信息办公室 中华人民共和国工业和信息化部 中华人民共和国公安部
令
第12号
《互联网信息服务深度合成管理规定》已经2022年11月3日国家互联网信息办公室2022年第21次室务会议审议通过,并经工业和信息化部、公安部同意,现予公布,自2023年1月10日起施行。
国家互联网信息办公室主任 庄荣文
工业和信息化部部长 金壮龙
公安部部长 王小洪
2022年11月25日
互联网信息服务深度合成管理规定
第一章 总则
第一条 为了加强互联网信息服务深度合成管理,弘扬社会主义核心价值观,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,根据《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《互联网信息服务管理办法》等法律、行政法规,制定本规定。
第二条 在中华人民共和国境内应用深度合成技术提供互联网信息服务(以下简称深度合成服务),适用本规定。法律、行政法规另有规定的,依照其规定。
第三条 国家网信部门负责统筹协调全国深度合成服务的治理和相关监督管理工作。国务院电信主管部门、公安部门依据各自职责负责深度合成服务的监督管理工作。
地方网信部门负责统筹协调本行政区域内的深度合成服务的治理和相关监督管理工作。地方电信主管部门、公安部门依据各自职责负责本行政区域内的深度合成服务的监督管理工作。
第四条 提供深度合成服务,应当遵守法律法规,尊重社会公德和伦理道德,坚持正确政治方向、舆论导向、价值取向,促进深度合成服务向上向善。
第五条 鼓励相关行业组织加强行业自律,建立健全行业标准、行业准则和自律管理制度,督促指导深度合成服务提供者和技术支持者制定完善业务规范、依法开展业务和接受社会监督。
第二章 一般规定
第六条 任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息,不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。
深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息。转载基于深度合成服务制作发布的新闻信息的,应当依法转载互联网新闻信息稿源单位发布的新闻信息。
第七条 深度合成服务提供者应当落实信息安全主体责任,建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度,具有安全可控的技术保障措施。
第八条 深度合成服务提供者应当制定和公开管理规则、平台公约,完善服务协议,依法依约履行管理责任,以显著方式提示深度合成服务技术支持者和使用者承担信息安全义务。
第九条 深度合成服务提供者应当基于移动电话号码、身份证件号码、统一社会信用代码或者国家网络身份认证公共服务等方式,依法对深度合成服务使用者进行真实身份信息认证,不得向未进行真实身份信息认证的深度合成服务使用者提供信息发布服务。
第十条 深度合成服务提供者应当加强深度合成内容管理,采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。
深度合成服务提供者应当建立健全用于识别违法和不良信息的特征库,完善入库标准、规则和程序,记录并留存相关网络日志。
深度合成服务提供者发现违法和不良信息的,应当依法采取处置措施,保存有关记录,及时向网信部门和有关主管部门报告;对相关深度合成服务使用者依法依约采取警示、限制功能、暂停服务、关闭账号等处置措施。
第十一条 深度合成服务提供者应当建立健全辟谣机制,发现利用深度合成服务制作、复制、发布、传播虚假信息的,应当及时采取辟谣措施,保存有关记录,并向网信部门和有关主管部门报告。
第十二条 深度合成服务提供者应当设置便捷的用户申诉和公众投诉、举报入口,公布处理流程和反馈时限,及时受理、处理和反馈处理结果。
第十三条 互联网应用商店等应用程序分发平台应当落实上架审核、日常管理、应急处置等安全管理责任,核验深度合成类应用程序的安全评估、备案等情况;对违反国家有关规定的,应当及时采取不予上架、警示、暂停服务或者下架等处置措施。
第三章 数据和技术管理规范
第十四条 深度合成服务提供者和技术支持者应当加强训练数据管理,采取必要措施保障训练数据安全;训练数据包含个人信息的,应当遵守个人信息保护的有关规定。
深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的,应当提示深度合成服务使用者依法告知被编辑的个人,并取得其单独同意。
第十五条 深度合成服务提供者和技术支持者应当加强技术管理,定期审核、评估、验证生成合成类算法机制机理。
深度合成服务提供者和技术支持者提供具有以下功能的模型、模板等工具的,应当依法自行或者委托专业机构开展安全评估:
(一)生成或者编辑人脸、人声等生物识别信息的;
(二)生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。
第十六条 深度合成服务提供者对使用其服务生成或者编辑的信息内容,应当采取技术措施添加不影响用户使用的标识,并依照法律、行政法规和国家有关规定保存日志信息。
第十七条 深度合成服务提供者提供以下深度合成服务,可能导致公众混淆或者误认的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识,向公众提示深度合成情况:
(一)智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务;
(二)合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务;
(三)人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务;
(四)沉浸式拟真场景等生成或者编辑服务;
(五)其他具有生成或者显著改变信息内容功能的服务。
深度合成服务提供者提供前款规定之外的深度合成服务的,应当提供显著标识功能,并提示深度合成服务使用者可以进行显著标识。
第十八条 任何组织和个人不得采用技术手段删除、篡改、隐匿本规定第十六条和第十七条规定的深度合成标识。
第四章 监督检查与法律责任
第十九条 具有舆论属性或者社会动员能力的深度合成服务提供者,应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。
深度合成服务技术支持者应当参照前款规定履行备案和变更、注销备案手续。
完成备案的深度合成服务提供者和技术支持者应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。
第二十条 深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的,应当按照国家有关规定开展安全评估。
第二十一条 网信部门和电信主管部门、公安部门依据职责对深度合成服务开展监督检查。深度合成服务提供者和技术支持者应当依法予以配合,并提供必要的技术、数据等支持和协助。
网信部门和有关主管部门发现深度合成服务存在较大信息安全风险的,可以按照职责依法要求深度合成服务提供者和技术支持者采取暂停信息更新、用户账号注册或者其他相关服务等措施。深度合成服务提供者和技术支持者应当按照要求采取措施,进行整改,消除隐患。
第二十二条 深度合成服务提供者和技术支持者违反本规定的,依照有关法律、行政法规的规定处罚;造成严重后果的,依法从重处罚。
构成违反治安管理行为的,由公安机关依法给予治安管理处罚;构成犯罪的,依法追究刑事责任。
第五章 附则
第二十三条 本规定中下列用语的含义:
深度合成技术,是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术,包括但不限于:
(一)篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术;
(二)文本转语音、语音转换、语音属性编辑等生成或者编辑语音内容的技术;
(三)音乐生成、场景声编辑等生成或者编辑非语音内容的技术;
(四)人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术;
(五)图像生成、图像增强、图像修复等生成或者编辑图像、视频内容中非生物特征的技术;
(六)三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术。
深度合成服务提供者,是指提供深度合成服务的组织、个人。
深度合成服务技术支持者,是指为深度合成服务提供技术支持的组织、个人。
深度合成服务使用者,是指使用深度合成服务制作、复制、发布、传播信息的组织、个人。
训练数据,是指被用于训练机器学习模型的标注或者基准数据集。
沉浸式拟真场景,是指应用深度合成技术生成或者编辑的、可供参与者体验或者互动的、具有高度真实感的虚拟场景。
第二十四条 深度合成服务提供者和技术支持者从事网络出版服务、网络文化活动和网络视听节目服务的,应当同时符合新闻出版、文化和旅游、广播电视主管部门的规定。
第二十五条 本规定自2023年1月10日起施行。
国家互联网信息办公室 中华人民共和国国家发展和改革委员会 中华人民共和国教育部
中华人民共和国科学技术部 中华人民共和国工业和信息化部 中华人民共和国公安部 国家广播电视总局
令
第15号
《生成式人工智能服务管理暂行办法》已经2023年5月23日国家互联网信息办公室2023年第12次室务会会议审议通过,并经国家发展和改革委员会、教育部、科学技术部、工业和信息化部、公安部、国家广播电视总局同意,现予公布,自2023年8月15日起施行。
国家互联网信息办公室主任 庄荣文
国家发展和改革委员会主任 郑栅洁
教育部部长 怀进鹏
科学技术部部长 王志刚
工业和信息化部部长 金壮龙
公安部部长 王小洪
国家广播电视总局局长 曹淑敏
2023年7月10日
生成式人工智能服务管理暂行办法
第一章 总 则
第一条 为了促进生成式人工智能健康发展和规范应用,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,根据《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《中华人民共和国科学技术进步法》等法律、行政法规,制定本办法。
第二条 利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务(以下称生成式人工智能服务),适用本办法。
国家对利用生成式人工智能服务从事新闻出版、影视制作、文艺创作等活动另有规定的,从其规定。
行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等研发、应用生成式人工智能技术,未向境内公众提供生成式人工智能服务的,不适用本办法的规定。
第三条 国家坚持发展和安全并重、促进创新和依法治理相结合的原则,采取有效措施鼓励生成式人工智能创新发展,对生成式人工智能服务实行包容审慎和分类分级监管。
第四条 提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,遵守以下规定:
(一)坚持社会主义核心价值观,不得生成煽动颠覆国家政权、推翻社会主义制度,危害国家安全和利益、损害国家形象,煽动分裂国家、破坏国家统一和社会稳定,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情,以及虚假有害信息等法律、行政法规禁止的内容;
(二)在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视;
(三)尊重知识产权、商业道德,保守商业秘密,不得利用算法、数据、平台等优势,实施垄断和不正当竞争行为;
(四)尊重他人合法权益,不得危害他人身心健康,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益;
(五)基于服务类型特点,采取有效措施,提升生成式人工智能服务的透明度,提高生成内容的准确性和可靠性。
第二章 技术发展与治理
第五条 鼓励生成式人工智能技术在各行业、各领域的创新应用,生成积极健康、向上向善的优质内容,探索优化应用场景,构建应用生态体系。
支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。
第六条 鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新,平等互利开展国际交流与合作,参与生成式人工智能相关国际规则制定。
推动生成式人工智能基础设施和公共训练数据资源平台建设。促进算力资源协同共享,提升算力资源利用效能。推动公共数据分类分级有序开放,扩展高质量的公共训练数据资源。鼓励采用安全可信的芯片、软件、工具、算力和数据资源。
第七条 生成式人工智能服务提供者(以下称提供者)应当依法开展预训练、优化训练等训练数据处理活动,遵守以下规定:
(一)使用具有合法来源的数据和基础模型;
(二)涉及知识产权的,不得侵害他人依法享有的知识产权;
(三)涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形;
(四)采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性;
(五)《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。
第八条 在生成式人工智能技术研发过程中进行数据标注的,提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则;开展数据标注质量评估,抽样核验标注内容的准确性;对标注人员进行必要培训,提升尊法守法意识,监督指导标注人员规范开展标注工作。
第三章 服务规范
第九条 提供者应当依法承担网络信息内容生产者责任,履行网络信息安全义务。涉及个人信息的,依法承担个人信息处理者责任,履行个人信息保护义务。
提供者应当与注册其服务的生成式人工智能服务使用者(以下称使用者)签订服务协议,明确双方权利义务。
第十条 提供者应当明确并公开其服务的适用人群、场合、用途,指导使用者科学理性认识和依法使用生成式人工智能技术,采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。
第十一条 提供者对使用者的输入信息和使用记录应当依法履行保护义务,不得收集非必要个人信息,不得非法留存能够识别使用者身份的输入信息和使用记录,不得非法向他人提供使用者的输入信息和使用记录。
提供者应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求。
第十二条 提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。
第十三条 提供者应当在其服务过程中,提供安全、稳定、持续的服务,保障用户正常使用。
第十四条 提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,采取模型优化训练等措施进行整改,并向有关主管部门报告。
提供者发现使用者利用生成式人工智能服务从事违法活动的,应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施,保存有关记录,并向有关主管部门报告。
第十五条 提供者应当建立健全投诉、举报机制,设置便捷的投诉、举报入口,公布处理流程和反馈时限,及时受理、处理公众投诉举报并反馈处理结果。
第四章 监督检查和法律责任
第十六条 网信、发展改革、教育、科技、工业和信息化、公安、广播电视、新闻出版等部门,依据各自职责依法加强对生成式人工智能服务的管理。
国家有关主管部门针对生成式人工智能技术特点及其在有关行业和领域的服务应用,完善与创新发展相适应的科学监管方式,制定相应的分类分级监管规则或者指引。
第十七条 提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。
第十八条 使用者发现生成式人工智能服务不符合法律、行政法规和本办法规定的,有权向有关主管部门投诉、举报。
第十九条 有关主管部门依据职责对生成式人工智能服务开展监督检查,提供者应当依法予以配合,按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明,并提供必要的技术、数据等支持和协助。
参与生成式人工智能服务安全评估和监督检查的相关机构和人员对在履行职责中知悉的国家秘密、商业秘密、个人隐私和个人信息应当依法予以保密,不得泄露或者非法向他人提供。
第二十条 对来源于中华人民共和国境外向境内提供生成式人工智能服务不符合法律、行政法规和本办法规定的,国家网信部门应当通知有关机构采取技术措施和其他必要措施予以处置。
第二十一条 提供者违反本办法规定的,由有关主管部门依照《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《中华人民共和国科学技术进步法》等法律、行政法规的规定予以处罚;法律、行政法规没有规定的,由有关主管部门依据职责予以警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停提供相关服务。
构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任。
第五章 附 则
第二十二条 本办法下列用语的含义是:
(一)生成式人工智能技术,是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。
(二)生成式人工智能服务提供者,是指利用生成式人工智能技术提供生成式人工智能服务(包括通过提供可编程接口等方式提供生成式人工智能服务)的组织、个人。
(三)生成式人工智能服务使用者,是指使用生成式人工智能服务生成内容的组织、个人。
第二十三条 法律、行政法规规定提供生成式人工智能服务应当取得相关行政许可的,提供者应当依法取得许可。
外商投资生成式人工智能服务,应当符合外商投资相关法律、行政法规的规定。
第二十四条 本办法自2023年8月15日起施行。