互联网信息内容安全审核能力通用要求.docx

ICS： xx.xxx.xx 备案号：DB31H海市地方标准DB31TXXXxxxx互联网信息内容安全审核能力通用要求（草案）GeneralrequirementsforinternetinformationcontentsecuritycensorcapabilitiesXXXX-XX-XX 实施XXXX-XX-XX发布上海市市场监督管理局发布前言21范围32规范性引用标准33术语和定义33.1互联网信息服务internetinformationservice33.2信息源informationsource33.3互联网信息服务用户internetinformationserviceuser33.4互联网信息服务提供者internetinformationserviceprovider33.5深度合成技术deepsynthesistechnology34概述35技术安全检测要求55.1 技术检测能力覆盖范围55.2 技术检测功能完整性55.3 技术检测效果指标65.4 违法不良信息分类和样本库66安全审核管理要求71.1 1组织机构71.2 2管理制度71.3 信息内容审核管理71.4 监测预警与处置机制81.5 信息源及用户分级分类8附录A10附录B13参考文献14本标准由上海市信息安全标准化技术委员会提出并归口。本标准起草单位：上海市信息安全测评认证中心、中国科学院信息工程研究所、上海东方报业有限公司、支付宝（中国）网络技术有限公司、上海携程商务有限公司、上海幻想七猫数字技术有限公司、上海盒马网络科技有限公司、上海宽娱数码科技有限公司、东方财富信息股份有限公司、上海任意门科技有限公司、公安部第三研究所、上海喜马拉雅科技有限公司、上海商汤智能科技有限公司、上海观察者信息技术有限公司、上海信博特智能科技有限公司、上海米哈游网络科技股份有限公司。本标准主要起草人：本标准为首次发布。互联网信息内容安全审核能力通用要求1范围本标准规定了互联网信息内容安全审核能力的通用要求，包括信息内容技术安全检测要求和信息内容安全审核管理要求。本标准适用于互联网信息服务提供者开展平台内文本、图片、音频、视频等的内容管理，包括采取技术检测和人工审核等措施。2规范性引用标准下列标准中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用标准，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准,然而,鼓励根据本标准达成协议的各方研究是否可使用这些标准的最新版本。凡是不注日期的引用标准，其最新版本适用于木标准。GB/T40645-2021互联网信息服务安全通用要求3术语和定义GB/T406452021确定的及下列术语和定义适用于本标准。3.1互联网信息服务internetinformationservice基于信息发布、交互、传播等相关技术和功能属性，通过互联网面向社会公众提供的信息服务。注:互联网信息服务常见形式包括内容发布、评论评价、信息分享、推荐推送、内容搜索、通信群组、网络直播等。3.2信息源informationsource互联网信息服务中生成信息的个人或组织。3.3互联网信息服务用户internetinformationserviceuser使用互联网信息服务的个人或组织。3.4互联网信息服务提供者internetinformationserviceprovider为用户提供互联网信息服务的组织或机构。3.5深度合成技术deepsynthesistechnology是指利用深度学习、虚拟现实等生成合成类算法制作文本、图片、音频、视频、虚拟场景等网络信息的技术。4概述本标准从信息内容技术安全检测要求、信息内容安全审核管理要求两个方面，系统地阐述了信息内容安全审核能力的通用要求。技术检测方面，从技术检测能力覆盖范围、技术检测功能完整性、技术检测效果指标、违法和不良信息分类四个维度，提出互联网信息内容技术安全检测要求。审核管理方面，从组织机构、管理制度、信息内容审核管理、监测预警与处置机制、信息源及用户分级分类五个方面，提出互联网信息内容安全审核管理要求。本标准采用类、族、组件的层次化结构定义方法，提出互联网信息服务的信息内容安全审核能力要求。内容安全审核能力要求各类、族、组件对应关系见表1。表1信息内容安全审核能力要求的类、族、组件类族组件技术安全检测要求技术检测能力覆盖范围文本审核图片审核音频审核视频审核技术检测功能完整性辅助审核日志管理账号管理技术检测效果指标文本识别图片识别音频识别视频识别违法和不良信息分类和样本库信息样本库违法和不良信息分类安全审核管理要求组织机构安全管理机构安全管理人员管理制度审核人员管理培训考核制度信息内容审核管理审核标准审核程序审核人员风险提示多轮审核审核时效处置时效监测预警与处置机制监测机制应急处置机制投诉举报处理机制信息源及用户分级分类信息源分级分类用户分级分类违规内容处置时效为满足不同开放程度、交互能力、影响力的互联网信息服务的差异化安全要求,本标准在组件中定义了基本要求和增强要求。互联网信息服务提供者应对拟提供的互联网信息服务所属产品形态、业务范围和用户规模等属性进行分析,选择相应的安全要求开展安全建设和评估活动。互联网信息服务所属的产品形态、业务范围和用户规模等属性与安全等级之间的对应关系应按照附录A要求。本标准提出了互联网信息服务安全通用要求组件包定制示例（见附录B）,互联网信息服务提供者根据附录A确定产品和信息服务应满足的安全要求级别,可参考附录B分析产品涵盖的互联网信息服务形式,如内容发布、评论评价等,并通过组合组件的方式,定制相应的安全要求组件包,确定产品安全要求,开展安全建设和管理。在本标准中,加黑部分表示可满足的增强要求。5技术安全检测要求5.1 技术检测能力覆盖范围5.1.1 文本审核a）支持各类文本信息的检测，包括互联网信息内容生态治理规定第六条定义的违法信息和第七条定义的不良信息等；b）支持对汉语、英语等常用语言的检测；支持对非常用语言的检测；c）支持经过变形的文本检测，如：插入特殊符号、使用拼音替换、使用同音字替换、使用表情符号替换、藏头诗等；d）支持对语义相似文本的检测；e）支持对规范性表述中错误的检测；f）支持对使用深度合成技术制作的文本进行检测。5.1.2 图片审核a）支持检测各类违法和不良图片，包括含有互联网信息内容生态治理规定第六条定义的违法信息和第七条定义的不良信息的图片等；b）支持对图片中文字的检测；c）支持对图片中人脸的检测；d）支持对变种图片的检测，变种方式包括：裁剪、变形、翻转、添加噪声等；e）支持对使用深度合成技术制作的图片进行检测。5.1.3 音频审核a）支持检测各类违法和不良音频，包括含有互联网信息内容生态治理规定第六条定义的违法信息和第七条定义的不良信息的音频等；b）支持多种语音识别，包括：中文普通话语音、英文语音、含少量地域的中文语音等；c）支持其他关键内容的识别，包括：音乐类或包含背景音乐音频、具备深度合成技术的音频类信息等“5.1.4 视频审核a）支持检测各类违法和不良视频，包括含有互联网信息内容生态治理规定第六条定义的违法信息和第七条定义的不良信息的视频等：b）支持对视频中的文字进行识别；c）支持对视频中的人脸进行识别；d）支持对使用深度合成技术制作的视频进行检测。5.2 技术检测功能完整性5.2.1辅助审核a）具备机器审核完成后，可由审核人员进行复审、抽审的能力；b）支持对用户昵称、用户id、文本关键词等进行检索。a）支持对互联网信息服务用户的操作行为进行日志记录。5.2.3账号管理a）支持对内容数据发布者的用户账号进行查询、封禁、加入黑白名单等操作。5.3技术检测效果指标本标准所称召回率、精确率、准确率的计算公式如下:召回率（recall）=违法不良样本判断正确的数量违法不良样本的数量精确率(precision)违法不良样本判断正确的数量判断为违法不良的样本数量准确率(accuracy)所有判断正确的样本数量所有样本数量5.3.1文本识别a）对互联网信息内容生态治理规定第六条定义的违法信息和第七条定义的不良信息等文本信息识别能力召回率不低于85船精确率不低于80%；b）文本语义相似识别能力召回率不低于85%,精确率不低于80%5.3.2图片识别a）对同源图片、变形图片（较小分辨率改变、较小马赛克、添加少量文字和标识或小于15%裁剪）等应具备相似识别能力，召回率不低于90%,精确率不低于85%；b）对正规版面、背景简单、常见字体等图片简体中文、英文字符的识别能力，准确率不低于95%；c）对不同表情、背景的正面清晰人脸的识别能力，召回率不低于90%,精确率不低于90%。5.3.3音频识别a）对音频编码变化、采样频率变化、原生录音等变形音频的相似识别能力，召回率不低于90%,精确率不低于80%；b）对发音标准、清晰或少量噪声的中文普通话语音的字符识别能力，准确率不低于85%；c）对语音清晰、少量背景噪声的单人语音声纹识别能力，召回率不低于80%,精确率不低于70%。5.3.4视频识别a）对少量改变视频分辨率、添加少量水印文字和标识等噪声或小于15%视频剪辑等变形视频的相似识别能力，召回率不低于85乐精确率不低于80%；b）对正规版面、背景简单、常见字体等视频简体中文、英文字符的识别能力，准确率不低于95%；c）对不同表情、背景的正面清晰人脸的识别能力，召回率不低于90%,精确率不低于90%。5.4违法不良信息分类和样本库5. 4.1样本数据库a）依据互联网信息内容生态治理规定建设并维护与业务规模相适应样本数据库，包括但不限于文本、图片、音频、视频等形式；b）明确样本数据库的来源以及更新周期；6. 4.2违法和不良信息分类a）违法和不良信息一般按照安全风险、信息特征等方面进行分类；b）违法和不良信息一级分类至少包括“违反法律法规”、“影响网络生态健康”两个方面，具体可参考附录A的表A.4。6安全审核管理要求6.1 组织机构6.1.1 安全管理机构a）互联网信息服务提供者应设立专职安全管理机构，指导信息内容安全审核工作，组织开展信息内容安全审核监督工作；b）由最高管理者担任安全管理机构负责人。6.1.2 安全管理人员a）指定至少1名主管负责组织开展相关信息内容审核工作，机构应为信息内容审核工作提供必要的资源保障；b）配备与业务规模相适应数量的专职信息内容审核人员；c）配备与安全事件影响程度相匹配数量的应急处置人员；d）专职信息内容审核、安全事件应急处置人员的数量与业务规模相比，具有一定冗余。6.2 管理制度7. 2.1审核人员管理a）互联网信息服务提供者应加强信息内容审核人员管理，制定从业人员管理制度；b）互联网信息服务提供者应与信息内容审核人员签订保密协议，提出相关离职要求等。8. 2.2培训考核制度a）对参与信息内容安全审核的相关人员建立培训制度，制定年度培训计划，组织实施培训与考核，教育培训信息内容应包括信息安全相关法律法规、政策措施、技术标准等；b）信息内容审核的从业人员每年参加至少1次教育培训；c）对从业人员进行资质审查、定期培训与定期考核；d）根据不同审核人员情况，开展差异化培训和考核，针对性提高信息内容审核人员综合索质。6.3信息内容审核管理6. 3.1审核标准a）互联网信息服务提供者应制定信息内容审核标准化手册；b）信息内容审核手册应包括手册的修订版本、启动版本修订的条件等。7. 3.2审核程序a）具备信息内容审核程序；b）明确审核策略，包括：重要信息是否分级审核、审核覆盖形式（文字、图片、音频、视频）、审核覆盖语种（汉语、英语、小语种）及审核方式（机器抽审、机器全审、人工抽审、人工全审）；c）针对推荐信息、热榜话题信息、紧急特殊类信息应建立发布审核程序。8. 3.3审核人员a）互联网信息服务提供者应配备与业务规模相适应的审核人员；b）人员需分配后台审核、前台巡查及技术保障等岗位。9. 3.4风险提示a）支持对技术检测命中的信息内容进行明确风险提示以辅助人工审核；b）支持对技术检测命中的信息内容进行风险数值量化判定，并对风险值较高的信息内容优先审核。10. 3.5多轮审核a）互联网信息服务提供者应建立针对重点内容的多轮审核程序，对重点内容技术检测命中的进行二轮审核；b）必要时，对重点内容技术检测命中的进行三轮审核。11. 3.6审核时效a）技术检测命中的信息内容应该在30分钟内由审核人员处置完毕；b）有条件的，技术检测命中的信息内容缩短至20分钟内处置完毕。6. 3.7处置时效a）审核人员通过前台巡查、投诉举报等途径发现的违法和不良信息应在5分钟内处置完毕；b）有条件的，违法和不良信息处置时间缩短至2分钟。6.4监测预警与处置机制6.4.1监测机制a）需具备信息内容监测预警机制，对存在安全风险的信息内容及时预警；b）应明确监测预警人员名单、联系方式、具体分工、与业务规模的匹配性等。6.4.2应急处置机制a）应明确安全事件分级制度；b）应配备处置安全事件的人员；c）应明确安全事件处置方式和时效等。6. 4.3投诉举报处理机制a）应配备明显易使用的投诉举报渠道；b）应明确各类投诉举报的受理时间；c）应配备投诉举报的受理人员。6.5信息源及用户分级分类a）互联网信息服务提供者应明确信息源分类分级管理规定；b）应从信息源可信度、信息内容质量等方面制定相关分级分类标准。6.5.2用户分级分类c）互联网信息服务提供者应明确平台的用户分级分类方法；d）应从发文量、关注量、活跃度等方面对用户进行分类；e）应从诚信度、真实性、原创性、用户安全风险、历史记录等方面对用户进行评价；f）对不同类别的用户，从获取、使用、传播信息等方面进行权限设置。附录A（规范性）互联网信息服务安全等级划分互联网信息内容安全审核能力通用要求使用GB/T40645-2021的安全级别要求，分别是基本级和增强级。通过互联网信息服务所属企业规模、业务范围、用户规模等要素确定其应满足的安全级别。不同产品形态的互联网信息服务在满足以下条件的任何一种时，均需按照增强级开展安全建设和安全评估,见表A.1。 互联网信息服务企业规模达到中、大型企业规模要求。 互联网信息服务业务范围涉及音视频服务。 互联网信息服务用户规模达到100万以上。 APP下载量在100万以上。 APP活跃用户数在50万以上。表A.1互联网信息服务安全等级划分规则分级要素安全级基本级增强级企业规模小、微型企业中型企业大型企业7业务范围文字图片音视频用户规模100万及以下100万以上（含）App下载量I（X）万及以下100万以上（含）7APP活跃用户数50万及以下50万以上（含）基本级应满足所定制组件中所有的基本要求。增强级应满足所定制组件中的基本要求和增强要求，若某组件中未定义增强要求，则应满足基本要求。互联网信息内容技术安全检测要求等级划分见表A.2o表A.2互联网信息内容技术安全检测要求等级划分技术安全检测要求安全级基本级增强级技术检测能力覆盖范围文本审核5.1.la)-b)5.1.lc)-f)图片审核5.1.2a)-c)5.1.2d)-e)音频审核5.1.3a)-b)5.1.3c)视频审核5.1.4a)-c)5.1.4d)技术检测功能完整性辅助审核5.2.15.2.1日志管理5.2.25.2.2账号管理5.2.35.2.3技术检测效果指标公共样本数据库5.3.15.3.1文本识别5.3.25.3.2图片识别5.3.35.3.3音频识别5.3.45.3.4视频识别5.3.55.3.5违法不良信息分类和样本库样本数据库5.4.15.4.1违法不良信息分类5.4.25.4.2表A.3互联网信息内容安全审核管理要求等级划分安全审核管理要求安全级基本级增强级组织机构安全管理机构6.1.Ia)6.1.lb)安全管理人员6.1.2a)-c)6.1.2d)管理制度审核人员管理6.2.16.2.1培训考核制度6.2.2a)-c)6.2.2d)信息内容审核管理审核标准6.3.16.3.1审核程序6.3.26.3.2审核人员6.3.36.3.3风险提示6.3.4a)6.3.4b)多轮审核6.3.5a)6.3.5b)审核时效6.3.6a)6.3.6b)处置时效6.3.7a)6.3.7b)监测预警与处置机制监测机制6.4.16.4.1应急处置机制6.4.26.4.2投诉举报处理机制6.4.36.4.3信息源及用户分级分类信息源分级分类6.5.16.5.1用户分级分类6.5.26.5.2表A.4违法和不良信息分类表一级分类二级分类违反法律法规的信息煽动颠覆国家政权、推翻社会主义制度危害国家安全和利益、损害国家形象煽动分裂国家、破坏国家统一和社会稳定宣扬恐怖主义、极端主义宣扬民族仇恨、民族歧视，破坏民族团结破坏国家宗教政策，宣扬邪教和封建迷信煽动非法集会、结社、游行、示威、聚众扰乱社会秩序一级分类二级分类散布淫秽、色情、赌博、暴力、恐怖或者教唆犯罪散布虚假信息，扰乱经济、社会秩序，破坏社会稳定侮辱或者诽谤他人，揭露他人隐私，侵害他人合法权益其他法律、行政法规禁止的其他信息影响网络生态健康的信息使用夸张标题，内容与标题严重不符炒作绯闻、丑闻、劣迹等不当评述自然灾害、重大事故等灾难带有性暗示、性挑逗等易使人产生性联想展现血腥、惊悚、残忍等致人身心不适煽动人群歧视、地域歧视等宣扬低俗、庸俗、媚俗内容可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好等其他对网络生态造成不良影响的内容附录B（资料性）互联网信息内容技术安全检测要求组件包定制示例本标准以组件的方式定义了具有开放性、交互性、影响力等特征的互联网信息服务的信息内容审核能力通用要求。互联网信息服务提供者可参考表B.1分析产品涵盖的互联网信息服务形式，如文本发布、图片发布、音频发布、视频发布、内容搜索、语音聊天、网络直播等，并结合服务实际情况，参考表B.1,对产品提供的各个服务，通过组合组件的方式，定制相应的信息内容技术安全检测要求组件包，进而通过组合产品所包含的各个服务的组件包，确定产品的信息内容技术安全检测要求。几类常见的互联网信息服务形式的信息内容技术安全检测要求组件包示例见表B.1。表B.1常见互联网信息服务形式的信息内容技术安全检测要求组件包组件服务方式文本发布图片发布音频发布视频发布内容搜索语音聊天网络直播文本审核图像图片审核音频审核视频审核辅助审核日志管理7账号管理文本识别图片识别音频识别视频识别7不良信息样本库样本数据库公共样本数据库倡导加入针对表B.1定制出的各项信息内容技术安全检测要求，应从组织机构、管理制度、信息内容审核管理、监测预警与处置机制、信息源及用户分级分类五个维度，配套相应的信息内容安全审核管理要求。参考文献1GB/T40645-2021,信息安全技术互联网服务安全通用要求2互联网信息内容生态治理规定3中华人民共和国网络安全法4互联网信息服务管理规定