T∕CEEMA0205-2023新能源智慧场站数据采集、整理、安全、综合管理技术规范.docx

ICS 35. 240. 50T/CEEMAK52中国电力设备管理协会标准T/CEEMA02052023新能源智慧场站数据采集、整理、安全、综合管理技术规范Technicalspecificationofdataacquisition,collation,safetyandmanagementfornewenergyintelligenceplants2023-12-26 发布2023-12-26实施中国电力设备管理协会发布1范围-1-2规范性引用文件-1-3术语及定义-1-3.1数据采集dataacquisition-1-3.2数据整理datacollation-1-3.3数据标准化datastandardize-1-3.4数据清洗datacleaning-1-3.5数据浓缩datareduction-2-3.6数据整合dataIntegration-2-4缩略语-2-5环境技术条件-2-5. 1非机房技术条件-2-5.2机房技术条件-2-6数据采集-3-6.1 数据采集过程-3-6.2 数据采集内容-3-6.3 数据采集技术-3-6.4数据采集指标-3-7数据整理-4-7.1 数据整理原则-4-7.2 数据整理方式-4-7.2.1 数据清洗-4-7.2.2 数据浓缩-4-7.2.3 数据整合-4-7.3 数据整理评价-5-7.4 数据整理指标-5-8数据安全-5-8.1 数据安全要求-5-8.2 2安全控制方法-6-8.3 网络设备主机、设备、应用软件等安全防护及加固-6-9数据综合管理-6-9.1 等级保护-6-9.2 日常巡检-7-9.3 故障响应-7-9.4 应急处置-7-本标准按照GB/TL1-2020标准化工作导则第1部分：标准化文件的结构和起草规则给出的规则起草。本标准主要规范了以下内容：新能源智慧场站数据采集、整理、安全和管理过程的相关术语及定义。新能源智慧场站数据采集、整理、安全和管理过程的实施规范及要求。本标准由中国电力设备管理协会提出，本文件的发布机构不承担识别专利的责任。本标准由中国电力设备管理协会归口和解释。本标准主要起草单位：北京航能绿电科技有限公司、北京智慧空间科技有限责任公司、四川北斗弘鹏科技有限公司、国家电投集团科学技术研究院有限公司、宁波和利时信息安全研究院有限公司、中国能源建设集团新疆电力设计院有限公司、电设亚联（北京）认证服务有限公司。本标准主要起草人：白云峰、张歆瑛、沈书荣、庞涛、朱显文、建海军、于洪飞、李锐成、白超阳、张新、付彦海、曹元、刘迪、范志毅、马新祥、孙楠。本导则在执行中若有意见和建议，请反馈至中国电力设备管理协会标准化管理办公室，电子邮箱：emiunted。1范围1. 1本标准规定了新能源智慧场站数据采集、整理、安全和管理过程的实施规范及要求。1.2本标准适用于新能源智慧场站各系统数据采集的规划设计、建设和管理，其他信息化领域的数据采集过程也可参考使用。2规范性引用文件下列文件中的有关条款通过引用而成为本标准的条款。凡注日期或版次的引用文件，仅注日期或版次的版本适用于本标准，但提倡使用本标准的各方讨论使用其最新版本的可能性。凡未注日期或版次的引用文件，其最新版本适用于本标准。GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则GB/T5271信息技术词汇GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T22240信息安全技术网络安全等级保护定级指南GB/T2887电子计算机场地通用规范GB/T13729远动终端通用技术条件GB/T36625.3智慧城市数据融合第3部分数据采集规范GB/T13730地区电网数据采集与监控系统通用技术条件GB/T31916.1-2015信息技术云数据存储和管理第1部分国能安全201636号电力监控系统安全防护总体方案等安全防护方案和评估规范国家能源局电力行业网络安全等级保护管理办法3术语及定义GB/T5271系列标准界定的以及下列术语和定义适用于本文件。3. 1数据采集dataacquisition从数据源中得到原始数据，通过标准化等操作转化为满足后续数据使用需求的过程。4. 2数据整理datacolIation将采集的数据通过数据清洗、数据浓缩、数据整合等操作整理为满足业务使用需求的过程。注1：数据采集可能包含部分数据整理的工作，通常，处理逻辑比较稳定的整理工作可归到数据采集下，而处理逻辑可能变动的整理工作应归到数据整理下。注2：在某些不必严格区分的场景下，数据整理也被看作是数据采集的一部分。3.3数据标准化datastandardize将数据名称不同、数据类型不同、数值单位不同的原始数据统一成相同的数据名称、类型以及单位的过程。3.4数据清洗datacleaning对采集的数据进行重新审查和校验的过程，包括检查数据一致性，处理无效值和缺失值等，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。注：数据清理一般是由计算机而不是人工完成。3. 5数据浓缩datareduction从采集的数据中提取关键数据或有价值的数据，以及在确保数据不失真或失真度在可接受范围内的前提下对细粒度数据通过关键特征提取转化为粗粒度数据。4. 6数据整合dataIntegration将来自不同数据源的数据进行集成和整合，采用数据聚合、数据归类、数据关联等方法，整合形成上下文完整有效的数据，以提供一个统一的、全面的数据视图。4缩略语下列缩略语适用于本文件。CMS：状态监测系统(COnditiOnMonitoringSystem)FTP：文件传输协议(FiIeTransferProtocol)HTTP：超文本传输协议(HyPerTeXtTransferProtocol)HTTPS：超文本传输安全协议(HyPerTeXtTransferSafeProtocol)IEC:国际电工委员会(InternatiOnaIEducationConsortium)JDBC：Java数据库连接(JaVaDataBaseConnectivity)MQTT：消息队列遥测传输(MeSSageQueuingTelemetryTransport)ODBC：开放数据库互连(OPenDatabaseConnectivity)OPC：对象连接和嵌入技术在过程控制规范(ObjectLinkingandEmbeddingforProcessControl)PLC：可编程逻辑控制器(PrOgrammabIeLogicController)PKl：公钥基础设施(PUbIiCKeyInfrastructure)SCADA：数据采集与监视控制系统(SUPerViSOryControlAndDataAcquisition)TCP：传输控制协议(TranSmiSSionControlProtocol)UDP：用户数据报协议(USerDatagramProtocol)VPN：虚拟专用网络(VirtUalPrivateNetwork)5环境技术条件5.1 非机房技术条件采集服务器可存放于非机房环境，其环境技术条件应满足：a）环境温度1530C;b）相对湿度1075机C）大气压力66108kPa；d）无爆炸危险、无腐蚀性气体及导电尘埃、无严重霍菌，无剧烈振动冲击源；e）接地电阻符合GB/T2887的相关规定；f）交流电源额定电压220V（允许偏差T5%+10%）,谐波含量小于5%,频率50Hz（允许偏差±5%）；g）不间断电源（UPS）在主电源失电时间不大于30分钟时，应维持系统正常工作。5.2 机房技术条件存放系统中各服务器的机房应满足GB/T2887对机房的要求。6数据采集6.1 数据采集过程数据采集过程包括数据源选择、数据采集方式选择、数据汇聚、数据存储。数据源选择：根据需要采集数据的数据源类型（如：文件、数据库、传感器等），确定数据源连接通讯的方式，明确采集标准范围及属性。可支持结构化数据和非结构化数据类型；可支持IEClo4、Modbus.TCP/UDP、FTP>HTTP、JDBC、ODBC、OPCMQTT等多种通讯协议和连接方式。数据采集方式选择：数据采集分为人工采集和系统采集两种，通过分析相关数据源类型，根据可操作性、成本导向等原则选定数据采集方式。数据标准化：对采集的原始数据统一转换成相同的数据名称、类型以及单位的标准化数据。必要时，应建立和维护“数据转换规则表”。数据存储：可按照GB/T31916.1-2015的规定进行，处理后的数据存储应满足海量、安全、高性能、高可靠、易管理。6.2 数据采集内容新能源智慧场站数据采集内容包括但不限于设备运行数据、设备维护数据、电力运行数据、气象数据、地理信息数据和其他数据六大类。设备运行数据：包括风力发电机组、光伏发电系统等核心设备的运行参数和状态，如转速、功率、电压、电流、温度等。设备运行数据是数据采集的主要部分，按数据来源又可分为：SCADA数据、PLC数据、CMS数据等。设备维护数据：包括设备的检修记录、维护记录、故障处理记录等，主要用于评估设备的可靠性和寿命。电力运行数据：包括发电量、上网电量、厂用电量、电压质量、功率预测、发电计划、调度计划等，主要用于电站的运行和管理.气象数据：包括风速、风向、气温、湿度、气压、辐照度等，主要用于评估新能源发电站的发电量和发电效率。地理信息数据：包括新能源发电站的地理位置、地形地貌等数据，主要用于提升新能源发电站的发电潜力以及功率预测的准确性。其他数据：包括设备巡检视频和图像数据、安防数据等。6.3 数据采集技术数据采集技术应具备复杂网络环境下、不同异构数据源之间高速、稳定、弹性伸缩的数据移动及同步能力。采集技术包括但不限于：针对SCADA等设备运行数据，可通过IEClo4、Modbus、TCP/UDP、数据库表、文件、HTTP/HTTPS.消息订阅/发布等技术进行数据采集；针对设备维护、电力运行等数据，可通过在线填报、离线导入等人工转化方式进行数据采集：针对气象及地理信息等数据，可通过分布式系统接口、分布式流数据收集、场站气象采集系统接口接入等技术进行数据采集；针对由设备巡检和安防等产生的海量音视频数据，可通过语音图像识别、编解码等技术转化后进行数据采集。6.4 数据采集指标全量、历史数据采集：应提供数据传输服务、高并发的离线数据上传下载服务，支持TB级别的数据导入（全量数据或历史数据的批量导入）及导出；实时或定时增量数据采集：应提供实时同步、定时采集、数据订阅、日志采集等服务，支持秒级（某些数据，如CMS数据应支持亳秒级）；数据可用性：线上系统应至少支持1年原始数据存储、5年内业务数据查询，超过时限要求的数据应全量归档，并支持离线查询；水平扩展：高并发、大计算的系统或服务（包括但不限大数据平台、边缘侧采集服务等等）应支持水平扩展，满足业务扩展需求；条件过滤：按照指定条件进行指定过滤采集，例如字段内容；采集作业管理和调度：采集作业支持条件触发、并发调度、周期循环调度等模式，支持对作业启动、停止、暂停、恢复等操作；数据标签：依据数据清洗要求为数据标记数据标签；7数据整理数据整理是将采集的数据通过数据清洗、数据转换、数据整合和数据浓缩等操作整理为满足业务使用需求的过程，其核心是数据质量。6.5 1数据整理原则a）完整性：应包含满足业务要求的必要数据；b）准确性：应真实反映数据所描述的对象；C）一致性：应保证数据与其他特定上下文中使用的数据无矛盾；d）时效性：应保证数据发生变化后及时被更新；e）可访问性：应保证数据在需要时能被安全访问；f）可追溯性：应保证数据能够被跟踪和管理。7.2 数据整理方式7.2.1 数据清洗数据清洗过程管理应包括但不限于：数据分析：应对数据源进行分析，及时发现数据源存在的质量问题；定义清洗规则：包括空值的检查和处理、非法值的检测和处理、不一致数据的检测和处理、相似重复记录的检测和处理等；执行数据清洗规则：依据定义的清洗规则，补足残缺/空值、纠正不一致、完成数据拆分、数据合并或去重、数据脱敏、数据除噪等；清洗结果验证：数据清洗方应对定义的清洗方法的正确性和效率进行验证与评估，对不满足清洗要求的清洗方法进行调整和改进。数据清洗过程宜多次迭代并进行分析、设计和验证。7.2.2 数据浓缩从采集的数据中提取关键数据或有价值的数据，以及在确保数据不失真或失真度在可接受范围内的前提下对细粒度数据通过关键特征提取转化为粗粒度数据。数据浓缩不改变数据的本质信息，只是把细节程度降低，使得重要的信息更容易被提取和分析。7.2.3 数据整合将来自不同数据源的数据进行集成和整合，采用数据聚合、数据归类、数据关联等方法，整合形成上下文完整有效的数据，以提供一个统一的、全面的数据视图。7.3 数据整理评价数据整理评价分为定性评价和定量评价。a）定性评价：根据事先确定的评价指标，对数据的安全性、目的、用途、日志以及用户自定义的评价项目进行评价；b）定量评价：采用数据质量检测软件检查数据质量，也可通过辅助工具结合人工识别分析方法进行人工检查。一般可分为全数检查和抽样检查：1）针对国家强制要求、特殊要求、其他可能导致严重影响的数据质量项目进行全数检查；2）针对质量比较稳定、数据量较大、检查费用与时间有限的情况进行抽样检查。7.4 数据整理指标数据整理结果应满足数据整理原则中对完整性、准确性、一致性、时效性、可访问性、可追溯性的要求；数据整理的输入数据应保留至少1年，应支持必要时（如数据整理规则变动）对历史数据进行重新整理；数据浓缩应满足业务对数据失真度的要求，根据不同业务要求，分别进行不同粒度的浓缩，例如1分钟数据、10分钟数据等等。8数据安全8.1数据安全要求数据安全贯穿于数据采集到数据使用全过程，应符合数据所属单位、行业以及国家主管部门的安全要求，包括但不限于：a）应符合GB/T22239对数据应用安全的相关要求；b）应严格执行控制信息与非控制信息分离的原则；C）应对数据传输过程中已知威胁防御和未知威胁，建立防御能力并消除隐患的手段；具体执行标准如下：应落实应对系统环境、周边设施中未能部署安全防御的薄弱点，如：输入输出接口、级联设备、5G/6G通讯协议、辅助终端等提升应对未知威胁的防御手段；（打印机、扫描仪、各类空闲串口、并口、网卡、犍盘、鼠标、显示器、无线AP、AI智能终端等应对网络安全威胁进行保护性防御技术部署）：应落实对数据链路层通信的未授权单播、组播、广播通信通联范围的强隔离限制：落实解决网络层、传输层、应用层的未知私有定制协议、DNS域名地址解析协议、NetBIOS网络探测协议的通联范围进行强隔离限制；应落实应对数据安全可靠控制过程中的所有权、使用权以及网络通信的管理控制权，并采取必要的安全防护措施；应落实应对隐形数据加密技术对工业控制指令、各类协议、管理操作等关键运维监控管理进行安全校验、审计；主机/设备/应用系统等运维监控管理应通过运维安全管理网关（堡垒机）管控和审计运维人员操作。在远程管理时，应采用传输加密或VPN安全网关等技术措施防止鉴别信息或敏感数据在网络传输过程中被窃听；d）应对控制指令、管理操作等关键数据进行安全校验、审计以及定位溯源；系统应具备用户角色识别和权限控制功能，操作员在进行远程控制时，需要有监护权限人员允许；e）系统关键节点应具备防范已知网络攻击手段以及已知病毒的能力，并具备持续更新病毒库能力；f）数据在整个采集、使用过程中应依据授权使用，不被非法冒充、窃取、篡改、抵赖；g）应对隐形攻击时系统环境、设施和技术采取必要的安全措施；h）应明确重要数据的知悉范围和安全管控措施，并采取必要的技术手段和管理措施保证数据不被泄露；i）应符合GB/T22240对安全等级保护定级的要求。8. 2安全控制方法应全方位防御，避免病毒攻击、非授权的访问与内部泄密，同时应保障访问记录的审查、监督和定位溯源。应包括但不限于：a）建立安全管理规范，避免人为因素导致控制指令误发、数据泄露、损坏等安全事故；b）制定应急响应预案及相应处理措施，并定期进行应急演练，确保能有效处理和应对潜在的安全问题；C）定期对数据的安全性进行风险评估，并据此制定相应的风险处理计划，及时排查安全漏洞和隐患，加固安全技术；d）制定关键业务操作规程，规范关键数据的格式、质量、流程和方法等：e）对不同数据进行分类并标识，采用安全技术进行安全维护，包括但不限于对称与非对称密码技术及其硬件化技术、VPN技术、PKl技术、完整性验证技术、数字签名技术、秘密共享技术等；f）设立访问和使用权限控制机制，在数据采集过程中采用隐形安全保护，隐形密码加密技术、业务数据的隐形微隔离控制技术、隐形防攻击绕过防御技术等：g）设定保护操作系统、运行系统、应用软件、通讯协议、相关接口、物理硬件的隐形防探测发现等，建立防止非法用户资产探测扫描、协议分析过滤、勒索劫持、攻击渗透、口令破解、木马注入入侵攻击等安全威胁的主动安全防御能力；h）监控数据使用情况，防止数据在采集过程中被非法访问、破坏、篡改、丢失、阻止。8.3网络设备主机、设备、应用软件等安全防护及加固主机身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范等，主机应采用防恶意代码软件或免受恶意代码攻击的技术措施；控制软件、调度软件、数采软件等应具有安全配置.、账户管理、口令管理、安全审计等功能；数据采集设备、处理设备应关闭或禁用光盘驱动、USB接口、串行口或多余网口等；且关闭不需要的系统服务、默认共享和高危端口；主机、设备、应用软件等应提供数据有效性校验功能，保证通过人机接口输入或通过通信接口输入的内容符合系统设定要求；主机、设备、应用软件等关键调度或控制指令需提供数据加密传输、加密存储；提供基于密码技术的身份鉴别机制；提供访问控制和安全审计功能。9数据综合管理应对数据采集、数据整理、数据使用等过程进行有效管理，确保数据质量和数据安全。具体包括等级保护、日常巡检、故障响应和应急处置。9.1等级保护根据电力行业网络安全等级保护管理办法第四条，对新能源智慧场站数据进行等级保护划分。根据电力行业网络在国家安全、经济建设、社会生活中的重要程度，以及一旦遭到破坏、丧失功能或者数据被篡改、泄露、丢失、损毁后，对国家安全、社会秩序、公共利益以及公民、法人和其他组织的合法权益的危害程度等因素，划分为五个安全保护等级。并且对数据网络进行等级保护的实施与管理，对等级保护进行密码管理。根据GB/T22239-2019,满足对网络安全通用要求、移动互联安全扩展要求、物联网安全扩展要求、工业控制系统安全扩展要求。对数据进行等级测评。根据GB/T22240的要求，确定定级对象及其安全保护等级，在网络功能、服务范围、服务对象和处理的数据等发生重大变化时，及时申请变更其安全保护等级。建立数据系统时，对数据系统定级、安全方案设计、系统备案、等级测评等有相应的管理措施。9.2日常巡检日常巡检目的包括：a）检验数据的完整性和及时性，及时发现数据缺失等问题，确保数据的准确性、及时性和有效性；b）检验各设备的可靠性，及时发现设备缺陷和隐患，确保设备的正常、安全、经济运行。日常巡检分为定期巡检和不定期巡检，定期巡检是指按固定频率（如日、周、月等）进行的周期性巡检工作，不定期巡检是除定期巡检之外的其他巡检工作，如重大事件前期的巡检、系统重大升级后的巡检等等。应建立日常巡检制度，并按要求实施，包括但不限于：关键数据及时性定期巡检制度、关键数据准确性不定期巡检制度、服务器状态定期巡检制度、数据采集设备定期巡检制度、备用设备不定期巡检制度等。9.3故障响应针对各类巡检过程中发现的问题或故障，应分别制定响应流程，将故障响应落实到人，并明确响应时间，统一领导、分工负责、加强联动、快速响应，最大限度的减少故障造成的损失。9.4应急处置应急处置遵循“安全第一，预防为主，综合治理”的方针，坚持预防和救援相结合的原则，统一领导、分工负责、加强联动、快速响应，最大限度的减少突发事件造成的损失。应结合各地情况，评估各类风险的威胁等级和发生概率，制定如下应急预案，包括但不限：停电事故预案、火灾事故预案、地震事故预案、涝灾事故预案、雪灾事故预案、非法人员入侵预案、网络攻击预案、计算机病毒攻击预案等。