高新区公安分局情指行一体化合成作战中心提升——警务软件应用建设项目需求.docx
《高新区公安分局情指行一体化合成作战中心提升——警务软件应用建设项目需求.docx》由会员分享,可在线阅读,更多相关《高新区公安分局情指行一体化合成作战中心提升——警务软件应用建设项目需求.docx(67页珍藏版)》请在三一办公上搜索。
1、高新区公安分局情指行一体化合成作战中心提升一一警务软件应用建设项目需求1 .建设清单序号名称建设内容数量备注1警务数据资源池建设包括数据汇聚、数据处理、数据治理、专题数据组织等功能模块1软件定制开发2数图大数据综合应用建设包括模型超市、研判工具、融合轨迹、预警中心、布控中心、多维档案、防控圈应用、交警专题应用、基础管理等功能模块1软件定制开发3情指行一体化实战应用建设包括警情清零处理、警情研判分析、指令流转处理、综合指挥决策、预警处置移动应用等功能模块1软件定制开发2 .项目背景近年来,在管委会的大力支持下,高新区公安分局通过“雪亮工程”、“全息感知”等项目,共接入摄像机6723路,其中包括公
2、安建设3074路(含729路人脸相机),交警类建设1094路,治安类建设1980路,社会面接入3649路,基本建成了覆盖全区的视频监控网络,在维稳处突、治安防控、侦查办案和服务群众等方面发挥了重要作用,极大地震慑和打击了违法犯罪活动,社会治安持续平稳。随着人工智能技术的蓬勃发展,公安行业已经开始进入AI时代,人脸识别、智能视觉、警务大数据等技术在全国多地广泛应用,在维稳处突、治安防控、侦查办案和服务群众等方面取得了显著成效。而高新区公安此前在信息化建设上,主要还是前端布点,后端存储、分业务应用的初级建设阶段,虽然建设了有视频、车辆、MAC等管理系统,但各系统之间数据还没有互通,以人为核查对象的
3、智能分析应用缺乏,不同业务的数据没有形成关联分析,数据应用还没有形成多维碰撞,警务业务还是以被动响应为主,事前防范的能力不足。2021年4月,XX市印发XX市数字化改革总体行动方案,其中XX市数字法治系统建设实施方案明确提出“提升云上公安、智慧警务大数据应用”任务。任务要求依托“云上公安、智慧警务”应用,充分发挥公安大数据智能化建设成果。对接应用省人员流动精密智控系统,全面提升我市流动人员动态管控治理能力和服务水平,构建现代警务模式下的人员动态管理新模式,牵引现代警务模式智能化体系建设。近期省公安厅、市公安局相继下发文件,要求深入推动情指行一体化新一轮改革,全力构建情报引领、指挥扁平、行动高效
4、的情指行一体化现代警务模式。为此,我局按照部、省、市技术框架要求,在深化“信息惠民、科技强警”的工作中,启动高新区公安分局情指行一体化合成作战中心提升工程规划,计划通过工程建设,打造符合高新区实际的情指行一体化合成作战中心、社会应急联动指挥中心,满足公安、社会应急管理和突发事件应急处置工作要求的同时,将科技力量的作用充分发挥到公共安全保障的阵地中,全面提升公安系统新基建能力。3 .建设目标贯彻落实党的十九届四中、五中全会、全国公安工作会议精神,坚持以人民为中心,根据XX市数字法治系统建设实施方案中“提升云上公安、智慧警务大数据应用”的任务要求,按照部、省、市公安大数据处理总体技术要求和XX公安
5、市级情指行一体化平台建设任务书,借助云计算、大数据、人工智能、物联网等技术手段,按照统筹规划、统一建设原则,在前期雪亮工程、智能感知等体系建设基础上,以视觉解析、物联感知、智能研判为抓手,以情指行一体化合成作战为引领,进一步改造合成作战中心场地,升级数据中心机房,构建智能视觉解析中心,打造公安实战化应用,推进公共安全管理理念、管理手段、管理模式创新,真正实现信息快速传导、风险精准识别、问题高效处置,公共安全保障水平提档升级,公安智能化应用全省领先。4 .软件定制开发建设内容4.1. 警务数据资源池建设4.1.1. 概述围绕高新区公安前端感知数据、公安业务数据、社会数据等,在整合省市两级数据资源
6、及本地数据资源的基础上,利用云计算技术、互联网技术、数据挖掘技术等多种技术融合,构建高新区数据资源池。秉承“平台+数据+服务”的设计理念,建立高安全、高可用、高扩展的海量数据整合架构与服务共享架构,更好地解决大流量、高并发、高响应、高实时需求所带来的计算、存储、扩容、负载均衡等问题;通过专题数据组织挖掘,利用大数据资源服务总线技术构建共享服务体系,为情指行一体化大数据应用提供支撑。4.1.2.功能清单序号系统名称功能描述-数据汇聚(一)数据接入管理1数据库配置管理配置所有数据表资源,以外部库、原始库、标准库、临时库、问题库等5个库管理所有数据资源,后续作为ETL同步或质检任务的输入、输出节点。
7、2数据表配置管理配置所有接入数据表资源,后台定时统计数据总量以及数据最新增量(了解数据鲜活度)。提供模板导入、字段读取、数据导出、数据预览、表创建等功能,支持oraclemysqlpostgresqlSqISCrVer、libragaussdb等主流数据库。3数据资源数据探查主要包括数据表名称、数据总量、每日增量、更序号系统名称功能描述探查新方式,数据表字段名称、类型、长度、是否为空、字段描述、缺省值、是否主键、是否外键、增量时间戳、对应代码表、表间关联关系、业务逻辑等的准确记录。4数据接入适配将各类来源数据按照业务规则整合到数据资源库,数据接入支持公安内外各类数据源接入。要求提供数据库配置、
8、文件资源配置、服务集群配置等方式实现包括数据库、批量文件数据、消息数据、请求接口数据、非结构化数据等接入方式的接入。数据同步具备多渠道数据同步接入能力,能够对接数据库、XML、日志、文件等各种数据源,能够支持对数据进行实时/流式/批量/文件线持续的同步,并能够对数据同步进行细粒度多周期的调度、更新和管理,能够监控和管理数据采集流程。(三)数据整合数据整合底层采用企业服务总线技术(ESB)实现。支持ESB安全接入客户端和ESB安全接入前置系统,后台大数据整合系统运行程序包括ETL控制中心,ETL执行引擎2大部分,ETL控制中心负责任务的调度和任务的分发,ETL执行引擎负责任务的具体执行。架构上采
9、用主从方式。(四)数据对账对不同种类的数据进行针对性的校验规则配置、输出分发规则配置。数据接入系统支持以上规则的动态加载、生效,并保证规则变动引起的输出变动的一致性,从而保证数据接入完整性和一致性。(五)同步任务集群管理数据汇聚分布式集群信息,实时展示集群健康状况、任务分配以及运行情况,支撑整个平台作业调度、任务调度、以及数据监控。服务集群可动态扩展子节点、且不影响历史任务运作。(六)数据任务调度平台需要整合的资源数据量庞大、数据类型多样、数据业务复杂,数据处理任务也非常多,数据处理环节和流程周序号系统名称功能描述期长,需要支持高并发、多周期、支持多种数据处理环节的统一数据任务调度机制,按照策
10、略进行数据任务调度。任务分类三类:常规任务、监控任务、同步任务。1常规任务负责获取首页大屏各类统计数据、获取外部接口资源数据等。2监控任务负责检测各类数据资源运行状态、统计各类数据表总量和最新增量、检测表结构是否变更等。3同步任务负责执行所有数据同步、清洗、质检、整合等任务。二数据处理(一)数据清洗数据清洗服务主要是对业务数据中不符合标准规范或者无效的数据进行过滤操作。在进行数据整合之前先定义数据的清洗规则,并对符合清洗规则的数据设置数据的错误级别。当进行数据整合过程中遇到符合清洗规则的数据时,系统将把这些业务数据置为问题数据,并根据错误的严重程度进行归类。(二)数据转换定义好数据转换的规则,
11、对经过第一步清洗的数据,进行转换,产生的数据是经过转换的数据。1字符集的转换不同字符集统一为一种字符集的转换,包括字符编码的转换、数据库字符集的转换、中文字符编码集合转换。2数据格式规范化转换对源数据中的不同数据格式转换为综合资源库统一的数据格式,包括数据类型、格式等转换、以及度量单位转换。3代码转换把不符合代码标准按照情报信息基础数据库标准代码库进行转换。4值转换包括特殊数据项的数据替换(如非空字段的空值替换或身份证15位转换位18位的转换)和数据项的拆分和合并转换。序号系统名称功能描述(三)数据检验数据校验过程其实是在资源库建立完成后进行的,它是基于整合完成后的业务数据。数据校验主要是通过
12、数据质量分析工具对已经建成的资源库的数据进行的校验操作。数据从业务系统数据库抽取到大数据资源库时,同时进行相应的数据标准校验。1身份证合法性检查所有身份证字段中数据规则是否符合身份证编码规则,不符合则标记相应错误代码为身份证不合法,并同时记录数据是否入要素层标记。2日期时间格式检查具体日期/时间字段是否符合具体的日期和时间格式,数据错误则调整异常数据为默认值,并标记错误代码到相应字段中。3中文姓名格式检查中文姓名是否包含非法字符。4代码校验检查代码字段是否能够转换为标准代码,不能转换为标准代码则保留原代码值,并标记相应的错误代码。(四)图形化任务编排提供可视化用户界面实现数据同步的编排,直观展
13、示数据同步的处理流程、步骤和配置。提供数据汇聚流程配置,支撑输入、输出、转换、校验、文件传输、工具等组件。提供数据同步任务实现任务执行策略配置,提供数据同步作业实现对任务执行情况的管理。三数据治理(一)数据资源目录资产管理对数据汇聚所有基础资源信息,包含分布式服务调度资源、数据库资源、文件资源、集群资源等。1服务器资产管理资源管理数据处理所有基础资源信息,包含分布式服务调度资源、集群资源等进行管理。对服务器进行注册管理,掌握当前环境下各类服务器信息。2应用系统对应用系统进行注册管理,后续用于数据库、数据表分类序号系统名称功能描述注册管理挂载。对应用系统进行注册、修改、删除,并可查看应用系统的详
14、情。3数据源注册管理对接入数据源进行注册、修改、删除、连接测试、批量检测,并可查看数据源详情。数据资源目录依据公安数据资源目录技术规范对各数据资源表的名称、行业类别、公安业务分类、数据资源要素分类、属性分类、更新方式、更新周期、共享方位、共享方式、共享地区、共享部门、应用系统、事权单位、上下线日期等进行登记,并从行业类别、公安业务分类、数据资源要素一级分类、数据资源要素二级分类、数据资源要素细目分类、数据资源属性分类、更新方式、更新周期、数据资源共享范围、数据资源共享方式、数据表用途、字典表类型、数据库类型、应用系统分类、数据项格式类型等方面对数据资源进行多维分类编目。(三)数据质量管理数据质
15、量管理按照数据质量管理流程,即对数据质量定义、度量、分析和改进进行管理,主要功能包括:规则管理、质量监控、质量评估、质量报告、质量改进等,可以对已有数据进行概要分析,发现和监控其中的质量问题,并进行质量改进。1质量管理方案提供一套基于“规则一一模板一一方案”的数据质量规则构建模型,系统预先定义了涵盖数据标准、数据一致性、数据规范性、数据及时性等多种规则在内的数据质量检查规则。2质检规则管理对数据质量质检规则进行管理,配置规则名称、规则类型、规则内容等,以及脱敏类规则。3质检作业监控质量监控方案配置完成后,可以执行该监控方案进行质量评估,并查看监控任务执行状态、执行次数、最后执行时序号系统名称功
16、能描述间等。4数据质量报告数据质量检查完成周期(如周报、月报等),系统根据质量报告模板自动生成详细的数据质量检查报告,报告的内容包括数据质量的整体情况、重点问题重点区域、数据采集情况和具体数据质量统计表等5问题数据管理通过数据质量报告对数据质量情况进行质量评估后,可以查看执行报告中发现的问题数据情况,并查看具体的问题数据。(四)数据运维监控通过建设数据运维监控大屏,实时掌握数据汇聚和治理情况,包括整合数据总量、日增长量、实时数据同步状态等,通过配置监控预警策略、服务性能指标、评测数据同步态势,实现数据四色预警提醒,便于快速处理相关告警信息。四专题数据组织(一)原始库采用MPP架构,对高新区公安
17、前端感知数据、公安业务数据、社会数据等接入的各类资源信息,构建形成原始库,与外部源库保持一致。(二)主题库基于面向对象的数据组织原则,建立人、地、物、事、组织等对象的档案信息,达到数据的二阶段融合应用。(三)标签库根据综合应用基础支撑功能产生的各类统计数据、主题数据、指标数据、轨迹数据,建立多维统计指标库,实现对业务管理常规分析、专题分析、多维分析。(四)轨迹库支持从“地域”和“时域”两个维度整合公安网人员暂口登记、住宿、上网、购票等登记类轨迹信息,前端全息人脸、车辆等感知动态轨迹,形成轨迹库。(五)专题库构建覆盖治安标签、业务专题、研判专题、情报线索等关注人员、重点单位、关注物品的应用业务专
18、题库。序号系统名称功能描述1关注人员专题库按照公安业务需求构建各类人员专题库,定期动态更新重点人员基本信息,建立各类重点人员专题库。2高危车辆信息库按照公安对高危车辆管控需要,对接相关部门,获取高危车辆信息,根据人-车,车-人要素关联,建立危险车辆数据库。4.1.3.数据汇聚4.131数据接入梳理构建高新区公安内外网数据来源系统,通过数据探查详细了解各数据资源中数据表内容详情,同时调研数据源的接入方式,为数据接入和数据组织提供支撑。数据源调研包括数据接入方式、数据源数据类型、数据连接信息等。主要数据接入类型包括数据库方式、文件数据方式、接口数据方式、消息数据接入方式等。通过构建标准化的数据接入
19、模块,对适配待接入数据库表、接口、文件、MPP、HADOOP,文件流等多源、异构、海量、实时的数据来源,基本全覆盖目前公安数据接入类型。数据探查主要包括数据表名称、数据总量、每日增量、更新方式,数据表字段名称、类型、长度、是否为空、字段描述、缺省值、是否主键、是否外键、增量时间戳、对应代码表、表间关联关系、业务逻辑等的准确记录。将各类来源数据按照业务规则整合到数据资源库,数据接入支持公安内外各类数据源接入。要求提供数据库配置、文件资源配置、服务集群配置等方式实现包括数据库、批量文件数据、消息数据、请求接口数据、非结构化数据等接入方式的接入。提供可视化用户界面实现数据处理的编排,直观展示数据的处
20、理流程、步骤和配置。1.1.3.2. 数据同步具备多渠道数据同步接入能力,能够对接数据库、XML、日志、文件等各种数据源,能够支持对数据进行实时/流式/批量/文件线持续的同步,并能够对数据同步进行细粒度多周期的调度、更新和管理,能够监控和管理数据采集流程。针对海量大数据,支持超大带宽的、高并发、多任务的高速数据采集和加载。(1)实时数据同步(2)流式数据同步(3)批量数据同步(4)文件数据同步(5)请求数据同步1.1.3.3. 数据整合数据整合底层采用企业服务总线技术(ESB)实现。支持ESB安全接入客户端和ESB安全接入前置系统,后台大数据整合系统运行程序包括ETL控制中心,ETL执行引擎2
21、大部分,ETL控制中心负责任务的调度和任务的分发,ETL执行引擎负责任务的具体执行。架构上采用主从方式。执行引擎在启动后会自动注册到控制中心中,控制中心接收到执行引擎的注册后根据执行引擎的负载程度合理安排ETL过程任务。(1) ETL整合管理(2) ETL控制中心(3) ETL执行引擎(4) ETL消息通信1.1.3.4. 数据对账对不同种类的数据进行针对性的校验规则配置、输出分发规则配置。数据接入系统支持以上规则的动态加载、生效,并保证规则变动引起的输出变动的一致性,从而保证数据接入完整性和一致性。1.1.3.5. 同步任务集群管理数据汇聚分布式集群信息,实时展示集群健康状况、任务分配以及运
22、行情况,支撑整个平台作业调度、任务调度、以及数据监控。服务集群可动态扩展子节点、且不影响历史任务运作。1.1.3.6. 数据任务调度平台需要整合的资源数据量庞大、数据类型多样、数据业务复杂,数据处理任务也非常多,数据处理环节和流程周期长,需要支持高并发、多周期、支持多种数据处理环节的统一数据任务调度机制,按照策略进行数据任务调度。多个集群节点通过抢占方式获取唯一主节点,主节点负责收集子节点心跳,监控整个集群健康状况,以及负责所有任务调度。若主节点异常,则从节点会重新选举主节点进行集群管理;若从节点异常,主节点会重新分配该异常节点下的所有任务至其他正常子节点。任务分类三类:常规任务、监控任务、同
23、步任务。常规任务:负责获取首页大屏各类统计数据、获取外部接口资源数据等。监控任务:负责检测各类数据资源运行状态、统计各类数据表总量和最新增量、检测表结构是否变更等。同步任务:负责执行所有数据同步、清洗、质检、整合等任务。1.2. 4.数据处理对高新区各类的数据接入、清洗、转换、集成等数据处理全生命周期进行数据治理。根据预先创建好的数据质检方案、规则、算法和质量检查度量,对身份证号、手机号、车牌号等进行规则校验,对数据格式、代码转换、数据有效性、数据重复性、数据一致性等多角度进行检查,及时发现脏数据可实现事中拦截,避免错误的数据流入上层应用。数据清洗保证了数据的正确性和完整性,让数据可信;数据转
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高新区 公安分局 情指行 一体化 合成 作战 中心 提升 警务 软件 应用 建设项目 需求
链接地址:https://www.31ppt.com/p-5860763.html