视频结构化大数据平台解决方案.docx
《视频结构化大数据平台解决方案.docx》由会员分享,可在线阅读,更多相关《视频结构化大数据平台解决方案.docx(47页珍藏版)》请在三一办公上搜索。
1、视频结构化大数据平台解决方案千视通目 录1. 建设背景42. 建设目标43. 建设原则53.1. 标准化原则53.2. 统一设计原则53.3. 大数据处理原则63.4. 高可靠/高安全性原则63.5. 适用性原则63.6. 可扩展性原则74. 系统总体设计74.1. 设计依据74.2. 总体架构设计94.3. 业务架构设计104.4. 网络架构设计115. 数据结构化135.1. 概述135.2. 数据采集135.3. 控制调度单元145.4. 目标结构化单元145.5. 车辆结构化单元195.6. 前端要求236. 数据存储256.1. 概述256.2. 功能设计266.2.1. 数据存储2
2、66.2.2. 数据服务276.2.3. 系统管理286.3. 存储设计297. 数据应用297.1 以图搜车307.2人物大数据317.2.1人物综合查询317.2.2人物检索317.2.3人骑车检索337.2.4视频框选嫌疑目标347.3以图搜图357.3.1智能建库引擎357.3.2以图搜图应用357.4GIS应用367.4.1基本操作367.4.2地图查询367.4.3轨迹展示377.4.4摄像头操作387.4.5系统管理398. 平台特点428.1.提高海量视频倒查的效能428.2.提供视频关键特征的视频检索438.3.永久保存结构化的视频信息438.4.基于虚拟化服务的云计算架构4
3、39. 配置清单461. 建设背景 平安城市视频监控技术已经从联网整合阶段发展到视频实战深度应用阶段。面对视频资源整合规模的持续扩大、视频实战业务的广泛应用以及视频信息化处理过程中产生的海量视频数据,如何充分利用海量的视频数据,实现海量视频数据的高效检索以及基于实战需求构建警务视频大数据应用平台,成为视频深度应用亟待解决的问题。建设统一开放的视频云计算平台,并在视频云计算架构基础上,实现视频信息化、信息情报化、情报实战化是视频大数据实战应用的关键。随着公安信息化建设进程的不断加快,全国各地都在掀起“平安城市”、“智慧城市”和“科技强警”等一系列大型安防系统建设。全国各地随着“平安城市”的推动,
4、建设了越来越多的视频监控摄像头。但是如何将这些视频资源整合好、利用好、管理好、应用好,发挥视频实战的最大效用,是视频实战应用下一步发展面临的问题。全球在2010年已正式进入ZB时代,全球数据量大约每两年翻一番,一天产生的视频监控数据超过1500PB。地市“天网”摄像头都数以万计。由于数据的飞速增加不仅出现了视频图像信息海量储存、检索困难,历史图像查找比对困难,多级视频图像信息共享平台无法实现互联互通,传输网络架构和带宽不足等问题;也使以往公安人工检索,人工分析视频的方法不再适用。 如何存储海量视频信息? 如何提升海量视频信息查找效率? 如何利用海量视频信息为案件侦破提供支撑?千视通视频结构化应
5、用平台对海量视频数据中(人物、车、人脸)经过结构化引擎处理,基于云存储技术构建大数据平台,基于数据挖掘技术构建应用平台,实现视频图片的智能检索、车辆大数据应用、人物大数据应用,人脸大数据应用等。2. 建设目标 系统主要解决如何快速有效提高从大量视频和图像信息中查找到有效信息的效率问题,解决海量视频数据的不断增大带来的存储成本的增加问题以及目前的视频数据使用方案越来越难解决的海量视频应用场景。其次利用目前已建设的公安视频及社会面视频,打造视频大数据中心,为侦查破案提供数据分析支撑。 系统建成后,公安所有的监控视频、交通卡口、社会监控数据以及案事件的视频资料等归档数据将成为一个结构化的处理,存储,
6、管理,分析,计算,使用的一体化大数据云中心。3. 建设原则 3.1. 标准化原则基于数据标准建设结构和非结构化云存储技术中心,能够有效确保数据模型设计的规范性,以及与源系统及管理分析类系统保持一致的业务定义和技术定义,从而满足支持业务开展、横向的信息扩展和宏观管理的要求,使结构化后的视频、图片和分析结果等成为公安各业务系统的可信数据源。3.2. 统一设计原则按照公安部视频数据的相关标准设计系统结构。特别是应用系统建设结构、数据模型结构、数据存储结构以及系统扩展规划等内容,从规划的全局出发、从长远的角度考虑。3.3. 大数据处理原则致力于跨警种、跨系统的视频相关数据结构化处理,致力于非结构数据加
7、工和数据挖掘等深层次的数据应用,建立在云存储和云计算的体系之上,具有海量数据处理能力,以适应不断增长的数据量和业务需求。 3.4. 高可靠/高安全性原则从系统从结构上、产品性能上、设备的选型上,以及具体的实施方案,将充分考虑软硬件的成熟度,使得系统的稳定性和可靠性得到保障,同时系统具备完备的网管单元,实时监测系统运行状态,灵活对整个计算资源进行有效调度和分配,平时保障85%的计算资源利用率,预留15%的计算资源,一方面使得机器不在峰值上一直运行,同时在突发临时事件时 ,预留的15%的计算资源可以备用,确保系统正常、稳定、可靠、连续地运行。系统的设计充分考虑系统的安全。在系统设计、设备选型、调试
8、、安装等环节都需严格执行国家、行业的有关标准及公安部门有关安全技术防范的要求。3.5. 适用性原则系统的建设将保护已有资源,急用先行,在满足应用需求的前提下,尽量降低建设成本。3.6. 可扩展性原则系统设计不但保证目前系统容量的要求,也将考虑今后系统的发展,便于向更新技术的升级与衔接。系统提供标准的SDK控件及数据接口服务,以实现与其它子系统之间的数据交换,保证系统的不断扩展。4. 系统总体设计 4.1. 设计依据 本系统主要设计依据遵循以下标准和规范:项目政策文件:l 公安部关于进一步加强社会治安防控体系建设的指导意见l 公安部关于深入开展城市报警与监控系统应用工作的意见l 公安部全国公安机
9、关视频图像信息整合与共享工作任务书l 公通字201119号全国公安装备建设“十二五”规划l 公科信201211号全国公安机关视频图像信息整合与共享工作任务书l 公科信【2012】 73号全国公安机关图像信息联网总体设计方案l 公科信传发【2012】367号省(区、市)公安机关视频图像信息整合与共享技术方案编写指南公安信息系统类标准l 公安部金盾工程总体方案设计l 公安部公安信息系统应用支撑平台总体方案设计l 公安部公安信息化标准体系l 公安部地市级综合信息系统总体设计方案l 公安部共享数据项代码标准l 公安部共享数据项集项目规范l 公安部刑事犯罪信息管理代码 GA 240.(121)-2000
10、l 公安部刑事犯罪信息管理代码GA 240.(2257)-2003l 公安部经济犯罪案件信息管理系统技术规范GA 397.X-2002l 公安部 道路交通违章管理信息代码 GA 408.X-2003l 公安部全国道路交通管理数据交换格式 GA 409.X-2003l 公安部违法犯罪信息管理GA 8-1991l 公安部信息系统安全等级保护基本要求GB/T22239-2008l 公安部信息系统等级保护安全设计技术要求GB/T24856-2009l 公安部城市监控报警联网系统技术标准GA/T669-2008计算机信息系统类标准l 计算机软件开发规范l 操作系统安全技术要求GB/T 20272-200
11、6l 数据库管理系统通用安全技术要求GB/T 20273-2006视频系统类标准l 城市监控报警联网系统技术标准(GA/T669-2008)l 安全防范视频监控联网系统信息传输、交换、控制技术要求GBT 28181-2011l 民用闭路监视电视系统工程技术规范(GB50198-94)l 视频安防监控系统技术要求(GA/T367-2001)信息安全类标准l 信息系统等级保护安全设计技术要求GB/T24856-2009l 信息系统安全等级保护基本要求GB/T22239-2008l 计算机信息系统安全保护等级划分准则GB17859-1999l 信息系统安全等级保护定级指南GB/T 22240-200
12、8l 信息系统安全管理要求GB/T20269-20064.2. 总体架构设计 方案总体架构设计为“一个中心,一个平台,多个业务应用平台”。一个中心: 利用云计算、云存储技术,建设视频大数据中心;一个平台: 实现视频,图片数据结构化;多个业务应用: 在大数据中心上,实现视频图片的智能检索; 在大数据中心上,实现视频图片的车辆分析; 在大数据中心上,实现视频图片的人物分析;4.3. 业务架构设计 架构说明:系统采用分布式系统构架,主要由大数据接入、大数据处理存储、大数据应用平台组成。大数据接入负责接入在线各种社会视频资源和公安各视频资源。或者直接导入离线视频资源。大数据处理对收集到的数据经进行转换
13、、分析处理。视频、图片等非结构化数据经过各种算法生成标准数据集供挖掘和分析使用。存储中心主要用来管理大数据接入、大数据处理生成的各种非结构化数据和处理后的结构化数据集,同时负责维护系统建立的各种专题库。大数据存储中心是建立在成熟的云存储体系之上的,具备存储的复杂均衡,软硬件的动态扩展和删除以及数据的自动备份和恢复功能。同时,系统提供SDK库供第三方集成,实现视频数据在业务应用的深度可视化。 大数据应用提供客户端功能的可视化展示,如数据的检索访问、车牌信息分析、目标类型分析、人脸分析、GIS应用等应用服务。4.4. 网络架构设计系统采用统一云存储设计,部署大数据平台Hadoop集群设备,通过网络
14、实时将结构化分析平台处理后的特征信息上传。各业务部门通过客户端即可实现大数据的综合业务应用。系统可单独部署,也可以级联部署。级联部署时,中心管理平台可以对子节点进行任务管理、调度、状态查看。可指定子节点信息上传的位置、信息上传的类型。中心管理服务器收到信息后,可对消息进行二次过滤后再入库。 视频结构化平台级联示意图5. 数据结构化5.1. 概述 大数据视频结构化分析系统控制调度、目标结构化单元、车辆结构化单元于一体,实现高清实时监控视频、高清录像以及图片资源的结构化处理。结构化引擎处理后的数据统一存储于结构化云平台中。支持标清和高清视频、不同厂家视频格式等,满足视频监控各类应用场合和应用模式的
15、视频内容处理需要。5.2. 数据采集 主要接入卡口数据、电警数据、实时视频、历史视频、卡口识别数据、视频特征提取数据、其他外部业务系统等数据,经过对数据清洗、转换、分类后,将数据存入大数据平台。提供对大数据统一的接入方式,接口形式包括API、文件、FTP,WebService等,方便公安数据接入大数据平台。大数据平台采集视频联网平台 如下大数据平台主动采集视频联网平台系统示意图所示,大数据平台通过数据接入组件主动从数据源系统采集数据,经过转换、清洗后通过大数据平台API接口存入大数据平台。主要提供如下几种接入方式: 文件交换形式接口通过FTP/HTTP/SOCKET协议交换文件,文件格式需要接
16、入时定义接口文档; RDBMS中间库接口通过JDBC的接口访问中间库的方式交换数据; WebService接口通过开发定制的服务和第三方接口。5.3. 控制调度单元 控制调度单元是视频结构化分析平台的核心管理模块,实现处理服务单元的管理配置,提供视频结构化分析平台的注册授权,对各节点的处理单元进行增、减操作。实现信令控制管理,对平台所有层级的业务处理服务单元进行信令集中控制、转发,实现数据同步。支持任务调配管理,实现由中心主控单元接受视频处理任务,对各层级的业务处理服务单元进行任务分派。支持负载均衡能力,根据服务单元的运行状态和硬件资源耗用状况及任务属性,分摊服务单元的工作任务,实现业务处理单
17、元的最大化利用效率,降低单个业务处理单元错峰填谷,实现各个处理单元的负载均衡处理。5.4. 活动目标结构化单元 1) 具备视频转码功能:支持将多种厂商的私有视频格式转换为标准的AVI流,MPEG4编码,如海康、大华、科达、东方网力、安讯士、景阳等厂家。 2) 具备视频获取功能:对不同视频源(如监控平台、DVR录像文件、指定存储设备的录像文件)的视频存储文件下载至本处理单元。 3) 具备对视频处理任务的执行功能:根据控制单元分配的任务,对录像文件进行处理。4) 具备处理状态上报功能:视频结构化处理单元向中心管理控制单元主动或被动上报运行监测状态和当前任务处理状态。5) 具备任务更新功能:接受到来
18、自中心管理控制单元的任务更新通知,可自动调整处理任务,并支持通过人工进行处理优先级的调整。 6) 具备文件数据转发功能:具备将结构化分析生成的文件,发送到指定的视频数据管理单元。或把原始录像文件数据,发送到指定的视频数据管理单元。 7) 视频预处理:提取视频图像中的背景图像数据和运动物体的图像数据,并记录运动物体的特征(颜色、方向、大小等)信息。目标结果化单元是视频结构化分析平台的业务处理单元,采用智能识别技术和先进的图像识别算法,对实时视频流、录像文件以及图片中人、车辆、人骑车的特征信息提取。例如:人结构化流程图:获取人图像信息。获取图片中的人的等相关特征信息。实现对视频图帧中人信息(性别、
19、年龄段、方向特征、衣服颜色、背包、拉杆箱、戴眼镜等)进行自动检测、自动识别的功能。支持模式:工具支持三种检测模式。 文件流模式 实时流模式 直连设备模式单元采用智能识别技术和先进的图像识别算法,对视频流及图片中人的信息提取,并识别出相关信息。 主要功能:人结构化描述信息: 性别信息识别系统支持男人、女人识别。 年龄段信息识别系统支持老人、中年、青年、儿童进行识别。 方向识别系统支持正面、侧面、背面、斜上方等方向进行识别。 上下身衣服颜色识别系统支持黑、白、红、黄、蓝、绿、灰、青等颜色识别。 人装饰物识别系统支持戴眼镜、帽子、背包、拉杆箱、打雨伞等进行识别,国内领先。人骑车结构化描述信息: 骑车
20、类别识别系统支持两轮车、三轮车识别。 性别信息识别系统支持男人、女人识别。 年龄信息识别系统支持老人、中年、青年、幼儿进行识别。 上身衣服颜色识别系统支持黑、白、红、黄、蓝、绿、灰、青等颜色识别。 人装饰物识别系统支持戴眼镜、打雨伞等进行识别。 活动目标速度识别系统支持对活动目标移动速度进行慢、快进行识别。车辆结构化描述信息: 不同环境下车辆识别系统支持白天、夜间、同画面多车辆、从车头、从车尾识别。 车身颜色识别黑、白、红、黄、蓝、绿、灰、青等 10种车身颜色识别。 车型识别如轿车、小型货车、大型货车、客车等类型。 车品牌、车系、款型识别系统支持车辆三级品牌(品牌、车系和款型)识别国内领先。
21、活动目标运动方向系统支持对活动目标运动方向上、下、左、右进行识别。 活动目标速度识别系统支持对活动目标移动速度进行慢、快进行识别。5.5. 车辆结构化单元 车辆结构化单元是视频结构化分析平台的业务处理单元,车辆结构化单元采用车辆智能识别技术和先进的图像识别算法,对实时视频流、录像文件以及图片中车辆的特征信息提取,并识别出车辆、车牌等的相关特征信息。车辆结构化流程图:获取车辆图像信息。获取图片中的车辆的车牌、车身、车标、车系、车辆宽度、安全带等相关特征信息。实现对视频图帧中车辆信息(车牌号码、车牌颜色、车身颜色、标识物、驾驶员行为等)进行自动检测、自动识别的功能。支持模式:工具支持三种检测模式。
22、 文件流模式 实时流模式 直连设备模式车辆特征识别单元采用车牌智能识别技术和先进的图像识别算法,对视频流及图片中车辆的信息提取,并识别出车辆、车牌等的相关信息。 主要功能: 不同环境下车辆识别系统支持白天、夜间、同画面多车辆、从车头、从车尾识别。 车牌信息识别系统按照GA36-2007标准进行设计,支持多达17种车牌类型的号码识别。包括:小型汽车号牌、大型汽车号牌(前后车牌)、挂车号牌、使馆车牌、香港入境车号牌、澳门入境车号牌、教练汽车号牌、警用汽车号牌(前后车牌)、拖拉机号牌、军车号牌、武警车号牌、个性化车牌、黑色车牌。 车身颜色识别黑、白、红、黄、蓝、绿、灰、青等 10种车身颜色识别。 车
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视频 结构 数据 平台 解决方案

链接地址:https://www.31ppt.com/p-3949867.html