面向工业物联网的海量数据实时处理平台.ppt

《面向工业物联网的海量数据实时处理平台.ppt》由会员分享，可在线阅读，更多相关《面向工业物联网的海量数据实时处理平台.ppt（42页珍藏版）》请在三一办公上搜索。

1、面向工业物联网的海量数据实时处理平台,中国科学院软件研究所2011年12月,目录,工业物联网建设背景和挑战,物联网概述 工业物联网环境下,海量数据处理面临的挑战,应用案例面向复杂生产过程的工艺技术管理,结束语,面向工业物联网的海量数据实时处理平台设计与实现,物联网的介绍,物联网（IOT，TheInternetof Things），利用条码、射频识别（RFID）、传感器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，实现人与人、人与物、物与物的在任何时间、任何地点的连接（anything、anytime、anywhere），从而进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理

2、的庞大网络系统。,泛在的感知：利用RFID、传感器、二维码，及其它各种的感知设备随时随地的采集各种动态对象，泛在的感知世界。泛在的连接：利用以太网、无线网、移动网将感知的信息进行实时的连接与传送。泛在的智能：对物体实现智能化的控制和管理，真正达到了人与物的沟通。,广义的物联网涵义,物联网的特点,麦肯锡对海量数据的解读,海量数据：创新、竞争和提高生产率的下一个新领域 By麦肯锡全球研究院,收集、存储和发掘利用海量数据，以获取洞见，可以为世界经济创造巨大的价值提高企业和公共部门的生产率和竞争力，并为消费者创造巨大的经济利益。,2000年后，数据存储显著增长,物联网产生的数据随着链接点数量的增多呈现

3、指数级的增加,运算能力也相应快速提高,海量信息涉及的技术,及数据存储、商业智能、云计算、数据集市、数据仓库、分布式系统、ETL、google档案系统、分布式计算、Hbase、映射和化简、聚合、非关系型数据库、关系型数据库、开放式数据库、SQL、流处理、结构数据、非结构化数据、可视化技术,标签云、clustergram函数、空间信息流,可视化技术,海量数据在五个领域的改革潜力,临床决策支持系统增强信息透明度（过程视图、仪表板）病人远程监控改善公共卫生监测和反应,交叉销售基于位置的营销品种优化劳动投入优化基于Web的市场,对比引擎预填信息自动化算法人群细分和定制创建新的业务模型、产品和服务,医疗保

4、健,制造业,公共部门,零售,个人定位数据,建立协作的、跨功能的研发和产品设计聚合客户数据并广泛应用虚拟合作（创意市场）精益制造,智能路由汽车远程信息处理手机定位服务广告的地理定位电子收费保险订价,工业环境下物联网海量信息处理面临的挑战,分布式数据采集工业物联网：面向整个供应链的传感器设备和业务的集成；移动计算：移动通讯的发展，智能终端的普及；多工厂集成：集团化战略的发展要求多工厂间协同更敏捷。信息处理特征：海量、多变量、高噪音、强耦合；数据源和数据质量的不确定性；多时标与不完整性，许多变量的变化快慢各异，采集信号的频率不同，导致时间上的不同步和不完整。知识挖掘智能报警：事件驱动、报警抑制、报警

5、规则；数据驱动VS模型驱动：结合机理模型和统计分析模型，适应复杂工况信息推理过程缺失：以人为中心，面向多人协同交互分析。,据统计在一些现代化工厂，因为缺乏有效的数据处理和分析技术，已有的数据库中90%以上的数据多年无人问津。,目录,工业物联网建设背景和挑战,总体架构 核心技术,面向工业物联网的海量数据实时处理平台设计与实现,结束语,应用案例面向复杂生产过程的工艺技术管理,面向工业物联网的海量数据实时处理平台建设目标,Knowledge,数据是未经组织的外部环境和客观事物的事实,信息是具有时效性、有时序关系的、经过加工处理的、对决策有价值的数据流。,知识是让从定量到定性的过程得以实现的、抽象的、

6、逻辑的东西。,Information,Data,“如何实时改善生产过程创造价值”从过程控制现场海量数据中实时识别有价值的事件，并将获得的事件通过以人为中心的协同决策来挖掘潜在知识，指导生产过程优化与生产决策。,面向工业物联网的海量数据实时处理平台运行架构,面向工业物联网的海量数据实时处理平台AgiM2M,核心技术1：分布式环境下采集接口集,数据集成服务提供了对多数据源的接口支持，并具有灵活的实时整合规则和高效的数据融合技术，实现了企业中控制系统、远程终端系统、数据库以及企业其它信息化系统的实时的连接与传送,支持的接口类型关系数据源Oracle、SQL Server、OleDBOPC/DDEOP

7、C AE、DA、HDA现场总线RS232/485、CAN、ModBus、MB+、Profibus、BACnetFlat File其它Message QueueRFID,核心技术2：海量数据管理与实时事务处理(1),平台实现了分布式过程数据的实时采集、实时规则推理、海量历史数据管理、实时消息通信中间件、实时数据整合与发布等功能。,分布式实时数据库系统分布式实时系统：至少可对100个数据库节点进行有效管理支持百万级以上的物理或虚拟传感数据源节点间的负载均衡，实现实时事务错失率低于0.01%支持单向、双向以及一对多的数据同步与交换，实现实时数据的实时同步实时事务处理：基于优先级表的实时调度算法动态调

8、整执行顺序的乐观并发控协议单数据库节点每秒数据处理和归档能力达到百万级以上，单数据库节点支持1000个并发查询；数据存储与压缩采用混合压缩技术，提供有损压缩压缩率至少达到50：1，提供高速无损压缩压缩率至少达到4：1,核心技术2：海量数据管理与实时事务处理(2),内存数据管理技术索引的组织：采用T树作为索引结构多级缓存机制：基于统计特性，采用了基于优先级的实时数据库缓冲区管理方法查询调度：基于规则的任务调度,采用主内存数据库技术，将磁盘数据的低速I/O操作变为对内存数据的操作，从而实现高速查询和检索。,核心技术3：分布式环境下实时通讯服务,平台采用QoS自适应的实时发布/订阅（QRTPS）机制

9、，在多优先级的实时事件消息队列上提供动态调整服务质量等级，提供无处不在的实时信息服务，支持高性能的通讯服务。,事件通知服务事件引擎规模：20万点高性能：每秒处理5万个数据更新事件通知服务基于TCP接口OPC接口封装ECA规则引擎,核心技术4：复杂事件处理,不合格产品增多,罐区异常,设备停机,生产中断,数据异常,计量数据缺失,能耗异常,工艺数据异常,压力异常,温度显著升高,计划过饱和,合同不足,原料消耗异常,辅料消耗异常,罐计量差异,接口故障,监控失效,库存不明,存料不足,产品无处存放,阀门关闭,复杂事件处理引擎,PLC,MES,ERP,实时数据库,EPL,处理规则,规则的事件流,事件云,能够对

10、企业内部和外部整个供应链体系的关键控制要素进行及时、全面、直观、综合的掌控，及时发现问题，及时下达决策，实现世界一流的实时营运管理。,复杂事件处理引擎,平台支持复杂的定性时序关系与定量时序关系的描述，识别有价值的复合事件。,select*from pattern every Temperature(Datas0.Value46)-(Kpa(Datas0.Value Lpm(Datas0.Value52)where timer:within(200),复杂时序描述示例,核心技术5：实时规则推理,基于ECA规则的实时推理规则模型与描述语言可描述复杂时序时间多视图描述语言实时推理算法基于规则图的启发

11、式搜索实时性开放式规则库支持规则在线修改,规则修改期间推理机不必停机基于动态可配置结构的规则处理中间件,针对输入的高层事件,根据规则库中的ECA规则,实时获取相应的动作决策。,核心技术6：流计算引擎,流计算服务提供了可视化的数据流规则配置，采用滑动时间窗技术，支持增量式数据分析处理，并提供可扩展的计算算法库，能迅速分析多个数据源的信息流，大大提高业务关领域决策的速度和精确性,智能学习与优化分析算法库,t-检验单一样本t检验独立样本t检验配对样本t检验单因素方差分析均值多项式比较Post Hoc检验12 post hoc检验ANOVA统计固定作用检验随机作用检验组描述统计方差齐性检验相关分析双变

12、量相关分析偏相关分析距离分析不相似性测度回归分析线性回归曲线估计,频数分析频数分布表：频数计数，百分比，有效百分比，累积百分比中心趋势：均值，中位数，众数，总和离散性：最大值，最小值，全距，标准差，标准误，方差分布：峰度系数及其标准误，偏度系数及其标准误百分比之：按实际或分组数据的百分比，四分位数，等分组描述分析中心趋势：均值，总和离散性：最大值，最小值，全距，标准差，标准误，方差分布：峰度系数，偏度系数探索分析 均值的置信区间M-估计标识极端值和非正常值分组频数表SPC聚类,核心技术7:时序数据可视化与交互式分析(1),平台提供直观的图形化的数据和信息和交互式的数据挖掘，从多种观察角度围绕业

13、务指标，对数据进行深入、实时、动态的剖析,丰富可配置的可视化组件库曲线图各类曲线图动画效果KPI仪表盘数字图形化指针型表格链接报警看板简报通知To-Do List控制组件日期选择选择框定制组件,自定义的动画监控效果,系统支持自定义的脚本解释语言，采用Python语言和丰富的预定义函数可以构建各类复杂计算和动态交互动画；结合预置的工厂控件图库，包括泵、阀、仪表、管道、马达等，可以真实再现生产流程。,脚本解释语言 变量类型系统变量页面动态参数自定义变量 流程控制循环、分支、判断、迭代等算术、逻辑等运算符、列表推导式 事件响应鼠标、键盘等交互动作数据变化、阈值条件等页面加载、缩放等窗口绝对或相对时间

14、周期 函数库计算函数日期函数对象函数系统函数数据处理函数文件操作函数.,工业控件图库,脚本编辑器,工业现场可视化监控,核心技术7:时序数据可视化与交互式分析(2),24,综合展示平台不仅支持模板化的信息展示，也支持以用户为中心的交互式分析过程，辅助用户高效的组织和利用知识进行综合分析和假设验证等推理。,Pan+Zoom,Detail on demand,MultiView,目 录,工业物联网建设背景和挑战,流程企业工艺技术管理应用案例石化企业应用案例冶金企业,面向工业物联网的海量数据实时处理平台设计与实现,应用案例面向复杂生产过程的工艺技术管理,结束语,流程企业工艺技术管理,工艺技术管理主要实

15、现工业控制过程的“异常管理”，将计划目标转化为控制层面的操作目标，并帮助用户跟踪生产过程“不稳定”和“工艺波动”，由“事后”变为“事中”，为工厂有关人员提供相关的实时信息，以便及时地做出调整。,应用案例燕山石化,北京燕山分公司是中国石油化工股份公司直属的特大型石油化工联合企业，成立于1970年7月20日。原油加工能力1000万吨/年，乙烯生产能力71万吨/年，拥有生产装置88套，辅助装置71套，可生产汽油、柴油、航空煤油、石蜡、乙烯、聚乙烯、聚丙烯、苯酚、丙酮、顺丁橡胶、丁基橡胶等120个品种494个牌号的石油化工产品，主要产品中，合成树脂、合成橡胶、苯酚丙酮是国内最大的生产商之一，年销售收入

16、超过600亿元。,从2008年6月开始在中国石化燕山分公司进行建设和应用，覆盖了主要生产业务主管部门：13个主体生产工厂和3个能源工厂，设置了炼油、橡胶、烯烃、芳烃、聚酯、聚乙烯、聚丙烯、化学品、储运二厂、塑料、气体、动力、水务等16个MES工厂，为燕山石化生产执行和指挥提供了一个统一、高效的生产营运指挥平台。,企业简介,建设背景,主要功能1工艺卡片管理,实现工艺卡片的电子化管理，通过工作流的方式实现工艺卡片的审批流程。并为平稳率系统、公司监控系统提供标准的数据接口。,主要功能2工艺运行监控与偏差分析,监控24小时现场状况及对异常状况迅速的采取措施,将工艺卡片的上下限转换为监控指令，通过监控指

17、令的执行，实现对实际操作的实时监测和跟踪，并对产生的偏差进行原因分析和相关考核。,主要功能3实时工艺计算,通过可视化的编辑环境和丰富的组件库灵活快速的配置相关工艺计算流程，并通过底层调度服务实现工艺指标的实时计算。在燕化全公司范围内的89套装置推广实施。,主要功能4工艺联锁报警,通过复杂事件的检测机制，实现了在复杂工况下对装置联锁报警的实时异常检测。,工艺连锁报警典型应用二催化处理量报警裂解炉（BA1101）联锁报警裂解炉（BA1102）联锁报警裂解炉（BA1103）联锁报警裂解炉（BA1104）联锁报警压缩机（GB1201）连锁报警.,T,再生塔顶压力,1041009692,0 20 40

18、60 80 100,主风流量,再生塔顶压力,1041009692,主风流量,报警信号,正确信号,主要功能5工艺实时预测分析,汽油干点是催化装置的重要指标，但是LIMS的检测周期较长（每天一次），无法实时快速的反应装置当前的生产情况。为解决这个问题，我们收集了和干点相关的14个关键影响因素。通过大误差剔除，移动平均，归一化和降维对14个采样点的数据进行预处理,使用神经网络建模和校正模块，实现了对汽油干点的实时监测。通过在现场运行，预测误差在正负1%。,干点预测的实时曲线以及本次 预测误差,干点的预测值与检测值比较，预测误差小于1的概率在86%以上,影响汽油干点的14个关键工位点的实时值,系统后台

19、通过大误差剔除，移动平均，归一化和降维对14个采样点的数据进行预处理,使用神经网络建模和校正模块，计算干点的预测值，并将结果存储到数据库中,主要功能6工艺月报,装置投入产出分析,原料物性分析,收率分析,能耗分析,主要设备情况,同行业生产情况对比及分析,质量分析,化工原材料及三剂消耗情况,环保达标情况,装置开停工统计,应用案例首钢京唐公司,首钢京唐钢铁项目是纳入国家“十一五”规划纲要的重点工程，总投资677.31亿元，按照“高起点、高标准、高要求”和“产品一流、管理一流、环境一流、效益一流”的要求，建设两座世界第三、全国最大的单套5500立方米高炉，凭借年产能898万吨铁、970万吨钢和913万

20、吨钢材，成为中国最大的精品钢铁基地。,为支撑京唐“四个一流”体系目标，实现信息化与生产工艺装备同步投运，根据工艺装备和生产环境，研发并实施了MES系统软件，该软件直接指导生产和管理，同时为四级系统成本核算提供及时准确数据，涵盖铁前、钢后、生产指挥中心、计量、检化验等范围。,企业简介,在线质量判定炼钢和热轧,建立迁钢炼钢、热轧质量工程师站的在线质量判定功能；建立和维护判定规则的技术手段；实现与现有MES系统数据交换，为MES系统的产品质量判定功能提供数据支持和判据数据建立在线质量判定查询系统，实现对过程参数信息的查询功能，并可以导出到Excel表格中进行保存。实现对高频率采集过程参数数据以曲线形

21、式方便直观的展示。,应用界面示例,应用界面示例,应用界面示例,应用效果,建立了在线质量判定概念，加入了过程判定和产品在线表面判定，对高端板材的生产起到了积极的作用，同时，将在线判定结果数据传递给产品综合查询系统，为日后的产品质量分析提供了重要数据依据。建立了详细的判定规则，将工艺管理人员或老师傅多年所积累的经验转换录入系统，避免了人工操作的主观性和可能的失误。通过对规则的优化调整制定了详细的判定规则，细化了对不同产品质量要求，提高了对质量的控制。在线质量判定从铁水产生开始进入炼钢工序时就全面跟踪可能影响到最终产品质量的过程参数，对各个环节层层把关，减少后道工序的不合格产品生成机率。与MES系统

22、的紧密结合。在线判定结果上传给MES系统，从此质检人员在进行表检、外形等常规质检的基础上同时参与在线判定结果，可以更精确的掌握物料的合格情况。使质检人员的判定更加精细，把关更加严格。人工经验资料库的生成。在线质量判定系统通过制定系统规则，通过经验长期的积累形成在线质量判定经验库。避免岗位人员交换所产生的由于经验不足而容易发生的问题，可以更加准确的完成对产品的判定。,目 录,工业物联网建设背景和挑战,工业物联网平台设计与实现,应用案例面向复杂生产过程的工艺技术管理,结束语,结束语,面向工业物联网的海量数据实时处理平台提供了一种帮助用户及时了解生产状况，创造过程数据价值的关键技术手段，能为生产优化与工艺改进提供有价值的指导。,感谢各位！,