新一代BOSS系统EAI架构——IBM整个整合.ppt

新一代BOSS系统EAI架构 WebSphere Business Integration,内容提纲,业务整合的基本概念IBM WBI业务整合平台的体系架构面向数据的整合面向应用的整合面向流程的整合EAI架构,当前企业复杂的IT环境,内部网络,外部网络,数据库,授权用户,事务处理,Internet/Intranet,各种网络应用,各种业务系统,系统及应用间的信息共享和同步，各种IT技术的应用，系统及应用的异构性，以及流程的不断复杂化给企业电子化的发展带了挑战！,EAI-企业应用集成,Enterprise Application Integration,资源管理,综合客户服务,交换网网管,计费帐务,IT架构的思考,在企业IT架构规划中，涉及到诸多的技术层面（包括IT技术的发展状况、架构师的水平等）与非技术层面（包括用户的需求、组织开发者的能力等），在此难以一一论述。但从整体角度进行分析，可以认识到应用集成在整个系统的架构设计中占有相当大的比重。在此列举两个数字，2001年摩根斯坦利对企业CIO做的一个调查统计，在客户未来所要实施的战略性软件应用项目中，应用集成排在电子商务、客户关系管理等前面，列第一位；Gartner Group对全球企业IT的投资分析，认为2002年企业在应用集成方面的投资占全部投资的40%。因此合理的规划IT集成架构，保证理想的ROI，对企业整个系统的规划至关重要，以下将重点对企业IT集成架构与ROI进行分析。,IT集成架构,在系统应用集成领域，有四个重要的发展阶段：第一代，手工接口。主要特征包括：涉及的应用数量较少、文件交换、批处理倒入、批处理非实时性、高额维护费用、缺乏重用性、缺乏灵活性。第二代，基于消息的端到端接口。主要特征包括：应用与接口的数量增加、异步消息、异构平台、专注传输与消息的可靠性、较快的集成周期。不足之处主要是：接口数量剧增且复杂、相应的增加维护与支持、缺乏可重用性。第三代，星型（Hub/Spoke）架构。主要特征包括：基于消息的Hub架构实现路由与格式转换，替代端到端的设计、工作流开始产生并包含于Hub中、大数量的应用需要数据同步、实时或准实时的数据交换出现、以应用为中心的看法得到改变。不足之处主要是：对Hub、适配器、工作流的编程与管理较为昂贵，同时重用性较低。第四代，EAI解决方案中心。主要特征包括：业务流程独立于应用、实时的客户驱动流程成为通用模式、由业务分析员设计的工作流驱动Hub与应用、遵循企业神经系统（ENS）模式(Gartner Group)、快速的设计、开发、提交与维护、较高的重用性、定制化的组件得到普遍认可、提供得到验证的行业业务流程模版库，而不是从空白开始建起、提供一个为未来的业务与IT流程发展的系统平台。,Why EAI?-企业内部不同系统之间信息的交互,复杂的环境，不同的提供商，不同的标准复杂的网络和底层架构缺乏统一的标准实现企业内部数据的存取需要找到数据的所在位置适应不断的外部变化无法保证数据的安全性企业-用户-合作伙伴之间存在同样的问题,Why EAI?-信息在企业中共享,不同的数据格式和类型同样的数据对应不同的系统有不同的处理规则无法快速适应业务规则的变化要解析数据的内容及语义不同的系统之间存在千丝万缕的联系,Why EAI?-如何管理业务流程,Orchestrating the Enterprise,将业务流程中涉及的各个应用原子化,可重用化快速实现新的业务处理逻辑以适应新的业务模式而不需重新规划整个IT系统环境(周期长)对企业中参与业务流程的人员的管理企业内部以及企业与企业之间工作流管理,Business Process(e.g.,Purchase&Fulfill Goods),Browse&Configure Order,1,WebSphereCommerceSuite,PlaceOrder,2,i2,PlanOrder,3,i2,WebSphereCommerceSuite,Paymentof Order,5,SAP,FulfillOrder,4,SAP,Fulfillment CompanysApplication,FinancialCompanysApplication,业务整合系统 星形/轮辐式 系统架构,传统“点对点”,WBI“星形/轮辐式”,链接数 66,链接数 12,Other EAI Vendors Data Transformation and Business Process Logic Is Still Point-to-Point,传统整合方式 先进的整合方式及趋势,整合的概念,数据和信息的同步 数据扩充 格式转换 数据映射 数据交互参考流程控制 事件捕获 事务管理 事件顺序和隔离 流程监控工作流管理 人工干预/面向文档 应用 数据,内容提纲,业务整合的基本概念IBM WBI业务整合平台的体系架构面向数据的整合面向应用的整合面向流程的整合EAI架构,WBI解决方案提供的业务整合的集成模式,面向数据的整合,面向数据的整合，使应用可以访问、共享分布在各处的、不同类型的数据。提供同步/异步读写访问数据格式转换，用于业务分析和数据交换提供路由的功能，使数据能够到达指定的目的地管理数据，满足性能、实时性和可用性,WBI服务器1 WBI Message Broker数据共享的需求及WBI轮辐式架构的优势,WBI Message Broker-消息格式服务和智能路由,提供 Formattor来解析和实现格式转换提供的消息解析器有：例如,不同的消息头格式对应不同的解析器支持 MQMD,RFH,RFH2,MQMDE,etcXML 格式解析并创建通用的XML消息(无须 DTD或Schema)面向纪录的消息格式C Headers,COBOL records,JMS Messages利用 MRM 定义的消息格式利用MQSI V1&V1.1 Formatter定义的消息格式非透明化无须解析消息内容基于规则的智能路由,WBI Message Broker-消息流处理,WBI Message Broker的主要功能,网状结构到星型结构的改变，大大简化MQ的配置和管理智能路由和格式转换各种Processor Node 组成的Message Flow，可对消息进行各种处理操作与Database紧密集成，提供了与DB操作相关的各种Node,如INSERT,UPDATE,DELETE等Node，用户可以之间通过ESQL进行和数据库的操作，如把数据存入数据库，从数据库中取数据等；提供各种消息解析和处理服务，可以之间识别XML，C和COBOL中的结构以及用户通过MRM工具定制的消息类型；动态分发和订阅功能，能实现基于主题和内容的发布和订阅功能扩展性强、管理性强的体现结构，采用多线程处理，对多个Input 队列同时操作友好的图形界面，强大的控制中心，在GUI下，几乎无需编写代码，即可实现对消息的各种处理和路由。,内容提纲,业务整合的基本概念IBM WBI业务整合平台的体系架构面向数据的整合面向应用的整合面向流程的整合EAI架构,WBI提供的连接方式,应用适配器Adapter for Domino,Adapter for Siebel等技术适配器SWIFT,JDBC,JTEXT,MQ,JMS,WMQI,MQWF,ODBC,Email,XML,J2EE等Access Framework(Server Access Interface)Access Client/Access EJB,Resource Adapter等Web ServicesWBI通过SOAP适配器调用外部Web ServiceColloboration封装成Web Service在WAS上发布以供调用WBI Connect实现B2B的连接，实现与对等机构或组织间的信息交互，如其他银行，或者证券机构。支持多种通信协议(TCP/IP,FTP,SMTP等)和数据格式(EDI,XML等)主机连接适配器套件Adapter for IMS Database Manager,Adapter for IMS Transaction Manager,Adapter for DB2 Databases,Adapter for CICS,Adapter for VSAM,Adapter for ADABAS定制适配器适配器开发包-ADK,支持Java,C+,针对业务流程整合的设计 单实例 双向通信 响应回复机制 支持应用的事件触发 支持Pub/Sub&Request/Response多种的连接服务 Meta-data 驱动 图形化 ASBO(应用商业对象)开发 Object Discovery 工具 随时可用的Connector Agent 支持在运行时进行配置 支持多种传输方式 层次结构的Framework架构,优势 应用无须改动,或仅做少量改动 图形化工具支持,无须编程或编译 支持即插即用 易于配置和维护 提供适配器软件开发包，可以方便地开发和定制适合特定系统的适配器,WBI 适配器的特性,WBI 适配器,e-Business适配器Data Handler for XMLData Handler for EDIJCA Connection to WebSphere Integration ServeriSoft Peer to Peer AgentWBI ConnectWeb Services,技术适配器FIX ProtocolJMSJTextJDBCMQMQ IntegratorMQ WorkflowSWIFTXML主机适配器ADABASCICSDB2 DatabasesIMS Transaction ManagerIMS Database ManagerVSAM,应用适配器BroadVision CommerceClarify CRMeMatrixi2i2 Active Data WarehouseMetaSolv TBSNightFire ApplicationsOracle ApplicationsPeopleSoftPortal InfranetRetekSAPSiebel eBusiness ApplicationsSpirent ApplicationsTelcordia ApplicationsVantiveWebSphere Commerce,内容提纲,业务整合的基本概念IBM WBI业务整合平台的体系架构面向数据的整合面向应用的整合面向流程的整合EAI架构,业务流程管理（BPM）-Process Integration,长周期运行流程（Long running process）处于停止或等待状态的事件可以存储流程的关键状态点信息异常中止后可重新执行具有分支流程或流程的合并自动化流程（Straight through process）流程一次运行至结束，无等待状态。人工工作流需要长周期运行流程组织，角色，职责需要人工的干预,WICS-Business Objects(业务对象),GBO 通用业务对象支持的动词属性数据格式定义 Single and n Cardinality 支持缺省值Application-Specific(ASBO)应用相关业务对象应用相关信息Common/Generic(CBOM)通用业务对象模型 整体架构和工具都支持CBOM 提供GBO示例或可下载获得,WICS Mapping,多种形式的映射：Mapping 一对一 一对多 多对一 多对多 组合映射 自定制的，随时嵌入Java 代码 在多种情况下可被调用,WICS Relationship,GBO,ASBO,ASBO,支持 Key-value cross-referencing Lookup values Entity Relationships 通过图形工具定制 通过图形界面管理 支持多 databases Support for distributed data Populated dynamically 数据可以预先载入,WICS Collaborations,明确业务流程的需求，例如:订单处理-涉及 ERP 和 Finance 相关的流程 Availability to Promise 信用核实 相关的处理可能包括 客户信息的同步 产品货物信息的同步,WICS Collaborations,从Integration Flow,模板Templates设计 Java 代码生成 支持内嵌客户化代码 支持Scenario 支持多事件“触发”,同步&异步 多线程 多个连接端口(Ports)分布式的 Pub/Sub 请求/应答,WICS Collaboration Templates 预建的行业流程模板,减少用户开发代价快速开始方便扩展和改变充分利用ICS的集成服务优势减少维护代价建立在CBOM模式上独立于应用程序/适配器,WICS-InterChange Server,InterChange Server的系统运行核心 事件管理服务 运行Connector Controllers 数据库连接服务 高可用性 交易服务 数据映射/转换 关系(Relationship)Management Recovery,WICS 交易(Transaction)管理,多种层次 None Minimal Best Effort Stringent多种类型 Scenario Cascading Distributed补偿步骤 Automatic and/or Programmatic失败恢复 Built-in Log/Trace Automatic and/or Manual,EnterpriseApplication,EnterpriseApplication,Collaboration,Connector,WebSphereInterChange Server,Business ObjectMetadata,Cross-ReferenceTables,Repository,Connector,MapDesigner,processDesigner,管理、开发工具,ConnectorToolKits,国内的一个客户(IT行业)案例,IBM解决方案产品选择:IBM WBI Interchange Server 4.1.1IBM WBI Adapter For JDBC 3.1.2IBM WBI Adapter For SAP 4.x 3.1.2IBM WBI Adapter For Siebel 2000 3.1.2IBM WBI Adapter For I2 ADW 3.1.2IBM WBI Adapter For Web Services 3.1.2IBM WBI Tools Set 4.1.1IBM WBI VisiBroker 4.5IBM WebSphere MQ 5.2.1Java Development Kit(JDK)1.3.1 componentsApache Tomcat 4.0.4Apache SOAP Server 2.3.1,内容提纲,业务整合的基本概念IBM WBI业务整合平台的体系架构面向数据的整合面向应用的整合面向流程的整合EAI架构,内容提纲,业务整合的基本概念IBM WBI业务整合平台的体系架构面向数据的整合面向应用的整合面向流程的整合EAI架构,WBI 充分满足您业务整合的需要,BOSS项目-系统关系图,项目范围及假设条件,项目范围在本期工程建设中，通过EAI系统承载平台进行交互的业务应用系统如上图所示，包括综合客服、计费帐务系统、资源管理系统、交换网网管、网间结算、联机采集。在业务工作流程的设计实施中，本期只完成应用间数据传输的功能、并由应用厂商完成各自的应用适配器部分。在工程完成后，实现系统间基于HUB架构的应用整合解决方案。假设条件系统设计基于由PMO提供的应用接口文档、业务流程文档，且二者应对统一流程处理保持方案一致。系统有关数据模型（数据对象）的设计，基于PMO提供的Meta Data文档，且此文档中与应用接口文档中重复部分应保持一致。对文档中设计的典型流程及适配器完成原型开发测试，确认可行后方可作为正式的设计参考文档。,总体架构图,通用业务对象模型(CBOM)共享信息/数据(SID)模型,Commn Business Object ModelShared Information/Data Model,GBO与SID,在NGOSS中使用一个简单的信息模型共享信息和数据(SID)模型对数据进行定义和模型，即对所管理的数据的属性、操作和相互间的交互进行描述。共享信息和数据模型的目的是对信息和数据进行共享和管理。通用业务对象(GBO)是IBM WBI（WebSphere Business Integration）在集成电信应用系统时所定义的，是为了实现应用系统之间交互过程中的数据映射，从而满足数据共享的需求。通用业务对象(GBO)是一组通用的、跨应用的、与领域相关的业务对象，它包含了所有应用系统相互通讯所需要的信息。各个应用系统通过数据映射把它们内部的数据信息转换成通用业务对象或反过来把通用业务对象转换成它们内部的数据格式，从而解决了不同应用系统之间的数据模型匹配问题。当应用系统变化时，只需提供新的数据映射使其能对应到通用业务对象即可，不需要对系统集成中间件进行修改。通用业务对象最大的好处是使系统集成中间件的业务处理逻辑与应用系统相对独立。,Business Object 业务对象,通过业务对象(Business Object)的属性定义(Meta Data)实现共享信息和数据模型的EAI平台化，从而从数据层面完成电信业务模型在EAI平台上的相对独立性。应用系统的改变对EAI业务承载平台的影响降到最低，无需考虑需要与此应用交互的其它应用的每一接口的数据格式，通过通用业务对象来实现”TRUE HUB”架构。以共享信息和数据模型为基准，定义出通用业务对象，维护电信共享数据模型的稳定性与规范化，对电信运营商业务系统长期的建设与业务发展有架构性的提升，更好的投资回报率，在业务系统发生变更时，以此为相对稳定的业务共享数据核心，规范应用系统的接口与对外服务的内容。通用业务对象定义的操作(Verb)是业务流程对外提供的服务形式接口，与通用业务对象的数据部分(Meta Data)一起构成与适配器进行交互的完整对象。通用业务对象在业务流程中中承载实例化的业务数据，并通过支持的操作(Verb)对外，即通过适配器对应用系统提供服务。,业务对象定义与业务对象实例,基于SID的通用业务对象的工作机制,通过基于共享信息和数据模型的通用业务对象的工作机制，可以提供多种架构性的优势：通过与SID的结合，建立不同应用系统间数据共享的规范化架构，构造应用系统数据结构的桥梁。是SID在实现技术上的载体，提供承载平台数据模型标准化的技术保障。提供“True HUB”的架构体系，在接入的应用系统增加、减少时不影响相关应用，将相互间的依赖降低到最低。提供SOA的架构体系，通过数据与行为(Verb)的结合，对外提供面向服务的体系。,适配器设计理由和风险,基于数据库的适配器应用系统对外提供的接口是应用数据库，适配器通过对应用数据库的操作来实现EAI与应用间的交互。此类接口是应用系统可对外提供的最底层的接口类型，允许适配器直接访问应用的数据。针对此方式，尽管这也是常用方式之一，但其中有很多严重的不足。使用数据作为应用的接口，意味着将数据的结构体设计暴露出来。当应用发生改变时，通常需要重新分析、甚至改变此数据接口。当应用系统的数据改变时，为了触发外部应用，通常需要使用基于应用数据库的外部触发器或使用低效的循环查询策略，这不是一个”干净”的解决方案，外部应用对维护数据的完整性也将负有责任，为此需要理解需要集成的应用系统的结构。总之，其结果将是一个难以维护的交错系统。基于API的适配器应用软件，通常提供内置于软件库的API，作为与应用系统交互的接口。相对数据库接口而言，此类接口是一个更为”干净”的解决方案。其问题是相对某种平台，如操作系统、编程语言，此API库可能不存在，为解决此问题，需要开发底层的代码并进行长期的维护。同时当支撑其运行的产品进行升级时，通常需要对此API进行升级以保证其兼容。另外，基于API技术，当一用系统有事件发生时，一般难以提供自动通知功能，需要外部系统进行低效的循环查询。基于组件的适配器基于J2EE与CORBA的分布式对象技术，使应用系统的接口有较好的可移植性。此类接口，可以屏蔽操作系统、编程语言的不同。此类接口属于紧耦合模式，属于发展中的技术，由于应用系统本身需要提供组件接口，在实际应用中限制了其应用。基于消息队列的适配器应用系统对外交互的接口为消息队列，同时提供消息/数据传输的可靠性保障。业界领先的消息中间件同时提供同步、异步两种通讯方式。使用消息队列，消息系统可以管理很多通讯细节。此种接口方式为典型松耦合模式，是EAI技术普遍使用的方式之一，可以实现接口的重用能力。,MQ消息适配器,提供统一的接口模式，最大程度地满足IT规划的总体要求，保障最大的ROI。提供基于松耦合的接口方式，提高整个EAI系统承载平台的可重用性，将系统的重用范围从流程扩展到接口层面。提高整体系统的可维护性，统一接口技术，并逐渐标准化，避免采用多种不同技术规范。一方面使承载平台维护人员专注在业界领先的标准技术上；另一方面便于系统的统一升级换代。基于消息队列的技术是一种成熟、稳定、开放的技术，开发维护简单、便利的技术手段，利于在实际项目中进行实施，降低项目的风险。队列作为应用对外接口可用于多种场合，如用于WBI中的WBIMB的集成、其它点到点的应用。如果消息中间件支持两阶段提交，则可用于保证应用系统交易的完整性。如果消息中间件支持多类客户端，则可将接入的应用类型扩大。,MQ消息适配器 消息请求,MQ消息适配器 事件触发,基于J2EE客户端的服务调用流程,Server Access接口技术,IBM WBI解决方案对于J2EE应用系统对外请求通过Server Access接口技术实现，WBI提供了两种调用Server Access的外包接口Access EJB和Resource Adapter。Server Access接口技术在实时性要求较高，单笔数据较小时可以采用，同时注意到其可靠性比消息模式低，请应用商根据实际业务要求决定。IBM WBI解决方案提供的Server Access接口技术采用了业界标准的J2EE结构连接器规范1.0版本(J2EE Connector Architecture Specification v1.0)。EJB适配器为符合WBI适配器框架结构的适配器产品，提供对J2EE服务器的EJB接口的调用。对于Server Access的接口技术，需要注意以下几点：由于Server Access接口技术采用了业界标准的J2EE结构连接器规范，本接口技术只支持J2EE应用服务器对EAI系统承载平台的单向调用，需要配合EJB适配器实现与J2EE应用服务器的双向整合。Server Access接口技术只支持系统调用方式，不支持事件驱动模式。Server Access接口技术为同步方式调用，在EAI系统承载平台中没有对交易流作持久性保存处理。当ICS异常中止时，调用方不会收到异常通知。解决方式为：对于查询操作，重新执行。对于其他更新/创建/删除操作，需在ICS重新恢复功能后判断交易是否成功。,Server Access(Access EJB)工作原理,EJB适配器,IBM WBI解决方案对于J2EE应用系统接受请求通过EJB适配器实现。EJB适配器原理架构符合WBI适配器架构。EJB适配器可以在EAI服务器与部署于应用系统的EJB之间传递业务对象。EJB适配器只支持请求方式，不支持事件触发方式。,EJB适配器原理架构图,EJB适配器原理架构图,适配器的实现方式,系统参考拓朴结构图,请参照BOSS整体架构图，本图仅请参考EAI部分,对大数据(Large BO)流程的处理,由于IBM ICS平台对于每笔数据的大小有一定限制，原则上不超过1M，建议控制在500K左右。对于可能会超过BO限制大小的流程（如月详单查询），需要在需求分析阶段由各应用厂商甄别判断，并在详细设计阶段选择解决方案。目前，有以下几种方案可供选择：在接口定义中，增加分页功能，控制每页返回数据不超过500K，并在两端应用系统中实现对分页功能的支持。不通过EAI HUB处理此类流程，通过MQ直接连接的方式，通过MQ直接将大数据传送至相应系统。不通过EAI HUB处理此类流程，通过文件方式传送。对于实时查询与交易(比如，实时查询计费信息)，考虑到EAI系统的功能性及整体架构性建议采用第一种解决方案。对于批量方式（比如，批量打印客户详单），建议选择第二或第三种解决方案。,对海量/大批量数据流程的处理,对于大量发生的规律性海量/批量数据在不同子系统间的传递，比如采集系统实时采集数据到计费系统的传递，基于针对EAI平台功能性、架构性、以及可能对其他流程产生的影响综合考虑，此类流程不适合通过EAI承载平台实现。,对于错误流程的处理,没有完全没有问题的系统，问题发生的原因可能有：环境：如网络不稳定，电源断电等应用服务器：响应变慢，Core Dump，系统负载过大等消息中间件：MQ不正常工作等适配器：不能处理应用端请求等EAI服务器：Core Dump，性能下降等系统设计：系统参数未优化，没有异常处理等例：综合客服 到 计费系统 的查询操作由于全省的业务量很大，查询操作的业务流量也非常大。如果计费系统响应超时（性能下降），会导致从综合客服的发出的大量请求被阻塞解决方案建议：建立大流量目的系统自动健康检查机制，通知请求发起方系统暂停受理同类请求综合客服 到 计费系统 的帐务更新操作.计费系统中更新成功，但是计费系统响应超时（由于性能下降，导致交易时间过长），会导致系统间账目不平。解决方案建议：加强对计费系统问题的解决；建立失败流程处理机制。,对于错误流程的处理,当发生事故时的问题诊断与分析：流程发起方应用厂商负责对发起方适配器进行诊断、日志分析，确认数据成功传至EAI服务器。流程目的端应用厂商负责对目的端适配器进行诊断、日志分析，确认收到相应请求，并从服务器成功得到返回信息。EAI系统承载平台维护厂商负责对EAI系统进行监控，进行诊断、日志分析，确认相应流程在EAI内部的成功运行。对于错误现象的及时反馈与补偿可以从设计上优先考虑到当发生错误事件时，如何规避问题、保证数据一致性。在设计阶段考虑到建立机制，实现错误事件的自动补偿处理。,跨系统业务工作流(人工干预),跨系统业务工作流(人工干预)在本期的承载平台建设中不做实施。考虑到EAI技术的延展性以及后期对业务工作流的支持，在此阶段决定采用WebSphere ICS作为EAI中间件核心技术。而对于MQ WorkFlow则放在后期业务工作流的建设中根据需要使用。对于WBI Message Broker则在需要完成发布/订阅(Publish/Subscribe)的环节使用、或在复杂的路由与格式转化时使用，为了减少项目实施、维护的复杂度，以及考虑到本期工程的业务要求实际情况，在目前暂不使用。,问&答,谢谢！,