数据适配器技术白皮书讲解.docx

《数据适配器技术白皮书讲解.docx》由会员分享，可在线阅读，更多相关《数据适配器技术白皮书讲解.docx（16页珍藏版）》请在三一办公上搜索。

1、900肆女程氏唱礼目录1.1 简介41.2 体系结构61.3 系统组成81.4 数据适配器种类81.4.1 简单适配器91.4.2 复杂适配器91.5 系统功能91.5.1 配置管理101.5.2 数据收集101.5.3 数据清洗111.5.4 数据填充111.5.5 数据格式翻译111.5.6 数据压缩121.5.7 数据加密和签名121.5.8 监控管理121.5.9 通知管理131.5.10 权限管理131.5.11 日志管理141.5.12 节点管理141.5.13 数据查询141.6 系统特点141.6.1 应用集成框架141.6.2 集中化管理141.6.3 多种数据格式141.6

2、.4 灵活的数据加工处理151.6.5 支持事务功能151.6.6 可靠的故障恢复151.6.7 XML 的支持151.7 操作环境151.7.1 硬件151.7.2 软件16随着大型企业及政府机关机构实现业务集中处理后，各个数据中心产生的大 量数据信息，以及各种文件、图像、数据及多媒体数据等需要及时快速地从市、 区、县一级的服务器或终端传输到省或全国中心，或者从全国中心往省、市、县 级中心下发。由于数据的复杂性，收集的突发性，同时由于数据来源各式各样， 因此对数据收集的效率、可靠性、灵活性、安全等方面提出了诸多要求，手工收 集明显无法胜任企业级应用环境的需求。数据适配器是面向分布式的数据收集

3、管理服务。针对上述需求，提供满足企 业级应用需要的灵活通用的数据收集管理功能，使用户能够方便地、随时随地地 挖掘、提取、转换和管理数据。数据适配器能够为需要数据集成的应用提供数据 流服务，即需要解决数据从何而来，哪个应用对其感兴趣，以及如何被每个系统 使用。数据适配器通过把信息提供者和消费者隔离，来构建灵活的系统，使得这 些系统不会受到数据的物理位置的影响，也不会受到需要存取数据信息的应用个 数的影响。这样，对于每一个系统，在一般情况下不需要进行特别的定制处理， 可以在系统之间实现信息的集成了。许多企业需要将许多不同的系统连接在一 起，使得它们之间能够进行信息交互。原来的典型处理方法是需要一个

4、直接的“点 对点”的数据链接，并且需要定制编程以实现系统之间的“会话”。随着新系统 的不断增加，直接的定向连接和定制编程的情况会急剧增加，这最终会成为信息 流动的瓶颈。数据适配器通过一个集成框架的方案来解决这个问题，即自动定制 系统集成需要的大部分编码。数据适配器通过为开发人员提供一组标准接口来实 现这个方案，数据适配器可以实现系统和系统间的连接，也可以实现系统和中间 件之间的连接。数据适配器提供解决数据集成问题的标准适配器，比如数据转换，过滤和填 充，同时也支持数据交换标准，比如XML等。数据适配器还具有例外处理能力。 所有这些类型的适配器都可以非常容易无缝集成到异步消息系统和订阅/发布系

5、统中。数据适配器可以为不同的专用中间件系统提供适配器，通过对接口协议需 求进行抽象，使用数据适配器框架，就可以完成某个中间件产品的特定接口。使 用数据适配器，可以很容易和快速的实现新的适配器。作为一个面向企业级应用的产品，数据适配器具备以下品质特性：可靠性：即系统必须保证数据收集的可靠性，不能在非正常断电、操作系统崩溃后导致数据丢失和不完整。在数据收集过程时，非正常断电、操作 系统崩溃，数据适配器能够保证数据的完整性，支持故障恢复。可扩展性：系统能够随着业务规模的扩大和对文件传输服务要求的变化、快 速方便地部署新的处理节点和调整数据收集的方式，适应用户系统的变 化。安全性：通过集中的用户身份认

6、证和权限管理中心，对所有节点的用户统一 进行管理和授权，保证系统的访问安全。数据适配器还提供节点标识认 证、数据加密、日志等多种机制，在多个层次上保证系统的安全性。可管理性：系统提供统一的图形用户界面，配置、管理、控制等都可以通过 图形界面操作完成。系统易用性：用户对于系统的使用，不需要进行大量的开发工作，而只需要 将数据适配器安装在需要收集数据的各节点上，进行少量的简单配置工 作，就可以实现数据收集管理功能，非常容易使用。易于开发和集成：系统提供应用开发接口，供用户和系统集成商进行了应用 开发、便于与其他系统的灵活集成。信息系统名称是一个面向地方区域的服务对象例举等服务对象 的系统，大量数据

7、信息分布在地方区域的服务对象例举。利用数据适配 器灵活通用的数据收集管理功能，并透过信息系统名称使用户能够方便地、 随时随地地挖掘、提取、转换和管理数据。同时，为了更进一步进行数据集成，充分释放单位名称数据的价值，降 低用户在系统开发方面的投资，缩短系统开发周期和提升产品质量，数据适配器 提供了多种类型的应用程序接口，允许用户利用外部的工作流对数据适配器进行 二次开发。包括：扩展处理接口、消息通知接口、协作接口和数据网关，方便用 户灵活开发更加个性化的数据收集管理系统和与其他系统进行集成1.2体系结构数据适配器以处理引擎为处理核心，处理引擎内置的服务包括：数据收集、 数据清洗、数据填充、数据格

8、式翻译等基本的数据处理功能。如用户需要对数据 进行个性化的处理，如：扩展处理适配器不支持的文件格式翻译、数据需经外部 系统处理等，可通过扩展处理接口实现扩展的个性化处理。业务流程由业务规则驱动，对业务流程的大部分修改都是对业务规则的修改 （相对于针对技术进行的修改）。但是，由于在传统的应用程序中，业务规则包 含在一些不透明的程序代码中，在不影响正在运行的业务流程的前提下，无法轻 松地访问或修改它们。将业务规则从程序代码或者任何流程实现机制中抽离出来可以极大改善业务流程的管理。数据适配器内置的工作流引擎提供了可视化的图 形设计界面，方便用户根据自身的业务规则定义数据处理流程。内置工作流引擎 负责

9、管理步骤，应用业务逻辑，以及调用复杂流程和（或）事务集合的支持程序。此外，处理引擎还包含了与其他节点或系统协作进行数据收集的结点管理。 通过结点管理对逻辑上分布的各个节点进行集中化管理。上级结点既可通过调度 下级结点进行数据收集，也可由上级结点向下级结点广播数据。数据处理引擎扩展处闫接u数据收集数据清洗教据填充数据格式翻译内置工作流引擎图2数据处理引擎功能模块图数据适配器提供有供最终用户使用的图形用户界面，完成引擎的配置、处理 的监控管理、数据查询打印等任务；为了适应复杂多变的数据处理方式，我们采 用了插件式的设计，用户个性化的处理（如：支持更多的数据格式、个性化的数 据转换处理）可利用数据适

10、配器提供的扩展处理接口进行扩展。桌而通知muil数据适配器0 消顷知网消息通知接笑.* 口+使川一处理引擎图3数据适配器与消息通知网关的关系在消息通知方面灵活多样，用户可利用统一的消息通知接口，轻松简单地发出各种消息，包括：故障通知、数据异常通知、数据处理通知和用户自定义信息。1.3系统组成配置工具：允许系统管理员通过配置管理界面对处理引擎的执行动作进行配 置和管理。处理引擎：采用多任务处理方式，由不同的进程来提供不同的服务，如数据 收集进程、数据清洗进程、数据格式翻译进程等等，这些进程由内置工 作流引擎驱动，相互协调工作，完成系统的各种任务。监控器：允许系统管理员通过管理界面进行数据处理、实

11、时监控数据处理的 情况。查询工具：提供灵活的查询定义功能，使业务人员方便地查询统计收集的数 据。扩展处理接口：为了弥补处理引擎固有处理的不足，数据适配器提供了扩展 处理接口，用户可以基于这些接口，实现个性化的处理操作。消息通知接口：允许系统管理配置各种通知方式，如：邮件、QQ、SMS、 OA通知等，系统通过接口实现故障通知、数据异常通知、数据处理通 知和用户自定义通知等功能。协作接口：一方面，允许节点间对数据处理引擎进行远程调度，实现数据收 集协作。另一方面，用户可以基于这接口函数实现与其他系统集成。数据网关：为了方便用户更加灵活地使用和管理数据，数据适配器提供数据 存取，用户可利用此接口实现

12、数据交换和数据共享。内置服务包括：数 据压缩、数据加密和签名等，保证数据进出数据适配器的安全性。1.4数据适配器种类1.4.1 简单适配器简单适配器适合于数据传输具备独立语义的特性，艮即数据元素的传输不依 赖于其他元素的传输；数据元素的引用和解释是自包含的；有很多数据元素的传输具备独立语义特征，例如：一个word文件、一条统 计数据记录、一个审批批准的公文等等。简单说，具备独立语义的数据元素就是 最小的传输单元，这个概念类似于数据库应用中的事务处理特征，即要么整个数 据元素被传输，要么不被传输。具备独立语义的数据元素传输不会引起数据中心查询的歧义。1.4.2 复杂适配器同时，随着数据汇集的深入

13、，数据越来越体现应用的语义特征。即，数据元 素不再是独立语义，具备复合语义。一个数据元素传输成功的前提必须是其他数 据元素的传输成功。复杂适配器是为了解决复合数据元素的一致传输和同步问题。例如：包含统 计汇总信息和明细信息的数据包就包含了多个数据元素，只有这些数据元素的同 时完成才能使得数据中心查询得到的数据不会歧义，否则领导在数据中心会看到 不一致的数据信息。特别地，当数据源越来越多时候，这个问题将越突出、越难 发现和解决。复杂适配器可以分为两类：一类是：复合数据元素又若十个独立语义数据元素组成，组成结构是一个树 关系。另一类是：复合数据元素又数据元素组成的关系是复杂的。可以分为：图关 系、

14、嵌套关系、与应用事务相关的关系。1.5系统功能数据收集处理是数据适配器的核心功能，此外，还提供了跨越系统多个层次 的安全性机制和良好的可管理性，以满足企业级应用的要求。1.5.1配置管理用户通过图形化对数据适配器的行为进行设置。设置项包括：收集任务定义、 输入定义、输出定义、数据清洗规则定义、数据填充规则定义、数据映射关系定 义、处理流程定义等。文件t以编瑁（E 视图（归 工且t口 帮is 01卸，匆-法盖吨暮1 =瞬- J 5电TIde*.盛 LadLMonc9 F.妹 *t 分H0 dl图4配置管理界面1.5.2 数据收集数据适配器目前支持以下几种数据源：XML文档、Word文档、Exce

15、l文档、 CSV 文件、文本文件、Access 文档、SQL SERVER、MySQL、Oracle、DB2、 Sybase等。用户可利用扩展处理接口以实现支持其他数据源。数据收集模式分为：定时收集：系统按用户设定的时间定时执行已配置于好的数据处理流程。变化自动收集：通过系统监视指定数据源的数据是否发生变化，一但数据发 生变化便启动数据收集处理任务。被动通知收集：由外部节点发出通知，节点收到通知后，根据相应的权限设 置进行数据收集处理。手工收集：用户通过监控界面直接调用一个已配置好的工作流程实现数据收 集处理。外部调用收集：由外部系统通过接口调用数据适配进行收集工作。实现这种 收集模式需要外部

16、系统进行一定开发或修改。1.5.3 数据清洗根据用户定义的数据清洗规则对数据进行合法性、合理性检查，保证每个节 点收集的数据是正确可用的。1.5.4数据填充根据用户定义的数据填充规则对数据填充，保证数据的完整性。1.5.5数据格式翻译根据用户定义的数据映射关系，对数据进行格式转换。提供了数十种数据处 理函数，可以完成数学计算、逻辑判断、数据转换等操作，甚至可以用常用开发 语言设计自己的处理函数。数据映射关系有以下几种关系：一对一：数据源的数据元素与数据目标的数据元素是一对一关系，数据转换 过程只是对源数据元素进行数学计算、逻辑判断、数据转换等相关操作 就可转换成目标数据元素。一对多：数据源的数

17、据元素与数据目标的数据元素是一对一关系，源数据元 素通过相同（或不同）的数学计算、逻辑判断、数据转换等相关操作转 换成目标数据元素。多对一：数据源的数据元素与数据目标的数据元素是多对一关系，多个源数 据元素通过数学计算、逻辑判断、数据转换等相关处理转换成一个目标 数据元素。多对多：数据源的数据元素与数据目标的数据元素是多对多关系，最复杂的 一种映射关系，多个源数据元素通才相同（或不同）的数据通过数学计 算、逻辑判断、数据转换等相关操作分别转换成多个目标数据元素。图5数据格式翻译界面1.5.6 数据压缩根据用户的选择，对数据进行压缩处理。最大限度地减少传输时网络上的数 据流量。1.5.7 数据加

18、密和签名为了保证数据的机密性、信息的完整性、身份的可认证性、不可抵赖性，数 据适配器支持对称密钥和公开密钥两种加密方式。1.5.8 监控管理数据适配器提供实时监控工具对系统进行监控和管理，系统管理员可以第一 时间发现系统故障和运行的异常情况，及时进行处理；同时也可以对数据处理的 情况进行统计分析，及时掌握数据处理情况。昆叵函文件编5S（e；和图（归 工且t口 帮is 01劄-翎-感盖畦略=罪=略！流程实例列表诗页面显示流孑呈快柢.”：块祜信1汗程单况程买制列表使用适电苣循;妥豆i晌果，点击明显示橙机 洋巧，选中一个更遥柩，啧台底部挨忸执行其它操作，1后玷人员r | rO3O3COLODOTO3

19、CG区县外翼救抵收集2003-11-09 23:13:02C011-0B 23:13:0admin0CompletedrOTroCOD0CQ：O321广末谷土地信息仗挂003-11 0S 15.46 D2003-d1-091D:4E:0admin0RunningrO3O3COLODOTO341挟井黄金敷钙贤集2003-11-13 M:28:D2003-11-1314:26:0admin0Running厂oomcocoomooEi安业喘用粮槌收靠20D3-H-1J 1510 D 2003-11-14 15:10:0admm0RunningrU IIIIXIOO OOmE；1归工贺易歌据收集2DQ

20、3-11-1d 16 3- 0 2003-11-14 15:31:11admin口Running桂盘| |谚 | |终1E |重强|血龄|设定优先夷图格洌览日房诘息图6监控管理界面1.5.9通知管理提供可视化的管理界面，让用户设定：是否接收通知、接收方式（支持指定 接收时间、即时发送等）、通知方式（支持SMS、邮件、QQ、OA通知等）、接 收内容选择等。通过设定，用户便随时了解系统运行情况、数据收集情况。1.5.10权限管理数据适配器通过权限管理中心，实现资源权限数据的集中存放和分级管理。 为便于大型系统的管理，数据适配器支持分组授权功能，根节点安装时内置一个 根系统管理员，拥有系统的所有权限

21、。根系统管理员可以视需要建立下级系统管 理员，并将自己拥有的部分或全部权限授予下级系统管理员，通过逐级授权，可 以将整个系统划分为若干管理区域，以利于系统的实施和管理维护。1.5.11日志管理用户使用数据适配器完成的所有任务，均有详细的日志信息；此外，系统运 行中出现的故障，也会在日志中进行记录。通过日志信息，用户可以快速地进行 运行故障定位和方便地进行运行审计。1.5.12节点管理数据适配器采用层级管理机制。每个节点均有安装后，自动生成一个唯一的 标识。除根节点外，所有节点均需要向上级节点注册。1.5.13数据查询提供灵活的查询定义界面，用户可以通过界面轻松地定义各种复杂的查询条 件。所有查

22、询都由到权限限制，只有授权用户才能进行数据查询。1.6系统特点1.6.1 应用集成框架可以实现从一个系统采集数据，对数据进行加工处理，将需要的数据提交给 另一个系统使用。在集成框架中应用系统可以在一个系统中，也可以分布在不同 的地域。1.6.2 集中化管理数据适配器提供分级管理机制，对分布在不同地域的适配器进行集中管理。1.6.3 多种数据格式通过数据适配器集成的不同应用系统可以有各子不同的数据格式（如数据库记录，XML等），数据适配器提供数据格式转换功能。1.6.4 灵活的数据加工处理提供强有力的数据加工处理能力，如数据压缩、数据加密和签名、数据填充、 数据格式翻译等。程序员也可以编写自己的

23、数据处理代码加入到数据适配器框架 中来丰富它对数据的处理能力。1.6.5 支持事务功能在涉及多个应用的数据交换过程中支持全局事务功能。1.6.6 可靠的故障恢复当数据处理失败时，提供重新处理功能，应用也可以建立自己的恢复处理过 程。1.6.7 XML的支持对XML有很好的支持，用户应用数据可以是XML格式的，系统可以自动 识别用户XML格式的数据。同时内部数据表示也采用XML格式。1.7操作环境1.7.1 硬件最小主机配置（作为安装根节点的服务器配置应比以下标准要高），具体参 考具体的业务应用：CPU PII300 以上内存一64以上硬盘一512以上1.7.2 软件操作系统：Windows9X/WIN NT/WIN2000/WIN XP/WIN2003/Linux 等;网络协议：支持TCP/IP协议和SOAP协议