TongGTP v60技术白皮书.docx

TongGTP v60技术白皮书技术白皮书 TongTech ® 东方通科技公司 TongGTP6.0 技术白皮书14） 1 东方通科技公司技术白皮书的GTP节点负责将收到的消息按照约定的目录存放。 为保证系统的的安全性，GTP提供用户权限管理服务，用户分为管理员、操作员及访问者三种级别，具有不同的访问权限，而且对某个用户可管理的节点也可进行指派，避免错误操作职权范围外的节点。 4.2. GTP节点 GTP节点是GTP在网络中的一套运行环境和基本单位，它由一组进程、配置文件和相关系统资源所组成，为用户提供文件传输任务的监控和调度管理，在合适的时间为用户自动进行文件的扫描与发送。 GTP节点的组成结构如下： 东方通科技公司 6 技术白皮书 GTP节点代理服务任务管理目录命令访问工具文件收发命令工具日志管理核心进程底层传输模块(TongLINK/Q)配置文件网络图 2 GTP节点体系结构 GTP节点包括代理服务、核心进程、命令工具及核心传输模块、日志管理等五大部分。代理服务负责与监控管理中心进行通讯，提供GTP节点管理的代理服务。底层传输模块是提供消息存储、队列管理等职能的消息中间件产品TongLINK/Q，由其为GTP节点间提供可靠高效的传输平台。核心进程提供任务管理、目录访问及文件传输等服务，按照用户的定义的约定要求执行相关文件传输命令。命令行工具及日志管理是为用户提供的其他辅助工具，以便用户在GTP节点上通过手工执行命令实现文件发送或日志的查看和管理。 4.3. GTP客户端 TongGTP客户端是一个应用开发包，应用程序可调用该开发包中的接口按需与GTP服务节点进行文件传输。客户端上传下载文件前，首先需要通过用户名口令验证，验证通过后才能进行文件的上传下载。客户端与GTP节点不同，它不需要配置和维护工作，使用方便 。 4.4. 监控管理中心 TongGTP监控管理中心是一套基于Web浏览器、B/S架构的集中监控管理平台。通过监控管理中心，可以实现对网络中所有GTP节点的集中配置、监控、管理和维护等工作，能够大大提高系统的维护管理效率，降低系统维护成本。 TongGTP监控管理中心的体系结构如下图： 东方通科技公司 7 技术白皮书 GTP监控管理中心节点管理(监控控制)任务管理(定义控制)传输实时监控查询统计用户管理备份与恢复图 3 GTP监控管理中心体系结构 通过监控管理中心，用户实时查看各GTP节点的运行状态、任务所定义的文件传输情况，而且可以非常方便的查询及统计GTP节点上的文件传输结果，对于掌握系统的传输流量可以及时掌握。通过监控管理中心也可以非常方便的对GTP节点进行远程的启动与停止，更加方便对系统的管理。 监控管理中心是一套独立于GTP节点运行环境的辅助工具系统，它不依赖于GTP环境，可以灵活的安装部署在专门的监控管理设备上，方便用户集中查看、监控GTP系统运行状态，对监控对象进行分析、诊断，并根据系统运行需要，调整相关配置。 5. 主要功能 GTP的主要功能是为用户提供点与点之间自动、可靠高效的通用文件传输服务。用户无需要进行任何编码，只需要进行简单的设置就可以完成传输任务的定义，GTP节点将按照用户的要求定期扫描新的文件并负责发送到目的地。 传输服务器GTP放入文件发送目录传输服务器GTP文件接收目录业务系统A业务系统X获取文件除文件传输功能之外，GTP还提供了跨越系统多个层次的安全性机制和良好的可管理性，以满足企业级应用的要求。GTP系统提供的主要功能包括： 5.1. 文件收发 GTP系统提供目录及文件的收发服务，用户指定要发送的目录及文件、接收节点及接东方通科技公司 8 技术白皮书 收目录，向GTP发出发送指令，由GTP将该目录中的文件和子目录以相同的目录结构发送到指定节点的指定目录下。 用户可以采用手工方式逐次定义发送任务并发送；也可以采用自动方式通过定义自动发送任务，指定要传输的目录、接收节点和目录后，启动自动任务，则GTP会自动检测该目录，随时将放入该目录的文件发送到接收节点的指定目录中。 为了保证文件传输的可靠和高效，GTP也提供了各种保证措施： 5.1.1. 多种文件类型 GTP支持各种类型文件的传输，例如： ¨ 文本文件 ¨ 二进制文件 ¨ 图像文件 ¨ 图片文件 ¨ 语音文件等 对于文件的大小，GTP不做任何限制，只要操作系统可支持的文件大小，GTP都可以进行传输，无需用户手工对文件进行预先分割，再传输。 5.1.2. 任务的灵活调度 GTP任务分为自动任务和手工任务两种类型，自动任务表示需要按一定的规则定期循环执行，一直不停止，除非用户主动停止它。自动任务创建后可以立即开始执行、可以由用户按自己的需要启动并执行、也可以定时执行。而手工任务则指将一批符合条件的文件发送完成就停止的任务。 对于运行中的任务用户可以根据自己的需要即时终止任务，也可以重新启动任务。 5.1.3. 文件筛选及过滤 GTP可以按照配置的规则对源目录下的文件进行筛选，即只发送符合某些规则的文件，而不是目录下的所有文件。文件筛选规包括通配符*、？和正则表达式，也支持以文件大小范围和文件修改时间范围作为筛选条件。 5.1.4. 压缩加密 GTP产品提供数据压缩和加密功能，产品本身带有一套数据压缩、加密算法，同时也为第三方的压缩和加密算法提供了接口，用户可以方便的将自己指定的压缩和加密算法嵌入到GTP系统中。 5.1.5. 断点续传 通过GTP的底层通讯模块TongLINK/Q提供的断点续传功能，可以有效的保证文件传输的可靠性。文件在传输过程中，不论是系统非正常关机或网络意外中断，文件消息都将仍保留在消息队列中，等待系统恢复后，文件将从传输失败点继续发送，而不是整个文件重新发送。断点续传机制可以有效减少高故障率网络上的冗余通讯量。在高故障网络上进行重传，东方通科技公司 9 技术白皮书 会导致反复的失败重传，保证消息的可靠性。 5.1.6. 流量控制 GTP也提供流量控制功能，在传输的过程中，GTP可以根据设置将消息拆分为不同的小块，在网络上进行传输，传输到目的端后再重新组织为完整的消息。每个小块的大小可以根据网络带宽和网络质量的不同灵活设置，网络质量较高的系统，可以调大每个数据块的大小，以充分的利用网络带宽，网络质量较差的系统，可以相应调小每个数据块的大小，以减少对网络的压力。 5.1.7. 文件组播 GTP既支持点对点方式的文件发送，也支持组播方式的文件发送，即可以将文件发送到一组GTP节点上，对于用户而言，只需要在定义任务时，指定多个目的节点就可以，任务所涉及到GTP节点之间则会自动生成所需要的相关配置，并实现文件从一个GTP节点发送到多个目的节点的要求。 5.1.8. 文件发送后归档 GTP对目录下发送成功或失败的文件会按照用户的定义分类归档，即发送成功后转移到成功目录下，发送失败后也可以转移到发送失败目录下，以方便用户检查和审核。 在接收方文件也可以按照接收的时间归类存储，便于应用程序检索和获取。 5.1.9. 文件重发 当GTP发送的文件到达目的方后，因为对方磁盘满等原因无法正常接收时，GTP发送方会认为此次发送失败，而会进行不断的重发尝试，重发的尝试次数由用户配置决定。 5.2. 权限管理 GTP在监控管理中心上进行用户的权限定义和管理。 GTP系统定制了各种角色，并为这些角色授予各种资源的访问权限，包括节点及用户的定义权限、任务定义及管理权限等。 对于GTP系统的所有用户，均需要由系统管理员为其建立唯一的用户名和口令，并为该用户指定所属角色及可操作的节点。用户在使用GTP系统时，必须通过口令字认证才可以登录成功，而该用户也只有拥有相应的权限，才能使用系统提供的任务定义、文件传输、系统管理等功能，同时也只能管理分配给自己的节点，以保证节点的安全性。 为了保护GTP节点本地的目录资源被非法访问或读写，系统中由管理员为各个节点定义目录资源，操作员通过控制台进行任务定义时，只能选择节点上定义的目录资源，而不能随意指定目录。 东方通科技公司 10 技术白皮书 5.3. 系统管理 5.3.1. 管理方式 TongGTP提供命令行和B/S监控管理中心两种类型的系统管理工具，通过系统管理工具： ¨ 可以实现任务的定义、任务的调度； ¨ 可以监控各个节点的运行状态，也可以实时监控任务的运行情况及文件的传输情况； ¨ 可以实时监控各GTP节点的报警信息及运行日志，以便及时处理系统异常； ¨ 可以查询GTP节点的文件传输日志，并统计GTP节点的文件收发情况，进行系统审计； ¨ 可以启动和停止GTP节点 5.3.2. 分域管理 一个系统中的节点数量达到成百上千时，由一个管理中心进行维护管理就显得有些庞大，可以将所有节点按某种共同特性划分为一个个独立的管理域，每个管理域中设立管理中心，负责管理自己辖内的节点，这样即降低了单中心管理的压力和负担，也与企业的行政管理结构更加吻合，如按网段划分的办公网、生产网管理域，或按区域划分为X省管理域、Y省管理域。 5.3.3. 传输进度监控 传输进度是户直观查看和了解文件传输情况的重要渠道，用户查看任务时，能够显示任务当前正在并行传输文件的传输百分比进度，每隔5秒钟系统会自动刷新进度。 5.3.4. 预警及故障告警 系统运行过程中可能会出现各种故障，如节点异常、传输异常等，第一时间将故障通知给系统维护人员，能够大大提高问题的处理和故障修复速度，增强系统可用性。 对于磁盘空间使用等资源当超出预定的阀值时，系统也能自动产生告警信息，提醒进行系统运维。 5.3.5. 集中任务管理 系统提供统一任务管理窗口，用户不必再一级一级点击单个节点，查看和修改该节点的任务，能够直观的了解全系统中任务配置和运行情况。 5.3.6. 任务配置 GTP节点的任务配置可以通过B/S管理控制台进行，也可以在节点上直接进行文件编辑，即能满足集中配置的需要，也能够满足客户本地化管理的需要。 东方通科技公司 11 技术白皮书 而每个GTP节点的任务配置文件可以存储为二进制，也可以为文本文件，用户可以根据自己的需要选择存储方式。存储为二进制的任务只能通过B/S管理控制台进行编辑，而文本则可以直接进行任务的添加和编辑。 5.3.7. 动态配置 TongGTP提供动态配置功能，用户可以使用管理工具对系统的配置参数进行动态调整，调整后的配置信息能够在运行系统中立即生效，而无需重新启动系统。 TongGTP也提供核心动态控制功能，用户可以根据需要灵活启动、停止、删除某些系统对象，及时调节系统的核心，以节省系统资源、提高效率和可靠性。 5.3.8. 监控管理 通过GTP提供的可视化的远程监控管理中心，用户可以对多个GTP节点的运行进行集中实时地监控和管理，如对节点的远程启动和停止，对节点的状态、文件的传输进度与状态的监控，对传输日志的审计等，极大方便了系统的集中维护和管理。 5.3.9. 查询统计 GTP提供查询及统计功能，用户可以通过各种组合条件查询节点间的文件传输状况，也可以非常方便的统计全网内各节点之间文件发送及接收累计信息，如发送成功的文件总数数、发送失败的文件总数、接收成功的文件总数、接收失败的文件总数，发送成功的文件自字节数、接收成功的文件字节数等，用来对系统的传输情况进行审计及流量监管。 5.3.10. 操作审计 TongGTP提供操作审计功能，可对每个登陆控制台的用户操作进行记录，供管理查询与审计，跟踪问题。 5.4. 日志管理 用户使用GTP系统完成的所有传输任务，均有详细的日志信息；此外，系统运行中出现的故障，也会在日志系统中进行记录。通过日志信息，用户可以快速地进行运行故障定位和方便地进行运行审计。 GTP的日志记录级别及日志文件的大小都可以根据用户需求灵活配置，用户进行系统调试时，日志级别可以设置的较高，以详细记录系统传输的信息，当系统稳定运行后，日志级别可以相应调低，以减少日志记录对资源的占用。 为避免传输日志长期积累过于庞大，影响GTP节点的良好运行，用户可定义相关日志处理条件，GTP节点则按照条件进行日志自动清理或备份。 对于监控管理中心上的用户操作行为也会记录详细的操作记录日志，管理员可以查看所有用户的操作痕迹，一旦系统出现运行故障，可以非常方便的分析和跟踪用户行为。 为避免监控管理中心数据库中的传输日志及操作日志过多，造成系统访问速度受到影东方通科技公司 12 技术白皮书 响，GTP提供控制台传输日志手工或自动清理功能，系统将自动进行日志的清理。 5.5. 链路管理 GTP系统节点之间的拓扑结构完全由用户根据传输需要灵活组织，GTP节点之间可以是树型逻辑结构、网状结构和星型结构等。 用户在使用时，只需根据自己的传输需要，在GTP节点上定义到其他GTP节点上的任务，两者之间的传输链路则由GTP自动产生并维护，用户无需要提前构建GTP节点之间的拓扑关系。 GTP的数据传输通道建立在TCP连接之上，利用TCP可靠、有序的传输服务，为用户进行消息传送。GTP对数据传输通道进行管理，为文件及控制信息的传送提供通路。GTP采用断点续传技术，以避免在网络质量下降时，数据重复发送产生雪崩效应导致的网络极度拥塞。 GTP在高速网上传输数据时，支持对网络带宽的占用进行限制，以适应用户对带宽资源进行规划使用的要求。 GTP节点与监控管理中心的管理连接可以根据需要灵活定义，即可以选择所有节点向管理中心统一主动注册的模式，也可以选择由管理中心主动连接节点的模式。 5.6. 易用工具 5.6.1. 批量导入导出 为方便系统的快速搭建，TongGTP提供批量导入导出功能。用户不必通过控制台逐条添加节点、用户、目录、任务等记录，而可以预先编辑好一个批量文本，一次性导入所有资源和任务，减少维护人员的工作量。 5.6.2. 本地日志查询统计 为方便用户在GTP节点上查看本节点文件传输情况，GTP也提供一个命令行的管理工具，用户可以通过该工具查询和统计本节点的文件收发情况。 5.6.3. 本地运行监控 为了方便用户在GTP节点上查看节点、任务、文件传输情况，GTP提供本地化的命令行工具，通过该工具，用户不必再登录到控制台上查看节点信息，而直接在节点上查看和监控所有关键信息。 5.6.4. 链路检测工具 为了方便用户检测某个任务的传输链路是否正常，GTP提供检测命令行检测工具，可以方便的检测到指定目的地的路由及传输连接是否正常。 东方通科技公司 13 技术白皮书 5.7. 传输扩展 5.7.1. 任务出口 GTP在文件传输的过程中，允许用户以动态库的形式嵌入自己对文件的处理，如发送前的文件内容检查，接收后的复审等。 5.7.2. 灵活的加密算法 GTP在进行任务定义时，可以指定是否对要传输的文件进行加密，而且可以选择加密算法，如RC5、DES、3DES等，可以满足客户不同强度的加密需求。 6. 系统特点 GTP在传输的效率、安全性、可靠性等方面都提供了相当多的技术保障机制，以适应企业级应用的需要。 作为一个运行系统，它为上层应用系统提供可靠、实时高效的文件传输服务。依靠此平台，用户不要进行任何编码，就可以轻松实现文件的各种方式传输。 GTP的管理工具集，提供了对系统运行情况进行监控、维护的功能，同时能够根据网络资源实际情况进行合理的配置，极大的提高系统的运行效率。系统完善的日志机制对于进行故障排除和信息汇总分析也提供强大的支持。 作为一个面向企业级应用的产品， GTP具备了以下品质特性： ¨ 高可靠性：鉴于各种网络传输的差异性及网络环境的不确定性，在传输大容量数据时，网络连接如果突然中断，GTP系统能够保证数据的完整性，支持断点续传和数据安全保存。 ¨ 高效性：GTP通过各种传输优化策略保证了传输高效性，传输效率已接近FTP。另外，为提高网络传输效率，GTP还支持压缩传输，用户可以选择将传输内容压缩发送，接收方接收到传输内容后可以根据是否为压缩方式进行自动解压。 ¨ 全程可见性：GTP提供可视化的监控管理工具，能够实现端到端的监控，即时掌握文件的传输状态。 ¨ 传输自动化：GTP可支持定时传送、按预先的设置进行重试、断点续传等等，用户完全不需要频繁的检查传输情况，手工去重传消息。 ¨ 安全性：通过集中的用户身份认证和权限管理，对所有节点的管理用户统一进行管理和授权，保证系统的访问安全。GTP还提供网络节点认证、文件加密传输、日志审计等多种机制，在多个层次上保证系统的安全性。 ¨ 可管理性：系统提供统一的图形用户界面，传输、管理、控制等都可以通过图形界面操作完成。 ¨ 系统易用性：用户对于系统的使用，不需要进行大量的开发工作，而只需要将通用东方通科技公司 14 技术白皮书 数据传输平台安装在需要传输的各节点上，进行少量的简单配置工作，就可以实现文件的自动发送和接收功能，非常容易使用。 7. 应用案例 本部分给出了一个应用GTP实现企业财务数据传输系统的案例。 本案例涉及的是一个在全国范围分布着三级分公司的大型企业，各下级分公司将其财务数据报送给上级公司，上级公司也会将反馈数据、分析数据等下传给各下级分公司。 应用环境特点 ¨ 系统规模庞大，覆盖了全国300多个有财务数据传输需求的分支机构。 ¨ 系统内的数据非常敏感，需要有完备的安全保障机制。 ¨ 系统内供数据传输用的计算机种类繁杂，涉及到多种Unix和Windows操作系统，必须提供跨平台的传输服务。 ¨ 系统的网络环境复杂，既有高速的DDN线路，也有低速的拨号网络，还有延迟较大的卫星线路。 系统部署 为实现上述环境下的数据传输需求，用户选择了GTP来构建全国范围的财务数据传输系统，系统部署如下图： ¨ 在总公司、一级分公司、二级分公司部署GTP的文件传输服务系统，向用户提供业务机构间的双向数据传输服务 ¨ 在总公司部署监控管理中心，对整个系统中的用户、节点及任务进行管理和监控。 东方通科技公司 15 技术白皮书 图 4 企业财务数据传输系统GTP部署示意图 系统的主要优点 ¨ 基于GTP的企业财务数据传输系统实现了复杂网络环境和多操作系统环境下的数据传输网络构建，提供了系统所需的数据传输服务。 ¨ 基于GTP的安全体系，在传输通道的建立、数据在网络上的传输、用户对资源的访问等层面均提供了相应的安全管理机制，保护了用户机密数据的安全。 ¨ 易学易用，企业中的财务人员经过简单的培训即可以承担日常的数据传输工作。 ¨ 通过远程管理系统，有效解决了这样一个全国范围的大型网络的管理维护问题，降低了系统的使用成本。 东方通科技公司 16