MQ传输案例及功能应用解读课件.ppt
,MQSeries传输培训,培训时间：2007/4/16培训地点：联创弓箭坊材料整理： 高希乐,MQ传输与FTP传输比较,1,培训目标,2,3,4,MQ安装及调试,MQ简介及工作原理,MQ传输程序工作原理,5,6,异常问题及解决方法,7,MQ传输日常维护说明,培 训 目 标,了解MQ的基本常识掌握MQ传输的工作原理及特点掌握MQ的安装和调试过程掌握MQ各种队列及通道的建立、使用熟悉MQ传输程序的工作原理掌握MQ传输的日常维护,MQ简介及工作原理,MQ简介： MQSeries是一个通信系统，它支持应用程序通过不同组件如处理器、子系统、操作系统以及通信协议的网络彼此进行通信。 MQ平台：WebSphere MQ for AIXWebSphere MQ for HP-UXWebSphere MQ for iSeriesWebSphere MQ for Linux (x86 )WebSphere MQ for Solaris (SPARC)WebSphere MQ for Windows,MQ简介及工作原理,MQ基本概念队列管理器提供基于队列的消息服务消息应用程序交由MQ传输的数据队列（本地、远程、模板）消息的安全存放地，队列存储消息直到被应用程序调用通道（消息、MQI、群集）队列管理器之间传递消息的管道,MQ传输特点：MQSeries支持所有重要的通信协议MQSeries适用于广泛的硬件和软件平台MQSeries具有确保的数据传输能力MQSeries具有异步的、一次性数据发送功能,MQ简介及工作原理,MQ编程原理示意图,MQ简介及工作原理,客户应用程序,MQI API,队列管理器,队列,通道出口,OCM,MCA,MQGET,确定？,是/否,MQOPEN,MQPUT,MQCONNECT,MQPUT：将数据（消息）放在队列上MQGET：从队列上接收数据（消息）MQOPEN：为输出打开一个队列MQCONNECT：应用程序与队列管理器连接,对象权限管理器,消息通道代理,消息队列接口,MQ工作原理示意图,MQ简介及工作原理,远程队列,发送通道,连接通道,远程队列,接收通道,传输队列,本地队列,本地队列,MQPUT,MQGET,本地队列管理器,远端队列管理器,监 听,MQ传输与FTP传输比较,FTP传输特点支持文件上传、下载支持目录（和子目录）文件传输、删除操作主要采用TCP传输控制协议采用TELNET协议进行连接控制操作“代理FTP”机制使得其安全性存在一定缺陷无密码保护功能,MQ传输与FTP传输比较,FTP工作方式(客户端)PORT(主动)方式客户端向服务器的FTP端口（默认是21）发送连接请求，服务器接受连接，建立一条命令链路。当需要传送数据时，客户端在命令链路上用PORT命令告诉服务器：“我打开了XXXX端口，你过来连接我”。于是服务器从20端口向客户端的XXXX端口发送连接请求，建立一条数据链路来传送数据。,MQ传输与FTP传输比较,FTP工作方式(客户端)PASV(被动)方式客户端向服务器的FTP端口（默认是21）发送连接请求，服务器接受连接，建立一条命令链路。当需要传送数据时，服务器在命令链路上用PASV命令告诉客户端：“我打开了XXXX端口，你过来连接我”。于是客户端向服务器的XXXX端口发送连接请求，建立一条数据链路来传送数据。以上两种方式的命令链路连接方法是一样的，而数据链路的建立方法就完全不同,MQ传输与FTP传输比较,FTP传输注意事项客户端只有内网IP，无公网IP如果用PORT方式，因为客户端没有公网IP，FTP将无法连接客户端建立数据链路客户端有公网IP，但安装了防火墙如果用PASV方式登录FTP服务器，因为建立数据链路的时候，是由客户端向服务器发送连接请求，没有问题反过来，如果用PORT方式登录FTP服务器，因为建立数据链路的时候，是由服务器向客户端发送连接请求，此时连接请求会被防火墙拦截如果要用PORT方式登录FTP服务器，防火墙上需要打开1024以上的高端端口,MQ传输与FTP传输比较,MQ传输特点以安全性为主，所以在传送一些重要文件时，MQ都被委以重任！,MQ传输与FTP传输比较,MQ传输作为IBM非常成熟的中间件，使用者只要简单的程序实现将文件放在队列中和从队列中收取消息的功能就可以； 另外MQ传输还具有多点广播功能和智能消息分发功能，使用者可以通过建立相应的队列、通道就可以实现。,MQ安装及调试,MQ安装安装准备检查系统参数及MQ版本（WebSphere MQ for HP-UX 服务器版）创建mqm用户及组（指定用户使用）创建安装目录（主程序目录、案例目录、日志目录等）执行安装接受协议执行安装程序MQ调试调试安装是否成功本地测试安装服务器间测试安装调试应用程序是否正常,MQ安装安装准备检查系统参数shmmax 536870912# 可用的内存数定义共享内存段的最大尺寸shmseg 1024# 一个进程所能使用的最大共享内存段数shmmni 1024# 定义共享内存段的最大entries数shmem 1# 启动/关闭共享内存sema 1# 启动/关闭信号量semaem 16384# 信号量值变化限制semvmx 32767# 信号量的最大值semmns 16384# 最大信号数semmni 1024 # 最大信号entries数semmap 1026 # 信号map entries的最大数semmnu 16384# 定义undo结构的信号数semume 256# 每个进程的最大信号量maxusers 32# 更大数量核心公司的输入变量max_thread_proc 66# 每个进程的最大内核线程maxfiles 10000# 进程一次可以打开的最大文件数maxfiles_lim 10000# 进程一次可以打开的最大文件数的硬限制nfile 10000# 定义了最大可以打开的文件数,MQ安装及调试,MQ安装安装准备创建mqm用户及组groupadd mqmuseradd -g mqm -d /usr/mqm mqm创建安装目录mkdir /opt/mqmmkdir /var/mqmmkdir /var/mqm/logmkdir /var/mqm/erorrs,MQ安装及调试,MQ安装执行安装光盘插入或者拷贝文件至主机目录接受协议mqlicense.sh accept执行安装swinstall 安装目录安装文件名,MQ安装及调试,MQ调试测试安装本地测试安装 使用mqm用户登录主机创建队列管理器crtmqm -q -u SYSTEM.DEAD.LETTER.QUEUE jn_prov.queue.manager 启动队列管理器strmqm启动MQSeries控制台命令runmqsc 创建本地队列 define qlocal (test.queue) defpsist (yes) maxdepth(200000) replace 结束MQSeries控制台命令end,MQ安装及调试,MQ安装及调试,MQ调试测试安装本地测试安装发送接收信息测试进入MQ可执行程序目录cd /opt/mqm/samp/bin发送消息./amqsput test.queue输入任意消息后，以两次enter键结束接收消息./amqsget test.queue如果消息接收成功，则本地测试安装成功！,MQ安装及调试,MQ调试测试安装服务器间测试安装（以山东联通计费主机与联通总部主机为例，主机间可以正常连接是前提条件） 山东主机：130.17.0.192（发送方） 联通总部：10.10.0.13（接收方）使用root用户修改山东主机文件/etc/services # 添加MQSeriesMQSeries 1414/tcp # MQSeries channel listener/etc/inetd.cfg MQSeries stream tcp nowait mqm /opt/mqm/bin/amqcrsta amqcrsta -m jn_prov.queue.manager重新启动inetd进程kill inetd进程号inetd -s 以上步骤目的是配置inetd守护程序以启动MQI通道,MQ安装及调试,MQ调试测试安装服务器间测试安装发送方（130.17.0.192） 缺省队列管理器：jn_prov.queue.manager运行队列管理器并进入MQSeries控制台命令strmqm runmqsc创建传输队列define qlocal (to.test.queue) usage (xmitq) defpsist (yes) maxdepth(200000) replace创建远程队列define qremote (for.test.queue) rname (net_center.test.queue) rqmname (net_center.queue.manager) xmitq (to.test.queue) defpsist (yes) replace创建发送通道define channel (jn_center) chltype (sdr) trptype (tcp) discint(0) xmitq(to.test.queue) conname (10.10.0.13(1414) replace,MQ安装及调试,MQ调试测试安装服务器间测试安装接收方（10.10.0.13） 缺省队列管理器：net_center.queue.manager运行队列管理器并进入MQSeries控制台命令strmqm runmqsc创建本地队列define qlocal (net_center.test.queue) defpsist (yes) maxdepth(200000) replace创建接收通道define channel (jn_prov. net_center) chltype (rcvr) trptype (tcp) replace结束MQSeries控制台命令end,MQ安装及调试,MQ调试测试安装服务器间测试安装通信测试确保两服务器MQ正常运行登录发送方主机启动发送通道runmqchl -c jn_center -m jn_prov.queue.manager /dev/null 进入信息发送目录cd /opt/mqm/samp/bin/./amqsput for.test.queue输入任意文字，以两次enter键结束登录接收方主机的信息接收目录./amqsget net_center.stat_jn.queue如果消息接收成功，则服务器间测试安装成功！,MQPUT传输程序开发原理,MQ传输程序工作原理,MQPUT,文件,各类告警,业务日志,配置文件,队列管理器远程队列,队列,备份目录,1,1,文件以首条消息为：“FILENAME=*”,其余消息为文件内容的格式存放在本地的远程队列中（*为实际的文件名），确认存放成功后写入业务日志，并关闭队列，转移文件至备份目录后，关闭文件。,读取,检查,打开,MQOPEN,存放,转移,不正确,MQCONN,文件目录文件名格式,MQ传输程序工作原理,MQGET传输程序开发原理,MQGET,文件,各类告警,业务日志,配置文件,队列管理器本地队列,队列,2,读取,保存,MQOPEN,收取,不正确,MQCONN,文件存放目录,从本地队列中取出消息后，以首条消息中的文件名在文件存放目录中建立文件，并将截至消息为FILE_NAME=*之前的所有消息写入该文件中。,2,检查,MQ传输程序工作原理,配置文件格式, # 5ess原始话单文件上传 source_path= $BOSS_DATA/src/193_ama_up/ backup_path= $BOSS_DATA/backup/193_ama_up/ des_path = queue_name = _center.ama.queue queue_manager = jn_prov.queue.manager prefix = , # 接收总部回执 user_path = $BOSS_DATA/getdown/return_down queue_name = jn_prov.return.queue queue_manager = jn_prov.queue.manager ,MQPUT,MQGET,异常问题及解决方法,异常问题及解决方法MQSeries部分启动发送通道失败可能的原因：远端服务器MQ传输端口不是缺省的1414解决方法：登录远端主机，使用netstat命令查看端口使用情况在本地MQ服务器查看发送通道的属性修改发送通道端口属性重新启动发送通道,异常问题及解决方法,MQSeries部分（续）远端MQ服务器与本地服务器转换不支持可能的原因：两服务器MQ安装版本不一致解决方法：登录远端MQ服务器进入MQSC控制台命令，查看队列管理器的CCSID属性登录本地MQ服务器，进入MQSC控制台命令修改本地队列管理器CCSID属性alter qmgr ccsid(*)重新进行连接测试,异常问题及解决方法,MQSeries部分（续）在连接一切正常的情况下不能从远端MQ服务器接收文件可能的原因：接收通道的序列号与远端MQ服务器发送通道序列号不一致解决方法：登录远端MQ服务器主机，进入MQSC控制台命令查看发送通道序列号登录本地MQ服务器，进入MQSC控制台命令更改本地接收通道序列号重新启动应用程序接收文件,异常问题及解决方法,应用程序部分启动MQPUT时产生core可能的原因：配置文件不正确或文件目录不正确解决方法：查看配置文件（$WORK_HOME/etc/mqput.cfg）检查文件中对应的文件目录是否存在检查文件中对应的队列管理器名称、队列名称是否正确（队列保证是本地创建的远程队列）如果以上都正确，检查队列管理器是否正常运行检查发送通道是否启动如果配置文件中存在不正确信息，修改并保存重新启动mqput -c(*) *为通道号,MQ传输日常维护说明,MQ中重要的组件有队列管理器（QueueManager）、队列（Queue）、通道（Channel），常用操作如下：队列管理器部分创建队列管理器crtmqm -q QMgrName-q 是指创建缺省的队列管理器删除队列管理器dltmqm QMgrName启动队列管理器strmqm QMgrName缺省时可以直接执行strmqm停止队列管理器endmqm QMgrName-i 立即停止 -p 强制停止显示队列管理器dspmq QMgrName命令与前面稍有不同,MQ传输日常维护说明,队列部分运行MQSeries控制台命令runmqsc QMgrName定义死信队列define qlocal(QNAME) defpsist(YES) replace设定队列管理器的死信队列alter qmgr deadq(QNAME)定义本地队列define qlocal(QNAME) replace 定义别名队列define qalias(QALIASNAME) targq(QNAME) 定义远程队列define qremote(QRNAME) rname(AAA) rqmname(QMGRNAME) xmitq(QTNAME)AAA为远端本地队列名称，QMGRNAME为远端队列管理器名称，QTNAME为本地传输队列名称,MQ传输日常维护说明,队列部分（续）定义本地传输队列define qlocal(QTNAME) usage(XMITQ) defpsist(YES) replaceusage(XMITQ)为传输队列标志显示队列所有属性display queue(QNAME) ALL 更改队列属性alter qlocal(QNAME) put(DISABLED)清除队列中消息clear qlocal(QNAME) 删除队列delete qlocal(QNAME)删除本地队列或传输队列delete qremote(QRNAME)删除远程队列,MQ传输日常维护说明,通道部分定义发送方通道define channel(SDRNAME) chltype(SDR) conname(10.10.0.13(1414) xmitq(QTNAME) replace conname中包含远端地址和端口号定义接收方通道define channel(SDR_ TEST) chltype(RCVR) replace定义服务器连接通道define channel(SVRCONNNAME) chltype(SVRCONN) replace结束MQSeries控制台命令end启动发送方通道runmqchl -c ChlName -m QmgrNameChlName为发送方通道名,MQ传输日常维护说明,其它部分启动监听服务runmqlsr -t TYPE -p PORT -m QMgrName停止监听服务endmqlsr -m QmgrName往队列中放消息./amqsput QName QmgrName从队列中取消息./amqsget QName QmgrName应用程序启动mqput -cXXmqget -cXX,必须在/opt/mqm/samp/bin下执行,XX为通道号,MQ传输日常维护说明,MQ中创建队列管理器时，系统缺省对象主要有队列、通道、名称列表和进程四个部分：队列部分对象名描述 SYSTEM.ADMIN.CHANNEL.EVENT 通道的事件队列 SYSTEM.ADMIN.COMMAND.QUEUE 管理命令队列SYSTEM.ADMIN.PERFM.EVENT 性能事件的事件队列SYSTEM.ADMIN.QMGR.EVENT 队列管理器事件的事件队列SYSTEM.AUTH.DATA.QUEUE 有队列管理器访问控制表的队列SYSTEM.CHANNEL.INITQ 通道启动队列SYSTEM.CHANNEL.SYNCQ 有通道的同步数据的队列SYSTEM.CICS.INITIATION.QUEUE 缺省 CICS 启动队列SYSTEM.CLUSTER.COMMAND.QUEUE 传递消息到资源库队列管理器的队列,MQ传输日常维护说明,队列部分（续）对象名描述SYSTEM.CLUSTER.REPOSITORY.QUEUE 用于存储所有资源库信息的队列SYSTEM.CLUSTER.TRANSMIT.QUEUE 将所有消息传输到所有群集的传输队列SYSTEM.DEAD.LETTER.QUEUE 死信（未送达消息）队列SYSTEM.DEFAULT.ALIAS.QUEUE 缺省别名队列SYSTEM.DEFAULT.INITIATION.QUEUE 缺省启动队列SYSTEM.DEFAULT.LOCAL.QUEUE 缺省本地队列SYSTEM.DEFAULT.MODEL.QUEUE 缺省模型队列SYSTEM.DEFAULT.REMOTE.QUEUE 缺省远程队列SYSTEM.MQSC.REPLY.QUEUE MQSC 命令应答队列SYSTEM.PENDING.DATA.QUEUE 支持 JMS 中的延期消息,MQ传输日常维护说明,通道部分对象名描述 SYSTEM.DEFAULT.AUTHINFO.CRLLDAP SSL的缺省认证信息对象SYSTEM.AUTO.RECEIVER 动态接收方通道SYSTEM.AUTO.SVRCONN 动态服务器连接通道SYSTEM.DEF.CLUSRCVR 群集的缺省接收方通道 SYSTEM.DEF.CLUSSDR 群集的缺省发送方通道SYSTEM.DEF.RECEIVER 缺省接收方通道SYSTEM.DEF.REQUESTER 缺省请求者通道SYSTEM.DEF.SENDER 缺省发送方通道SYSTEM.DEF.SERVER 缺省服务器通道SYSTEM.DEF.SVRCONN 缺省服务器连接通道SYSTEM.DEF.CLNTCONN 缺省客户机连接通道,MQ传输日常维护说明,名称列表部分对象名描述 SYSTEM.DEFAULT.NAMELIST 缺省名称列表进程部分对象名描述 SYSTEM.DEFAULT.PROCESS 缺省进程定义,MQ应用程序代码及建队脚本,MQ应用程序代码MQPUTMqPutApp.cpp MqPutApp.hMQGETMqGetApp.cpp MqGetApp.h山东联通MQ建队脚本及说明建队脚本,用你我所学，来弥补相互的不足收获着，快乐着,
