基于VC++的智能机器人指令交互系统设计优秀毕业论文.doc

基于VC+的智能机器人指令交互系统设计摘 要：本文以简化操纵控制方法，便于用户应用为目的，设计了一套基于VC+的智能机器人指令交互系统，重点是对基于上位机视觉图像的处理和决策系统的设计。系统采用通过与RS-232C串口连接的无线收发模块，对轮式的移动外设进行指令发送，可实现自主移动和手动两种控制模式。在系统搭建完毕后，本文设计了两个探索性实验，分别调试视觉子系统辨识的稳定性，对机器人行进路径控制参数进行整定，并优化控制方案。本系统可应用于家庭服务型机器人，还可以在消防、救援、野外巡逻等领域发挥其应有的作用。关键词：计算机视觉，多模式控制，上位机控制系统Design of Intelligent Robot Interactive Instruction System Based on VC+Abstract: The paper is on the purpose of user-friendly application through simplifying the manipulation. And the significant design is the PC-based visual processing and the decision making system. T o send peripherals to the wheel instruction, the system adopt the wireless transceiver module that is connected with RS-232C serial port. The control method mainly relates to the conversion from the actual scene pixel coordinate system to the visual image pixel coordinate system and the switch between autonomous mobile mode and manual mode. After the completion of structure, the article designs two exploratory experiments that are used to debug visual identification of the stability of the subsystems respectively, meanwhile, the robot path of the control parameter is adjusted and the control method is optimized. The system can be applied to family service robots, but also in the fire, rescue, patrol and other outdoor play its due role in the field.Key Words: Computer Vision, Multi0mode control, PC control system1 绪论当今机器人市场前景广阔，尤其是应用在普通家庭的服务性机器人。传统的工业机器人虽然具有功能完善，智能化高的特点，但是由于研制周期长、操作方法复杂、成本高等缺陷，因此不便于机器人的市场化和大众化。要想使机器人走入普通家庭，本文认为应该做到以下几点：1）降低机器人成本。2）缩短研发周期。3）简化机器人操作方法，使机器人和操作者可以更好的进行指令交流。基于以上目的，本文设计了一套基于视觉系统的智能机器人指令交互界面。使操作者利用普通的PC机和CCD摄像头就可以实现对机器人的控制，系统简单实用，易于构建；操作方便简捷，把用户从繁琐的操作中解放出来，多种操作模式可以适合不同用户不同场景的应用。2 系统构成上位机作为整套系统的控制计算中枢，通过视频采集卡连接前置CCD摄像头，将采集到的图像数据存入为图像处理专门开辟的一段计算机内存中，通过对内存中图像数据的计算完成目标特征的提取（本课题采用色块作为特征物），并且根据提取的特征值对图像进行处理，确定相应的图像坐标。上位机根据图像中目标物的位置信息，将经过运算得出的行动指令传送给移动外设。上位机通过RS-232C串口与RF（射频）通信模块连接，并且将速度值传给移动外设。通过前置CCD摄像头实时采集返回的画面确定目标物的实时位置，进行下一步的计算控制。系统结构如图2.1所示。数字图像 视觉子系统活动场地模式识别外设子系统决策子系统机器人位姿和场地信息通讯子系统无线电信号图像处理图2.1 移动外设控制系统体系结构示意图Fig. 2.1 Architecture diagram of mobile peripheral control system移动外设主要由轮式移动小车和绑定在小车上的CCD摄像头两部分组成。如图2.2所示图2.2 移动外设Fig. 2.2 Mobile PeripheralsCCD摄像头通过同轴电缆与视频采集卡（即摄像头的驱动电路）相连，并把视频数据传入视频采集卡的缓冲区中以待PC机程序的随时提取。视频采集卡通过PC机主板上的PCI插口与上位机相连。如图2.3所示图2.3 视频采集卡与PCI插口的连接Fig. 2.3 the connection of PCI video capture card and socket小车的两个轮子分别由两个步进电机驱动，步进电机通过小车上的天线接收驱动信号以及速度值，完成小车的行进动作。小车上的天线与连接在上位机上的通信发送模块进行信道和频率的匹配，以完成无线通信，无线发送模块如图2.4所示。图2.4 无线发送模块Fig. 2.4 wireless transmission module无线发送模块通过RS-232C与上位机连接。这样就完成了整套系统环路的硬件连接，数据流向如图2.5所示：目标物CCD摄像机视频采集卡PC机程序无线发送模块轮式小车图像识别同轴电缆PCI插口RS-232C无线通信你驱动电机跟踪目标物图2.5 数据流向示意图Fig. 2.5 Data flow diagram3 VC+6.0人机交互界面设计及实现3.1主要功能1）完成对图像采集卡的驱动以及采集卡ROM中被封装的函数的提取。（视频采集、压缩、存取）2）为用户提供图像显示界面并提供视觉刺激信号。3）图像特征（色标）的提取和分析处理。4）完成对RF射频卡的驱动和数据传输。5）对移动外设的指令编辑和发送。3.2人机交互界面介绍我们设计的人机界面如图所示图3.1 人机交互窗口Fig. 3.1 HCI windowDisplay：点击显示图像。Hand、Auto：选择自动模式或者手动模式控制移动外设。Ball：点击单选框并且在图像上点击相应的色标图案完成对目标物的初始化识别。ball_x、ball_y：移动外设的实时坐标显示。R、G、B：被选取的特征色块的对应的R、G、B三个分量的颜色值。RunStart、RunStop：自动模式运行开始和停止（在相应色标初始化全部完成后有效，否则弹出提示）。vl、vr：机器人的左右轮速度值。Forward、Back、Left、Right、RobotStop：手动控制按钮，分别对应机器人的前进、后退、左转、右转、停止。在对目标物的识别初始化完毕，进入自动控制模式下时，确定了目标位置后，机器人根据上位机基于视觉的感知计算进行自主导航移动，达到目标，完成任务（或进行下一步动作）。程序流程图如图所示：图3.3 主要框架流程图Fig. 3.3 The flow chart of the main frame3.3 RS-232C串口通信部分此部分主要负责串口射频卡与上位机的连接，以及上位机通过RS-232C向机器人发送数据。在程序中主要通过CComm类实现。通信过程流程图如图4.4所示：开始设定串口通信端口SetComPort()保存通信端口信息CreateCommInfo()打开端口OpenComPort()发送数据给端口WriteCommBlock()关闭端口通信CloseConnection()结束图3.4 通信过程流程图Fig. 3.4 The flow chart of the communication process如果需要建立通信过程，首先需要完成对串口通信的建立及初始化。在程序中首先创建CComm类的一个实例m_pComm，初始化代码如下：CComm m_pComm;m_pComm.SetComPort(1, 19200, 8, 0, 0); /端口号为1，比特率为19.2kb/s，字长为8位。m_pComm.CreateCommInfo();m_pComm.OpenComPort();当串口建立完毕后，我们调用函数WriteCommBlock( LPSTR lpByte , DWORD dwBytesToWrite)向打开的串口中写入数据，其中：LPSTR lpByte表示要传送数据的地址；DWORD dwBytesToWrite表示要传送数据的长度。此函数在程序中被速度函数Velocity(int vl , int vr)调用，用来发送小车轮子的速度值。在程序中我们定义一个长度为8的字符型一维数组command，我们将Velocity()计算得出的速度参数存入这个数组中，然后调用WriteCommBlock()，将速度值传送给移动外设。由于射频模块允许把三组左右轮速度分别发送给三辆不同的小车，因此除command0与command7为“0”外，其余六个元素分别代表三组左右轮速度值，其中command1与command2为本文中移动外设（1号车）的左右轮速度vl、vr。代码如下：unsigned char command8;command0=0x00;command1=(unsigned char)vl;command2=(unsigned char)vr;command7=0x00;m_pComm.WriteCommBlock(LPSTR)command,8);3.4视觉部分在本课题中，我们采用MyVision99图像采集卡来实现对摄像头数字图像的采集和提取。MyVision99视频采集卡是基于PCI总线的，PCI总线可以独立的对图像进行采集和存储，因此解放了CPU，可以使更多的CPU资源用于图像处理。“MyVision.h”是视频采集卡为便于VC+编程而提供的头文件，负责提取封装在采集卡ROM中的函数。主要函数如下。char *sysGetDrvVer();此函数返回安装在计算上的采集卡驱动版本的字符串指针。如果驱动没有被成功的安装在计算机中，此函数将返回NULL。“MVDr.vxd”的版本字符串指针为“MVDr Ver 1.0”。HBUF bufAlloc(int SizeX, int SizeY, int DataType);此函数分配一个SizeX*SizeY的内存单元并且返回此内存单元的句柄。DataType的值是和图像数据信息以及内存类型信息相关联。本文中取DataType为MV_RGB32（即：32位RGB类型）。HDIG digAlloc(char* DigNum);此函数为视频采集卡创造一个数字数据对象，当视频卡上连接多个摄像头时，我们需要通过给定DigNum来设定哪一个摄像头（MV_DEV0 / MV_DEV1 / MV_DEV2 / MV_DEV3）。在本文中只有一个摄像头，因此我们取DigNum为MV_DEV0HDISP dispAlloc(HWND hWnd);此函数在hWnd上创建一个显示对象。HGRA graAlloc(HWND hWnd);此函数为应用窗口创造一个图片对象。void bufFree(HBUF hBuf);void digFree(HDIG hDig);void dispFree(HDISP hDisp);void graFree(HGRA hGra);以上四个函数分别用于退出界面时对各个对象和内存缓冲区进行释放。本课题设计的软件系统在对视频采集卡进行初始化时，首先要设定四个句柄对象（缓冲区对象，显示对象，数字对象，图片对象），然后对四个对象进行初始化即完成了对视频采集卡的初始化，初始化代码如下：char *ver = sysGetDrvVer();m_hDisp = dispAlloc(m_hWnd);m_hDig= digAlloc(MV_DEV0);m_hGra=graAlloc(m_hWnd);m_hBuf=bufAlloc(640,480,MV_RGB32);在程序退出前，还需要对相应对象进行释放。if(m_hDisp) dispFree(m_hDisp);if(m_hGra) graFree(m_hGra);if(m_hDig) digFree(m_hDig);if(m_hBuf) bufFree(m_hBuf);void graClear(HGRA hGra, int UpX, int UpY, int LowX, int LowY);此函数负责初始化图形窗口，UpX和UpY为窗口的宽和高，LowX和LowY表示窗口的顶点坐标，在本文中我们取graClear(m_hGra,640,480,10,10);void digGrabContinuous(HDIG hDig, HBUF hBuf);此函数控制采集卡不断将图像缓冲区中的原始数据转换为数字数据。void dispDisplay(HDISP hDisp, HBUF hBuf);此函数把缓冲区的图像实时在屏幕中显示出来。以上三个函数被以下所介绍的函数调用完成图像的显示。OnDisplay()显示图像并且激活人机交互界面，代码见附录A.1GetColorData()通过在视频窗口中点击相应的色标，建立一个元素个数为3的一维数组，储存采集卡的视频缓冲区中相应坐标像素的R、G、B值，程序代码见附录A.2CompareColorData(BYTE red, BYTE green, BYTE blue)以GetColorData()函数得到的RGB值作为参考值，扫描整幅图像，记录下所有满足条件的像素点，并且计算色块中心坐标。建立一个640*480的二维数组Blatt640480，相当于一个图像的矩阵模型，当原图像的像素点满足条件时，在数组相应位置上标记1，否则记为0. 因为在实际环境中，由于环境亮度以及物体颜色分布的不均匀，虽然看上去相同的颜色，但是像素值往往略有偏差。因此在程序中我们设定R、G、B的容差值分别不超过±8。然后扫描数组Blatt，如果值为1，分别记录下横、纵坐标，否则跳过，最后统计所有满足条件的像素点的中心坐标。代码见附录A.33.5决策系统机器人根据事先判断的带有鲜亮颜色的目标物的位置信息完成对目标物的自主跟踪。机器人主要需要解决两个问题：1）根据图像上目标物的像素纵坐标判断在实际场景中目标物与自身的距离；2）根据目标的像素横坐标判断机器人的正方向与目标物的角度。通过图3.5我们可以得知当目标物的位置在像素坐标中纵坐标值越大，说明机器人距离目标物越近。因此，当目标物在图像最下面时我们可以判定机器人到达了指定位置。(a)(b)(c)(d)图3.5 像素坐标与实际距离对比图Fig. 3.5 pixel coordinates and the actual distance comparison chart如同像素纵坐标与直线距离的对应关系一样，机器人与目标物方向的夹角同样可以通过目标物的像素横坐标与中点的偏差反应出来。如图3.6所示(a)(b)图3.6 像素横坐标与实际方向对比图Fig. 3.6 the comparison of the actual direction of the horizontal pixel and pixel coordinates机器人位置控制的基本公式可以通过线速度和角速度同时计算来完成。即利用式(3.1)： (3.1)其中，为机器人左右轮子的速度值，为机器人行进过程中的直线速度分量，为机器人偏转分量（即角速度分量）。因此机器人的运动曲线是一条弧线。RobotControl()为机器人控制部分主程序，在自动模式下并且相应色标或位置都已设定完毕，f_Start为TRUE时开始执行，流程图如下。代码见附录B.1开始目标物位于图像底部目标物位于视野中依据距离计算速度值发送速度值结束速度值为0否否是是图3.7 机器人控制软件流程Fig. 3.7 Robot Control Software ProcessVelocity(int vl,int vr)速度函数，负责把程序中的左右轮速度（通过调整保持在±125范围内）通过调用串口函数将数据传送给机器人。函数代码见附录B.24 系统调试4.1图像辨识稳定性的调试4.1.1 实验过程(1)实验内容：在不同光线条件的两种场景中通过同样的方法进行目标物的辨识，以检测视觉子系统的稳定性。(2)所需器材：本课题所需的所有硬件设备，红色小球作为模拟目标物。(3)实验步骤第一步：将本课题全部硬件设备分别在下列两种种场景中链接完好，并且保证摄像头采集到的图像尽量简单，即：图像颜色简单并且无遮挡。第二步：将模拟目标物的红色小球放至图像中，利用交互软件对图像进行二值化处理，只保留小球颜色值邻域内（ R,G,B分别 ±8）的像素点，其余像素点涂黑。第三步：观察二值图像中非黑色像素点是否全部集中于小球。第四步：观察所求得的小球坐标是否大致符合小球中心在图像中的位置并且保持稳定。第五步：记录实验数据并分析结果。场景一：室内自然光1.场景描述白天在实验室内利用自然光，要求实验室采光充足，环境图像如图4.1所示。图4.1 环境图像Fig. 4.1 Environmental Image2.实验结果图4.2.1未处理的图像Fig. 4.2.1 Raw image图4.2.2 二值化图像Fig. 4.2.2 Binary image在场景图像中，光线分布均匀，二值化图像之后场景中并无颜色混淆，非黑色像素点全部集中在小球范围内。小球识别基本完全，由于反光有一少部分没有识别出，但是总体识别情况良好，小球坐标（451，321），正确。场景二：室内夜晚冷光源1.场景描述夜晚在实验室利用普通照明的冷光源，环境图像如图4.3所示。图4.3 环境图像Fig. 4.3 Environmental Image2.实验结果图4.4.1 未处理的图像Fig. 4.4.1 Raw image图4.4.1 二值化图像Fig. 4.4.2 Binary image图像中，非黑像素点全部集中于小球范围内，无其他干扰像素点，小球辨识很准确，小球图像很完整。小球坐标为（365，259），基本正确。4.1.2综合评定视觉系统在场景二（室内冷光源）中的辨识性能基本稳定，但在场景一（室内自然光）中，由于窗外强光的照射干扰下，和室内光线分布不均等原因的影响，导致小球表面的像素值分布不均，各区域像素点的值差距较大。因此导致在对小球颜色识别的时候容易产生不完全识别或者与背景颜色混淆的情况。但是遇到这种情况时我们只需另选择小球上的参考RGB值，就会使识别状况得到改观，因此，视觉子系统的辨识性能总体还是稳定的。4.2机器人行进准确度调试4.2.1 实验过程（1）实验内容在一个固定场景中，在固定位置放置一个红色小球作为机器人寻径的目标物，调试机器人到达目标物位置的准确性。（2）实验步骤第一步：设置实验场景。在位置固定的小球周围以机器人可以看到小球的最短距离为半径画一个圆作为路径目的地的范围。如图4.5所示。图4.5 实验场景Fig. 4.5 Experimental scenario第二步：放置机器人。把移动外设放入场景中，在可以观测到小球的尽量远的位置。第三步：设定机器人颜色并开始运行。观察机器人走近小球时是否可以进入目的地范围。第四步：改变机器人与小球的初始位置，重复第三步，并记录实验结果。（3）实验结果表4.1 实验结果Table 4.1 Experimental results实验次数12345是否进入目的地是是否是否4.2.2 总体测评及方案改进在第二步中我们将小车以不同的姿态放置在场景中会出现几种状况。当小车距离目标物比较远时，小车的初始速度值可能会稍大，尤其是与目标物有一定夹角需要转向时，往往会由于电机速度过快导致目标物落入小车视野之外，在此情况下，小车会因为视野中找不到目标物而停下来。因此在第3次实验时没有走到目标物。为解决上述问题，本文作者提出了两种解决方案，第一种方案是调整摄像头焦距，使其有更大的广角。但是在后来的测试中作者发现此种方案虽然可以增大视野范围，但毕竟有限，所起的作用不是很明显，另外容易使图像模糊，不利于辨识。因此，本文作者又提出第二种方案，改变式(3.1)中Kp，Ka的值，即改变比例调节系数完成对速度值的最优化，使小车在各种情况下运行时均能保持相对平稳的速度。为此，本文做了如下改进工作：保持原场景不变，用试凑法分别设置一组Kd，Ka值，分别以不同的起始位置运行五次，观察能否到达目标物；改变Kd，Ka，再重复运行，直到运行成功率满意为止。记录表格如下：表4.2 改变Ka，Kd值时的运行状态记录Table 4.2 Record of the running time when Ka and Kd changed参数设定运行次数KdKa123450.060.02是否否是是0.070.02是否是否是0.050.03否是是否否0.050.01否是是是否0.040.01是是是待添加的隐藏文字内容3是否最终将调制过程中成功率最高的一组参数，即Kd=0.04,Ka=0.01作为系统最优参数。5 总结与展望本课题以简化传统机器人操作方法，实现多模式控制为主要目的，设计了一套便于普通用户，甚至残疾人使用的服务型机器人控制界面。以自主导航和简单人工控制相结合的模式对机器人进行全方位的控制。前置的摄像头使机器人可以更好的应用于室内、室外等多种场景，增强了其适应性、多功能性及可扩展性。现在世界上越来越多的娱乐型、服务型机器人的出现已经表明，机器人正在由传统的工业生产向普通家庭迈进，在我们的生活中也渐渐起到了不可替代的作用。可以说让更多的人接触到机器人，和机器人作为伙伴已经成为了机器人发展的时代趋势。本文的“前置摄像头机器人以及远程多功能控制”模式，除了应用于家庭服务型机器人，还可以在消防、救援、野外巡逻等领域发挥其应有的作用。如果在本套系统的基础上加入人机指令输入器件。即可真正实现人机的无障碍交流。例如，本文作者在今后的研究中希望在本套系统基础上加入脑电指令采集系统，这样就便于行动能力不便的人，甚至是丧失劳动能力的人直接对机器人进行操控。另外，由于时间和器材上的制约，本课题依然以PC机作为控制中枢，在今后的研究中可向嵌入式系统控制中枢的方向发展。脱离上位机、加入更为便捷的人机指令交互系统并且实现机器人躲避障碍已经作为作为本文作者今后的研究方向。参考文献1 （日）日本机器人学会编，宗光华 程君实 等译，机器人技术手册，北京：科学出版社，20072 网冠科技编，vc+6.0时尚编程百例，北京：机械工业出版社，2001.13 杨淑莹编，vc+图像处理程序设计，2版，北京：清华大学出版社；北京交通大学出版社，2005.14 (美)Robin R. Murphy著 杜军平等译，人工智能机器人学导论，电子工业出版社，20045 徐德，谭民，李原编著，机器人视觉测量与控制，国防工业出版社，2008.26 (美)John J.Craig著，机器人学导论(第三版)，北京：机械工业出版社，2006.6附录A视觉子系统主要函数A.1 OnDisplay()void CVisionDlg:OnDisplay() graBGColor(m_hGra,0);graClear(m_hGra,640,480,10,10);digGrabContinuous(m_hDig,m_hBuf);KillTimer(1);SetTimer(1,100,NULL); A.2 GetColorData()void CVisionDlg:GetColorData()BYTE Data3;BYTE *pData;long top=0;long left=0;if(m_mouse_x>0&&m_mouse_x<640&&m_mouse_y>0&&m_mouse_y<480)top=m_mouse_y;left=m_mouse_x;elsetop=240;left=320;CClientDC objDC(this);RGB32_T *buf=(RGB32_T*)bufGetPtr2D(m_hBuf);pData=Data;*pData = (BYTE)RGB32_TO_B(buftopleft);*(pData+1) = (BYTE)RGB32_TO_G(buftopleft);*(pData+2) = (BYTE)RGB32_TO_R(buftopleft);m_r=*(pData+2);m_g=*(pData+1);m_b=*pData;A.3 CompareColorData(BYTE red, BYTE green, BYTE blue)void CVisionDlg:CompareColorData(BYTE red, BYTE green, BYTE blue)long w,h;BYTE Blatt640480;CClientDC objDC(this);RGB32_T *buf=(RGB32_T*)bufGetPtr2D(m_hBuf);for(w=0;w<640;w+)for(h=0;h<480;h+)if(BYTE)RGB32_TO_B(bufhw)>=B_MIN&&(BYTE)RGB32_TO_B(bufhw)<=B_MAX&&(BYTE)RGB32_TO_G(bufhw)>=G_MIN&&(BYTE)RGB32_TO_G(bufhw)<=G_MAX&&(BYTE)RGB32_TO_R(bufhw)>=R_MIN&&(BYTE)RGB32_TO_R(bufhw)<=R_MAX)Blattwh=1;elseBlattwh=0;long position_x=0;long position_y=0;long i,j;sum=0;for(i=0;i<640;i+)for(j=0;j<480;j+)if(Blattij=1)position_x=position_x+i;position_y=position_y+j;sum=sum+1;if(sum!=0)m_color_x=position_x/sum;m_color_y=position_y/sum;elsem_color_x=0;m_color_y=0;附录B决策子系统主要函数B.1 RobotControl()void CVisionDlg:RobotControl()double Kd=0.04,Ka=0.01,x,y;int vl,vr;y=480-m_ball_y;x=m_ball_x-320;if(m_ball_y < 430 && sum < 10)vl=(int)(Kd*y-Ka*x);vr=(int)(Kd*y+Ka*x);Velocity(vl,vr);elseVelocity(0,0);B.2 Velocity(int vl, int vr)voidCVisionDlg:Velocity(int vl,int vr)if(vr>125) vr=125;if(vl>125) vl=125;if(vr<-125) vr=-125;if(vl<-125) vl=-125;vl+=127;vr+=127;if(vr=0xAA) vl=0xAB;if(vl=0xAA) vl=0xAB;command0=0x00;command1=(unsigned char)vl;command2=(unsigned char)vr;command3=(unsigned char)vl;command4=(unsigned char)vr;command5=(unsigned char)vl;command6=(unsigned char)vr;command7=0x00;m_vl=vl-127;m_vr=vr-127;UpdateData(FALSE);m_pComm.WriteCommBlock(LPSTR)command,8);