毕业设计（论文）开题报告一种基于多特征融合的风景图像检索方法.doc

（2010届）本科毕业论文（设计）开题报告题目： 一种基于多特征融合的风景图像检索方法学院： 数学与信息工程学院专业： 计算机科学与技术（本）班级： 计科061 学号： 200632225115姓名： 指导教师：开题日期：一、选题的背景、意义（所选课题的历史背景、国内外研究现状和发展趋势）1.1背景： 在当今的信息化时代，随着现代电子技术、计算机技术、网络通信技术和多媒体技术的迅猛发展，大量的数字媒介被用来记录信息，数字图像是其中一种用以记录真实世界景象的重要方式。在各行各业，包括在人们的社会生活中，各种内容的大规模数字图像库不断出现。有效的建立、管理和充分利用图像信息库资源，一直是国内外科技工作者关注的问题。能够有效的在庞大的图像数据库中搜索到需要的图像信息，是进行数字图像管理和分析的关键技术。早在上个世纪七十年代，由于数据库管理系统的发展，人们就借助于传统的数据库管理技术对图像进行检索。这时候图像检索的一个典型框架是，首先对图像用文本进行注解，然后用基于文本的数据库管理系统来进行图像检索。这样一来对图像的插叙就变成了基于标签的查询。这种方法虽然简单，但有几个根本的问题影响对图像信息的有效使用：首先，由于图像内容很难用文字标签完全表达，所以这种方法在查询图像中常会出现错误。其次，文字描述是一种特定的抽象，如果描述的标准改变，则标签也得从新制作才能适合新查询的要求。话句话说，特定的标签只适合特定的查询要求。最后，目前这些文字标签是靠观察者选出来才加上去的，因此受主观因素影响很大，不同的观察者或同一观察者在不同条件下对同一幅图像可能给出不同的描述，因而不够客观，没有统一标准，常会自相矛盾。图像数据库的核心技术是图像检索。图像检索则是近年来海量是、信息处理面临的“瓶颈”。基于内容的检索最具有本质性，已经成为当前国内外研究的热点。图像检索技术的两大关键图像特征的提取和相似性度量。在人类视觉属性中，纹理作为基本的视觉特征之一，分布十分广泛。针对纹理的研究研究经历了相当长的时间，但对纹理的明确定义直至目前尚未出现，纹理应用于图像检索的时间也是相对短暂的。基于纹理特征的图像检索是基于内容的图像检索研究中的前沿技术。下面先来介绍一下基于内容的图像检索基于内容的图像检索技术是一种综合集成技术，涉及到认识科学、人工智能、模式识别、图像处理、信息检索等多个领域。其中一些关键技术如特征提取、图像分割、对象提取、高维索引等一直都是一个悬而未决的问题。基于内容的图像检索（CBIR）技术由机器自动提取包含图像内容的可视化特征：颜色、纹理、形状、轮廓、对象的位置和相关关系等，对数据库中的是、图像和查询样本图像在特征空间进行相似匹配，检索出与样本相似的图像。1.2意义:目前，各种数据库中存在大量的图像，少则几十上百，多则成千上万。并且这些图像数据库的研究对多媒体数据旅游景点、卫星遥感图像、地理信息系统等提供了有力的支持。多媒体技术、Internet网络的迅速发展，使图像在人们的日常生活中的应用日益广泛。公安部门的迅速破案，需要大量的罪犯图像信息作为辅助；天气预报的准确预测，离不开大量卫星图像的支持。各种各样的应用的出现，使图像信息的使用也逐渐渗入到社会上的每一个角落，图像已成为大众化数字信息的一种重要形式。如何组织、表达、存储、查询、管理和检索这些海量的图像数据，是对传统数据库技术的一个重大挑战。因此，如何将数字图像处理，建立高效的图像检索机制已成为目前迫切需要解决的问题。1.3国内外研究动态及发展趋势：近十年来，每年都有相关的国际会议召开，国际上重要的杂志也都对此发表了相关的专刊。很多的研究机构进行了相关的工作，取得了很多令人瞩目的成就，如IBM公司的QBIE系统，virage公司的VIR图像工程系统等。与国外相对成熟的技术而言，目前国内研究部宽，主要集中在基于图像的颜色、纹理等的查询部分。二、研究的基本内容与拟解决的主要问题提出一种多特征（颜色、纹理、形状、轮廓、对象的位置和相关关系等）融合的图像检索方法。该方法能充分利用人类的视觉感知，将图像的多种低层特征相互结合，并通过适合的相似性度量将数据库中的图像与待查询图像进行比较，用以检索出与待查询图像相似的图像。该方法在包含从INTERNET下载的风景图像数据集上进行实验，以验证其可行性和有效性。三、研究的方法与技术路线、研究难点，预期达到的目标3.1研究的方法：3.1.1 基于颜色的检索人们普遍认为颜色并不是刻划一个物体的关键特征，因而在传统的注重几何特征的计算机视觉研究中，颜色未能得到充分的重视。然而相对于各种几何特征，颜色具有大小、方向、位置不变性，同时它也是描述图像最有效的特征之一。如果客户只希望从库存中查到所有红色衣服的样本图像，则使用其它检索方式很难达到要求。QBIC系统将基于颜色的检索作为缺省的检索方式。基于颜色检索主要采用颜色直方图的方法。颜色直方图代表3个颜色频道强度的联合概率，描述全局的颜色分布，对旋转以及位置变化不敏感。1990年，Swain和Ballard提出了直方图交的算法，从而为颜色检索奠定了基础。图像相似度采用如下公式计算：颜色直方图能够反映图像的平均颜色信息·，但不考虑空间位置信息。例如，在一幅全家福合影中，你站在父母的左边、右边，还是中间，并不会影响整幅图像的颜色分布，得到的颜色直方图也是类似的。采用纯粹的基于颜色直方图的检索，并不能很好地区分这些在人眼看来非常不同的图像。同时，要把每幅图像的颜色直方图信息存储下来，需要较大的空间。为解决这个问题，Mehtre提出了一种参考颜色表的方法。该方法是一种有损压缩，并不能从压缩直方图中恢复图像固有的信息。为解决颜色直方图不能描述空域信息的缺陷，需要引入空域信息。对于全局空域信息的引入，先用Canny算子得到边界图，然后对边缘点建立方向直方图。归一化后的方向直方图可在一定程度上做到尺度不变和旋转不变。如果图像位置简单，还可做到与目标位置无关。对于局部空域信息，将图像固定分为5个区域，对每个区域求其颜色直方图的前三阶矩。该法只对图像的微小旋转有不变性，不适应图像大的变化。也可采用类似纹理分析中灰度共生矩阵方法，该法对视点变换、背景变化及焦距远近均不敏感。其它基于颜色的方法还有许多，如颜色相关向量法、颜色相关图法、颜色集方法、颜色聚类法等等。颜色相关向量法(CCV方法)是Greg Pass提出的，将各颜色区段像素点总数分为相关和不相关两类，包含一定的空间信息。颜色相关图法是Jing Huang提出的由颜色对组成的表，表的第k个人口即颜色i在距离为k的范围内找到颜色j的像素点的概率。该方法对图像旋转、位置变换敏感。颜色集法由John RSmith和shihFu Chang提出，它将图像的RGB空间转换为HSV一维空间，因为HSV空间比较符合人类的视觉感知特征。通过阈值过滤，大于阈值的为l，小于阈值的为O。该法可以保留图像的显著信息，便于索引的构造。WYMa提出的颜色聚类法(GLA)将库中图像颜色聚类，在预定误差范围内，将三维颜色空间量化为最小数目的一维，使用颜色所占比例反映分割区域颜色分布。人类肉眼一般对主色调比较敏感，因此有人提出了基于主色调的检索方法。通过系统提供的调色板选择颜色值，指定某种主色调进行检索。然而，人类肉眼的分辨率毕竟有限，在一定范围内的颜色变化往往区分不出来。并且颜色在按色彩量化时会产生量化误差，从而使得原本非常相似的颜色被量化到了不同的范围之内，导致图像匹配时漏选。采用正态分布拟和法来获取指定颜色的扩展值，对主色调进行扩展，可弥补由于用户选择的随机性和量化等引起的误差。3.1.2基于纹理的检索所谓纹理，是指图像像素灰度集或颜色的某种规律性变化。纹理特征主要包括粗糙度、方向性、对比度以及规则性。基于纹理的检索适用于检索诸如水波、布匹、建材等类型的图像，通常采用统计方法、结构方法以及频谱分析方法进行。统计方法主要用于分析像木纹、沙地、草坪等细致而不规则的物体，根据图像像素间灰度的统计性质对纹理规定出特征以及特征与参数间的关系。结构方法适于像布料或砖瓦等一类元素组成的纹理以及排列比较规则的东西，根据纹理基元及其排列规则来描述纹理特征。统计方法通常在频率域和空间域上进行。在频率域上，主要采用傅立叶变换和小波分析。傅立叶变换在能量谱上反映图像粗糙度和方向性；小波分析中采用Gabor滤波能够表现出最好的特征。在空间域主要采用Haraliek和Shanmugam 提出的共生矩阵法，共生矩阵的每个元素表示从灰度i像素点开始离开某固定位置t的像素点灰度为j的概率。该法的缺点在于矩阵很大且含有大量的冗余信息。Tamura是纹理分析的另一主要方法，它定义了粗糙度、方向、归整等6种特征，每种特征相互独立且可视。其优点在于几乎没有冗余信息，算法的效率比较商。在纹理研究的早期，人们普遍认为统计方法优于频谱分析方法。8O年代， 随机场模型开始用于纹理的分类和识别。Kashyap采用基于圆对称自回归随机场模型的特征，用于自然纹理的分类， 并取得了9l 的正确率。FSCohen等采用Gaussian Markov随机场模型(GMRF)，对9种自然纹理的识别达到了99 至100 的正确率。DKPanjwani和GHealy进一步采用GMRF模型用于彩色纹理图象的分割， 也取得了较好的效果。3.1.3 基于形状的检索形状是图像目标的显著特征之一，许多物体具有不同的颜色，但其形状总是类似的。例如，一套以国徽为主要图案的邮票，其形状大体都是圆形。再比如苹果公司的商标，基本形状都是一个圆形缺一角的苹果，差别仅在于一些细微的地方，如苹果中有无横线。形状包括面积、连通性、环形性、偏心率、主轴方向等特征。形状的表征方法很多， 包括本征方程、几何常量、Fourier级数、力矩等等。浙大人工智能研究所在此基础上，进一步提出了狭长度以及基于内角的特征量，对于形状检索有较好的效果。形状的局部特征即对连续边界的分割点集。图像分割需要利用物体区域内部某种同一性和均匀性进行划分，采用的经典算法包括门限法、区域增长点、空间聚类法等。分割后得到物体边界点的集合，进行付氏变换，得到复系数集合。系数在频域描述物体的形状，低频代表形状属性，高频代表图像细节。目前出现有限元法、图灵函数、小波描述等。对于基于形状的检索来说，形状的表示和匹配是重点要解决的问题。在传统的计算机视觉中，曾先后用Freeman链码、曲线、Fourier描述子、二次曲线及B样条等来描述平面曲线。其后采用超二次曲线(super_quadrie)以及小波描述来逼近形状：在复杂(不连通)形状的表示方面，提出了矩Fourier描述子方法，并将其用于汉字识别。也有人采用隐式多项式的表示方法，并对其表示能力进行了分析。对于形状匹配来说，Hough变换例是较为经典的方法，它对于噪声和遮挡具有良好的抗干扰性。但此法仅能解决形状的平移、旋转和缩放所带来的匹配问题，而对实际应用中广泛的变形匹配问题无能为力。针对由关节点联结起来的活动物体，例如剪刀，Mehrotra等提出了基于索引特征的相似形状检索方法FIBSSR (Feature IndexBased SimilarShape Retrieva1)，专门用于此类物体的匹配。国防科大多媒体实验室提出了根据颜色特征进行形状检索的方法，该方法简单实用，非常适合于背景相对简单的图像形状检索。一般情况下，彩色图像中的对象与背景之间必然存在颜色上的差异。如果利用这种颜色差异提取物体的形状边缘信息，相对而言比直接提取边缘更为容易。通过将图像分块，每一子块分别计算直方图，选择有差异的比较对，形成颜色特征差值表，比较时进行差值表的比较。相似度根据如下公式计算：为使图像对象对大小变化、旋转及光照不敏感，需要进行相应的改进。将颜色归一化处理，使颜色分量不受光照及阴影的影响。同时对差值表的构造进行改进，只选取距离值大于值的比较对以去除背景噪声干扰；为突出基于形状边缘的特点，减少对颜色变化敏感性，需将颜色直方图进行平滑处理。3.1.4 基本组合的多特征检索图像内容具有各种视觉特征及视觉对象的空间关系等，而人在观察图像时也不只是观察一个特征，而是会同时看到图像的颜色、形状等多个组合特征。正如前面所提到的，不同的特征有不同的矢量表示方法，即使是同一特征，如颜色特征也有直方图特征、颜色矩、颜色集等多种特征表示方法。在用单一特征进行检索时，可能出现非常相似两幅图，但在语义上相差很大。而采用组合特征检索法时可以在颜色、纹理、形状等几种查询特征中选择两种或两种以上的特征进行组合检索。基于多特征组合检索便于用户更灵活、更有效地表达检索要求，提高检索的准确率。该检索方法可分两种情况进行：一种是异步组合检索，另一种是同步组合检索。(1)异步组合检索在异步组合检索中时，针对示例图像，首先采用一种主要特征(比如颜色)进行检索，按相似程度排序检索结果，然后从中挑选出新的示例图像，以另一种特征(如纹理或形状)在进行检索，直到满足检索要求。异步组合特征检索从本质上来看仍是单一特征检索。与单一特征检索不同的是，该方法在检索过程中，分别利用图像中不同特征的特点逐次进行相似性匹配，可逐步缩小检索空间，不断提高检索精度。(2)同步组合检索在同步组合检索时，针对示例图像，首先人工设置组合特征的归一化初始权重比，根据此初值进行第一次检索，按相似程度排序检索结果，然后从中挑选出新的示例图像。重新人工设置组合特征的归一化权重比，再次进行检索，直到满足检索要求。基于组合检索方法与单一特征的检索相比，可以提高检索精度。其缺点是检索精度调整和提高的过程是一个工人干预的过程，这过分依赖于人的主观判断，检索效率不高，不具有通用性。因此，针对同步组合检索方法，对检索过程中特征的归一化自动进行调整，提高了人机交互相关反馈检索方法。基于反馈技术最初应用于传统的文本信息检索，1998年Rui Yong等人首次将相关反馈技术应用于基于内容的图像检索。在他们设计的MARS系统143中，用户将检索条件交给系统，系统将检索结果显示给用户，用户再把检索的个人评判信息反馈给系统。人机交互相关反馈检索系统又经过一系列的反馈迭代，动态调整组合特征的归一化权重。由此决定检索过程中采用何种特征组合及如何分配特征之间的权值，达到逐步提高检索精度的目的，因此相关反馈技术应用于基于内容检索的研究逐渐受到人们的关注。3.2技术路线：3.2.1熟悉基于内容多特征的图像相关领域知识；3.2.2研究现有基于内容的图像检索常用方法；3.2.3研究现有的基于内容的图像检索算法；3.2.4写检索算法研究报告；3.2.5检索系统通用的框架3.2.6图像检索系统框架3.3研究难点：3.3.1由于没有接触过图像学方面的知识，还有待于学习、深化；3.3.2由于没有学过C+和MATLAB进行编程，而且自身编程水平有限，要在短期内编出一个图像检索应用软件有很大的困难；3.3.3在实现新的检索算法中，会遇到困难，检索方面的知识缺乏；3.4预期达到的目标： 本次课题预期达到的目标是采用融合多种图像视觉特征（例如： 颜色、纹理、形状、轮廓、位置、相互关系等）的手段实现对来自网络的风景图像数据的自动检索；分析出基于多特征融合的图像检索方法的优越性和需要考虑的几个方面；成功运用MATLAB开发语言对提出的方法加以编程实现并编制具备图像检索的完整处理过程及相关效果显示的检索应用软件。四、论文详细工作进度和安排第一阶段：第七学期第10周至第14周阅读有关参考文献；完成毕业论文（设计）文献综述、开题报告、外文翻译的撰写工作；初步拟定实现系统需要采取的研究方法和技术路线；完成系统开发语言和开发平台的学习。第二阶段：第七学期第15周至第18周继续查询并收集资料；确定系统需要完成的主要功能，绘制系统的总体流程图；完成毕业论文大纲的撰写。第三阶段：寒假期间进行系统详细功能与组成模块的设计阶段，完成测试用例等的准备工作；开始撰写毕业论文的初稿。第四阶段：第八学期第1周至第3周进入系统具体开发与代码编制阶段；撰写毕业论文的初稿。第五阶段：第八学期第4周至第6周系统功能基本实现，进入系统测试、改进及优化的阶段；继续撰写并修改毕业论文。第六阶段：第八学期第7周至第10周进入系统的完善阶段；继续撰写并修改毕业论文。第七阶段：第八学期第11周至第12周提交毕业论文；准备毕业答辩各项事宜。五、主要参考文献：（所列出的参考文献原则上不少于10篇，并应有不少于2篇的外文文献）参考文献格式： 1Niblack W., Barber R., Equitz W.,et al. The QBIC Project: Querying Images by Content Color, Texture, and shapeJ. SPIE, 1993,1908:173-187. 2Man junath B.S. Color and Texture Descriptors J. IEEE Trans. on Circuits & Systems for Video Technology, 2001,11(6):703-715. 3Smeulders A.W.M., Worring M., Santini S.,et al. Content-based Image Retrievals at the End of the Early YearsJ.IEEE Trans. on Pattern Anal Intell,2000,22(12):1349-1380.4袁昕,朱淼良.基于主色匹配的图像检索系统J.计算机辅助设计与图形学学报,2000,12(12):917-920.5胡必鑫.基于内容图像检索中颜色特征描述J.计算机工程与应用,2005,41(16):48-50. 6孙君顶,武学东,周利华.基于颜色和形状的图像检索J.计算机科学,2005,31(5):180-183.7朱守业.基于多特征融合和ADABOOST算法的图像检索J.计算机工程与应用,2007,43(36):137-140.8秦文学,李宁.基于MPEG-7的多特征图像检索方法J.北京机械工业学院学报,2007,22(4):29-36.9陈蔚,肖国强.基于多特征的图像检索算法J.计算机工程与设计,2008,29(17):4507-4467. 10罗军,况夯.基于内容的多特征融合图像检索J.计算机工程与应用,2009,45(1):153-197. 11童宏梁.Web中图像的检索技术研究.杭州师范学院，信息工程学院，2004指导教师审核意见： 签字： 年 月 日系意见： 签字： 年 月 日学院意见： 签字： 年 月 日