采用基于内容的图像检索技术用于外观设计专利的检索.ppt
采用基于内容的图像检索技术用于外观设计专利的检索,北京华旗图像数据智能技术有限公司冀春林2008年10月13日,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,一、概况,北京华旗图像数据智能技术有限公司是由北京华旗资讯公司和中国海外留学人员合资成立的，是一家由北京市科委认定的高新技术企业。公司拥有自主知识产权的高新技术基于内容的图像检索技术。,在国家知识产权局信息化办公室和外观审查部的大力支持和指导下，进行了近三年的技术准备工作，并利用一年多的时间，先后开发完成了面向审查员的中国外观设计专利检索系统和面向公众的中国外观设计专利智能检索系统。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,目前大家比较熟悉的计算机检索技术，大多是基于文字的检索。不论是文章的查询、图片的搜索、音乐的查找甚至视频的检索，都是通过文字的描述或者标引实现的。文字检索的薄弱环节在于对多媒体信息描述上，用文字描述难以避免主观性。这样，就产生了基于内容的检索需求，不论是图片、声音、视频还是动画。于是各种基于内容的检索技术就应运而生了。基于内容的图像检索技术是其中的一项重要技术。,二、什么是基于内容的图像检索技术,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术（Text-based Image Retrieval，简称TBIR），利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。目前还在广泛使用，一张照片，配以文字说明照片拍摄的时间、地点、事件的主要内容等等。,2.1、图像检索,基于文本的图像检索技术 TBIR,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,图2-1 新华社4月7日发稿,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,在基于文本的图像检索系统中，需要先对所有的图像进行关键字标注，然后才能使用全文检索技术对图像进行搜索。这种方法存在两个方面的问题：,存在的问题：,一是这种方法需要较多的人工参与，而且随着图像数目的增加，这种方法很难实现；,二是由于图像所包含的信息量庞大，不同的人对于同一张图像的理解也不相同，这就导致对图像的标注没有一个统一的标准，因而检索的结果不能很好地符合用户的需求。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,图2-2 不同的人关心不同的内容,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（Content-based Image Retrieval，简称CBIR）技术。属于图像分析的一个研究领域。,基于内容的图像检索 CBIR,CBIR属于基于内容检索（Content-based Retrieval，简称CBR）的一种，CBR中还包括对动态视频、音频等其它形式多媒体信息的检索技术。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要包括三方面：,2.2、图像检索原理,1、对用户需求的分析和转化，形成可以检索索引数据库的提问；,3、根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。,2、收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库；,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,指的是查询条件本身就是一个图像，或者是对于图像内容的描述，它建立索引的方式是通过提取底层特征，然后通过计算比较这些特征和查询条件之间的距离，来决定两个图片的相似程度。,2.3、基于内容的图像检索,1、提取特征值：利用一些数学的规则（公式），把图像进行一个量化的描述，按照色彩、形状、图案、纹理等不同要求，把一张图片转化为一组数字，我们称其为特征值。由于是采用的同样的规则，所以每一张图片都能提取出一组特征值。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,2、特征值的比对：由于采用的规则是相同的，如果两张图片是一样的，提取的特征值也会相同，这样就可以把两张图片的内容比较转化为两组特征值的数字比较，也就是用数字量的比较代替了模拟量的比较；,3、结合语义分析：相同特征值的图片不一定就是相同的内容，结合图片的语义进行分析判断。,如果两张图片是相似的，提取的特征值也是相近的；反过来讲，如果两张图片相差很大，其特征值也会有很大的差距；,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,对于图像的低层特征，主要采用的是图像的颜色、纹理及其形状等特征。,2.4图像的低层特征值提取,颜色特征,颜色特征和图像的大小、方向无关，而且对图像的背景颜色不敏感，因此颜色特征被广泛应用于图像检索。颜色特征中包括颜色直方图、颜色相关图、颜色矩等。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,图2-3颜色特征颜色布局示例,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,纹理特征,纹理特征代表了物体的视觉模式，它包含了物体表面的组织结构以及与周围环境之间的关系。常用的方法有相关矩阵法，粗糙度、对比度等纹理表示方法，以及小波变换等。,图2-4纹理特征,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,形状特征,形状特征则包括两种，一种是基于边界的形状特征，另外一种则是基于区域的形状特征。最常用的表示方法有傅利叶变换和不变矩等。,这些低层的特征将通过各种方法抽取出来，并形成一组特征向量，建立相关索引并存储到数据库中。,91301417(灯管)200530117452x（杯子）基于边缘的形状表示 基于区域的形状表示,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,单纯使用图像的底层特征值，容易产生混淆，因为不同的图像也会有近似的特征组合，例如：一个冰箱和一个洗衣机（图2-6），从正面看二者有较大的区别，但从后面看其后视图时，二者的差距很小，相似度较高，无法有效区分；,2.5单独使用低层特征值的弊端,03304350.7 冰箱,图2-6 冰箱与洗衣机的后视图对比,200330124434.5 洗衣机,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,必要性,2.6建立语义特征,由于低层的特征并不直接代表图像的语义信息，还需要抽取图像的语义特征。,可行性,我们采用了外观设计专利中的相关文字信息来表征图像的语义特征，其中使用到的相关信息有：分类号、产品名称、设计人、通讯地址等。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,效果,通过使用专利的文字信息，使不同类别、不同名称之间的外观设计专利图像有了明显的区分，避免了混淆，提高了检索精度。,举例,还是上面的图（图2-6），两个方框，加上产品名称后，冰箱和洗衣机就不会混淆了。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,3.1属于模糊查询，检索结果不是唯一的,三、基于内容的图像检索技术的特点,基于内容的图像检索与文字检索的一个主要区别是，基于内容的检索都是属于模糊查询，一般不会给出单一的检索结果，输出的是一个结果排序集合，按照图像的相似程度，从最像到最不像。,最后需要由人来判断最终的结果是否满足检索需要，是人机结合的典范；由计算机来做大量简单烦琐的工作，由人做分析工作。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,图3-1检索结果显示图（4*6）,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,通过设置检索输出门限值，也可以控制检索结果的输出数量。,检索结果的显示需要考虑显示效率和显示效果的矛盾。,图3-2 不同数量的显示（6*9）,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,3.2检索结果是逐渐逼近,在检索过程中不断修订检索条件，可以逐步达到最终的检索结果；通过调整特征参数组合，可以得到不同的检索结果。,3.3计算工作量大,每次查询都需要根据临时提交的特征标准，对全部特征值进行匹配运算；数据计算时对计算机的要求高，查询时间相对长一些。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,采用基于内容的图像检索技术进行外观设计专利图像检索之前，我们进行过商标数据、人像数据的应用，有一定的应用经验。把技术在应用到外观设计专利数据上，又碰到了新的问题。主要表现在以下几点：,四、外观设计专利的特点,4.1数据量大、特征值提取时间长,从1985年开始，中国外观设计专利已经审查公告了近80万件，有420多万幅图像。而且近几年还在以每年30%左右的速度递增着。,整套数据提取图像特征值的工作花费了2000多个小时。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,4.2数据类型复杂、没有统一标准,85300029 93310220.8 03351732.0,中国外观设计专利是从1985年开始的，早期的数据，由于计算机发展问题，图像处理的水平不高，主要以黑白图像为主；近几年随着数码产品的迅速发展，图像又以彩色的图片为主；从数据的内容上分，既有设计的线条图，也有实物照片图；在图像格式上，既有TIF格式的，也有JPG格式的；从图像的外型尺寸看，图像的长边大到近万像素，小到几百像素都有。,图4-1几种不同年代、不同格式的专利图,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,外观设计专利数据从色彩、内容到外型尺寸都有很大不同。而外观设计专利的检索要求却是对这些不同类型的图像要求具有可比性。,与人像数据相比，人像数据的特点很明显，每个人都有眼睛、鼻子、嘴，这些数据就可以确定图像数据的标准格式，人的正面图像更简单；人像数据的难点在于人的面部会有不同的遮挡物，例如眼睛、口罩、胡子、围巾、帽子等。,由于形状、色彩、图案是外观设计专利的三个要素，所以外观设计专利的数据比人像数据要复杂，它没有统一的格式，表达的内容可能是圆的、也可能是方的、还有可能是三角的。有些有颜色要求，有些只是简单的线条。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,4.3每个专利的图像数量不固定、图像的视图定义不一致,每个外观设计专利都要求有图像数据配合，分别有1到8个不同种类的视图，包括有主视图、俯视图、左视图、右视图、仰视图、后视图、立体图、其他图等八种；每种类型视图的个数并不确定，大部分标帖类的专利只有一张主视图，而一些玩具类的专利最多有数百个主视图。,图4-2多主视图专利（03335570.3）,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,对于同类型的产品，主视图的选取并不一样，以摩托车为例，有些以车头在右侧为主视图，有些以车头在左侧为主视图，甚至还有以车头朝前为主视图的。为了解决这些问题，需要在主视图与左视图、右视图甚至俯视图之间进行比较，才能解决图像的视图定义不一致带来的矛盾。,02352294.1 200430059684.X 200530007496.7,图4-3 三种不同主视图的摩托车专利,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,4.4图像与文字的结合,外观设计专利数据的一个特点是，有文字标注信息，例如专利申请号、产品名称、申请人、申请时间、公告时间、代理机构、优先权等文字内容；又有数量不等的视图。,与发明专利和实用新型专利相比，外观设计专利没有更多的文字来说明设计意图和权利要求，权利要求主要都是通过图像的内容表达。外观设计专利是利用文字与图像两类数据的结合来说明外观设计专利的权利要求。,所以外观设计专利的检索要求同时具备文字和图像两种检索功能。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,4.5产品按标准分类,外观设计专利一般是在同类产品中进行相同、相近似的比较，由此判定是否侵权。不同类型的产品之间不进行比较。,外观设计专利的产品分类是按照洛迦诺协定执行的，目前的版本是第八版，其中分31个大类，220个小类，6000多个细类。,在每一分类里的外观设计专利数量是不同的，图像数量也不等，目前最多的小类已有5万余件外观设计专利，而最少的分类专利数量为0。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,虽然外观设计专利的数据按产品进行了分类，减少了每一类产品的数量，可以提高检索效率和检索精度。但由于相同、相近似的比较是在小类中进行，而不是在细类中，小类的分类还比较粗，数据相互干扰多。例如06类中01小类是家具类，其中既有桌子，也有椅子，还有床、柜子等，这一类的数据量有一万多条，互相干扰就很厉害。,外观设计专利一般检索是在同类产品中进行，特殊情况下也有跨产品类型检索的需求。,以上这些特点是外观设计专利数据特有的，落实到基于内容的图像检索技术上，主要难点表现为：同样的数据会有不同的检索要求；不同的数据会有同样的检索要求。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,5.1图像质量,五、影响检索效果的几个因素,经过实践发现图像质量对检索结果有一定的影响，主要表现在三个方面：,图5-1 背景的影响（93301089.3）,图像背景、图像的方向性、标注线,图像背景问题,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,图像的方向性,标注线,图5-3 不同专利的不同摆放方式,图5-2标注线的影响（200530118830.6）,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,由于不同分类下的外观设计专利的数量不同，从几件到几万件都有，检索速度与检索样本的数量有较大的关联，每次检索的速度是不一样的；,5.2分类的数量影响检索速度,5.3同样的相似度，检索结果数量不同,设置同样的相似度门限数值，对每一类的检索结果数量不一致，一方面是由于样本数量的不同，另一方面要看每个分类中相似图像数据数量的多少；,5.4网络速度,网络速度对传输检索结果有一定的影响。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,在满足一般图像检索要求的基础上，经过对外观设计专利数据的分析，对软件进行了必要的调整，使其具备以下特点：,六、软件的特点,6.1底层特征与语义特征结合,合理利用图像数据的产品分类属性、产品名称和申请年代等语义特征，能够提高检索效率、提高检索精度；,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,图6-1底层特征与语义特征结合,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,通过参数设置来满足不同的检索需求，例如黑白彩色互查等。,6.2提供参数设置,图6-2 黑白彩色互查,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,6.3提供图像处理工具,图6-3 图像处理工具软件,对检索输入的图像进行有效的处理，例如去除背景、旋转、镜像等功能。改善提高输入图像的质量，对提高检索结果有很大帮助。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,目前主要应用于知识产权保护领域，在事前（设计阶段）、事中（申请阶段）、事后（诉讼阶段）三个阶段中都可以应用。,七、主要用途,在工业设计领域，可以提供某一行业的整体数据，起到借鉴的作用，能够避免工业设计的低水平重复，提高工业设计的整体水平，同时避免发生知识产权侵权的现象。,在学校的教学实践中，通过该套系统，能够开拓学生的思维，扩大视野，提高教师的教学水平和学生的学习效率。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,基于内容的图像检索技术在不断的发展中，我们近期要做的主要工作是：,八、今后发展方向,通过在商标、人像、外观设计专利等应用领域中的实践应用，找到各类图像数据的不同特点，确定不同的方法和特征值参数，最终就可以发展成为第三代搜索引擎（多媒体）的组成部分。,8.2纳入国内的商标、非专利文献数据和境外的外观专利数据,8.1向第三代搜索引擎方向发展,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,国内要做的工作，主要集中在商标数据上。因为与外观设计专利的数据相比，商标的数据更容易实现基于内容的图像检索。力争在短时间内，将国内的商标数据纳入检索系统；,引进非专利的文献数据，确认非专利文献的选取范围，定期将相关的非专利文献信息纳入检索系统，扩大检索范围。,国际上要做的工作，是将其他国家和地区的外观设计专利数据，尽可能多的纳入该检索系统；在软件开发时，已经预留了其他国家和地区的数据接口，只要解决数据来源问题，很快就可以实现。,北京华旗图像数据智能技术有限公司,aigo Image Computing&Intelligent Technology(Beijing)Co.,Ltd.,谢 谢,
