实用信息检索PPT课件-信息检索的模型.ppt

信息检索的模型方法,1,2,一篇文档document简称 d包含好词term简称 t,文档d与词汇t,3,文档和词汇的对应关系,一篇文档d包含多个词汇t一个词汇t出现在多个文档d里。,4,5,6,7,四个文档向量Vector：向量。D1（2,2,0,3,0,0,0）D2（0,4,6,8,0,0,0）D3（0,0,0,1,2,3,0）D4（0,0,0,0,0,0,2）,8,在文档d中，词汇t的分量,D1（2,2,0,3,0,0,0）？一个词对一篇文档来说，它的重要程度如何评判？,9,词t在文档d的重要性,类比：一篮子水果。词t：水果文档d：篮子词对文档的重要性某类水果对篮子的重要性,10,5个草莓1个草莓单价：1元草莓 对 这个篮子的重要性为：5x1=5只考虑个数合适吗？,草莓的价值怎么评判？,11,词t在d中出现的次数：水果的个数词的单价：水果的单价词频：term frequency tf词的单价怎么计算？物以稀为贵词越稀有，词价格越高。词蕴含的信息量越大。,词t对文档d的重要性？,12,给定信息x，如果它能命中1/2的文档就说X 的信息量为 1,信息量,13,词的单价如何计算？,14,W=词频x词的单价=词频x词的信息量=词频x,词的权重就可以计算了,15,原始最终,16,Q：(1,2,0)D1(1,1,0)D2(3,1,0)D3(0,3,1)举例-如何计算：Q和D的相似度sim(),17,Sim(D,Q)=cos=,1.权重W=,18,2.计算Q与各个D的夹角的余弦值。3.按余弦值由大到小排序。,这个模型叫：VSM,向量空间模型 salton发明的Vector Space ModelLucene 一个实现了VSM的开源软件工具包Java语言.net 版本搭建【文档、网页、资料】信息检索系统。,