搜索引擎的信息覆盖率.ppt

搜索引擎的信息覆盖率评测模型研究,孟涛 09808049指导教师：李晓明教授2002年6月,引言,互联网信息资源数量的指数级增长、网络信息博物馆对网页资源的要求需要一套有效的办法评测搜集系统的搜集性能，本文的工作由此展开,网页搜集的不完全性,WWW有向图结构结构本身所致（入度为0或不存在路径）优先排序、搜集系统资源所限导致不断出现的新网页无法搜集,三类重要的信息覆盖率,数量覆盖率质量覆盖率可视信息覆盖率,模型建立,覆盖率=搜集网页数/实际WWW网页数覆盖率=样本覆盖数/样本容量模型图示,数量覆盖率：随机IP法,模型修正与误差分析,结果：5.72%缺点：无法区别该IP地址的网站大小，存在大量的无效IP地址改进方法：利用链接关系作链接扩展，减小上述的不利影响修正结果：23.5%,数量覆盖率：广度优先法,试验结果与误差分析,局部角度，利用网页间链接关系结果：选取5组样本求覆盖率均值41.6%误差修正：大约10%的网页无法通过链接到达，对结果乘以90%处理得37.4%,误差修正原理,网页重要性评价因素,网页URL属性：域名长短，目录深度网页作为有向图的节点：链接表示着认可度的传递，通常入度越大越重要网页本身的内容：与查询用户宽主题查询词的匹配程度,两类重要的权值算法之一：PageRank,学术论文引用统计原理在WWW上的扩展PR(A)=,两类重要的权值算法之二：HITS（Hyperlink-Induced Topic Search）,权威型权值目录型权值A(p)=H(p)=,质量覆盖率：广度优先法,PageRank算法需要与WWW相近的链接结构，采用广度优先遍历取样初始样本对得到的数十万网页用PageRank算法计算权值，得到前面约5%的网页作为重要网页样本选取5组样本，计算均值得到结果为47%对其中的两组样本，改变重要性标准（百分比），分析覆盖率的变化情况（5%平缓）,图示,质量覆盖率：主题查询法,递交若干查询词给搜索引擎，返回的结果集，进行链接扩展（目的）用HITS算法分别计算目录型权值和权威型权值在前列的网页集合作为样本八组查询词得样本均值：42.9%和53%,模型修正与误差分析,缺点：对所有的链接一视同仁改进方法:考察导向词与查询词的匹配度，实现扩展HITS算法修正结果：46.2%和50.3%,两类质量覆盖率评测方法评价,两种评测方法的结果很好的吻合它们分别从客观与主观的角度着手证明此评测模型是有效的得到WebInfoMall有效信息覆盖率数据,我的主要工作（1）,实现通过HTTP1.0协议抓取网页实现从网页中提取所有的URL链接实现随机IP产生器，IP扫描器实现反向域名两级解析（DNS、DB）,我的主要工作（2）,实现PageRank算法实现HITS算法旨在改进天网系统的网页权值排序问题,我的主要工作（3）,实现多播程序对Webinfomall服务器群验证URL是否已被覆盖实现“多生产者多消费者”的多进程运行模型进行巨量Web信息处理,总结,提出了质量覆盖率概念，建立了一个有效的网络信息质量覆盖率评测模型依据该模型，对“天网”搜索引擎及“燕穹”Web信息博物馆的网页数据进行了有效评估所做的网页权值计算工作为天网的进一步改进打下重要基础,谢谢！,