计算机毕业论文：WEB日志挖掘中数据预处理技术的研究.doc

《计算机毕业论文：WEB日志挖掘中数据预处理技术的研究.doc》由会员分享，可在线阅读，更多相关《计算机毕业论文：WEB日志挖掘中数据预处理技术的研究.doc（6页珍藏版）》请在三一办公上搜索。

1、Web日志挖掘中数据预处理技术的研究 （浙江邮电职业技术学院，浙江 绍兴 312016） 摘 要 在Web数据挖掘研究领域中，Web日志挖掘是一个极其重要的应用方面，而数据预处理技术在Web日志挖掘中又起到非常重要的作用。本文详细介绍了Web日志文件的记录格式和Web日志挖掘预处理的一般过程，并针对在实际应用中遇到的问题提出了一种解决方法，最后给出其算法的代码。关键词 数据挖掘；Web日志挖掘；数据预处理Data Preparation in Web Log MiningLi XX(Department of computer, zhejiang technical college of po

2、st and telecom )Abstract： In the field of data mining, Web log mining is very important as an aspect of data mining application,and data preparation technology plays a very important role at Web log mining.The paper introduces detailed the form of web log documents and the general process ofdata pre

3、paration in web log mining,and it offers one kind of solution to the problem in application in reality, finally the paper presents algorithmic code about Web log mining.Key Words：Data Mining, Web Log Mining, Data Preparation 0 引 言在Web数据挖掘中,最重要的应用之一是Web日志挖掘。Web日志挖掘就是从Web服务器的日志文件中发现用户的访问模式，分析站点的使用情况。这

4、些使用情况包括用户IP地址、访问时间、访问页面的大小、浏览器类型、响应状态1等等。通过Web日志的挖掘，可以进一步分析和研究日志文件的规律,来改进网站的结构和性能,构造自适应网站，同时利用统计和关联分析,给网站提供个性化服务2,发现潜在的用户群体。常用的Web日志文件的格式有CLF和ECLF,其中ECLF结构如表13所示：表1 ECLF日志格式IPAddressTime/DateMethod/URL/ProtocolStatusSizeReferAgent典型的日志记录形式如下：202.192.94.66 - 12:23:55 22/8/2008 - GET/dry/log/help.html

5、 HTTP/1.1 - 100 - 11021 - - Windows NT 5.0; Internet Explorer6.0目前Web日志挖掘主要分为三个步骤:数据预处理；模式识别；模式分析4。本文将对数据预处理过程中涉及到的关键问题和技术难点进行详细的分析和论述。1 数据预处理过程一般基于Web日志的数据挖掘预处理过程包括以下过程:数据净化、用户识别、会话识别、路径补充5。如图1所示：原始日志数据清理预处理结果路径补充会话识别用户识别访问统计站点结构图1 Web日志挖掘的预处理过程1.1 数据清理数据预处理的第一步是数据清理6，数据清理是指根据实际需求,对WEB日志文件进行处理,包括删除

6、无关紧要的数据,合并某些记录,对用户请求页面时发生错误的记录进行适当的处理等。只有当服务器日志中的数据能够准确地反映用户访问Web站点的情况时，经过挖掘得到的关联规则才是真正有用的。由于HTTP协议是一个面向非连接的协议，每次客户连接请求完所要的网页后，服务器会自动与客户断开连接，同时被申请的网页文件连同文件上的图片、声音和脚本代码一起被下载到了客户端。当我们挖掘的目的是探知用户访问模式时,图片和声音文件显然对我们用处不大。所以我们可以把后缀为JPEG,MP3,GIF,WMV等的记录删除。但是，当我们挖掘的目的是为了进行网络流量分析时,这些信息又会显得非常的重要,所以在删除这些记录的时候一定要

7、把相关信息记录下来，一般选择将其中的“发送字节数”和“接收字节数”这两个域的内容记录下来。此外,后缀名为cgi、js和JS的脚本代码因对后面的分析处理不造成任何影响,所以应该删除。我们可以定义一个规则库来帮助删除记录,而这个规则库可以根据分析所得的网站类型进行修改。例如,对于主要包含声音的站点,日志中的声音文件可能代表了用户的请求,此时就不能将声音文件删除。我们可以预先将网站分为一般网站、图片网站、音频网站等,分别建立对应的规则库。确定要分析的网站属于哪一类,然后按照该类网站的规则库进行数据清理。当然,我们还可以根据自己的需要对规则库进行删改。1.2 用户识别用户识别7是从日志文件中的每一条记

8、录中识别出响应的用户。由于缓存、代理服务器8和防火墙的使用,使得识别用户变得很复杂，以下为用户访问Web服务器可能出现的四种混淆情况：(1)不同的用户可能在同一时间通过代理服务器访问Web服务器；(2)同一用户可能在不同的机器上访问Web服务器；(3)同一用户可能在同台机器上使用不同的浏览器和不同的操作系统访问Web服务器；(4)不同的用户使用同一台机器浏览同一站点；因此，我们用响应的启发式规则来识别用户，具体规则如下：(1)不同的IP地址代表着不同的用户；(2)如果IP地址相同，但Agent信息中如浏览器软件或操作系统不同,则可以假设为不同的两个用户。(3)如果IP地址和Agent信息都相同

9、则判断每一个请求访问的页面与访问过的页面之间是否有链接。如果一个请求访问的页面与上一个已经访问过的所有的页面之间并没有直接的链接，则假设在访问Web站点的机器上同时存在着多个用户。即通常我们所说的用网站的拓扑结构图对用户进行识别。例如，图2表示某个网站的拓扑结构，而网站Web日志记录如表2所示。我们可以根据上面的启发式规则识别出三个用户。他们的浏览路径分别为A-B-G-M-F-A-D,A-B-C-I和K-R。ABCDEGHFIJKLPQROMN图2 某个网站的拓扑结构表2 部分日志记录表2 网站Web 日志记录NumberIPTimeURLReferredAgent1202.192.94.66

10、15/Oct/2008:11:20:32A.html-IE6.0/WINXP2202.192.94.6615/Oct/2008:11:20:35B.htmlA.htmlIE6.0/WINXP3202.192.94.6615/Oct/2008:11:20:39K.html-IE6.0/WINXP4202.192.94.6615/Oct/2008:117:21:32G.htmlB.htmlIE6.0/WINXP5202.192.94.6615/Oct/2008:11:22:12A.html-IE6.0/WINXP6202.192.94.6615/Oct/2008:11:23:32B.htmlA.h

11、tmlIE6.0/WINXP7202.192.94.6615/Oct/2008:11:23:52R.htmlK.htmlIE6.0/WINXP8202.192.94.6615/Oct/2008:11:24:11C.htmlA.htmlIE6.0/WINXP9202.192.94.6615/Oct/2008:11:25:52M.htmlG.htmlIE6.0/WINXP10202.192.94.6615/Oct/2008:11:26:44I.htmlC.htmlIE6.0/WINXP11202.192.94.6615/Oct/2008:11:27:31F.htmlB.htmlIE6.0/WINX

12、P12202.192.94.6615/Oct/2008:12:20:22A.html-IE6.0/WINXP13202.192.94.6615/Oct/2008:12:20:52D.htmlA.htmlIE6.0/WINXP 当然,这些规则并不能非常准确的识别出每一个用户。例如,一个用户使用多种浏览器或者直接在地址栏中输入URL信息,此时会被认为是多个用户。此外，具有相同IP的用户使用同种操作系统和同种浏览器浏览网站,并且浏览的页面集合相同,则会被认为是同一个用户。1.3 会话识别 通过用户识别所得到的所有用户的访问序列，它们可能经过很长的时间段，因此可能用户在这个时间段内不只一次访问了该网站

13、。会话标识的目的就是将用户的所有访问序列分成多个单独的用户一次访问序列。为了获得这个划分，一个最简单的方法就是定义一个时间段，如果用户请求的相邻的任意两个页面之间的访问时间间隔超过了这个时间段，则认为用户又开始了一个新的会话，这个时间段，一般网站选择为30分钟，有些专家认为25.5分钟更加合适。假设timeout设置为30分钟,那么上一步中得出的第一个用户的访问路径可以分为两个会话A-B-G-M-F和A-D；则经过这一步,共得到四个用户会话A-B-G-M-F,A-D,A-B-C-I和K-R。1.4 路径补充用户在浏览网页时，按下浏览器上的“后退”按钮，得到的页面是从本地缓冲中取出的，而没有记录

14、到日志文件中，使得用户访问的页面之间没有超链接信息。如果用户访问的历史记录中有多个页面都包括与当前页面的连接，则选择请求时间最接近于当前页的页面作为请求页的来源。在图2和表2中我们可以发现，F页不能由M页直接到达，引用日志表中表明F页请求是通过B页引用的，这就表示用户在请求F页之前可能使用了“后退”按钮，也就是指经过G页回退到B页，所以G页和B页应该添加到会话文件中去，因此用户的完整路径为：A-B-G-M-G-B-F。通过上述预处理最后得到四个用户会话：A-B-G-M-G-B-F，A-D，A-B-A-C-I和K-R。2 实际应用中遇到的问题和解决方法A.HTMLB.HTMLC.HTMLD.HT

15、MLE.HTMLF.HTML图3 框架式网页结构图由于日志文件的来源不同,对一些细节问题的处理上可能有所不同。有些网页在设计时用到了框架,我们称之为框架式结构的网页。框架式结构的网页可以包括多个子网页,如图3所示。由于框架式结构网页的普遍存在及其特殊性,我们应该在数据预处理阶段考虑到这种情况。当用户请求一个框架式结构的网页时,浏览器会自动下载其包含的子网页。在上面的示意图中,用户请求A页面,则B、C、D、E和页面也一起被请求。如果在进行数据预处理时忽略这种情况,那么数据预处理结果是不准确的。为此我们提出了一种解决方法，即根据网站的拓扑结构,填充路径之前进行框架过滤。首先定义一个序偶(Urlfr

16、ame , Urlsubframe)的集合FS,其中Urlframe是主框架页的Url, Urlsubframe是子框架的Url。以图3为例,该集合应该为(A,B),(A,C),(A,D),(D,E),(D,F)。然后运用下面的算法:For each User sessionUserId 当前的框架入栈； For(i = 1 ; i k ; i+ ) 清空堆栈； If(栈顶元素，Urli) FS) 删除Urli； If(Urli是框架式网页) Urli入栈； Else While(栈顶元素不为空 & (栈顶元素，Urli) FS)栈顶元素出栈； 3 结束语随着Internet使用的日益广泛,网

17、络资源更加丰富,Web日志挖掘已经成为一个很热的研究领域。由于Web日志记录和Http自身的原因，日志数据是杂乱的，还原的信息可能包含错误的信息，因此本文介绍了Web日志挖掘前非常关键的数据预处理过程。同时Web日志挖掘是一个崭新的研究领域，如何高效准确的使用预处理方法将直接影响着挖掘的成败，所以对Web日志预处理技术的研究将有着深远的意义。参 考 文 献1扬武剑,王泽兵,冯雁等.网站个性化服务的研究J.浙江大学学报(工学版),2003,37(3)：52-56.2张健沛,刘建东,杨静.基于Web日志挖掘数据预处理方法的研究J.计算机工程与应用,2003,10(2)：78-83.3邢东山,沈钧毅

18、,宋擒豹.从Web日志中挖掘用户浏览偏爱路径J.计算机学报,2003,26(11)：84-88.4陈新中,李岩,杨炳儒等.Web日志挖掘技术进展J.系统工程与电子技术,2003,25(4)：22-25.5马征,李建华.基于多代理技术的分布式Web日志挖掘研究A.微计算机信息,2004:113-115.6黄凤华,马咏.基于客户端的Web使用挖掘J.计算机时代,2003,20(6)：26-30.7李毅,李石君.本地缓存和代理服务器环境下的网络日志挖掘J.计算机工程,2003,29(5)：62-66.8衡萍,李明星,董沛武等.Web日志挖掘中的用户浏览序列模式识别J.管理科学,2003,16(6)：14-17.