Web-IA与商业智能介绍.ppt

《Web-IA与商业智能介绍.ppt》由会员分享，可在线阅读，更多相关《Web-IA与商业智能介绍.ppt（25页珍藏版）》请在三一办公上搜索。

1、 Web-IA与商业智能(Web Intelligent Analysis),辽宁般若网络科技有限公司2008 年 3 月,流量统计访问分析数据挖掘和商业智能,流量统计：一般的流量统计：统计PV、独立IP、时间、地区统计、Page的TOP排名等统计信息，可以满足一般的网站流量统计需求，有很多免费软件。,Web-BI(Web business intelligence)Web商业智能，下一代网站访问分析工具。Web-IA将BI技术应用到Web访问分析和运行技术分析，提供基于商业智能BI的分析模型和分析方法，帮助你获得深入的访问分析和系统运行技术，Web-DM（Web Date Mining）是第

2、一个大规模将理论运用到Web访问分析的实用产品，包括异常访问分析、关联分析、特定关联分析和个性化服务。其中的“智能个性化服务网站构造方法”，不仅仅只提供分析数据，而是一个直接将DM结果作用到网站运营管理的工具，使访问分析变被动（只提供分析结果）为主动（参与网站运营）。,访问分析：在一般的流量统计基础上，增加访问行为分析（访问行为轨迹分析）、Session会话分析（访问人次分析）、SEO搜索引擎优化分析和其他复杂分析功能。,流量统计访问分析数据挖掘和商业智能,Web-DM是一个Internet应用商业智能BI解决方案：网络广告精确投放方案：为江苏和省四川省电信设计了基于DNS解析数据挖掘的定向广

3、告精确营销方案，在DM基础上，分析用户的内喜好，向广告商提供潜在用户市场分析数据，同时，精确地定向真正潜在的客户投放广告，大幅度提高广告投放的有效性；智能个性化内容推荐方案：为广东移动设计了网站内容推荐个性化服务。采用般若专利技术(专利性质：发明专利；专利名：智能个性化服务网站构造方法;专利申请号：200810010317.8),通过机器学习方法，根据访问者以往访问记录，训练机器掌握每个访问者的内容喜好、预测喜好和访问习惯个性，当该访问者下一次访问时，个性化的推荐内容。系统完全是一个机器自动化学习过程，可随用户的访问内容喜好变化自动进行知识更新，是一个自适应控制闭环系统，不需要任何人工干预。,

4、般若数据分析产品Web-IA介绍,一个全面的解决方案，根据不同规模的客户，Web-IA提供网络版、专业版、企业版和商务版。对于需要全面分析的用户，Web-IA基于系统日志的分析；对于精确分析（如：广告和访问行为），提供嵌套代码方式的分析，也可以将两种方式结合进行分析。,Web-IA的流量分析：PV统计、独立IP统计、频道栏目TOP排名、地区分析、时段分析、趋势分析、同期比较。,Web-IA的访问分析：访问行为轨迹、Session会话分析、特定内容分析、特定行为分析。,Web-IA的市场推广：网上调查分析、认证用户分析、电子邮件反馈分析、广告推广效果分析。,Web-IA的特点：可视化软件、类似资

5、源管理器的网站拓扑结构、分析最快的软件、支持多进程多线程、支持服务器集群、支持分布式分析、支持各种类型的网站、支持多网站分析。,Web-IA的SEO分析：搜索引擎优化分析Search Engine Optimization 提供SEO基础分析数据，SE导入分析、关键字检索分析、关键字搜索位置分析。,Web-IA产品简示,为二级菜单，给出某条记录多维深层次分析。比如：广东省内地区分析、和广东省用户查看频道情况。,Web-IA产品：基本功能,来源分类分析:通过直接登陆、连接访问、搜索引擎、站内跳转、广告访问、电子邮件，判断网站的知名度和市场推广效果。行为分析:行为TOP排名，访问行为深度分析、访问

6、行为广度分析。入口出口分析:实际上为行为的出口和入口，并给出出入口行为的TOP排名。节假日分析:对于政府网站，其分析报表都要分出节假日。流量分析:通过发送和接受字节数，了解不同地区、不同时段、不同内容带来的流量。错误分析:给出错误分类和排名，并能告知错误产生的具体页面，帮助分析发生错误的原因。搜索引擎分析/关键字分析:给出从搜索引擎到关键字分析、和从关键字到搜索引擎分析。,【基本功能】是不需要用户做任何设置所给出的分析功能，其基本设置是由系统默认确定的，基本功能包括：,Web-IA产品：基本功能,地区分析/时段分析:对于内容、错误、频道、专题均可以给出地区和时段分析。趋势分析/同期比较:对于网

7、站、内容、频道、地区等，均可给出任意区间的访问趋势，给出任意两个时期的对比。客户端分析:可以分析客户端的操作系统、浏览器、分辨率、语言、Flash版本等，了解访问者基本情况。蜘蛛搜索分析:分析通过程序访问网站的“机器”访问情况，给出蜘蛛搜索的TOP排名，并告知从什么地方来的搜索、什么时间来的搜索。内容分析：给出最受欢迎的内容TOP排名，并告知访问者是从哪来的，什么时间来的。分析报警：对于已分析、未分析、部分分析、分析失败、部分分析失败等情况，以电子邮件或短信息访问向系统管理人员报警。,Web-IA产品：个性化功能,频道分析:频道可以根据用户要求任意设定，可以是由一个文件或多个多个文件组成，或由

8、通配符组成的文件集合，也可以是由一个域名或多个域名组成。频道分析形式完全和网站，即网站有什么功能频道也可以有。专题分析：专题是由网站任意设定的。实际上，专题分析类似于频道分析，在技术处理上是一样的，只是名字不同而已。特定内容分析：基于日志分析，网站内容成千上万，要想了解某一内容并不在TOP排名之中，同时又想了解该内容的访问都是怎么来的、又是怎么走的，因此需要对改内容设置进行特定分析。特定行为分析：对于某一访问行为、或访问行为的一部分，要详细了解其每一步都是怎么来的、又是怎么走的，以及两个步骤之间转化率是多少时，需要对该访问行为设置进行特定分析。,【个性化功能】是需要用户进行设置后，方能产生的分

9、析功能，其个性化功能包括：,Web-IA产品：特色功能,广告分析：广告是市场推广的一种方式。实际上，广告分析是一种特定的内容分析。广告分站内广告和站外广告，其基本分析要分析曝光数、点击数、曝光率等，对于商务网站还要分析广告带来注册用户、以及转化率和成交情况等。广告关联分析：将广告与内容频道建立关联模型，分析指定广告与网站内容频道之间的关联关系：关联支持度和置信度，分析各种内容对于广告点击的贡献和相关程度，指导更加准确地在有效位置投放特定广告，增加广告的有效点击。电子邮件分析：电子邮件也是市场推广的一种方式。电子邮件要分析发出数、返回数、转化率等。对于商务网站和广告分析基本一致。TOP排名设置：

10、为了提高分析速度和节省磁盘空间，并不是对所有内容都进行分析，因此需要设置。分级管理权限设置：根据用户管理和权限设置，对于不同管理级别的管理人员，可以任意进行灵活设置。,Web-IA产品：二次开发服务,网上调查分析：或称人口学分析，通过传统的方法无法进行分析，必须根据网站实际情况，进行二次开发，将调查结果写入特定日志文件中，以便分析。认证用户分析：一般情况，免费服务的网站用户多数是匿名的，比如门户网站。而收费网站必须是认证或注册用户，比如电子商务网站。但是，不同的网站用户注册的方法是不一样的，因此需要根据具体网站实际情况进行二次开发。特定离开分析：对于基于日志分析的网站，链接离开网站的访问记录，

11、不在本网站日志里，需要二次开发，在网站上嵌入JavaScript代码，记录离开去向。动态频道（兴趣圈）分析：静态频道是由指定目录或文件集合组成，而动态频道则是由程序设定的规则来确定，因此只要告知建立动态频道或情趣圈的规则，,【二次开发服务】，除了“定制服务”以外，其功能均在，只是需要程序上的调整，具体二次开发服务包括：,Web-IA产品：二次开发服务,热点页面分析：根据用户的需求，将页面（如：首页）分成若干个区域，分析不同区域访问情况和该区域占页面百分比。可视化显示各个区域被访问情况，帮助网站设计者改进内容和布局，增加有效点击，特别是提高广告投放效益。该方法已经申请了发明专利。电子商务分析：在

12、般若为北京伊藤电器商城、锦州中百等大型商场进存销管理系统的基础上，电子商务分析主要侧重营业额和交易数两个方面。比如：要给出产品的营业额和交易数TOP排名，以及是由哪些地区（省或市）带来的、哪些搜索引擎带来的、哪些域名带来的，更重要的是分析哪些行为带来的营业额和交易数多。如果提供网站产品等成本信息，不仅能够分析收入（Revenue），而且还可以分析成本（Cost）和利润（Profit），从而来指导营销。定制服务：根据网站的实际需求，通过双方的技术交流，提供任何形式的定制服务。一般情况，增加一个功能需要一个工作日的开发时间。,Web-IA发明专利,Web-IA发明专利一：专利名：网页屏幕区域点击热

13、点分析方法专利申请号：200810010315.9专利简介：根据用户需求，将网页屏幕划分成若干个区域，分析每个区域的访问情况以及占有比例。,Web-IA发明专利二：专利名：用嵌入式代码代理日志实现网站访问分析系统与方法专利申请号：200810010316.3专利简介：通过在网页上，嵌入JavaScript代码，生成网站访问统一日志，来分析网站精确访问情况。,Web-IA发明专利,发明专利三：专利名：网站异常访问分析方法专利申请号：200810010423.6专利简介：对于通过程序“机器”访问网站的情况，分析其行为轨迹，找出其异常访问。比如：持续性异常和突发性异常等。,发明专利四：专利名：智能个

14、性化服务网站构造方法专利申请号：200810010317.8专利简介：根据访问者以往访问记录，将内容喜好、预测喜好和访问习惯抽象为个性，再该访问者下一次访问时，个性化的推荐其想要看到的内容。,Web-IA产品：软件热点,可视化软件:为所有的报表提供了丰富的图表。比如：折线图和区域图表示发展趋势、饼图和环图表示比例关系、柱状图表示绝对关系、行为走势图表示来去以及转化关系等。独特的拓扑结构:唯一采用类似资源管理器形式的网站拓扑结构。形成【网站汇总】、【网站分析】和【频道分析】三级拓扑结构。当然，网站汇总下可有部门汇总，网站分析下可有子站分析，频道分析下可有子频道分析等，以此类推，形成向下的多级树状

15、结构。最快的分析软件:采用多线程、多进程、阵列服务器等技术手段，可以根据用户要求，控制分析时间在指定的范围内。分布分析与集中统计:对于大型或行业网站，网站设备可能分布在全国各地、或世界各地，每天无法正常获取日志文件，则需要在本地分析，将分析结果集中汇总统计。,【Web-IA特点】除了上述介绍的功能以外，在技术性能、软件表现形式、系统能力方面特点如下：,Web-IA产品：软件热点,强大的分析引擎:首先，具有自学习功能，能够识别各种格式的文件；其次，利用多CPU分析；第三，能够监控系统资源（如：内存的使用情况）；第四，解决了文件尺寸内存的问题；第五，解决了32位计算机数据溢出问题；第六，分析引擎独

16、立于数据库，只将分析结果存放在数据库中，便于生成分析报表。综合技术应用:Web-IA支持基于日志的传统方式的分析技术，和支持嵌入代码的精确的分析技术，以及支持特殊网站构成的分析技术。传统方法存在浏览数（Page View）有效点击数（Click）、接入代理（Proxy）无法辨别多客户端访问、以及缓存（Cache）带来丢失访问步骤等问题；嵌代码方法能够解决传统方法的问题，只是嵌入实施起来比较麻烦；对于特殊网站，由于模块化的Web-IA，对某一模块的改动不会影响其他模块，适应性很强。对复杂异构网站分析:支持任何系统的网站，比如：架构在Unix、Linux、Solaris、Windows等上的网站；

17、支持任何类型的Web Server，比如：IIS、WebLogic、Apach、Tomcat等。极强的扩展性:适用于流媒体、游戏和Cache网站分析，以及适用于防火墙的分析、短信/彩信等电信增值业务的分析。,Web-IA产品：客户与合作,与【微软（中国）】合作:微软虽然有自己的分析软件，但是不能满足中国客户的需求，在考察了中国市场后，选定了Web-IA作为微软平台的合作伙伴，在互联星空、甘肃电信和中国铁通项目上进行了合作。【互联星空】用户:互联星空中国电信第一品牌的门户网站，是中国电信在互联网上推出的公共服务平台，在该平台上为各服务提供商提供业务接入、业务管理、服务计费、广告管理、内容发布等。

18、当时，每天的日志量在30G左右，hits数在1亿四千万左右，采用多CPU技术实现在1.5小时分析完毕，同时还解决了各省级业务考核、以及特定内容和特定行为分析。【淘宝网】用户：是阿里巴巴公司全资子公司，在国内是公认的个人交易网上平台，当时每天日志在50G以上，Page View数在1亿四千万左右。Web-IA为其解决了超大规模日志分析、注册用户、广告和电子邮件市场推广、特定行为分析等问题。,Web-IA从2001年推出到现在，已经经历了八个版本，有40多个大型客户，遍布大半个中国，具有代表性的客户如下：,Web-IA产品：客户与合作,【21cn】用户：全国排名前10的综合性门户网站，为了提高网站

19、的服务效果，采用Cache服务器。Web-I为其解决了Cache日志自动识别、分布分析集中统计、以及业务人员考核等问题。【碰碰网】用户:帮助解决了注册用户、渠道推广、广告投放、兴趣圈分析、以及动态内容分析等问题。【瑞丽女性网】用户:是中国最大的女性杂志，每月广告费超过一千多万人民币，为其解决了CDN网站、专题、新闻发布等问题。【平安保险】用户:平安保险在全国有20多万代理商，其业务是通过网上申请和管理，不仅为其解决了访问异常分析，而且还解决了服务器异常分析。【国家专利局】用户:作为府服务性质网站，目的主要是解决世界范围内对中国专利的检索，以及在网站上公布分析结果等。【电信】用户:为江苏省、上海

20、市、四川省、云南省、贵州省、宁夏区、重庆市、广东省电信门户网站提供服务。【网通】用户:为黑龙江省、吉林省、北京市、河北省、河南省网通提供了服务。,Web-DM产品简介,异常分析:运用模式识别技术，发现访问异常和服务器处理异常。采用生动的图形与分析数据的动态结合，呈现异常现象，帮助用户深入追踪搜索引擎蜘蛛Spider、黑客攻击等各种异常访问行为轨迹，帮助用户发现各种访问异常和服务器异常，找出程序的漏洞和薄弱环节。频道关联分析:建立内容关联模型，分析内容频道间的关联支持度和置信度，帮助用户发现任意两个频道之间的关联关系，改善网站结构设计，提高用户访问网站的易用性。特定关联分析:对于广告、推广等特定

21、Page与网站内容的关联分析，帮助用户掌握网站内容对于特定Page的支持情况和点击贡献，分析广告的暴光、点击与内容的关联关系，提高广告的有效点击率，为用户创造价值。,Web-DM是在Web-IA的基础上，运用数据挖掘（Data Mining）原理，提供深入的网站访问分析和服务器安全运行分析，从而帮助用户通过Web-DM达到知识发现KDD（Knowledge Discovery in Databases）的目的。,访问关联分析：“啤酒与尿布”是数据挖掘Date Mining的经典故事，讲的是数据挖掘在商场销售中的购买行为规律发现。同样，Web-DM中的“频道关联分析”，可以帮助网站管理者发现“访

22、问行为”在网站频道中的关联情况，“哪些内容与哪些内容”具有较强的关联性？帮助管理者观察存在于这些“关联访问”中“访问行为轨迹”的数据特征，以便改善网站结构设计和栏目内容。,特定关联分析：对特别指定对特定Page的访问关联分析，是网站管理者特别关注的Page。如：广告Page等。特定关联分析，运用数据挖掘中的“关联分析模型”，对特定Page进行关联分析，帮助网站管理者发现“广告 Page”及特定Page的访问与其他Page访问的关联关系，分析内容对广告点击的贡献，以便改善网站结构设计选择广告投放位置，提高广告Page的点击率。,异常访问分析：工具简介,正常的访问是通过IE等浏览器登陆网站进行浏览

23、。“异常访问”是指不通过浏览器对网站的“机器访问”。其中包括：黑客攻击、搜索引擎的“蜘蛛”等。这些访问占用大量的服务器资源，造成正常访问者的访问速度下降，甚至造成网站服务器堵塞，严重影响网站服务质量。Web-BI独特的“异常访问分析”功能，采用智能识别技术，帮助用户发现“异常访问行为”，分析各种情况下服务器资源占用情况，帮助用户提高网站的安全性，改善网站的服务质量。Web-DM采用智能识别技术，结合数据挖掘中分类模型，对访问每一个访问Session进行跟踪分析，发现所有不正常的访问记录。网站的管理者可以根据实际应用情况，依据“异常访问分析结果”进行分析判断，对网站防护采取措施，来加强安全防范，

24、保障网站的安全。,异常访问分析：异常访问分析提供了一系列网站运行状态的技术分析指标，包括：流量、流速、服务器处理时间等技术指标，帮助网站管理者对网站的服务器和网络设备进行改造，有针对性地提高网站技术服务性能。,般若商业智能BI应用,DNS解析分析与精确营销:般若根据江苏省电信和四川省电信邀请，设计了DNS数据挖掘，通过对DNS域名解析日志分析，聚类用户访问内容喜好，根据用户的内容喜好来推送广告，对宽带上网用户实现广告投放精确营销。网站智能推荐系统:这是一个智能机器学习系统，通过为每个来访用户建立适当数量的学习集，分析访问者（认证后的用户）的内容偏好和访问行为轨迹，为每个用户建立基于“内容喜好”

25、和“行为习惯”的知识规则，当该访问者再次访问时，个性化的推荐其偏好的内容（或商品）。本系统是一个完全机器学习系统，不需要人工干预，是一个“聪明”的系统，会随着用户在不同季节、不同时段访问“喜好”和“习惯”的改变，自动进行知识规则调整，而不是一个静态的知识规则产生系统。具体方法参见般若专利。,般若可根据用户的需要，提供真正的商业智能BI、数据挖掘DM咨询服务和完全自主的系统级解决方案，而不是简单地使用报表工具REPORT+OLPA。,一个BI咨询案例,上海特能市场推广有限公司，是中国的DM广告投递与B2C物流配送领域的领跑者。近几年，公司业务高速发展，公司网络在快速扩张。尤其是物流B2C业务发展

26、迅猛。采用哪种货物送达方式最为合适（汽车、摩托车、自行车、电动车、公交车、）？既能够满足服务又节约成本？针对不同的地区情况如何组合？业务人员配备和运力如何布局？需要进行规划、评估，并要针对各种复杂的情况进行调整。决策问题:有若干决策变量，如何决策是最好的？优化问题：有若干中货物配送方案，如何配送成本最低？系统仿真问题：不知道如何是优化，需要建立模型用计算机进行模拟仿真得到结果进行评估。,般若提供各种商业活动中的复杂的决策问题模型、优化问题模型和系统仿真模型咨询服务，提供真正的BI，直接帮助用户创造价值。,Web-IA与其他同类产品区别,1、基于Session的分析和基于Page View的分析

27、，Web-IA是一个基于Session的行为跟踪分析，可以深入跟踪用户访问行为轨迹；2、年，公司业务高速发展，公司网络在快速扩张。尤其是物流B2C业务发展迅猛。采用哪种货物送达方式最为合适（汽车、摩托车、自行车、电动车、公交车、）？既能够满足服务又节约成本？针对不同的地区情况如何组合？业务人员配备和运力如何布局？需要进行规划、评估，并要针对各种复杂的情况进行调整。决策问题:有若干决策变量，如何决策是最好的？优化问题：有若干中货物配送方案，如何配送成本最低？系统仿真问题：不知道如何是优化，需要建立模型用计算机进行模拟仿真得到结果进行评估。,市场上关于网站访问分析产品很多，从最低端的免费记数器、中小网站流通分析软件到大型的访问分析，Web-IA之所以能够被中国众多高端网站所认可，微软中国之所以选择Web-IA来作为合作产品推荐给中国最大的商业网站“互联星空”，主要是因为：,