《手机上网用户行为分析系统》结题汇报(1).ppt
《《手机上网用户行为分析系统》结题汇报(1).ppt》由会员分享,可在线阅读,更多相关《《手机上网用户行为分析系统》结题汇报(1).ppt(30页珍藏版)》请在三一办公上搜索。
1、中国移动集团级重点研发项目结题汇报报告,2/23/2023,项目名称:手机上网用户行为分析系统,一.课题目标实现情况,目 录,二、主要研究成果(整合后),研究背景,“十一五”期间,我国网民规模跃居全球第一,宽带普及率接近100%,手机网民规模迅速发展,互联网应用更加深入,推动着社会进步和人们生活方式的变革。随着移动互联网近几年快速的发展,作为移动互联网关键环节的中国移动正在感受这个浪潮带来的冲击。,上网流量同比上升112.3%,流量收入同比上升49.4%,高速发展的流量并没有带来相关收入的同步增长,研究背景,在以用户为中心的发展时代下,了解用户需求成为我们面对课题的第一步工作,这就需要我们对我
2、们网络中的流量有深入的了解,掌握我们用户的行为情况,便于我们针对性的调整运营战略,在正在到来的移动互联网大潮中未雨绸缪,迎接即将到来的挑战。针对用户的需求分析作为中国移动具有先天的优势,海量的CMWAP、CMNET的日志信息蕴含着巨大的财富,通过用户移动互联网行为分析,一方面让我们更了解我们的用户,实现个性化需求的识别。同时在有限的资源情况下及时的为用户提供个性化的产品生产、个性化的匹配/分发。通过针对用户上网行为的分析实现个性化需求的识别,成为数据部迫不及待需要解决的问题;同时在流量经营和精细化的营销方面具有非常重要的战略意义。,研究目标,建立一套完善的手机上网用户行为分析系统,通过对用户手
3、机上网访问行为进行分析,获取用户的访问轨迹、浏览页面内容、网站信息、浏览客户端信息、移动终端信息等,进行各类分析,形成各类用户模型。,网络爬虫,GPRS,网站内容分析,用户行为分析,用户属性,内容属性,结果呈现,5个应用,细分营销活动,精确发展用户,引导自有业务,分析竞争业务,个性化内容,日志采集,研究目标,研究一种适应分类体系变化的海量网页快速分类系统,要求如下:实现一个快速爬取手机用户访问日志的方法,需要深入到用户访问页面的标题、正文信息以及相关网页链接。针对手机互联网,提出一种正文提取的方法。基于分块的基础上,提取每个信息块的信息量,并计算各个分块和网页title的相似度,最终确定正文块
4、。基于主题的多分类方法。文本不被看作仅仅是由一些特征词所组成的,而是被看作是由一些主题构成的,主题是由一些特征词构成的。通过样本中不同类别的主题分布,实现预测出一个新的文本到底属于什么类别。,研究总体框架,手机上网用户行为分析项目研究的总体架构如下:多数据海量数据预处理海量数据存储和计算“客户-内容”特征类标签分层可扩充体系“客户-内容-业务”三维匹配矩阵前台应用管理模块,研究总体框架,系统海量数据存储和计算功能是整个系统的核心功能实现模块,根据功能的层次结构可以进一步细分为以下层次:数据采集和接口层:它负责从不同类型的网络中的接入和采集数据。针对网络自身的特性以及系统建设的实际情况,数据的采
5、集可以是从硬件设备(如网关、Gn口、分光设备)直接获取并解析,也可以是从其它系统(如BOSS和VGOP)导入。数据清理和融合层:它负责对采集的数据进行清洗,归一化后存入海量数据存储设备。为了更深层次分析用户行为,它还负责网页收集和爬取、网页分类、应用协议分析,以及用户属性的获取等功能。网络统计和用户行为分析层:它负责系统的核心应用功能实现,分为手机和有线网络流量统计分析、用户个体和群体行为分析、以及游戏、音乐等应用业务专题分析等。分析结果展示层:它负责向读取网络统计和用户行为分析层产生的结果,并向用户展示在浏览其中。,难点及解决方案,项目的难点:本课题首先是获取不同类型网页的正文内容,然后利用
6、数据挖掘来分析用户的喜好,其主要的困难如下:数据大规模性网页类型多样性分类要求的高效性多分类性分类体系的变化性“客户-内容-业务”三维矩阵模型的构建用户数据的零散性垃圾数据的清理用户数据业务偏好的识别,项目的难点及解决方案,相关解决方案:系统架构采用云存储和云计算的方式,有良好的扩展性;建立适应性分类体系变化的海量网页快速分类体系和系统基于主题的分类方法正是为解决这些问题应运而生。它基于PLSA模型,计算出文本的主题分布,再根据贝叶斯分类来预测文本所属的类别。由于PLSA模型在训练的时候比较耗时,但在训练过之后,计算文本的主题分布的时间是线性的,所以在实际应用中,计算文本的主题分布并不是很耗时
7、。另外,基于主题贝叶斯分类消耗的时间也是有限的,因为主题数通常都在1000以下,相比于特征词来说,维度已经降低了很多,所以时间花费也比较少。基于主题的分类方法以PLSA的模型的理论基础,通过抽象出一个虚拟的主题层,通过文档和关键词之间的共生关系,来求解主题和各文档的关系及主题和关键词的分布情况。以及在求解过程中所采用的EM迭代算法。,主要技术方案和关键技术,hadoop-分布式存储系统hdfs高效性:任务分配,数据分发,本地计算,高吞吐量等异构软硬件平台的可移植性可靠性:容错,复本大数据集数据一致性,主要技术方案和关键技术,hadoop-并行计算框架MapReduceMapReduce是一种编
8、程模型,用于大规模数据集的并行运算,所有操作被抽象为两类:Map(映射)和Reduce(规约)包括:分布grep,分布排序,WAP连接图反转,WAP访问日志分析,反向索引构建,文档聚类,机器学习,基于统计的机器翻译等,主要技术方案和关键技术,主题分类体系的建设是基于主题的分类方法,而不是文本的关键词属性。而主题是隐含在某些文章里面的,它是抽象出来的一个概念,必须通过一个计算阶段把它用实际的向量表示出来,先找到本文分类体系中所有分类的样本,再从这些样本中去寻找隐含的主题。,计算与存储平台,爬取,正文提取,PLSA模型训练,降维,分类训练,分类,不同的分类体系,收集用户上网的URL集合,访问内容层
9、面的分析,网页分类分析:加了一个语义层,建立文档、语义、关键词之间的概率关系解决传统VSM(向量空间模型)的问题-同义词,多义词等,超越词汇层面,更加深刻地把握文本的主旨语义层面的理解具有概率理论作为理论依据,相比于LSA新颖性,此技术先前主要应用寻找一些相关词,在这里,成功应用于主题分类。,访问内容层面的分析,网页爬取/正文提取的流程。,爬取流程,正文提取流程,通过优化日志数据(如去重、爬取频率优化),可避免重复爬取,及爬虫对网站造成巨大访问压力。,提取网页内容,利用网页分块技术、块和标题之间的语义分析,准确的获取网页正文内容。,访问内容层面的分析,关键词分析根据用户访问的信息(词向量),求
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 手机上网用户行为分析系统 手机 上网 用户 行为 分析 系统 汇报
链接地址:https://www.31ppt.com/p-2724789.html