推荐系统概述ppt课件.ppt
推荐系统概述,2022/11/12,1,个性化推荐系统的应用,目录,什么是推荐系统,2,推荐系统实验方法,3,推荐系统评测指标,4,小结,5,信息超载问题互联网的出现和普及给用户带来了大量的信息，但随着网上信息量的大幅增长，用户在面对大量信息时无法获得对自己真正有用的部分，对信息的使用效率反而降低了。人们越来越难从大量的信息中找到自身感兴趣的信息，信息也越来越难展示给可能对它感兴趣的用户, 无论是信息消费者还是信息生产者都遇到了挑战。解决方案信息过滤系统 搜索引擎，推荐系统,什么是推荐系统,背景介绍,定义搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。分类目录Yahoo，Hao123搜索引擎Google，百度需要用户提供明确的需求,什么是推荐系统,搜索引擎,不需要用户提供明确的需求基本概念推荐系统就是根据用户的历史行为、社交关系、兴趣点、所处上下文环境等信息去判断用户当前需要或感兴趣的物品/服务的一类应用；核心任务是联系用户和信息,对用户而言，推荐系统能帮助用户找到喜欢的物品/服务，帮忙进行决策，发现用户可能喜欢的新事物；对商家而言，推荐系统可以给用户提供个性化的服务，提高用户信任度和粘性，增加营收。,什么是推荐系统,推荐系统,主动化从用户角度考虑，门户网站和搜索引擎都是解决信息过载的有效方式，但它们都需要用户提供明确需求。推荐系统不需要用户提供明确的需求，而是通过分析用户和物品的数据，对用户和物品进行建模，从而主动为用户推荐他们感兴趣的信息。,什么是推荐系统,推荐系统与搜索引擎,个性化推荐系统能够更好的发掘长尾信息，即将冷门物品推荐给用户。热门物品通常代表绝大多数用户的兴趣，而冷门物品往往代表一小部分用户的个性化需求。如果说搜索引擎体现着马 太效应的话，那么长尾理论则阐述了推荐系统发挥的价值。,什么是推荐系统,推荐系统与搜索引擎,传统的80/20原则受到挑战80%的销售来自20%的热门商品互联网条件下，货架成本及其低廉，不热门的商品数量及其庞大，但这些长尾商品的总销售额是不可小觑的数字。要通过发掘长尾提高销售额，必须研究用户兴趣推荐系统通过发掘用户行为，找到用户的个性化需求，将长尾商品推荐给需要它的用户。,什么是推荐系统,长尾理论与推荐系统,1994, Minnesota, GroupLens研究组论文提出“协同过滤”的概念推荐问题的形式化影响深远(An Open Architecture)1997 年 Resnick 等人首次提出推荐系统（recommender system，RS）一词，自此，推荐系统一词被广泛引用，并且推荐系统开始成为一个重要的研究领域。,推荐系统的发展,推荐问题的发展历史,http:/www.grouplens.org/,1998年亚马逊（A）上线了基于物品的协同过滤算法，将推荐系统推向服务千万级用户和处理百万级商品的规模，并能产生质量良好的推荐。2003年亚马逊的Linden等人发表论文，公布了基于物品的协同过滤算法，据统计推荐系统的贡献率在20%30%之间。,推荐系统的发展,推荐问题的发展历史,2006 年10月，北美在线视频服务提供商 Netflix 宣布了一项竞赛，任何人只要能够将它现有电影推荐算法 Cinematch 的预测准确度提高10%，就能获得100万美元的奖金。该比赛在学术界和工业界引起了较大的关注，极大地推动了推荐系统的发展。2007年第一届ACM 推荐系统大会在美国举行，到2017年已经是第11届。这是推荐系统领域的顶级会议.2016年，YouTube发表论文，将深度神经网络应用推荐系统中，实现了从大规模可选的推荐内容中找到最有可能的推荐结果。,推荐系统的发展,推荐问题的发展历史,个性化推荐系统的应用,基本的推荐方法,向朋友咨询喜欢的明星排行榜分类社会化推荐基于内容的推荐基于协同过滤的推荐,推荐本质是通过一定的方式将用户和物品联系起来,个性化推荐系统需要依赖用户的行为数据需要用户的参与分析大量用户行为日志给不同用户提供不同的个性化页面展示系统组成前台的展示页面后台的日志系统推荐算法,个性化推荐系统的应用,推荐系统的构成,2,什么是推荐系统,目录,个性化推荐系统的应用,1,推荐系统实验方法,3,推荐系统评测指标,4,小结,5,亚马逊的个性化推荐网站推荐结果缩略图、物品信息客户评分推荐理由,个性化推荐系统的应用,电子商务,基于物品的推荐算法,个性化推荐系统的应用,电子商务,相关推荐列表浏览此商品的顾客也同时浏览购买此商品的顾客也同时购买打包销售,个性化推荐系统的应用,电子商务,个性化推荐系统的应用,电影和视频网站,个性化推荐系统的应用,电影和视频网站,个性化推荐系统的应用,电影和视频网站,音乐是很适合推荐的物品物品空间大消费代价小物品种类丰富物品重用率高上下文相关次序很重要高度社会化,个性化推荐系统的应用,个性化音乐网络电台,前端特点不允许点歌给出用户反馈方式,个性化推荐系统的应用,个性化音乐网络电台,个性化推荐系统的应用,个性化阅读,个性化推荐系统的应用,基于位置的服务,个性化推荐系统的应用,26,4. 社交网络Facebook,基于Facebook好友的个性化推荐列表,1,个性化推荐系统的应用,目录,什么是推荐系统,2,推荐系统实验方法,3,推荐系统评测指标,4,小结,5,离线实验的方法一般由如下几个步骤构成通过日志系统获得用户行为数据,并按照一定格式生成一个标准的数据集;将数据集按照一定的规则分成训练集和测试集;在训练集上训练用户兴趣模型,在测试集上进行预测;通过事先定义的离线指标评测算法在测试集上的预测结果。特征选择过程必须确保不丢失重要特征,推荐系统实验方法,离线实验,离线实验的特点推荐系统的离线实验都是在数据集上完成的,它不需要实际的系统来供它实验,而只要有一个从实际系统日志中提取的数据集即可。这种实处是不需要真实用户参与,可以直接快速地计算出来,从而方便、快速地测试大量不同的算法主离线实验的指标和实际的商业指标存在差距,比如预测准确率和用户满意度之间就存大差别、高预测准确率不等于高用户满意度。,推荐系统实验方法,离线实验,用户调查背景如果要准确评测一个算法, 需要相对比较真实的环境。最好的方法就是将算法直接上线测试,但在对算法会不会降低用户满意度不太有把握的情况下，上线测试具有较高的风险。上线测试前一般需要做一次称为用户调查的测试用户调查过程用户调查需要有一些真实用户,让他们在需要测试的推荐系统上完成一些任务在他们完成任务时,观察和记录用户的行为,并让他们回答一些问题。通过分析他们的行为和答案了解测试系统的性能。,推荐系统实验方法,用户调查,用户调查的实施用户调查是推荐系统评测的一个重要工具,很多离线时没有办法评测的与用户主观感受有关的指标都可以通过用户调查获得。用户调查,用户调查成本很高,需要用户花大量时间完成一个个任务,并回答相关的问题。有些时候,还需要花钱雇用测试用户。因此,大多数情况下很难进行大规模的用户调查,而对于参加人数较少的用户调查,得出的很多结论往往没有统计意义。测试用户也不是随便选择的需要尽量保证测试用户的分布和真实用户的分布相同，比如男女各半,以及年龄、活跃度的分布都和真实用户分布尽量相同。用户调查要尽量保证是双盲实验,不要让实验人员和用户事先知道测试的目标,以免用户的回答和实验人员的测试受主观成分的影响。,推荐系统实验方法,用户调查,用户调查的优点可以获得很多体现用户主观感受的指标,相对在线实验风险很低，出现情误后很容易弥补用户调查的缺点招募测试用户代价较大,很难组织大规模的测试用户,因此会使测试结果的统计意义不足。在很多时候设计双盲实验非常困难,而且用户在测试环境下的行为和真实环境下的行为可能有所不同,因而在测试环境下收集的测试指标可能在真实环境下无法重现,推荐系统实验方法,用户调查,AB测试AB测试是一种很常用的在线评测算法的实验方法通过一定的规则将用户随机分成几组，并对不同组的用户采用不同的算法,然后通过统计不同组用户的各种不同的评测指标比较不同算法 。,推荐系统实验方法,在线实验,AB测试的优点AB测试可以公平获得不同算法实际在线时的性能指标AB测试的缺点周期比较长,必须进行长期的实验才能得到可靠的结果 大型网站的AB测试系统的设计也是一项复杂的工程,推荐系统实验方法,在线实验,一般来说,一个新的推荐算法最终上线,需要完成上面所说的3个实验首先,需要通过离线实验证明它在很多离线指标上优于现有的算法。然后,需要通过用户调查确定它的用户满意度不低于现有的算法。最后,通过在线的AB测试确定它在我们关心的指标上优于现有的算法。,推荐系统实验方法,推荐算法上线过程,1,个性化推荐系统的应用,目录,什么是推荐系统,2,推荐系统评测指标,4,推荐系统实验方法,3,小结,5,用户作为推荐系统的重要参与者、其满意度是评测推荐系统的最重要指标。用户满意度没有办法离线计算、只能通过用户调查或者在线实验获得。用户调查获得用户满意度主要是通过调查问卷的形式推荐的论文都是我非常想看的。推荐的论文很多我都看过了,确实是符合我兴趣的不错论文。推荐的论文和我的研究兴趣是相关的,但我并不喜欢。不知道为什么会推荐这些论文,它们和我的兴趣丝毫没有关系。,推荐系统评测指标,用户满意度,预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力这个指标是最重要的推系统离线评测指标标在计算该指标时需要有一个离线的数据集,该数据集包含用户的历史行为记录然后,将该数据集通过时间分成训练集和测试集最后,通过在训练集上建立用户的行为和兴趣模型预测户在测试集上的行为,并计算预测行为和测试集上实际行为的重合度作为测准确度。,推荐系统评测指标,预测准确度,评分预测用户给推荐物品打分的功能预测用户对物品评分行为称为评分预测均方根误差（RMSE)平均绝对误差（MAE),推荐系统评测指标,预测准确度,TopN推荐给用户的一个个性化推荐列表TopN推荐使用准确率和召回率度量准确率（Precision)召回率（Recall),推荐系统评测指标,预测准确度,覆盖率( coverage)描述一个推荐系统对物品长尾的发掘能力覆盖率有不同的定义方法，最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。一个好的推荐系统不仅需要有比较的用户满意度,也要有较高的覆盖率信息熵基尼系数,推荐系统评测指标,覆盖率,为了满足用户广泛的兴趣,推荐列表需要能够覆盖用户不同的兴趣领域,即推荐结果需要具有多样性。多样性推荐列表的好处用一句俗话表述就是“不在一棵树上吊死”多样性描述了推荐列表中物品两两之间的不相似性,推荐系统评测指标,多样性,用户对推荐结果的信任程度在电子商务推荐系统中,让用户对推荐结果信任是非常重要的提高推荐系统的信任度主要有两种方法需要增加推荐系统的透明度 而增加推荐系统透明度的主要办法是提供推荐解释。只有让用户了解推荐系统的运行机制,让用户认同推荐系统的运行机制,才会提高用户对推荐系统的信任度。其次是考虑用户的社交网络信息,利用用户的好友信息给用户做推荐,并且用好友进行推荐解释。,推荐系统评测指标,信任度,物品(新闻、微博等)具有很强的时效性，这样的推荐系统需要考虑实时性。推荐系统的实时性包括两个方面推荐系统需要实时地更新推荐列表来满足用户新行为变化。比如,当一个用户购买了 Phone,如果推荐系统能够立即给他推荐相关配件,那定比第二天再给用户推荐相关配件更有价值。很多推荐系统都会在离线状态每天计算一次用存列表,然后于在线期间将推荐列表展示给用户与用所为相应的实时性,可以通过推荐列表的变化速率来评测。如果推荐列表在用户有行为后变化或者没有变化,说明推荐系统的实时性不高。推荐系统需要能够将新加入系统的物品推荐给用户这主要考验了荐系统处理物品冷启动的能力。我们可以利用用户推荐列表中有多大比例的物品是当天新新加的来评测。,推荐系统评测指标,实时性,任何一个能带来利益的算法系统都会被人攻击搜索擎的作弊和反作弊斗争异常激烈推荐系统目前也遇到了同样的作弊问题,而健壮性指标衡量了一个推荐系统抗击作弊的能力最著名的就是行为注入攻击比如,亚马逊有一种推荐叫做“购买商品A的用户也经常需买的其他商品”。可以很简单地攻击这个算法,让自己的商品在这个推荐列表中获得比较高的排名,比如可以注册很多账号,用这些账号同时购买A和自己的商品。还有一种攻击主要针对评分系统,比如豆瓣电影评分。这种攻击很简单,就是雇用一批人给自己的商品非常高的评分,而评分行为是推荐系统依赖的重要用户行为。,推荐系统评测指标,健壮性,算法健壮性的评测主要利用模拟攻击给定一个数据集和一个算法,可以用这个算给这个数据集中的用户生成推荐列表。用常用的攻击方法向数据集中注入噪声数据利用算法在注入噪声后的数据集上再次给用户生成推荐列表最后,通过比较攻击前后推荐列的相似度评测算法的健壮性如果攻击后的推荐列表相对于攻击前没有发生大的变化,就说明算法比较健壮,推荐系统评测指标,健壮性,
