机器学习算法分享-《SVD》.ppt

SVD,特征值奇异值,Netflix Prize背景介绍,目标：悬赏100万美元，将Netflix的推荐算法预测准确度提高10%。数据结构：用户ID、电影名称、日期、分数（1-5之间的整数）训练数据：48万用户对两万部电影的上亿条评分包括一个与测试数据集分布相同的probe数据集，包含06年附近140多万条的数据点，每个用户至少对9部电影进行了打分，服从正态分布。测试数据：280万个数据点（隐藏的，参赛选手不能获得，并且参赛选手自己也不能获得自己模型作用在测试数据集上的最终效果）评测标准：均方误差根CineMatch精度：0.951,数据示例1,数据示例2,黄色数据点代表probe数据集，用于参赛选手自己做测试用,蓝色数据点代表最终的测试数据，对参赛的人来说是隐藏的,矩阵运算（1）,矩阵运算（2）,mn,nm,mm,nm,mn,nn,矩阵运算（3）,线性空间,线性空间：“客观”存在的一种空间，对加法和数乘具有封闭性。向量：既有大小又有方向的量，同时没有起点线性空间的基：描述空间内向量的一组“特殊”的向量，空间内的所有向量都能被一组基的线性组合表示。举例：直线就是一维的线性空间，平面就是二维线性空间，三维立体空间就是三维线性空间。,线性空间的基,x=(1,0),y=(0,1),c(5,3)=5x+3y,则c在基x，y下的坐标为(5,3);a=(1.5,1.5),b=(2,0),c=(5,3)=2a+b,则c基a，b下的坐标为(2,1);,基实际就是一组人为规定的参照物，用来描述空间内的其他向量,线性映射&线性变换,空间内的线性映射称之为线性变换。,线性变换的矩阵表示,线性变换,二维空间上，对(x,y)做变换：,对应矩阵A,求解特征值,求解特征向量,特征值的几何意义（1）,特征值的几何意义（2）,特征值的几何意义（3）,对角化变换（特征值分解）,如果线性变换的特征向量可以构成线性空间的一组基，那么有,表示线性变换（矩阵）可以由其特征根和特征向量还原,方阵还原,矩阵维度相当大时，可以用对角化变化的方法来逼近矩阵：,特征向量：矩阵的特征,特征值：各特征所占的权重,思考1,特征值分解使用条件有限，仅适用于方阵，且要求是实对称矩阵。试想：如果需要分析的矩阵不是方阵（事实经常如此），该怎样处理呢？,SVD简介,SVD：奇异值分解SVD可以看做是特征值分解的一种推广，或者说特征值分解可以看作是SVD的一种特例。当矩阵不是方阵时同样适用，应用很广。,SVD分解(1),非零奇异值，从大到小依次排序,左奇异向量,右奇异向量,SVD分解(2),奇异值从大到小依次排序,SVD分解(3),奇异值从大到小依次排序,SVD算法解析,可以看作是矩阵A的“平方”，而奇异值又是A“平方”阵的特征根的开方，因此奇异值可以看作是矩阵A的“伪特征向量”，左奇异向量可以看作矩阵A的“行特征向量”，右奇异向量可以看作是矩阵A的“列特征向量”。,奇异值从大到小依次排序,SVD矩阵近似（1）,奇异值从大到小依次排序,SVD矩阵近似（2）,SVD应用推荐算法,SVD矩阵变换,SVD求奇异值,由于奇异值（特征的权重）下降的速度非常快，表明矩阵的信息量集中分布在前几个较大的特征值中，本例中提取前2个特征。,SVD右奇异向量解析,可以看作电影的本身的精彩程度的特征,可以看做有关电影影片类型的特征,SVD左奇异向量解析,可以看做是会员的打分习惯特征,可看做是会员对影片类型偏好的特征,SVD模型打分（1）,宿醉,午夜凶铃,东成西就,寂静岭,大话西游,八星报喜,各部分得分权重,计算至尊宝对寂静岭的评分,咒怨,林中小屋,影片相对客观分数,影片类型适应度得分得分,SVD模型打分（2）,宿醉,午夜凶铃,东成西就,寂静岭,大话西游,八星报喜,影片相对客观分数,影片类型适应度得分得分,各部分得分权重,计算魂飞魄散对咒怨的评分,咒怨,林中小屋,SVD结果简要测评,至尊宝的观影历史显示其对喜剧类的电影评分较高，对恐怖电影普遍评分较低，因此可以推测他应该是不喜欢看寂静岭的，模型给出的打分为2.6，与实际情况是相符的。魂飞魄散的观影历史显示其对恐怖类的电影评分较高，对喜剧电影普遍评分较低，因此可以推测他应该是很喜欢看寂静岭的，模型给出的打分为4.9，与实际情况是相符的。,