机器学习概论课件.ppt

第二章 机器学习概论,第二章 机器学习概论,机器学习相关的数学知识 微积分线性代数概率论机器学习方法监督学习无监督学习半监督学习强化学习数据的预处理方法,机器学习相关的数学知识,深度学习相关的数学知识包括： 1. 导数、微分 ，例如，为了求极大极小。 2. 矩阵运算， 例如为了神经网络运算。 3. 概率， 例如，为了评估神经网络模型的效果 。,机器学习相关的数学知识导数、微分,导数（Derivative）是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量x时，函数输出值的增量y与自变量增量x的比值在x趋于0时的极限值a如果存在，a即为在x0处的导数，记作f(x0)或df(x0)/dx。,机器学习相关的数学知识导数、微分,导数的几何意义,机器学习相关的数学知识导数、微分,常用的导数公式,机器学习相关的数学知识导数、微分,导数法则,机器学习相关的数学知识导数、微分,机器学习相关的数学知识导数、微分,机器学习相关的数学知识导数、微分,偏导数的几何意义,机器学习相关的数学知识导数、微分,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,矩阵乘法具有以下基本性质：结合律即(AB)C = A(BC)分配率即A(B + C) = AB + AC,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,机器学习相关的数学知识线性代数,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习相关的数学知识概率论,机器学习方法,机器学习可以分为：监督学习非监督学习半监督学习强监督学习,机器学习方法监督学习,监督学习(Supervised Learning)，通过训练具备既有特征(feature)又有鉴定标签(label)的训练数据， 让机器学习特征和标签之间的联系。训练好了以后，可以预测只有特征数据的标签。监督学习可分为回归分析和分类。回归分析(Regression Analysis)： 对训练数据进行分析，拟合出误差最小的函数模型y=f(x)，这里y就是数据的标签，而对于一个新的自变量x，通过这个函数模型得到标签y。 分类(Classification)：训练数据是特征向量与其对应的标签，同样要通过计算新的特征向量得到其所属的标签。,机器学习方法监督学习,监督学习原理,机器学习方法监督学习,机器学习方法监督学习,KNN算法的距离和k参数选取直接决定算法的效果。KNN的距离: 设定 X实例 和Y实例都包含了N维的特征，即X=（x1， x2， x3， xn），Y=（y1， y2， y3， yn）。 度量两者的差异，主要有距离度量和相似度度量两类。 1. 距离度量（Distance） 借助几何空间距离概念，衡量实例的距离 , 距离越大，差别越大。2. 相似度度量（Similarity），即计算个体间的相似程度，与距离度量相反，相似度度量的值越小，说明个体间相似度越小，差异越大。,机器学习方法监督学习,机器学习方法监督学习,机器学习方法监督学习,机器学习方法监督学习,机器学习方法监督学习,KNN 算法 k参数的影响,机器学习方法监督学习,SVM 最大距离分割超平面,机器学习方法监督学习（朴素贝叶斯分类）,机器学习方法监督学习（决策树算法）,决策树学习是根据数据的属性采用树状结构建立的一种决策模型，可以用此模型解决分类和回归问题。常见的算法包括 CART, ID3, C4.5等。 决策树算法主要是指对数据特征进行划分的时候选取最优特征的算法， 将无序的数据尽可能变得更加有序。决策树的决策选择最优特征常用的三个度量为: 信息增益(information gain) ， 增益比率(gain ratio) ，基尼不纯度(Gini impurity) 。,机器学习方法监督学习（决策树信息熵）,机器学习方法监督学习（决策树信息增益）,信息增益为用划分前集合与划分后集合之间信息熵差值来衡量当前特征对于样本集合划分的效果。,机器学习方法监督学习（决策树信息增益率）,机器学习方法监督学习（决策树基尼不纯度）,机器学习方法监督学习（ID3）,ID3算法流程框图,机器学习方法无监督学习,无监督学习(Unsupervised Learning)。 在只有特征没有标签的训练数据集中，通过数据之间的内在联系和相似性将他们分成若干类。 聚类就是按照某个特定标准把一个数据集分割成不同的类，使得同一个类内的数据对象之间的相似性尽可能大，不同的类的数据对象之间的差异性尽可能地大；即同一类的数据尽可能聚集到一起，不同类数据尽量分离。,机器学习方法无监督学习,机器学习方法无监督学习,机器学习方法无监督学习,机器学习方法无监督学习,机器学习方法无监督学习,机器学习方法无监督学习,机器学习方法无监督学习,K-Means(K均值)聚类算法流程： 1. 随机地选择k个对象，每个对象初始地代表了一个簇的中心； 2. 对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇； 3. 重新计算每个簇的平均值，更新为新的簇中心； 4. 不断重复2、3，直到均值函数收敛。,机器学习方法半监督学习,半监督学习原理示意图,机器学习方法半监督学习,半监督学习可以是在监督学习的基础上引入未标注数据来优化性能， 也可以是在非监督学习的基础上引入监督信息来优化性能。半监督学习有生成式方法（generative methods），半监督SVM（Semi-supervised Support Vector Machine，简称S3VM），图半监督学习，基于分歧的方法（disagreement-based methods）和半监督聚类（semi-supervised clustering）等方法。,机器学习方法强化学习,强化学习示例,机器学习方法强化学习,学习后的奖励函数,数据的预处理方法,数据的预处理步骤第一步： 有效数据的获取第二步：数据的数值化 第三步： 数据的标准化（Scale）和归一化（Normalization） 第四步： 数据的降维,数据的预处理方法-主成分分析法,PCA算法：设有m条n维数据。1）将原始数据按列组成m行n列矩阵X2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值3）求出协方差矩阵4）求出协方差矩阵的特征值及对应的特征向量5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P6）Y=PX ， 即为降维到k维后的数据,第二章 结束,