《机器学习概述》PPT课件.ppt
中科院大学电子电气与通信工程学院 叶齐祥雁栖湖园区，学园二，457房间，助教：万方雁栖湖园区，学园二，330房间,机器学习方法与应用,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,机器学习的定义通过机器学习的算法研究及其与具体问题的恰当结合，获得合适的模型；对于于一些工程应用 Task，依赖于数学与经验 Experience and Math，设计学习模型，提高算法的性能Studying models from existing information or from observation.依赖于对现存数据的学习或者观察获取新的推理模型的过程。ML是具体的实现方法：回归分析、SVM，NN,概率方法,聚类方法,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,机器学习的目的分类（Classification、Clustering）身高1.15m，体重60kg的儿童健康么？如何将教室里的学生按爱好、身高划分为5类？预测（Regression、Prediction）如何预测中关村周边的房价？未来的股票市场走向？天气预报,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算机技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,机器学习的一般步骤*,（input）输入,（output）输出,Algorithms(方法),Evaluating（评估）,Concepts,instances,and features,Statistical modeling,decision trees,linear models,instance-based learning,clustering,Decision tables,classification rules,association rules,instance-based representation,clusters,Training and testing,predicting performance,cross-validation,leave-one-out,boostrap,comparing data mining methods,counting the cost,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,样本,输入的基本单元机器学习的输入是一系列样本（带表号/无标号），机器学习是要将这些样本分类、回归、关联或者聚类。每一个样本都是样本（样例）都有一系列特性 多个样本及其特性构成一个矩阵，或者一张表，构成ML的基本输入,每一个样本都有一系列固定的，事先确定的特征Each individual,independent instance that provide the input to machine learning is characterized by its values on a fixed,predefined set of features or attributes.,数据特征化,1 25.5 0.6 3 0 x1 x2 x3 x4 x5 Y,X,（X,Y),数据特征化,数据特征化,数据特征化,数据特征化,数据特征化,数据特征化,（X(1),y(1),（X(2),y(2),（X(3),y(3),（X,Y),（X(n),y(n),2023/7/18,18,观察数据分布:集中趋势,差别 和 分布计算数据统计特性：median,max,min,outliers,variance,等.,数据特征化,数据标准化,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算机技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,机器学习：新一代计算机技术的浪潮Mainframe MinicomputerWorkstationsPersonal computerSmartphones+CloudsUbiquitous computing+Machine Learning,案例1:基于机器学习的化工生产数据预测模型指标 平均误差 平均误差控制在8%以内或者更低 标准差在8%以内 单数据预测时间 普通 PC 机，预测时间小于0.001s 时间复杂度要求 非在线学习，复杂度要求低 训练耗时，但是可以离线更新模型,案例2:基于机器学习的文档分类,是公司主页？是个人主页？还是学校网站？,邮件过滤、搜索引擎、,案例3:基于机器学习的目标识别,训练样本（机器学习的输入）,训练样本（机器学习的输入）,测试样本,测试样本,案例3:基于机器学习的目标识别,弱监督的多形态的高清航拍图像目标检测识别,案例4:智能交互,Kinect交互Demo,GoogleGlasses,一些与机器学习有关的演示,DemoLPRObjectDetectionTextDetectionImageNet语音识别,机器学习：新一代计算技术的浪潮深度学习带来了机器学习的新浪潮，推动“大数据深度模型”时代的来临，以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度学习面临的一系列难题，人工智能的梦想不再遥远。,机器学习：新一代计算机技术的浪潮,从浅层学习到深度学习-Lecun,机器学习：新一代计算机技术的浪潮从浅层学习到深度学习-Lecun,机器学习：新一代计算机技术的浪潮从浅层学习到深度学习-Lecun,G.Hinton：(A)The twodimensional codes for 500 digits of each class produced by taking the first two principal components of all 60,000 training images.(B)The two-dimensional codes found by a 784-1000-500-250-2 autoencoder.For an alternative visualization,see(8).,深度学习的应用,人工智能机器人与自动化智能交通模式识别智慧城市与家居,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算机技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,Machine learning vs Statistics机器学习vs统计理论If forced to point out a single difference of emphasis,it might be that statistics has been more concerned with testing hypotheses,whereas machine learning has been more concerned with formulating the process of generalization as search through possible hypotheses.But,this is a gross oversimplification:statistics is far more than hypothesis testing,and many machine learning techniques do mot involve any searching at all.传统的统计理论侧重于假设检验，机器学习侧重寻找可泛化的模型,数据挖掘,监督学习,无监督学习,关联规则,数据处理技术,机器学习vs数据挖掘,半/弱监督学习,机器学习,提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习 vs.数据挖掘vs.统计学习 机器学习的相关期刊会议,机器学习的参考书、期刊与会议,参考书：1.Machine Learning,Tom M.Mitchell,Publisher:McGraw-Hill Science.中文版：机器学习，Tom Mitchell，曾华军 等（译），机械工业出版社，2003年.2Machine Learning:a Probabilistic Perspective by Kevin Patrick Murphy 3斯坦福大学，Andrew N.G.机器学习开放课程视频.参考资料：计算机学报软件学报自动化学报电子学报ACM Transactions on Knowledge Discovery from Data IEEE International conference on Machine LearningMachine LearningMachine learning reviewIEEE,Trans.Pattern Analysis and Machine IntelligenceIEEE Trans.Neural Network,机器学习领域的著名学者,Tom MitchellCMU经典机器学习理论,Michael JordanUCBGraphic model,Eric XingCMUGraphic model,机器学习领域的著名学者,Vapnik-支撑向量机,林智仁台湾大学LibSVM,LibLinear,Thorsten JoachimsCornell结构化支撑向量机,机器学习领域的著名学者,Andrew N.GStanford,Baidu无监督学习,Geoffrey E.HintonToronto University深度学习,Lecun YannNCU,Facebook深度学习,机器学习领域的著名学者,周志华南京大学半监督、多标记学习等,朱军清华大学非参贝叶斯模型,于凯、李航百度、华为深度学习、排序,
