华工机器学习 导论ppt课件.pptx
1,机器学习概论An Introduction to Machine Learning,金连文 张鑫Lianwen.J , ,机器学习及应用Machine Learning & Its Application,Welcome To:,2,Outline,什么是机器学习机器学习的研究内容及研究价值几个典型的机器学习示例课程安排（教材，参考书等）相关国际著名学术会议及期刊、学术资源机器学习的发展简史,3,一、什么是机器学习,4,学习的概念,什么是学习？通过观察、阅读、听讲、研究、实践等获得知识或技能的过程。-汉语词典“学”和“习”“学”就是闻、见，是获得知识、技能。 “习”是巩固知识、技能，一般有三种含义：温习、实习、练习，有时还包括行的含义在内。“学”偏重于思想意识的理论领域，“习”偏重于行动实习的实践方面。学习就是获得知识，形成技能，培养聪明才智的过程。实质上就是学、思、习、行的总称。 -百度知道,5,学习的概念,学习是一种既古老而又永恒的现象。 不同的学习观：“学习是指人和动物在生活过程中获得个体行为经验的过程。” “学习是学习者吸取信息并输出信息，通过反馈与评价得知正确与否的整体过程。” “人的学习是个体掌握人类社会经验的过程” “学习是通过由经验产生的个体行为的适应性变化而表现出来的过程。 ”子曰：“学而时习之,不亦说(yu)乎?”,6,学习与智能,学习现象语言、文字的认知识别图像、场景、自然物体的认知识别规则（eg 下雨天要带雨伞）复杂的推理、判断能力（智能）好人与坏人？好猫与坏猫？,7,什么是机器学习？,使得计算机具备和人类一样的学习能力决策推理认知识别 等智能给定数据（样本、实例）和一定的学习规则，从数据中获取知识的能力,8,机器学习与人工智能,自然智慧的伟大与奥妙举例：婴儿的认知能力（声音、人脸、汽车）重要的二个特点： 容错性，推广能力（举一反三）机器智能：希望用机器实现部分智能基于数据的机器学习问题（引自清华张学工教授讲义）根据已知样本估计数据之间的依赖关系，从而对未知或无法测量的数据进行预测和判断关键：推广能力“One years research in artificial intelligenes enough for one to believe in God” - cited from ?,9,什么是机器学习,中科院王珏（ju）研究员给出的定义：令W是给定世界的有限或无限所有观测对象的集合，由于我们的观测能力有限，我们只能获得这个世界的一个子集 ，称为样本集。机器学习就是根据这个样本集，推算这个世界W的模型，使它对这个世界（尽可能地）为真。三个重要的理论问题：一致：W与Q有相同的性质。eg. i.i.d划分：设样本定义于d维空间，要寻找在这个空间上的决策分界面泛化：（推广能力）：对未知样本的判断能力,10,Whats is the Learning Problem?,Learning = Improving with experience at some taskImprove over task TWith respect to performance measurement PBased on experience EExample: 中国象棋任务T：下中国象棋 性能目标P：比赛中击败对手（的百分比）训练经验E：和自己进行对弈，或者看棋谱,Ref：机器学习（曾华军等译）,11,AAAI 给的定义,Machine learning refers to a system capable of the autonomous acquisition and integration of knowledge. This capacity to learn from experience, analytical observation, and other means, results in a system that can continuously self-improve and thereby offer increased efficiency and effectiveness. 摘自：http:/www.aaai.org/AITopics/pmwiki/pmwiki.php/AITopics/MachineLearning,12,Machine Learning,引用自CMU Dr. Eric Xing的Lecture Notes,13,机器学习（ML）与模式识别（PR）,ML has origins in Computer SciencePR has origins in Engineering某种意义上看：They are different facets of the same field,14,机器学习（ML）与人工智能（AI）,任何一个没有学习能力的系统都很难被认为是一个真正的智能系统,15,二、机器学习的研究意义及主要研究内容,16,机器学习的重要性！,Science2001年论文：每个科学领域的科学过程都有它自己的特点，但是，观察、创立假设、根据决定性实验或观察的检验、可理解检验的模型或理论，是各个学科所共有的。对这个抽象的科学过程的每一个环节，机器学习都有相应的发展，我们相信它将导致科学方法中从假设生成、模型构造到决定性实验这些所有环节的合适的、部分的自动化。当前机器学习研究在一些基本论题上取得令人印象深刻的进展，我们预期机器学习研究在今后若干年中将有稳定的进展！”在稍早前，2000年Science还发表了另外3篇ML方面的论文“The Manifold Way of Perceptron”, “A global geometric framework for nonlinear dimensionality reduction”,”Nonlinear dimensionality reduction by locally”,Mjolsness, D DeCoste, Machine Learning for Science: State of the Art and Future Prospects - Science, 2001 : 2051-2055.,受到令人惊讶的重视！,17,机器学习的重要性,摘自南京大学周志华教授PPT,18,研究意义,如果我们能发现有效的机器学习方法，利用它可以将观察数据（现象）转换为模型，这将一劳永逸的解决信息有效利用的难题！网络数据金融数据生物数据气象数据地震观察数据自然物体分类识别数据从而实现真正意义上的机器智能（电脑）,19,机器学习（ML）的目的,Principled way of building high performance information processing systemssearch engines, adaptive user interfaces, personalized assistants, web bots, and scientific applicationsfrom medical records: treatments most effective How to construct computer programs that automatically improve with experiencehouses learn to optimize energy costscomputer gamesProgramming tasks that humans perform well but difficult to specify algorithmicallyLanguage Related TechnologiesIR, NLP, DAR, ASR,Chris Bishop, Pattern Recognition and Machine Learning, 2007, Springer,20,ML的一种描述,Define precisely a class of problems that forms interesting forms of learning, explore algorithms/theory to solve such problems, understand fundamental structure of learning problems and processes,21,Why Machine Learning,Important for many scientific fields,22,相关学科对ML的影响,人工智能：学习的概念符号表示Bayes 方法统计学：统计学习理论 (SLT)计算复杂性理论控制论信息论：最小描述长度哲学：“Occams Razor原则”，“没有免费午餐”心理学和神经生物学：Neural Networks（神经网络）,23,机器学习所要解决的一些典型问题,存在什么样的算法能从特定的训练数据学习出一般的目标函数（决策规则）？那种训练数据是充足的？如何保证学习的泛化（推广）能力？如何引入先验知识？怎样把学习任务简化为一个或多个函数逼近问题？学习过程能自动化吗？学习机能自动改变来提高表示和学习目标函数的能力？,24,机器学习目前主要的一些研究领域,符号机器学习Eg. 决策树，ID3，计算学习理论（统计学习理论）PAC，SVM监督学习，非监督学习，半监督学习集群机器学习Ensemble Learning， Boosting流行（Manifold）学习强化学习Ranking学习聚类学习,25,Machine Learning Topics from Wiki,http:/en.wikipedia.org/wiki/Machine_Learning,26,三、一些典型的机器学习问题举例,27,例子(1)：网络安全,摘自南京大学周志华教授PPT,28,例子(2)：生物信息学（BioInformatics）,摘自南京大学周志华教授PPT,29,例子(3)：搜索引擎,摘自南京大学周志华教授PPT,30,例子（4）、机器人自动驾驶学习,31,Ref：机器学习（曾华军等译）,32,例子（5）：手写字符识别,手写数字样本示例,33,34,More 例子,引用自CMU Dr. Eric Xing的Lecture Notes,35,上述问题的ML解决方案,36,ML小结,37,课程安排,四、课程安排,38,教学队伍,主讲：金连文 博士, 教授 Email: Web: http:/www.hcii- 张鑫 博士，讲师Email: ,39,课程考核方式,小组课堂演讲：40%平时课堂讨论：10%期末报告：50%,课程目标及安排,课程目标对机器学习的基本概念有较好的了解和理解培养针对特定问题的学习、归纳和总结的能力锻炼团队合作精神和口头表达能力课程安排教师主讲3次机器学习的基本概念及典型方法学生分组介绍8-9个机器学习的基本模型及其应用期末提交大作业（含文档、程序、论文）,40,建议分组题目,Linear Model for Regression and Classification （基于线性模型的拟合及分类）Neural Network （神经网络）Decision Tree （决策树）Support Vector Machine（支持向量机）Expectation-Maximization (EM) Algorithm（最大期望算法 （EM）算法）Hidden Markov Model （隐马尔科夫模型）Clustering Algorithms (k-means, Fuzzy-c, Gaussian Mixture model) （聚类算法）AdaBoost Algorithm（提升算法）Conditional Random Field (CRM)（条件随机场）Kernel-based Model （核函数）Probability Graphic Model （概率图模型）,41,建议演讲提纲,基本概念以及数学定义基本性质及其物理意义具体算法应用（详细举例讲解）该算法与其他类似算法的分析比较可能的发展方向参考文献,42,43,五、学术资源,44,教材及主要参考书,教材：Chris Bishop , Pattern Recognition and Machine Learning, Springer 2006. 美 汤姆.米歇尔著，曾华军等译机器学习，机械工业出版社，2003.主要参考书：R.O. Duda, P.E. Hart, D.G.Stork, 模式分类（第2版），机械工业出版社，2007.I.H. Witten, E. Frank, 数据挖掘实用机器学习技术，机械工业出版社，2006李航，统计学习方法，清华大学出版社，2012,45,学术期刊及国际会议,摘自南京大学周志华教授PPT,46,一些网络资源 (1),http:/machine- AAAI Machine Learning Topics ： www.aaai.org/AITopics/html/machine.html - Support Vector Machines：http:/www.support-vector-machines.org/index.html,47,一些网络资源(2),http:/www.cs.cmu.edu/tom/10701_sp11/lectures.shtmlMachine Learning (Spring 2011) CMUTom MitchellVideo Lecture & SlidesMachine Learning Resources : http:/,48,一些网络资源(3),Weka：Data Mining (ML) software in Java: http:/www.cs.waikato.ac.nz/ml/weka/ LibSVM - A Library for Support Vector Machines：www.csie.ntu.edu.tw/cjlin/libsvm MLC+: http:/ :A library of C+ classes for supervised machine learning UCI - Machine Learning information, software and databases: http:/archive.ics.uci.edu/ml/,49,一些网络资源(4),Kernal Machines: http:/www.kernel-machines.org/http:/mloss.org/software/: Machine Learning Open Source Softwarehttp:/www3.ntu.edu.sg/home/aswduch/ai-ml.html 数据挖掘研究院：http:/,50,一些网络资源(5),http:/ http:/ IAPR Pattern Recognition Education Resources :http:/homepages.inf.ed.ac.uk/rbf/IAPR/http:/ Eg: http:/,More网络资源?,You tell me!,51,52,六、机器学习简要发展历史回顾,53,ML的发展历史(1),1950s：神经科学的理论基础James关于神经元是相互连接的发现McCullon & Pitts的神经元模型Hebb 学习律（相互连接强弱度的变换规则）1960s：感知器（Perceptron）时代1957年Rosenblatt首次提出,54,ML的发展历史(2),1969年：Perceptron出版，提出著名的XOR问题1970s：符号主义，逻辑推理1980s：MLP+BP算法成功解决XOR问题，从此进入神经网络时代（连接主义）1960s-1970s: 统计学习理论创立VC维的基本概念结构风险最小化原则概率空间的大数定律,55,ML的发展历史(3),1990s：统计学习理论的发展及完善典型代表：SVM （Vapnik，Bell实验室）结构风险最小化最小描述长度原则小样本问题核函数、核空间变化PAC理论下的弱可学习理论的建立支持向量机,56,ML的发展历史(4),2000s：各种机器学习理论及算法得以充分发展符号机器学习计算机器学习（统计学习理论，典型例子：SVM）集群机器学习（典型代表：Boosting）强化机器学习流行机器学习监督学习，非监督学习半监督学习、.,57,未来发展趋势,机器实际上是一个应用驱动的学科，其根本的驱动力是：“更多、更好地解决实际问题”由于近20年的飞速发展，机器学习已经具备了一定的解决实际问题的能力，似乎逐渐开始成为一种基础性、透明化的“支持技术、服务技术”基础性：在众多的学科领域都得以应用（“无所不在”）透明化：用户看不见机器学习，看见的是防火墙、生物信息、搜索引擎；（“无所不在”）“机器更好用了”(正如CALO的一些描述：“you wont leave home without it”；”embodied as a software environment that transcends workstations,PDAs, cell phones, ”),58,End of todays lecture,Thanks!,金连文 博士, 教授 Email: Web: http:/www.hcii-,Send any comments and suggestions to:,
