Hadoop大数据开发实例教程高职完整全套教学课件.pptx

HADOOP 大数据开发实例教程,全套可编辑PPT 课件,本课件是可编辑的正常PPT课件,计,大数据生态系统Hadoop 的安装与基本配置Hadoop文件系统基于Shell 和Java API操作HDFSMapReduce和YARN技术,目录Contents,0102030403,本课件是可编辑的正常PPT课件,本课件是可编辑的正常PPT课件,大数据生态系统1.1了解大数据1.2 Hadoop简介1.3实训1收集Hadoop 相关案例,本课件是可编辑的正常PPT课件,大数据生态系统本模块从了解大数据(big data)入手，简明扼要地叙述大数据的产生、大数据的概念、大数据的“4V”特征、大数据应用案例，展示物联网(产生数据)、云计算(承载数据)、大数据(挖掘数据)和人工智能(学习数据)相辅相成、彼此依附和相互助力的关系，再通过对Hadoop 的层层“揭秘”来 认识Hadoop 和它的核心组件及其常用的其他组件。,1 了解大数据(产生、概念、特征)及“物、云、大、智”之间的关系了解Hadoop 的应用案例了解及认识Hadoop 和它的核心组件,4 了 解MapReduce 作业的运行方式 本课千是可编辑的正常PPT课件,1.1了解大数据被誉为“大数据之父”的维克托 迈尔-舍恩伯格曾提到“世界的 本质就是大数据”,当今社会生活中到处都是数据。不仅如此，在人 人互联的廉价存储时代，我们收集的数据的性质也在发生变化。对于 许多企业而言，它们的关键数据曾经仅限于其业务数据库和数据文件。在这些类型的系统中，数据被组织成有序的行和列，其中信息的每个 字节在其性质和业务价值方面都易于管理和理解。当今这些数据和数 据库仍然非常重要，但是应用的数据类型和数据处理方式发生了翻天 覆地的变化，大数据悄然而至，让我们一起揭开大数据的神秘面纱。本课件是可编辑的正常PPT课件,1.1了解大数据1.1.1大数据的产生大数据的产生可追溯至1887年。18871890年，美国统计学家赫尔曼 霍尔瑞斯为了统计1890年的人口普查数据，发明了一台电动器来读取卡片上的洞数，该设备让美国 用1年时间就完成了原本需耗时8年的人口普查活动，由此在全球范围内引发了数据处理的新纪元。社交网络、电子商务等互联网应用成为新的数据来源，传感器、二维码、无线射频 识别(radio frequency identification,RFID)、位置信息等物联网应用成为新的数据 采集方法，全时空数据的可采集性应用，智能算法的使用，非结构的数据形态飞速增加，数据获取成本、存储成本和处理成本的下降，所有因素都推动了数据量的爆炸式膨胀。数据大爆炸和数据结构的变化为数据处理带来新的挑战，人类正从信息技术(information technology,IT)时代走向数据技术(data technology,DT)时代。本课件是可编辑的正常PPT课件,何为大?,1.1.2大数据的概念,大数据可一拆为二来看，就是“大”和“数据”。,1.1了解大数据,在计算机科学中，数据是指所有能输入计算机并被计算机程序处理的符号介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量 等的统称。计算机存储和处理的对象十分广泛，表示这些对象的数据也随之变得越来 越复杂。例如，应用下载记录、语音通话记录、淘宝“双11”新订单记录等都为数据，有些是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主 要通过关系型数据库进行存储和管理，这种称为结构化数据。与之相对的是有些数据 则“杂乱无章”或部分有序，不适于由数据库二维表来表现，包括所有格式的办公文 档、XML、HTML、各类报表、图片和音频、视频信息等，这种称为非结构化或半结 构化数据。,对于大数据，研究机构Gartner 给出了定义：大数据是需要新处理模式才能具有更强的决策力、洞察发现力程花缩能的的海课离增长率和多样化的信息资产。,1.1了解大数据1.1.2大数据的概念,何为 数据?,1.1了解大数据1.1.3大数据的特征(1)数据体量巨大(volume)(2)数据类型繁多(variety)(3)处理速度快(velocity)(4)价值密度低(value),大数据的“3V”特征，描述了数据挑战“大”的背后因素。这三个 特征标准是评估大数据问题并提供清 晰口号的简便方法。通常的经验法则 是：如果数据存储和分析工作具有这 三个特征中的任何一个，则很可能会 带来巨大的数据挑战，须利用大数据 技术来解决。,大数据最核心的价值就是对于海量数据进行存储和分析。相比现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。本课件是可编辑的正常PPT 课件,大数据应用颠覆人类思维，产生巨大成功的案例数不胜数，下面略举几例，一起来领略一下大数据的神奇应用。1.大数据应用案例之颠覆思维Kaggle,一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得 到，橙色二手车有质量问题的可能性是其他颜色二手车的一半。为什么?探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关,注“是什么”,而忽略“为什么”。本课件是可编辑的正常PPT课件,1.1.4大数据应用案例,1.1 了 解 大 数 据,苹果公司的传奇总裁史蒂夫 乔布斯在与癌症斗争的过程中采用了与其他患者不同的方式，他对自身DNA 和肿瘤DNA 进行排序，得到的不是一个只有一 系列标记的样本，而是包括整个基因密码的数据文档。对于一个普通的癌症患 者，医生只能期望他的DNA排列与试验中使用的样本足够相似。但是，史蒂夫 乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。如果癌 症病变导致药物失效，医生可以及时更换另一种药，也就是乔布斯所说的“从 一片睡莲叶跳到另一片上”。乔布斯开玩笑说：“我要么是第一个通过这种方 式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的 愿望都没有实现，但是这种获得所有数据而不仅是样本的典型大数据思维方法 还是将他的生命延长了好几年。大数据为人类的生命延续开启了一扇新的窗户。,1.1.4大数据应用案例,2.大数据应用案例之乔布斯抗癌,1.1了解大数据,Steve Jobs 1955-201,1.1了解大数据1.1.4大数据应用案例3.大数据应用案例之疫情防控,4.大数据应用案例之流感预测Google Flu Trends通过对聚合搜索的结果进行分析，可以比疾 控机构更快速地侦测到疾病的暴发。而且，尽管卫生报告每周都得 到更新，但报告仅限于单个国家。Google Flu Trends却有着几近涵 盖全球的视角：它在任何人们使用Google 搜索的地点收集数据。更 重要的是，由于它是每日更新的，因而它可以向人们传递更即时的,消息。本课件是可编辑的正常PPT课件,1.1.4大数据应用案例,1.1了解大数据,1.1了解大数据1.1.4大数据应用案例5.大数据应用案例之音乐,智能时代的今天，“物、云、大、智”存在于生活的每个角落，从产品营销至信息服务，从日常生活应用至高端科学研究。大数据的应用与研究总是与物联网、云计算、人工智能紧紧相连，它们的关系如图1-1所示。人工智能控制 学习反馈 计算,云端互联-本谬件是呼的正尝即算课件数据和人工智能关系,1.1.5“物、云、大、智”之间的关系,大数据-计算-存储-,物联网采集,1.1了解大数据,云计算,1.1了解大数据1.1.5“物、云、大、智”之间的关系1.人工智能智能时代的应用领域人工智能的应用领域比较多，如机器人领域、语言识别领域、图像识别领域和专家系统等；它的应用实例也是数不胜数，如指纹识别、人脸识别、视网膜识别、虹膜识别、智能搜索和博弈等。2.大数据人工智能背后的基石大数据是人工智能的基石，目前的深度学习主要建立在大数据的基础上，即对大数据进行训练，并从中归纳出可以被计算机运用在类似数据上的知识或规律。3.物联网人工智能基研物联网(Internet of things,IOT)可以简单地理解为物物相连的互联网，正是得益于大数据和云计算的支持，互联网才正在向物联网扩展，并进一步升级至体验更佳、解放生产力的人工智能时代。本课件是可编辑的正常PPT课件,4.云计算人工智能背后强大的助推器云计算是将人们传统的IT工作转为以网络为依托的云平台运行，美国国家标准与技术研究院(NIST)在2011年下半年公布了云计算定义的最终稿，给出了云计算模式所具备的5个基本特征(按需自助服务、广泛的网络访问、资源共享、快速的可伸缩性和可度量的服务)、3种服务模式 SaaS(软件即服务)、PaaS(平台即服务)和IaaS(基础设施即服务)和4种部署方式(私 有云、社区云、公有云和混合云)。云计算发展较早，经过10年的发展，国内已经拥有超百亿规模，云计算也不再只是充当存储与计算的工具而已。可以预见的是，未来云计算将在助力人工智能发 展层面意义深远。而同时，人工智能的迅猛发展、海量数据的积累，也将会为云计算带来未知性 和可能性。,物联网(产生数据)、云计算(承载数据)、大数据(挖掘数据)和人工智能(学习数据)相辅 相成，彼此依附，相互助力，合力搭档在一起才更有力量：给未来多一些可能，给未知多一些可能性。,1.1.5“物、云、大、智”之间的关系,1.1了解大数据,庞大的数据量在许多情况下对传统的数 据挖掘技术提出了几乎无法克服的挑战，即 使条件良好，它也只能处理一部分可用的宝 贵数据。Google 于是努力寻找一种新方法来 分析其搜索引擎收集的大量数据，Hadoop正是这种努力的结果，它代表了一种有效且 经济高效的方式，可将大型分析挑战减少为可管理的小型任务。课1-,1.大数据对Hadoop 有什么样的需求Hadoop 绝不是传统的信息技术工具，它非常适合应对许多大数据挑战，尤其是 海量数据和各种数据结构，但是也有不太 适合Hadoop 的，就是即时分析高速数据。尽管Hadoop 是进行大数据分析的重要工具 但它也不是能解决所有的大数据问题，整个大数据域并不是Hadoop 的同义词。本课件是可编辑的正常PPT,1.2.1认识Hadoop,1.2 Hadoop简 介,2.Hadoop 的起源和有趣的名字Doug Cutting在20032004年发表了两个学术论文来描述Google 的技术：Google File System(GFS)和MapReduce。Doug Cutting开发的Hadoop 是一个开源平台，提供MapReduce 和GFS 技术的实现。Yahoo 公司在2006年雇用了Doug Cutting,并很快成为Hadoop 项目的坚定支持者。Hadoop 最初旨在用作2002年开始的Apache Nutch项目的基础结构。Nutch 是一个开源Web 搜 索引擎，是Lucene项目的一部分。Apache 项目的创建是为了开发开源软件，并得到Apache软件 基金会(ASF)的支持，该基金会是一个由分散的开发人员社区组成的非营利性公司。开源软件通 常以公共和协作的方式开发，是一种源代码可供任何人免费研究、修改和分发的软件。Nutch 需 要一种可以扩展到数十亿个网页的架构，并且所需的架构受到Google 文件系统(GFS)的启发，并最终成为Hadoo 本课件建变编统E常PDF课件。,1.2.1认识Hadoop,1.2 Hadoop简 介,1.2 Hadoop简 介1.2.1认识Hadoop2.Hadoop 的起源和有趣的名字2004年，Google 发表了一篇介绍MapReduce 的论文，到2005年，Nutch 同时使用MapReduce 和 HDFS。2006 年年初，MapReduce 和HDFS成为Lucene子项目的一部分，该 子项目名为Hadoop。2008 年 2 月，Hadoop 集群生成雅虎的搜索索引。2008年初，Hadoop 已成为Apache的顶级项目，并被许多公司使用。2008年4月，Hadoop 用时209秒，利用910 个节点集群对TB级数据进行排序，打破了世界纪录。2009年5月，Yahoo 能够使用Hadoop 在62秒内排序1 TB 数据。至于Hadoop 这个名字，它只是Doug Cutting的儿子给他的毛绒大象取 的名字。这个名称是唯一的且易于记忆的其特性使其成为一个不错的选择。本课件是可编辑的i官；PT 课件,1.2 Hadoop简 介1.2.1认识Hadoop3.Hadoop 究竟是什么Hadoop 的核心是一个框架，用于将数据存储在大型商用硬件集群上负担得起且易于使 用的日常计算机硬件，并针对该数据运行应用程序。使用负担得起的计算资源网络来获得业务解 决能力是Hadoop 的关键价值主张，通俗地讲，就是把一堆PC通过网络连接起来能完成大型数据 处理。,MapReduce分布式处理框架本课件是可编辑的正常PPT课件,Hadoop,1.2 Hadoop简 介1.2.1认识Hadoop3.Hadoop 究竟是什么在Hadoop 上运行的应用程序将其 工作分配给集群中的node 节点(集群是 一组互连的计算机，它们可以共同解决同一 问 题),HDFS 中存储将要处理的数据。Hadoop 集群可以跨越数千台计算机，HDFS 将数据存储在其中，并且MapReduce 作业在数据附近节点进行处 理，从而使I/O 成本保持较低。同时，,Hadoop 集群是一种计算集群，也就是主要用于计算目的的集群，许多计 算机(node)可以共享计算工作负载并利用集群中非常大的聚合带宽。Hadoop 集群通常由主节点和许多从 属节点组成，主节点主要用于控制Hadoop 中的存储和处理系统，而从 节点存储集群中的所有数据并在其中 处理数据。,也极其灵活，可以开发各种本课件是可编辑的正常P,MapReduce应用程序。,nrr,1.2 Hadoop简介1.2.2 Hadoop 核心组件Hadoop 的数据存储工具HDFS(Hadoop distributefile system,分布式文件管理系统),Hadoop 的资源管理器YARN(yet anotherresource negotiator,资源协调者)本课件是可编辑的正常PPT课件,Hadoop三大核心组件,分布式计算框架Hadoop MapReduce,1.2 Hadoop简介1.2.2 Hadoop核心组件Hadoop 使用HDFS 进行数据存储。HDFS 具有主/从体系结构，主服务(NameNode)控 制对数据文件的访问。从站服务(DataNodes)在集群中的每个节点上进行分布，DataNodes 管理与节点相关联的存储，为客户端读取和写入请求以及为其他任务提供服务。Hadoop 使用MapReduce 进行分布式处理。MapReduce 涉及对分布式数据集的一系列操 作的处理。数据由键-值对组成，并且计算只有映射阶段和归约阶段。用户定义的MapReduce 作 业在集中群的计算节点上运行。一般来说，MapReduce 作业的运行方式如下：本课件是可编辑的正常PPT 课件,1.2 Hadoop简介1.2.2 Hadoop核心组件(1)在Map 阶段，输入数据被分为大量的片段，每个片段都被分配给一个Map 任务。(2)这些映射任务分布在整个集群中。(3)每个映射任务都会从其分配的片段中处理键-值对，并生成一组中间键-值对。(4)中间数据集按键排序，并将排序后的数据划分为多个与Reduce任务数 量匹配的片段。(5)在Reduce阶段，每个Reduce任务都会处理分配给它的数据片段，并生 成一个输出键-值对。(6)这些Reduce任务也分布在整个集群中，并在完成后将其输出写入HDFS。本课件是可编辑的正常PPT 课件,Hadoop 早期版本中的Hadoop MapReduce 框架具有一个称为JobTracker的单一主服务和多个 称为TaskTrackers的从属服务，集群中每个节点一 个。将MapReduce作业提交给JobTracker时，该作业将被放入队列中，然后根据管理员定义的调度 规则运行。JobTracker管理着MapReduce任务到 TaskTrackers的分配。但在Hadoop 后期版本中，一个新的资源管理系统YARN提供通用的计划和资源 管理服务，因此不仅可以在Hadoop 集群上运行MapReduce 应用程序，还可以进行资源的调度管 理。,Hadoop 不仅限于MapReduce和HDFS,它还是一系列相关项目(实际 上是一个生态系统),用于分布式计算 和大规模数据处理。这些项目中的大多 数由Apache Software Foundation托管，形成了Apache Hadoop生态系 统。Apache Hadoop生态系统中其他 部分开源组件及其具体描述如表1-1所 示。,1.2.2 Hadoop核心组件,1.2 Hadoop简介,1.2 Hadoop简介1.2.2 Hadoop核心组件表1-1Hadoop 生态系统中其他部分开源组件及其具体描述,Hadoop 生态系统及其商业发行版还在继续发展中，新技术或新工具将不断出现,目前各种Hadoop 生态系统 项目及它们之间的关系如图1-2所示。,Ambari(安装、部署、配置、管理工具)本课件是可编辑的图帮p条 种Hadoop 生态系统项目及它们之间的关系,Storm(流式实时 计算框架)Sqoop(数据库间 ETL工具)Kafka(分布式发布订阅消息系统)Flume(分布式日志采集),HIVE Pig Impala(HiveQL(数据流式处理(大数据分析数据仓库系统)数据仓库系统)查询系统),Shark(大数据分析查询系统)Tez(DAG 计算),1.2 Hadoop简介,Spark(分布式内存计算实时框架),1.2.2 Hadoop核心组件,Mahout(Hadoop机器学习算法库),Spark Mlib(Spark机器学习算法库),HBase(分布式实时列式存储数据库),YARN(集群资源管理和调度系统),HDFS(分布式文件存储系统),MapReduce(分布式离线计算框架),Zookeeper分布式协调服务系统),(作 业 流 调 度 系 统),Oozie,1.2 Hadoop简介1.2.2 Hadoop核心组件用户可以从Apache 软件基金会或提供自己的Hadoop 发行版的公司获得Hadoop。仅可直接从Apache Software Foundation获得的产品可以称为Hadoop 版本。其他公司的产品可以包括官方的Apache Hadoop发行文件，但是Apache 软件基金会不 支持从Apache Hadoop源树中“派生”(并代表其修 改或扩展版本)的产品。本课件是可编辑的正常PP,1.3实训1收集Hadoop 相关案例1.实训目的(1)了解大数据及“物、云、大、智”之间的关系；(2)了 解Hadoop 的应用案例；(3)了解及认识Hadoop 与组件；(4)了 解MapReduce 作业的运行方式。2.实训内容(1)搜 索Hadoop 使用案例，制作案例Hadoop 体系结构图；(2)查找国内尤其是互联网公司使用Hadoop 的实际案例；(3)参 照Hadoop 体系中各组件功效，结合案例查看组件选用状态；(4)绘制案例体系架构图，示例如图1-3所示。本课件是可编辑的正常PPT课件,3.实训要求(1)按题目要求查找案例并 绘制案例体系架构图(“文字+截图”方式);(2)总结实训心得与体会。模块2Hadoop 的安装与基本配 置模块2Hadoop 的安装与基本 配置,统一资源管理与调度(YARN)分布式文件系统(HDFS)全量/非实时接入(Sqoop),1.3实训1收集Hadoop相关案例,图1-3网猛天氨糖槊构翠台课件,分布式数据库(HBase)增量接入(Kafka数据接入),应用场景 数据集成 数据开发 任务运维 自助分析 数据管理,资源管理数据存储数据集成,结构化数据(如RDBMS 备库),半结构化数据(如JSON),非结构化数据(如音频文件),大数据开发套件(可视化IDE),交互式查询(Impala),大数据应用开发层,流式计算(Sloth),离线计算(Hive),内存计算(Spark),数据计算,数据源,感 谢 聆 听,本课件是可编辑的正常PPT 课件,Hadoop 的安装与基本配置2.1 Linux环境搭建2.2 Hadoop环境变量配置2.3 Hadoop的安装模式2.4 Hadoop的格式化与启动验证2.5实训2Hadoop 的安装与基本配置伪分布式本课件是可编辑的正常PPT课件,(1)熟练掌握在VMware Workstation虚拟机中安装Linux的方法；(2)掌握Hadoop 环境的基础搭建与环境变量设置；(3)知道Java JDK的安装与检验；(4)掌握伪分布式/完全分布式Hadoop 的安装与配置；(5)知道修改Hadoop 的若干配置文件，正常启动Hadoop 的相关守护进程的方法；(6)知道在虚拟机中案份是腐作需统的果法。,2.1 Linux环 境 搭 建要想进行Hadoop 大数据关键技术的学习，必须有一台装有Linux 操作系统的计算机，建议采 用虚拟机(VMware Workstation、VirtualBox等)软件来搭建Hadoop 的学习平台。本书采用的 虚拟机是VMware Workstation 14,Linux操作系统镜像是CentOS 7系列，表2-1给出了需求资源 及作用对应表。表2-1需求资源及作用对应表,http:/中下载的CentOS-7-x8 6_64-Minimal1908.iso(最小化安装版本，共9奔课件悬可编辑载真镜像可。,CentOS 7系列镜像可以从163等镜像源下载，本书采取的镜像是从,注 意,需求资源准备好后将进行VMwareWorkstation 虚拟机的安装，在Windows 系统下进行VMware Workstation虚拟机的安装较简单，在此不再赘述(需要注意 的是，要尽量选择和Windows 操作系统版 本对等的虚拟机软件)。VMware 虚拟机安装完成后，进入如图2-1所示的虚拟机软件管理界面。,|口口WORKSTATION 14 PROM十 vmware图2-1 VMware 虚拟机软件管理界面,2.1 Linux环境搭建2.1.1安装部署虚拟机,本课件是可编辑的止常PP1课件,共的虚叔机,帮助 取消图2-2“新建虚拟机向导”对话框 本课件是可编辑的正常PPT课件,2.1 Linux环境搭建2.1.1安装部署虚拟机新建虚拟机向导,单击“创建新的虚拟机”选项,然后在弹出的“新建虚拟机向导”对话框中选中“典型(推荐)(T)”单选按钮，如图2-2所示。,欢迎使用新建虚拟机向导您希望使用什么类型的配置?典型(推荐)(T)通过几个简单的步骤创建 Workstation 14.x 虚拟机。自定义(高级)(C)创建带有 SCSI 控制器类型、虚拟磁盘类型 以及与旧版VMware 产品兼容性等高级选项 的虚拟机。,14WORKSTATIONPRO,稍后安装操作系统(S)。创建的虚拟机将包含一个空白硬盘。帮助 取消图2-3“安装客户机操作系统”界面 本课件是可编辑的正常PPT课件,2.1 Linux环境搭建2.1.1安装部署虚拟机新建虚拟机向导安装客户机操作系统虚拟机如同物理机，需要操作系统。您将如何安装客户机操作系统?,安装来源：安装程序光盘(D):DVD RW驱动器(Z:)安装程序光盘映像文件(iso)(M):浏览(R).,单击“下一步”按钮,进入“安装客户机操作 系统”界面，如图2-3所 示。,2.1 Linux环境搭建2.1.1安装部署虚拟机新建虚拟机向导选择客户机操作系统此虚拟机中将安装哪种操作系统?,帮助 取消图2-4“选择客户机操作系统”界面本课件是一应勺正常PPT课件,选中“稍后安装操作系统”单选按钮，然后单击“下一步”按钮,进入“选择客户机操作系统”界 面，如图2-4所示。,客户机操作系统OMicrosoft Windows(W)Linux(L)ONovell NetWare(E)O Solaris(S)OVMware ESX(X)O 其他(0)版本(V)Red Hat Enterprise Linux 764位,2.1 Linux环境搭建2.1.1安装部署虚拟机新建虚拟机向导命名虚拟机您希望该虚拟机使用什么名称?,选择客户机操作系统的类型为“Linux”,版 本 为“Red HatEnterprise Linux764位”,然后 单击“下一步”按钮，进入“命名 虚拟机”界面，如图2-5所示。,取消图2-5“命名虚拟机”界面本课件是可编辑的正常PPT课件,虚拟机名称(V):Hadoop位置(L):H:hadoopsystems在”编辑”首选项”中可更改默认位置。,浏览(R).,虚拟机的硬盘作为一个或多个文件存储在主机的物理磁盘中。这些文件最初很小，随着您 向虚拟机中添加应用程序、文件和数据而逐渐变大。最大磁盘大小(GB)(S):20.0针对其他Linux 4.x或更高版本内核64位的建议大小：8 GB将虚拟磁盘存储为单个文件(0)将虚拟磁盘拆分成多个文件(M)拆分磁盘后，可以更轻松地在计算机之间移动虚拟机，但可能会降低大容量磁盘的性 能。帮助 取 消图2-6“指定磁盘容量”界面,2.1 Linux环境搭建2.1.1安装部署虚拟机新建虚拟机向导指定磁盘容量磁盘大小为多少?,填写“虚拟机名称”(可自定义),建议将“位置”设置为 剩余空间较多的分区，单击“下 一步”按钮，进入“指定磁盘容 量”界面，如图2-6所示。,本课件是可编辑的正常PPT课件,虚拟机的最大磁盘大小采用默认值20 GB,并选中“将虚拟磁盘 存储为单个文件”单选按钮(目的 是使文件不那么凌乱),单击“下 一步”按钮，进入“已准备好创建 虚拟机”界面，如图2-7所示。,上一步(B)完成 取消图2-7“已准备好创建虚拟机”界面本课件是可绑辑的正常PPT课件,HadoopH:hadoopsystemsWorkstation 14.xRed Hat Enterprise Linux 764位20 GB2048 MBCD/DVD,USB控制器，打印机，声卡,2.1.1安装部署虚拟机,已准备好创建虚拟机单击”完成创建虚拟机。然后可以安装 Red Hat Enterprise Linux 764位。,名称：位置：版本：操作系统：硬盘：内存：网络适配器：其他设备：,2.1 Linux环境搭建,将使用下列设置创建虚拟机：,新建虚拟机向导,自定义硬件(C).,虚拟机最多将此内存的768 MB 用作图形内存。您可以 在”显示器”设置页面中更改此数量。添 加(A).关 闭 帮 助图2-8“硬件”对话框本课件是可编辑的正常PPT课件,单击“自定义硬件”按钮，弹出“硬件”对话框，可将虚拟 机系统内存设置为1024 MB,具 体视计算机的配置而定，如图2-8所示。,指定分配给此虚拟机的内存量。内存大小必须为4 MB此虚拟机的内存(M):1024 MB口最大建议内存(超出此大小可能发生内存交换。)口建议内存2 GB口建议的最小客户机操作系统内存1 GB,2.1 Linux环 境 搭 建2.1.1安装部署虚拟机硬件,设 备内存 新CD/DVD(SATA)钽网络适配器GUSB 控制器声 卡打 印 机显 示 器,摘 要2 GBNAT存 在自动检测,继续选择光驱设备“新CD/DVD(SATA)”选项，在右侧 界面中选中“使用ISO 映像文件”单 选按钮，并选择下载好的CentOS 7 系列镜像文件，如图2-9所示。,添 加(A).关闭图2-9设置虚拟机光驱设备,设备状态-已连接(C)启动时连接(Q)连 接使用物理驱动器(P):自 动 检 测 使 用 ISO 映像文件(M):H:hadoopsoftwaresCentC,硬件设备内存 新CD/DVD(SATA)钽网络适配器GUSB 控制器 声卡打 印 机显 示 器,2.1.1安装部署虚拟机,本课件是可编辑的正常PPT课件,2.1 Linux环境搭建,1 GBNAT存在自动检测,帮 助,添 加(A).关 闭图2-10设置虚拟机网络适配器界面 本课件是可编辑的正常PPT课件,选择“网络适配器”选项，VMware 虚拟机提供了桥接模式、NAT 模式和仅主机模式3种可选的网 络模式。这里采用默认的“NAT 模式”,如图2-10所示。,2.1 Linux环境搭建2.1.1安装部署虚拟机硬 件,设备状态 已 连 接(C)启动时连接(Q)网 络 连 接O 桥接模式(B):直接连接物理网络复制物理网络连接状态(P)NAT模 式(N):用于共享主机的 IP 地 址仅主机模式(H):与主机共享的专用网络 O 自 定 义(U):特定虚拟网络VMneto(桥接模式)O LAN区 段(L):,1 GB正在使用文件H:hadoopsoft.存 在存 在自动检测,新 CD/DVD(SATA)CUSB 控制器打印机显 示 器,LAN 区 段(S).,根据实际情况进行配置，然后单击“关闭”按钮，返回到“已准备好创建虚拟机”界面，单 击“完成”按钮，进入虚拟机配 置成功界面，如图2-11所示。,图2-11虚拟机配置成功界面本课件是可编辑的正常PPT课件,2.1.1安装部署虚拟机,2.1 Linux环境搭建,Cent0S 7Install CentOS 7Test this media&install CentOS 7TroubleshootingPress Tab for full configuration options on menu items.,如果虚拟机系统的前期配置顺利完成，就可以在虚拟机管理器界面中单击“开启 此虚拟机”按钮，几秒钟后就能看到CentOS 7系统安装界面，如图2-12所示。在界面中有3个选项，分别是安装CentOS 7系统、校验光盘并安装CentOS 7系统和系统救援模式。此时单 击进入虚拟机系统中，并用方向键选择第一 个选项“Install CentOS 7”来 安 装Linux 系统。,图2-12 CentOS 7系统安装界面本课件是可编辑的正常PPT课件,2.1.2安装系统与远程连接,2.1 Linux环境搭建,-.Stopping Deuice-Mapper Multipath Deuice Controller.I Stopped Device-Mapper Hultipath Device Controller.I Stopped udeu Coldplug al1 Devices.J Stopped dracut pre-trigger hook.Stopping udeu Kernel Deuice Manager.1 Stopped udeu Kernel Deuice Manager.I Stopped Create Static Device Modes in/deu.J Stopped Create list of required static device nodes for the current kernel.Stopped dracut pre-udeu hook.J Stopped dracut cmdline hook.J Closed udeu Kernel Socket.Closed udeu Control Socket.Starting Cleanup udevd DB.I Started Cleanup udeud DB.J Reached target Switch Root.Starting Switch Root.珠什定口细耳图2-13系统安装初始化,Stopped dracut pre-pivot and cleanup hook.Stopped target Remote File Sustens.I Stopped target Remote File Sustens(Pre).I Stopped target Initrd Default Target.I Stopped dracut mount hook.J Stopped target Basic System.I Stopped target Slices.Stopped target Sockets.I Closed Open-iSCSI iscsiuio Socket.,OK I Stopped target System Initialization.OK I Stopped Apply KerneI Uariables.OK I Stopped target Local File Systens.OK I Stopped target Swap.OK I Stopped target Paths.OK 1 Stopped dracut pre-nount hook.OK J Stopped target Local Encrupted Uolunes.,2.1.2安装系统与远程连接,按Enter键加载系统镜像并进行安装，如图2-13所示。,OK I Stopped dracut initqueue hook.Stopping Dpen-iSCSI.OK I Started Plynouth switch root service.1 Stopped Open iSCSI,2.1 Linux环境搭建,OKOKOKOKOKOKOKOKOKOKOKOK本,OK OK OK OK OK OKOKOKOK,如图2-14所示，选择在安装过程中所使用的语言，可以 采取默认，也可以选择“中文”,然后单击“继续”按钮。,CentOs,图2-14选择安装过程中所使用的语言本课件是可编辑的正常PPT课件,2.1.2安装系统与远程连接,繁體中文(台湾)繁體中文(中華人民共和國香港特别行 简体中文(新加坡),欢迎使用CENTOS 7。您在安装过程中想使用哪种语言?,2.1 Linux环境搭建,简体中文(中国),继续(Q,CENTOSus,退出(Q),7安 装,帮助!,2.1 Linux环境搭建2.1.2安装系统与远程连接安装信息摘要 CENTOS 7安 装CentOs 本地化,如图2-15所示，在系统安装主界面中，重点是完成 安装位置、网络和主机名两 项的设置，安装位置采取默认方式即可，而网络和主机 名的设置如图2-16所示。,在点击开始安装按钮前我们井不会操作您的磁盘图2-15系统安装主界面本课件是可编辑的正常PPT课件,键盘(K)软件选择(S)最小安装已启用KdumpSECURITY POLICYNo profle selected,日期和时间(T)亚洲上海 时区语言支持(L)简体中文(中国安装源(1)本地介质安装位置(D)巳选择自动分区网络和主机名(N),软件系统,配置(0)主机名(H)localhost.localdomain 应 用(A)当前主机名：localhost图2-16网络和主机名设置界面 本课件是可编辑的正常PPT课件,以太网(ens33)在图2-16中开启网络连接“打开”状态，如果一切正常,将会获取到IP 地址(可能与图中的不同),最后单击左上角的“完成”按钮。,2.1 Linux环境搭建2.1.2安装系统与远程连接,以太网(ens33)已连接硬件地址00:0C:29:FD:E3:EE 速度1000 Mb/sIP 地址192.168.136.140 子网掩码255.255.255.0默认路由192.168.136.2DNS 192.168.136.2,网络和主机名(-N)完成(D),CENTOS7 安 装cn,打开,2.1 Linux环境搭建2.1.2安装系统与远程连接配 置 CENTOS 7安 装,entOS Core SIGoduces the CentOS Linux Distribution.icentos.org/SpecialnterestGroup请先完成带有此图标标记的内容再进行下-图