大数据专业认知实习.docx

《大数据专业认知实习.docx》由会员分享，可在线阅读，更多相关《大数据专业认知实习.docx（9页珍藏版）》请在三一办公上搜索。

1、大数据专业认知实习m专业认知实习作业自我介绍o对大数据的认识o大数据在游客方面的应用o目的-需要获取的信息o实习内容o大数据行业发展趋势与人才需求-大数据技术趋势-大数据的特点大数据的应用领域-华为大数据解决方案大数据人才需求与职业岗位分析!Alt(tbWJpei5xcGljLmNuL21tYml6X3BuZy9PWVE3SEN6NDdpYlJYTmh5VzZPUmdFaWMzbWZYb3k5ODRmVTJ0VHBhTHNIN09rV2VqQnp2aWI0R2lhTWlhYVE3MzRyNjZ3Wkh5SDJDU0ZudGhNejJYOUl5eHZBLzY0MA?x-oss-process=i

2、mage/format,png)华为大数据认证体系-大数据基础环境和工具认知数据可视化介绍与展示Linux操作系统的初步使用体验大数据入门计算框架介绍与案例演示o总结o收获和感想自我介绍 你们好，我是XXX,毕业于XXXX大学的数据科学与大数据技术专业，现在我从以下三个方 面介绍自己：1）学习能力：我有较强的钻研精神，能熟练的操作Linux，能够使用c+、python、Java 语言编程。2）实践能力：我的专长是web前端，我希望能够在这一方面继续深造，曾经在学校的时候，用pycharm和IDEA实现web前端界面，运用SpringBoot+Thymeleaf+ECharts实现数据 可视化。

3、3）交际能力：我的性格比较沉稳，而且为人谦和，有独立进取的品性，勤于动手、善于动 脑，适应新环境能力很强。富有责任感，让我可以直面困难与挑战。对大数据的认识首先、我认为大数据就是互联网发展到现今阶段的一种表象或特征，在以云计算为代表的技 术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各 业的不断创新，大数据会逐步为人类创造更多的价值。想要系统的认知大数据，我认为有三 个方面：1、理论，是认知的必经途径，也是被广泛认同和传播的基线。2、技术，是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储 技术和感知技术的发展来说明大数据从采集、处理、存储到

4、形成结果的整个过程。3、实践，是大数据的最终价值体现。分别从互联网的大数据，政府的大数据，企业的大数 据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。其次、大数据是什么？投资者眼里是金光闪闪的两个字：资产。在各行各业，探求数据价值 取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据 思维触发了新的价值增长。业界将大数据的特征归纳为4个“V”（数据体量巨大；数 据类型多；价值密度低，商业价值高；处理速度快。这一点也是和传统的数据挖掘技术 有着本质的不同）大数据并不在“大”，而在于“有用”。大数据无处不在，所以用户隐私问题一直是大数据应用难以绕

5、开的一个问题。目前，中国 并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解 释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进 行大数据分析时必须遵循的原则最后，未来大数据的身影应该无处不在，就算无法准确预测大数据终会将人类社会带往到哪 种最终形态，但我相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快淹没地球的 每一个角落。当然，上面的一切看起来都很美好，但是否是以牺牲了用户的自由为前提呢？只能说当 新鲜事物带来了革新的同时也同样带来了“病菌”。大家慢慢习惯了和手机共渡时光，人与 人之间情感交流仿佛永远隔着一张“网”。大数据在游客方

6、面的应用目的让游客有更多的参考和选择，为他们制造出一个最适合的旅游计划。需要获取的信息大数据：首先，大数据可以建立一个游客的数据统计网站，我们可以以游客的吃、住、行、游、购、 娱为数据模型，得到一些重要的数据。物联网：物联网把新一代的IT技术运用到旅游行业，通过对人和物之间的信息采集和信息交换，最 终借助移动智能终端有针对性的为游客提供综合信息查询、在线预订、行程规划、线路选择 等服务，为游客出行提供了充分的信息参考和选择。云计算：游客在游览过程中，通过手持智能终端获取旅行相关信息。旅游服务和产品都可以通过云端 推送到用户身边，从基础的订房、订餐、导航到实时多媒体导览、基于移动支付的导购。一方

7、面，云计算使得旅游资源的利用率、服务效率、服务可用性大大提高；另一方面，云计 算使得旅游产品的个性化用户体验的满意度大大增强。人工智能： 用户在用相关在线旅游平台办理签证时，可以通过手机扫描护照或身份证，信息会自动识 别并填写到申请表上；可直接通过自拍功能解决签证照片，系统会自动调整并生成符合规定 的照片；办理进度可通过手机客户端自助查看实时追踪，随时可查。 智能定制旅游； 通过结合环境，聊天机器人能够为客户推送产品；在出行前，根据旅客特征及偏好信息， 为旅客提供目的地资讯及行程规划；在出行中，景点、餐厅、当地交通指南、实时翻译、折 扣信息，在旅行过程中的各类问题，聊天机器人可以实时优选解决方

8、案；行程结束后出现的 问题，也能得到及时回复。实习内容大数据行业发展趋势与人才需求大数据技术趋势 5G商用创造数字经济发展新风口。 中国开启数字贸易规则新探索。 无人经济催生未来人机共生新格局。 数字农业带动农村经济新转型。 数字孪生成为智慧城市升级新方向。 中国加快推进数据安全法立法新进程。 大数据局成为地方政府机构改革新标配。 数字民主促进多元主体协商共治新模式。 数字评估与监督加快信用政府建设新步伐。 人工智能等领域搭建学科建设新体系。大数据的特点大数据有五大特点，即大量（Volume）、高速（Velocity）、多样（Variety）、低价值密 度（Value）、真实性（Veracit

9、y）。大数据的应用领域制造业金融零售餐饮行业医疗保健行业能源行业教育产业大数据与天文学、微生物研究华为大数据解决方案大数据人才需求与职业岗位分析裾暨工靴也 对大曜吨的断用遇行开游?台开携生 / 去朦握平甘拜度工卷而对六船抵平存ia节费段悸改丈数据架构邮袖太数据平台的案矍架椅送行桂理对:词分帝节立有里吨大担穿斜举吏对大姬牛刍有一定的了.解X据远蜡ZLGfifi平若远推供 v二大眼据公司岗位敢荷牡林莹产估送营业34大口握砰白弟行话彳i与箜54亢取本甲合迎廿桀询性胞适竹与纸萨适工曜SBifi田凯容早习北吸椎搏握方法窟大跌 晤衡T分析SA幌产品妙理融璧利将政那R新浏察，的出皓成的 产M心如主.七.对散

10、部谐fl是花是理，持堆出至营il散至启喜专配切浅期据洛折闻对北我檀哉相进有任不分折，可塔出诃粮此分柝报普华为大数据认证体系大数据基础环境和工具认知链接:JDK8的安装与配置1、Java编程环境部署2、IDEA代码编辑工具的使用3、Maven项目管理工具介绍4、Java模拟定时生成日志到文件5、通过打包案例了解域名映射数据可视化介绍与展示链接：SpringBoot+Thymeleaf+ECharts实现大数据可视化1、Web前端知识介绍2、ECharts介绍及使用3、实践完成数据可视化小案例Linux操作系统的初步使用体验链接：Window?系统上Centos7的安装Centos7虚拟机NAT网

11、络的配置 下载XShell教程与简单使用1、Linux操作系统介绍2、常用命令介绍3、Linux环境体验4、VI编辑器的使用5、Shell脚本的使用大数据入门1、Hadoop生态圈及三大组件2、HDFS架构与MapReduce原理3、大数据学习环境的搭建4、跑通MapReduce大数据统计案例计算框架介绍与案例演示1、Spark框架介绍2、Spark生态圈及组件3、Spark提交作业流程4、搭建Spark集群环境5、跑通Spark大数据统计案例总结安装jdk：1、不要使用中文路径，会提示向导错误。2、配置好环境变量后，需要回去看一下，是否多了双引号(win10)3、路径jdk1.8xxxx与j

12、re1.8xxxx是并列关系4、如果第一次javac不行，应该是你的jdk1.8xxx与jre1.8xxx的路径不对。下次改好 后，需要关掉之前的运行窗口，再启动，再运行javac查看结果。配置环境变量：1、JAVA_HOME 就代表 JDK 的 Home 路径！2、在Win上使用JAVA_HOME路径的方式是在它的前后加上%:%JAVA_HOME%3、jar包文件，即别人写好的java程序进行打包后的件。假如你写好了一个java程序， 你要给别人使用，你就可以打包成jar包，然后别人拿到你的jar包，就可以直接使用了。 前提是：要有java的运行环境！4、Path路径也是一个变量！我们最终需

13、要配置的路径其实是：D:Program FilesJavajdk1.8.0_261binD:Program FilesJavajdk1.8.0_261jre这两个路径！5、java、javac其实是可以在任意路径都可以执行的，系统会自动去环境变量配置的路径 里面去查找你执行的命令文件！安装maven：Maven，简而言之，就是一个项目管理工具，也是一个包管理工具。项目管理工具体现在， 你在构建Java项目的时候，可以选择构建一个由Maven管理的项目，那么你这个项目的 jar包就全部关联Maven 了，那么Jar包就全部交由Maven管理了，包管理的功能也体现 于此。Maven下载的jar包，

14、放在你的maven的安装路径的conf/settings.xml里面配置的 LocalRepository的路径。Maven管理的这些jar包是在conf/settings.xml里面配置的 mirror路径的！如果想要用一个域名来代替127.0.0.1，需要修改一下映射表 (C:WindowsSystem32driversetchosts)，把映射关系加上去，就可以通过这个域名 来代替127.0.0.1这个ip 了Maven依赖引入：1、搜索Maven repository，进入Maven远端仓库依赖下载路径，在里面的搜索框中搜索： hadoop-client,点击进入，选择2.7.5版本。

15、2、粘贴到pom.xml的Dependencies标签里面！3、右击 pom.xm l 文件，选择 maven,选择 reimport （2018 版本 IDEA）或者 reload project （2020版本IDEA），等待下载依赖4、等待下面的进度条不再闪动！构建一个Springboot 工程，其中有两个注意的地方：选择Spring web和thymelef，然后 点击构建！务必确保Maven已经配置好！构建中可能会遇到的问题：1、提示报各种错误解决：重新建工程，多建几遍。2、依赖报红解决方法1：右击pom.xml文件，选择maven，选择reimport （2018版本IDEA）或者

16、 reload project （2020版本IDEA），等待下载依赖 如果不行，继续！解决方法2：去把你的本地仓库的地址（D:mvn_repos）里面的内容全删了（谨慎使用）， 然后右击pom.xm l文件，选择maven，选择reimport （2018版本IDEA ）或者reload project （2020版本IDEA），等待下载依赖。3、项目的结构跟老师的不同解决：确保选中的是Spring Initializr收获和感想这次实习我的收获很多，认识到了什么是大数据，大数据的特点、发展趋势、就业等问题。 学会了丁AVA编程环境部署IDEA代码编辑工具的使用，对Maven项目管理工具基本的认 识，进行了 Linux环境体验。学习了 hadoop生态圈及三大组件：HDFS、YARN、MapReduce。 同时我也认识到自己有许多的不足，在今后我会根据自己的不足做出相应对策，提高自己的 能力。为自己的发展创造坚实的基础。-全文完