第4章数据可视化的常用方法ppt课件.pptx

《第4章数据可视化的常用方法ppt课件.pptx》由会员分享，可在线阅读，更多相关《第4章数据可视化的常用方法ppt课件.pptx（43页珍藏版）》请在三一办公上搜索。

1、,高级大数据人才培养丛书之一，大数据挖掘技术与应用,何光威 主编 郑志蕴 梁英杰 朱琼琼 副主编,BIG DATA,刘 鹏 张 燕 总主编,大数据可视化,of,46,2,4.1视觉编码,第四章 数据可视化的常用方法,选择可视化方法之前，需要掌握视觉感知（Visual Perception）和视觉认知（Visual Cognition）的概念。视觉感知是指客观事物通过人的视觉器官在人脑中形成的直接反映，人类只有通过“视觉感知”，才能达到“视觉认知”。通常而言，人类的视觉感知器官最灵敏，感知外在事物的效率和效果都优于其他感知器官。,of,46,3,4.1.1 视觉感知,4.1视觉编码,of,46,

2、4,4.1.2 视觉通道,视觉通道：用于控制几何标记的展示特性，包括标记的位置、大小、形状、方向、色调、饱和度、亮度等。视觉通道分为两大类：定性（分类）的视觉通道，如形状、颜色的色调、空间位置；定量（连续、有序）的视觉通道，如直线的长度、区域的面积、空间的体积、斜度、角度、颜色的饱和度和亮度等。,第四章 数据可视化的常用方法,of,46,5,4.1.3 数据分类,对于信息可视化中数据类型的划分，从数据可视化类型出发研究可视化过程，可以参考基于任务分类学的数据类型（TTT, data Type by Task Taxonomy）。TTT 定义了 7 种基本任务：总览、缩放、过滤、按需细化、关联、

3、历史和提取；并将数据分为 7 类：一维线性数据、二维数据、三维数据、多维数据、时态数据、树型数据和网状数据。,4.1视觉编码,第四章 数据可视化的常用方法,of,46,6,4.1.4 常用的复杂数据处理方法,通过实验测量、计算机仿真、网络数据传输和文件输入/输出等方法获取数据之后，通常要对复杂数据进行预处理，常见数据操作包括：合并、采样、降维、特征子集选择、特征生成、离散化与二值化、属性变换。,4.1视觉编码,第四章 数据可视化的常用方法,of,46,7,4.2 统计图表可视化方法,of,46,8,第四章 数据可视化的常用方法,4.2.1 柱状图,柱状图（bar chart），是一种以长方形的

4、长度为变量的表达图形的统计报告图。优势：柱状图利用柱子的高度，反映数据的差异，肉眼对高度差异很敏感。劣势：柱状图的局限在于只适用中小规模的数据集。,1、传统二维柱状图,传统柱状图一般用于表示客观事物的绝对数量的比较或者变化规律，用于显示一段时间内数据的变化，或者显示不同项目之间的对比，分为：二维簇状柱形图、二维堆积柱形图、二维百分比堆积柱形图。,4.2 统计图表可视化方法,of,46,9,第四章 数据可视化的常用方法,4.2.1 柱状图,2、三维柱状图,三维柱状图的可视化效果更佳直观，而且能够在第三个坐标轴显示三维数据。三维柱状图采用柱体来量化数据，同时对柱体可以采用不用的颜色编码，来表述不同

5、的变量。,4.2 统计图表可视化方法,of,46,10,第四章 数据可视化的常用方法,4.2.2 条形图,排列在工作表的列或行中的数据可以绘制到条形图中。条形图显示各个项目之间的比较情况。,4.2.3 折线图,折线图适用于二维大数据集，尤其是那些趋势比单个数据点更重要的场合。,4.2.4 饼图,饼图适用于一维数据可视，尤其是能反映数据序列中各项大小、总和和相互之间比例大小。,4.2.5 散点图,散点图适用于三维数据集，但其中只有两维需要比较。,4.2.6 气泡图,气泡图是散点图的一种变形，通过每个点的面积大小，反应第三维。,4.2.7 雷达图,雷达图适用于多维数据（四维以上），且每个维度必须可

6、以排序。,4.2 统计图表可视化方法,of,46,11,第四章 数据可视化的常用方法,of,46,12,4.3 图可视化方法,of,46,13,第四章 数据可视化的常用方法,4.3.1 图的类型,1、关系,图可视化最重要的作用之一，便是能够表达关系。这些关系组成了已经定义的世界或系统。图能够使得我们以一种非常容易理解的方式来描述和表达世界。,2、分层,对于分层数据中获取信息，图也是一个很好的选择。分层图常被称树。树有一个根父节点，其链接分支到第二个节点，第二级节点还可能再次分支，以此类推，直到到达没有子节点的叶子节点，根节点的每个后代节点都只有一个父节点。,4.3 图可视化方法,of,46,1

7、4,第四章 数据可视化的常用方法,4.3.2 图论可视化,图论（Graph Theory）是数学的一个分支。它以图为研究对象。图论中的图是由若干给定的点及连接两点的线所构成的图形，这种图形通常用来描述某些事物之间的某种特定关系，用点代表事物，用连接两点的线表示相应两个事物间具有这种关系。,4.3 图可视化方法,of,46,15,第四章 数据可视化的常用方法,4.3.3 思维导图,思维导图（Mind Map），即借助图表来分析问题、理清思路。 常见的思维图有八种：Circle Map圆圈图、Tree Map树状图、Bubble Map气泡图、Double Bubble Map 双重气泡图、Flo

8、w Map流程图、Multi-flow Map 多重流程图、Brace Map 括号图，和Bridge Map桥型图。,of,46,16,4.4 可视化分析方法的常用算法,of,46,17,第四章 数据可视化的常用方法,4.4.1 可视化分析方法,1、沙盒分析法,沙盒分析的关键能力主要有：认知、自动处理模型范本、想法的解读。运用网络服务界面和协议，整合了高级计算机语言功能。,4.4 可视化分析方法的常用算法,of,46,18,第四章 数据可视化的常用方法,4.4.1 可视化分析方法,2、认知作业分析法,认知作业分析是人们对完成特定任务的思维过程信息，这些信息包括如何去处理所获取的信息和下一步该

9、做什么。,3、顺序模式法,顺序模式被用来发现离散事件同时发生的概率。随着计算机的发展，我们能处理更庞大的数据并且获得大量的顺序模式。每个顺序模式包含一个最小概率，其意义为这个模式发生的百分比。其优点是快速地显示数据的结构与分布、显示单个事件的发生频率、准确性高;应用于文本挖掘。,4.4 可视化分析方法的常用算法,of,46,19,第四章 数据可视化的常用方法,4.4.1 可视化分析方法,4、协同多视图法,多视图可用多种形式的视图，如促进信息加工中的抽象视图、分层和时间序列的视图。在可视分析中实现协同并不容易，因为没有正式的协同规则，有的规则也不是万能的，需要具有一定的针对性才能体现协同多视图法

10、的效果。,4.4 可视化分析方法的常用算法,of,46,20,第四章 数据可视化的常用方法,4.4.2 可视分析研究的特点,可视分析学从6个基本方面放大了人类感知能力：（1）增加感知源，如通过可视化源来扩展人类工作记忆。（2）减少搜索，例如在小空间中表示大量数据。（3）增强模式认知，如在空间中展示具备时间序列特征的信息。（4）支持关系可感知的简易推理。（5）对大量潜在事件的感知监测。（6）提供可操作的介质，与静态图不同，能允许探索参数值的表示空间。,4.4 可视化分析方法的常用算法,of,46,21,第四章 数据可视化的常用方法,4.4.3 可视分析的应用实例,1、模型和决策支持,回归模型在许

11、多应用领域中扮演着重要角色，典型的回归模型构建过程中输入变量的特征子集选取受到限制，其他局限还存在于局部结构、转换以及变量间交互的识别。,4.4 可视化分析方法的常用算法,of,46,22,第四章 数据可视化的常用方法,4.4.3 可视分析的应用实例,2、图像和视频数据处理,图像和视频数据是继文本数据之后的又一大数据类型，可视分析学在这两种数据分析上同样能发挥优势。,4.4 可视化分析方法的常用算法,of,46,23,第四章 数据可视化的常用方法,4.4.3 可视分析的应用实例,3、社会媒体数据分析,可视分析学还被用至社会媒体数据分析、社会网络分析、文档重建系统和人类地形分析等领域。,4.4

12、可视化分析方法的常用算法,of,46,24,第四章 数据可视化的常用方法,4.4.4 主成分分析,主成分分析（Principal Component Analysis,PCA)法是一种利用线性映射来进行数据降维的方法，同时去除数据的相关性，以最大限度保持原始数据的方差信息，从而进行有效的特征提取。,4.4.5 聚类分析,（1）系统聚类法将变量由多变少的一种方法，先将距离最小的变量归为一类，再将它们合并，合并后将新类计算相互间的距离，再将距离最小的新类合并，直到所有变量归为一类为止。距离的定义有：最短距离法、最长距离法、中心法、类平均法、中间距离法、离差平法和法等。（2）动态聚类法能较好地解决系

13、统聚类当样本数量大时计算量大的问题。动态聚类先设定好数值K，然后将所有样本分成K类作为聚核，再计算每个样本到聚核的距离，与聚核距离最小的样本归为一类，这样样本被分为K类；然后依次继续进行分类，并按一定的标准停止分类。,4.4 可视化分析方法的常用算法,of,46,25,第四章 数据可视化的常用方法,4.4.6 因子分析,因子分析是从假定的因子模型出发，把复杂数据视为由公共因子、误差和特殊因子构成。使用了主成分分析的方法但其关于特征值的计算是以相关矩阵作为出发，把每个变量置于同一度量，使特征值相对均匀，并将主成分转换成因子，还把特征向量正规化使之长度为1。,4.4.7 层次分析法,层次分析法能对

14、大量的非定量的模糊数据进行处理，如良好、优秀、一般等，层次分析法用定量的方法去描述这些数据，将定性和定量相结合，分层次分析，用数学的方法确定每一层中所有元素的重要性的权值，最后分析排序结果，解决问题。层次分析的步骤为：（1）构造判断矩阵（2）计算层次单排序（3）计算各层元素的组合权重（4）一致性检验,of,46,26,4.5 可视化方法的选择,of,46,27,第四章 数据可视化的常用方法,为数据选择正确的图表和图的时候，除了要依据格式塔原则之外，还要参照可视化模型，遵循各种方法的优势，优秀的可视化作品总是精挑细选方法之后，选择多种方法联合呈现数据。因此，在研究的初期阶段，更重要的是要从不同的

15、角度观察数据。,4.5 可视化方法的选择,of,46,28,第四章 数据可视化的常用方法,在可视化图表工具的表现形式方面，图表类型表现的更加多样化，丰富化。除了传统的饼图、柱状图、折线图等常见图形，还有气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表，甚至还有GIS地图。这些种类繁多的图形能满足不同的展示和分析需求。下图总结了根据需求分析可采用的统计可视化方法。,4.4 可视化方法的选择,of,46,29,第四章 数据可视化的常用方法,4.5 可视化方法的选择,of,46,30,第四章 数据可视化的常用方法,4.5.1 实时人流检测,如图展示上海市区域内，通过热力图的方式来反映各商圈的

16、人流信息，人数越多的地方越好。为了获得更具体的人流数据，我们还加入信息点，通过地图覆盖物实现。当鼠标悬浮到信息点的时候，会显示该商圈具体人流情况，我们使用了哪些数据，就显示出来。,4.5 可视化方法的选择,of,46,31,第四章 数据可视化的常用方法,4.5.2 百度地图开发,百度地图是百度提供的一项网络地图搜索服务，覆盖了国内近400个城市、数千个区县。在百度地图里，用户可以查询街道、商场、楼盘的地理位置，也可以找到离您最近的所有餐馆、学校、银行、公园等等。,4.5 可视化方法的选择,of,46,32,第四章 数据可视化的常用方法,4.5.3 城市人流走势,Echarts是一个纯JavaS

17、cript的图标库，可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观、生动、可交互，可高度个性化定制的数据可视化图表。,4.5 可视化方法的选择,of,46,33,第四章 数据可视化的常用方法,4.5.4 全球海底电缆可视化,如图是一个基于地图的2014年全球海底电缆可视化展示，可以从这里查看到分布在世界各地的信息，数据是从维基百科和谷歌里获取，并采用D3.js库进行可视化展示。,4.5 可视化方法的选择,of,46,34,第四章 数据可视化的常用方法,4.

18、5.5 D3.js和Echarts选择上的建议,在图表制作的JavaScript库中，有前面提到的Echarts，d3.js，这里在介绍一个highcharts.js，Highcharts和echarts是一类东西，但跟d3.js维度不同。假如前面两个能解决你的需求，那么就可以先不考虑d3。英语好选highcharts，英语不好选echarts。当然最好要先评估一下它们对浏览器的兼容性，免得写完了发现用户那运行不了。Highcharts和echarts基本上就是画图表用的，而d3.js 更自由些，你很容易去做出自己想要的效果，比如mindchart、heat chart、tile chart

19、之类的东西。d3.js源码封装对svg的操作，而svg不依赖分辨率，而canvas则依赖分辨率低，对密集型游戏处理效果还是很不错的，而svg对复杂高的渲染速度会很慢.不过d3.js最新的迭代版本已经支持canvas操作。,4.5 可视化方法的选择,of,46,35,第四章 数据可视化的常用方法,4.5.6 优秀的数据可视化作品欣赏,http:/ https:/ https:/ http:/ https:/ http:/i-remember.fr/en标签云制作tagul: https:/ http:/www.open- http:/ http:/ http:/ 当然，优秀的可视化作品数不胜数，

20、作者也分享下几本可视化方面的书籍。链接：http:/,of,46,36,1API绘图设计A）设计一个基于API结构的Windows应用程序，并使用GDI绘制圆柱，圆锥和立方体。三个图可以放大缩小和移动。B）设计一个基于API结构的Windows应用程序，并使用GDI绘制抛物线，双曲线。放大缩小和移动。2基于MFC对话框的程序设计A）设计一个基于MFC对话框的程序,该程序对话框有两个滚动条，每个滚动条对应一个编辑框。随着滚动条的滚动编辑框中的数字相应的增加或减少。两个编辑框的和等于自三个编辑框的数据B）设计一个基于MFC对话框的程序,对List进行添加，修改和删除。C）设计一个基于MFC对话框的

21、程序,对ListCtrl进行添加，修改和删除。D）使用继承方法改变静态标签控件的颜色。E）使用继承方法改变编辑框控件的颜色。,习题：,3基于文档视图的程序设计A）设计一个通信录，使用VC设计，使用序列化进行存储。B）设计一个简单图形系统，使用序列化进行存储图形，可以画圆和矩形，可以计算图形总面积。使用类和继承。C）设计一个学生系统，包含学生科目和学分。可以统计学生的平均分数。D）设计一个城市公交系统，包含公交名称和线路及票价。E）设计一个单位的公车，使用类和继承，统计均耗油量。F）设计一个教师系统，包含老师的属性和所带的课程.G）设计一个图书系统，并可以显示用户借的书。H）设计一个租车系统，并显示用户借的车。I）设计一个简单超市前台系统。,习题：,AIRack人工智能实验平台一站式的人工智能实验平台,DeepRack深度学习一体机开箱即用的AI科研平台,BDRack大数据实验平台一站式的大数据实训平台,云创公众号推荐,手机APP推荐,网站推荐,感谢聆听,