数据挖掘第一部分SPSSclementine11培训1cindy.ppt
Clementine基础培训第一部分,介绍Clementine数据挖掘软件的基本操作和环境，学习如何使用Clementine读取、处理数据,2006 SPSS Inc.,2,培训内容,第一章 数据挖掘简介第二章 Clementine简介第三章 读取数据文件第四章 数据质量第五章 数据处理第六章 寻找数据之间的关系,第一章 数据挖掘简介,2006 SPSS Inc.,4,第一章 数据挖掘简介,内容介绍数据挖掘概念介绍CRISP-DM(跨行业数据挖掘标准流程)概述课程计划目的介绍数据挖掘过程，理解数据挖掘中的术语和关键概念，以及如何使用 CRISP-DM 过程模型管理一个数据挖掘项目,2006 SPSS Inc.,5,什么是数据挖掘？,利用各种技术发现数据的隐含关系（知识）使用历史数据预测、分类，并且预测未来常用技术：人工智能、机器学习、决策树一个交互、反复的过程,2006 SPSS Inc.,6,Clementine 中对数据挖掘的支持,主动支持：计算机使用各种算法在数据中识别规则和关系被动支持：使用者处理并且浏览数据来寻找可疑的关系,2006 SPSS Inc.,7,数据,数据是可以得到的吗？数据包含所需要了解的属性吗？数据是否有噪声？数据量足够吗？可以获得关于数据的专家知识吗？,2006 SPSS Inc.,8,数据挖掘的策略（计划性）,主要想解决什么样的问题？可以得到什么样的数据来源，并且与当前问题相关的是哪部分数据？在挖掘数据前，需要做什么样的数据预整理和数据清洗？将会使用什么样的数据挖掘技巧？将会如何评估数据挖掘的分析结果？,2006 SPSS Inc.,9,CRISP-DM 过程模型,跨行业数据挖掘标准过程（CRISPDM）定位是面向行业、工具导向、面向应用适用于大型工业和商业实践的一般标准六个阶段：商业理解数据理解数据准备建模模型评估结果发布,2006 SPSS Inc.,10,课程计划,数据挖掘及数据挖掘软件数据理解：从数据源抽取数据用表格图形技术透视数据处理缺失值数据准备：针对记录的数据准备，如选择记录、对记录排序针对字段的数据准备，如生成新的字段针对文件的数据准备，如合并文件,2006 SPSS Inc.,11,课程计划,建模技术：监督学习技术，神经网络、归纳规则（决策树）、线性回归、Logistic 回归非监督学习技术，Kohonen 网络、两步聚类、K-means 聚类关联规则、时序探测模型评估如何应用 CRISP-DM 流程研究数据挖掘问题,第二章 Clementine简介,2006 SPSS Inc.,13,Clementine 简介,内容熟悉 Clementine 中的工具和面板介绍可视化编程的思想目的初步了解 Clementine 的功能数据课程的数据文件存放在目录“C:培训基础培训1”中,2006 SPSS Inc.,14,Clementine用户界面,数据流区域,数据流，输出和模型管理器,项目窗口,2006 SPSS Inc.,15,可视化编程,节点一个图标代表在 Clementine 中进行的一个操作工作流一系列连接在一起的节点选项板包含一系列不同功能的图标,2006 SPSS Inc.,16,选项板,源节点用来将数据读入 Clementine 中记录选项节点在记录上进行操作一条记录是一种“情形”或一“行”数据字段选项节点在字段上进行操作一个字段是一个变量图形节点在建模之前和之后用来可视化数据建模节点代表有效建模算法注意：建模算法产生生成的模型,2006 SPSS Inc.,17,在下面一部分举例：,增加一个节点移动一个节点编辑一个节点重新命名一个节点复制一个节点删除一个节点,注释一个节点保存一个节点重新载入一个节点连接节点删除节点连接获得帮助,2006 SPSS Inc.,18,增加一个节点,在选项板上双击节点，自动放置节点到数据流区域注意：它会自动地连接到“中心”节点将节点从选项板拖放到数据流区域中在选项板上点击一个节点，然后在数据流区域中点击一下,未选择,选择,当节点在选项板中被选中后，会变成淡蓝色,2006 SPSS Inc.,19,编辑一个节点,在节点上右击，展开一个节点点击“编辑”在菜单上还可以选择连接、断开连接、重命名、注释、复制、删除、载入、保存等操作,2006 SPSS Inc.,20,连接节点,使用鼠标中键来连接节点在数据流区域上，把一个节点连接到另一个上，可以通过鼠标中间键点击和拖放来完成（如果您的鼠标没有中间键，可以通过按住“Alt”键来模拟这个过程）,通过双击来连接节点双击选项板上的节点，自动把新节点连接到数据流区域中的“中心”节点上,未选中的节点（灰白色）,被选中的节点（淡蓝色）,2006 SPSS Inc.,21,删除节点之间的连接,在连接箭头的头部按住鼠标右键选择“删除连接”,2006 SPSS Inc.,22,关于连接节点：源节点,源节点是连接到初始数据源的节点源节点只能发送数据不能连接到一个源节点,2006 SPSS Inc.,23,关于连接节点：终端节点,终端节点是生成输出、图形、表格和模型的节点不能从终端节点连接到任何节点,2006 SPSS Inc.,24,设置目录,为了方便地存取数据文件或流,您可以将目录设定为自己文件的位置只在本次操作中起作用通过选择菜单“文件”中“设置目录”选项，然后输入或选择工作目录,2006 SPSS Inc.,25,Clementine 客户端和服务器端,Clementine 可以运行在 客户端和服务器端两种模式下默认的模式是客户端在菜单“工具”中选择“服务器登录”注意 Clementine 客户端和服务器端版本必须匹配,2006 SPSS Inc.,26,帮助菜单,帮助主题CRISP-DM 帮助教程软件使用辅助选项帮助键盘代替鼠标操作 这是什么,2006 SPSS Inc.,27,练习：熟悉 Clementine 的环境,熟悉Clementine的环境：菜单帮助练习在数据流区域加入节点：选择变项文件节点从输出选项板中，选择表节点连接两个节点编辑变项文件节点断开节点之间的连接删除节点,第三章 读取数据文件,2006 SPSS Inc.,29,课程简介,内容Clementine 中可以读取的数据格式读取文本数据文件读取 SPSS 数据文件使用 ODBC 读取数据库查看数据Clementine 中的数据类型和字段方向保存 Clementine 数据流目的介绍数据读入 Clementine 的一些方法,2006 SPSS Inc.,30,Clementine 中读取数据格式,文本文件SPSS 数据文件ODBC 兼容的数据库SAS 数据文件用户输入文件,2006 SPSS Inc.,31,文本文件,自由字段文本文件是包含分隔符（逗号、制表符、空格或一些其它字符）的数据文件，可以使用变项文件节点读取数据如果数据是列界定的（字段未被分隔，但是始于相同的位置并有固定长度），应该使用固定文本文件导入固定文件节点读取文件SmallSampleComma.txtSmallSampleFixed.txt,2006 SPSS Inc.,32,读取自由字段文本文件,添加变量文件节点到数据流区域编辑节点指向文件 SmallSampleComma.txt通过选择“类型”条目检查结果,2006 SPSS Inc.,33,读取固定字段文本文件,移动一个固定文件节点到数据流区域编辑这个节点指向文件 SmallSampleFixed.txt构造 4 个新字段，列出变量名和字段长度交互式手动输入,2006 SPSS Inc.,34,读取 SPSS 数据文件,添加 SPSS 文件节点到数据流区域编辑节点，指向文件 SmallSample.savSPSS 数据文件有特殊的“标签”：变量标签描述字段数值标签附上解释数值的编码,2006 SPSS Inc.,35,数据库节点,使用数据库节点前必须配置 ODBC 驱动去指定数据库的位置“控制面板-管理工具”选择 ODBC选择“添加”,2006 SPSS Inc.,36,添加 ODBC 数据源,选择合适的 ODBC 驱动，该驱动应该匹配数据库的名称和版本数据源 Holidays数据库文件custandhol.mdb,2006 SPSS Inc.,37,使用数据库节点,添加并编辑数据库节点：选择数据库节点连接数据源选择“添加新的数据库连接”在数据源列表中选择需要连接的数据源，点击连接选择需要读取的表格,2006 SPSS Inc.,38,定义字段类型,类型节点指定字段的一系列重要属性指定字段类型、方向和缺失值Clementine 可以自动设置变量类型，用户也可以强制指定类型为建立模型，指定字段的方向指定缺失值以及如何处理缺失值变量值检查保证字段值满足一定的设置,2006 SPSS Inc.,39,定义字段类型,字段类型帮助您理解正在使用的数据，是一些数据准备和所有建模程序所必需的字段类型：连续型 用于描述数值，如0-100 或者0.75-1.25 内的连续值一个连续值可以是整数、实数或日期/时间离散型用于当一个具体值的精确数量未知时描述字符串，一旦数据被读取，其类型就会是标记、集合或者无类型集合型 用于描述带有多个具体值的数据（黄、绿、蓝）标记型 用于只取两个具体值的数据（真、假）无类型 用于不符合上述任一种类型的数据或者含有太多元素的集合类型数据,2006 SPSS Inc.,40,字段实例化,在读取值前数据称为未实例化，字段设置为连续或离散型通过读取值后数据完全实例化，字段的取值和类型都是可知的通过类型节点或数据源节点上的类型条目可以指定数据类型,2006 SPSS Inc.,41,字段实例化,何时在源节点实例化数据集不太大不打算以后在流中增加字段何时在类型节点实例化数据集较大，而且流在类型节点前就过滤了子集数据在流中被过滤数据在流中被合并或追加在处理过程中导出新的数据字段,2006 SPSS Inc.,42,字段类型,用变项文件节点读取SmallSampleComma.txt字段实例化将ID字段的类型修改为无类型,2006 SPSS Inc.,43,字段方向,输入：输入或者预测字段输出：输出或者被预测字段字段两者：既是输入又是输出，只在关联规则中用到无：建模过程中不使用该字段分区：将数据拆分为训练、测试（验证）部分字段方向设置只有在建模时才起作用,2006 SPSS Inc.,44,练习：用Clementine读取数据文件,数据文件：逗号分隔文本文件 charity.csv SPSS 数据文件 charity.sav具体步骤：打开 Clementine在数据流区域添加变项节点编辑该节点连接表节点在数据流区域添加 SPSS 文件节点编辑该节点（两种方法）连接表节点保存其中一个流为 ExerChapter 3.str,第四章 数据质量,2006 SPSS Inc.,46,课程计划,内容缺失数据定义介绍质量节点使用数据审核节点检查所有字段的分布目的熟悉Clementine 中的一些用来发现数据的准确性、完整性和数据整体分布的方法,2006 SPSS Inc.,47,缺失数据类型,系统缺失值，也被称作 nulls，这些值在数据库中被留为空格，而且在类型节点上它们并不被明确设置为“缺失”系统缺失值在 Clementine中显示为$null$用户自定义缺失值，也被称作空白 blanks，这些值在类型节点上被明确地定义为缺失确定为空白的数据值被标记为特殊对待，而且在大多数计算中被剔除,2006 SPSS Inc.,48,SmallSampleMissing.txt,2006 SPSS Inc.,49,评估数据质量,使用变项文件节点读取数据文件SmallSampleMissing.txt用类型条目实例化数据质量节点连接变项文件节点并输出质量报告取消选择空白(White space)取消选择字符型空值(Empty string),2006 SPSS Inc.,50,定义缺失值后评估数据质量,类型条目选中 Children 字段“缺失”选项定义空白缺失值 99质量节点中选择White space、Empty string 和 Blank value分解含无效值的记录计数再次输出质量报告,2006 SPSS Inc.,51,自动定义缺失值,在类型条目对话框中：右击菜单中选中“全选”再右击选中设置“缺失”选择“开”,2006 SPSS Inc.,52,数据审核,打开数据流：数据审核.str使用制表节点输出表格：共有 4117 条记录使用数据审核节点连接类型节点检查数据整体的分布抽样条目选择抽样当记录数多于 5000，这样可以检查所有的记录执行数据审核节点输出检查结果,2006 SPSS Inc.,53,输出检查结果,点击小图看完整的分布图或直方图,2006 SPSS Inc.,54,练习：检查数据的完整性,打开数据流 ExerChapter 3.str在源节点设置数据类型并实例化注意字段中blank的定义连接到一个质量节点，并执行该流查看质量报告连接到一个数据审核节点，执行该流特别注意字段pre-(post-)campaign expenditure(visits)选择字段(集合或标记)，观察其分布图选择连续型字段，观察其直方图保存流,第五章 数据处理介绍,2006 SPSS Inc.,56,课程计划,内容介绍选择节点处理记录介绍几个字段处理节点：过滤、字段重排、导出和重新分类介绍如何自动生成字段和记录处理节点目的学会使用Clementine中 一些可用的数据处理技术，并使用这些技术清洗和精炼数据,2006 SPSS Inc.,57,数据处理技术,CLEM（Clementine Language for Expression Manipulation）是一种功能强大的语言，用来分析操作 Clementine 中使用的数据用在导出、选择、过滤、平衡和报告等节点这些函数可以导出新的值、根据条件选择记录、比较和评估数据、插入数据注意：为了将错误减少到最小，当使用 CLEM时经常需要为字段名加上单引号,2006 SPSS Inc.,58,表达式构造器,尽量不要手动输入CLEM 表达式,2006 SPSS Inc.,59,选择节点,打开数据流：选择节点.str使用选择节点连接类型节点选择符合条件“INCOME 20000”的记录选择模式“包含”使用分布节点分别连接类型节点和选择节点生成字段 RISK 的分布比较选择前后的分布,2006 SPSS Inc.,60,两个分布的比较,选择前,选择后,2006 SPSS Inc.,61,过滤节点,打开数据流：过滤节点.str使用过滤节点连接类型节点改变字段名 STORECAR 为 STORECARDS 移除字段 ID使用制表节点输出表格查看结果,2006 SPSS Inc.,62,字段重排节点,使用字段重排节点连接过滤节点重新排列字段顺序点击“选择字段”按钮选择字段：NUMKIDS，NUMCARDS和 RISK 点击“移动选定字段到顶部”选项将字段 Risk 移到顶部使用制表节点输出表格查看结果,2006 SPSS Inc.,63,导出节点,使用导出节点连接过滤节点导出新字段导出节点四种形式：导出规则导出标记导出集合导出条件,2006 SPSS Inc.,64,重新分类节点,使用重新分类节点连接最后一个导出节点选择单一模式重分类 Risk 字段为新字段 RISKCATbad loss，bad profit 新值badgood risk 新值 good使用制表节点输出表格通过表格比较两个字段,2006 SPSS Inc.,65,CLEM 建议,大小写敏感性在字符值和所有变量（字段）名上加引号当涉及数值时使用小数点（0.0）标准 CLEM 函数全部是小写字母任何以 开头的 CLEM 函数都是大写字母使用表达式构造器！,2006 SPSS Inc.,66,自动生成节点,大部分输出都包含“生成”菜单项，可以自动生成一个节点,2006 SPSS Inc.,67,自动生成导出节点,使用直方图节点连接最后一个导出节点直方图节点中选择字段INCOME 生成直方图在生成的直方图上数值 20000、30000、40000 处点击自动生成导出节点导出集合,2006 SPSS Inc.,68,自动选择没有缺失值的字段和记录,数据流：数据质量.str生成质量报告：输出窗口点击“%完成”标题排序表格选中字段 INCOME，SEX 和 CHILDREN自动生成过滤节点过滤有缺失值的字段自动生成选择节点选择没有缺失值的记录,2006 SPSS Inc.,69,练习：数据的处理,打开数据流 ExerChapter 3.str对 Total Spend字段画直方图在直方图上画三条线，把总消费数据分割成四段用生成菜单自动生成导出节点使用导出节点导出新字段 Banded Total Spend使用重新分类节点派生新的字段 Title_ Gender值分别为 Male 或 Female用选择节点，选择年龄大于 50 岁的男性记录检验节点设置是否正确，并删除选择节点保存流,第六章 寻找数据之间的关系,2006 SPSS Inc.,71,课程计划,内容介绍网络图节点和矩阵节点研究符号字段之间关系使用相关系数来研究数值字段之间关系目的探索一些在Clementine中研究字段之间关系的途径,2006 SPSS Inc.,72,在数据中寻找关系,数据审核节点使用目标字段层叠矩阵节点生成符号数据交叉列联表网络图节点可视化表现符号数据之间的关系统计量节点计算数值字段之间的相关系数散点图节点和直方图节点可视化表现数值数据（交叠符号字段）,2006 SPSS Inc.,73,矩阵节点：关联两个符号字段,打开数据流：Riskdef.str使用矩阵节点连接类型节点生成列联表RISK 是否随 GENDER 改变行 RISK，列 GENDERRISK 是否随 HOWPAID 改变改变列为 HOWPAID选择行百分比注意在输出矩阵的显示条目，用户可以直接选择用何种汇总方式生成列联表,2006 SPSS Inc.,74,网络图节点：可视化表现符号字段,使用网络图节点连接类型节点MARITAL，MORTGAGE 和 RISK 之间是否表现出关联选择字段 MARITAL，MORTGAGE 和 RISK线段值为绝对数值连接规模连续变化只显示大于 300 的连接400 以下为弱连接，600 以上为强连接输出网络图,2006 SPSS Inc.,75,网络图修改,使用滑动控制丢弃 450 以下的连接使用控制条目设置：1000 以下为弱连接，1500 以上为强连接右击与 y 没有连接的点（divsepwid）选择隐藏点击强连接（married 和 y，bad profit 和 y）自动生成导出节点（选择后连接变成红色）,2006 SPSS Inc.,76,统计量节点：数值字段之间的相关性,使用统计量节点连接类型节点计算相关系数检查相关字段：选择所有连续型字段（ID 除外）相关性设定：定义相关强度标签,2006 SPSS Inc.,77,散点图节点,使用散点图节点连接类型节点X 字段=NUMCARDSY 字段=LOANS交叠=RISK选项条目中：X，Y搅动=0.3使用全部数据,2006 SPSS Inc.,78,直方图节点,使用直方图节点连接类型节点字段=INCOME交叠=RISK选项条目中：选中按颜色标准化指定范围 30000 到 50000,2006 SPSS Inc.,79,练习：探索数据之间的简单关系,打开数据流 ExerChapter 3.str使用网络图节点生成网络图，初步展示数据之间的关系：Response to campaign，Pre-campaign visit，Pre-campaign spend category，Gender，Age category设置只显示 200 以上的连接，低于 300 为弱连接，高于 400 为强连接编辑网络图，隐藏不相关的连接：与对活动响应值相关性最大的三个字段？哪个年龄段与 non-responders 关联性最大？用散点图描述 Pre-campaign expenditure 和 Pre-campaign visits 之间的关系，并观察这两者之间存在关系吗？用直方图探索 Pre-campaign expenditure 和 Response to campaign 之间是否相关标准化直方图，比较直方图和网络图的结果保存流Visual.str,
