使用DataProfile进行数据剖析.ppt

使用Data Profile进行数据剖析,数据事件探查功能,熟悉数据源并找出数据中要修复的问题仅对 SQL Server 中存储的数据进行事件探查并标识潜在的数据质量问题。,数据事件探查步骤,第一步：创建数据事件探查任务,第二步：查看数据事件探查结果,创建数据事件探查任务,将探查结果放在test.xml中,配置探查内容,查看数据事件探查结果,探查内容,候选键列长度分布列 Null 比率列模式列统计信息列值分布函数依赖关系值包含,候选键,候选键（CandidateKeyProfiles）配置文件可以帮助您识别哪些列中存在重复值。通过使用这个功能，可以判断表中的一列（或多列的组合）是不是适合做该表的主键。,列长度分布,列长度分布(Column Length Distribution)配置文件用于报告所选列中各个字符串值的不同长度。此配置文件可以帮助您识别数据中无效的值。例如，邮政编码的长度是固定的，如果发现有不是这个长度的数据，那么这个记录可能是错误的。,列 Null 比率,列 Null 比率(Column Null Ratio)配置文件用于报告所选列中 Null 值的百分比。,列模式,列模式(Column Pattern)配置文件用于报告一组正则表达式，其中涵盖字符串列中指定百分比的值。此配置文件可以帮助您识别数据中无效的字符串,列统计信息,列统计信息(Column Statistics)配置文件报告各种统计信息，例如数值列的最小值、最大值、平均值和标准偏差。此配置文件可以帮助您识别数据中存在的问题，如无效的日期。例如，您对历史日期列进行事件探查，却发现最近的日期是一个将来的日期。,列值分布,列值分布(Column Value Distribution)配置文件报告选定列中非重复值以及每个值所在表中的百分比。此配置文件还可以帮助您识别非重复值的数目不正确。例如，您对应该包含美国的各州的列进行事件探查，却发现 50 多个非重复值,函数依赖关系,函数依赖关系(Functional Dependency)用于报告某列（依赖列）中的值对另一列或一组列（决定列）中的值的依赖程度。此配置文件也可以帮助您识别数据中存在的问题，如无效的值。,函数依赖关系,例如，您对包含美国邮政编码的列和包含美国各州的列之间的依赖关系进行事件探查。同一邮政编码应始终对应同一州，但配置文件却发现有违反此依赖关系的情况。,值包含,值包含(Value Inclusion)用于计算两列或两个列集之间的重叠值。此配置文件还可以确定列或列集是否适合用作选定表间的外键。,值包含,如下例，对FactInternetSales表的 ProductKey 列进行事件探查，却发现该列包含在产品表的 ProductKey 列中找不到的值,值包含,使用命令来查询,谢谢！,