工商数据质量管理校核解决方案.docx

数据质量管理校核系统方案建议书© IBM Corporation 2010. All Rights Reserved. IBM is a registered trademark of International Machines Corporation in the United States, other countries, or both.第1章摘要11.1 我们对您的目标的理解11。2我们如何帮您实现目标（方案简述）21.3方案价值21。4成功案例3第2章工商数据质量管理校核系统解决方案介绍42.1 总体架构42.2 功能模块42.3 典型配置82.3。1 Spss modeler数据服务器配置说明8第1章摘要1.1我们对您的目标的理解国家于2007年底陆续开始实施金信工程一期，依托国家电子政务网络，建立了涵盖全国市场主 体的经济户口数据库，为国家电子政务重点工程提供了有力支撑；通过数据整合，建立了为企业 监管、“12315 ”执法和商标知识产权保护服务的专题数据库群，为各级工商行政管理部门监督管 理市场主体提供及时、准确的信息支持;建立覆盖全国各级工商行政管理机关的“ 12315 ”行政执 法信息处理网络和企业信用分类监管两类业务应用系统，整合了现有业务，优化了企业监管与行 政执法业务应用支撑系统；实现了申诉举报信息的全面采集、逐级汇总和综合利用，实现行政执 法的网上操作、网上调度指挥和网上信息流转。但是，通过数据现状分析发现还存在很多问题，各个单位都普遍存在数据缺项、冗余、不准 确等问题.为此,2010年，总局在关于在全国工商行政管理系统开展“数据质量建设年”活动的 通知（工商办字201080号）中，明确要求，在制定数据质量管理制度的基础上，建设数据质量 评价校核管理系统，利用先进的技术手段，进行数据质量评价校核，实施数据质量的全面检查.目前大部分地方工商系统还没有较为成熟的数据质量管理系统，一般采用的是SQL拼接的方 式来进行数据质量检查，这种校核方式存在以下弊端：基于SQL查询比对进行数据质量管理，技术门槛高，数据质量的问题大多来源于业务部 门，而业务部门大多不能也难于操作SQL查询，技术门槛成为数据质量校核的一大瓶颈.基于SQL的查询比对基本是基于命令行的操作，参数选择和任务配置较为繁琐，很难实现 灵活的模型管理和任务流调度管理，系统架构较为死板，灵活性与开放性均较差。数据质量校核的模型管理没有专业的工具来进行，只能借助数据库的现有的工具来进行， 当模型数量增加时，管理较为吃力.业务变动时或者新增需求时模型的修改与新建较为繁琐。很难进行基于统计意义的数据质量校核，例如孤立点探测，离群值探测等等。为解决以上问题，缩短与国际先进数据管理方式的距离，数据共同打造工商数据质量管理校核系统，引入专业的数据管理分析工具Spss modeler，结合工商总局现有的业务规则以及各地工 商实际业务特点量身打造本系统，推进工商数据精细化和科学化，其建设目标在于>实现领先的数据质量管理理念;>形成科学、实用的数据质量管理体系，数据质量校核模型体系；>建立数据质量管理长效协同机制；>扩展、深化数据管理内容，为进一步工商数据分析应用奠定基础。1.2我们如何帮您实现目标（方案简述）工商数据质量管理校核系统，是为工商管理领域提供的联合解决方案，该系统针对目前工商管 理中存在的数据质量问题，例如完整性问题、一致性问题、准确性问题、规范性问题以及问题数据 的追溯反馈问题，整合了数据仓库、数据分析，数据挖掘，可视化展现以及工作流等多项信息技 术，结合了工商总局现有的业务规则设计开发数据质量完整性模型，规范性模型，准确性模型，离群 值模型，孤立点探测模型等，近1000条业务规则模型，涵盖目前工商市场主体，案件，12315等 基本业务主题，实现对各地方工商业务数据的全面，专业，高效的数据质量校核与监控。同时，工 商数据质量管理校核系统也为进一步数据分析应用奠定了技术支撑。> 数据质量模型设计可视化：可视化操作，降低业务人员技术门槛> 数据管理校核任务流程化：采用工作流管理模式，可方便进行模型间的组合形成工作 流，同时对该工作流的调度管理按照任务管理模型进行，方便易用。> 问题数据追溯智能化：对于问题数据按照业务归属自动推送到相 关业务归口单位，实 现智能推送，闭环管理业务流程。> 标准八大业务模块:平时检查模块、集中检查模块，问题追溯模块,模型管理模块，可视 化展现模型，数据质量监测评价模块，数据质量分析模块，任务管理模块。1.3方案价值工商数据质量管理校核系统适用于省、市、区县工商管理部门，能够满足现有工商业务数据 质量管理的基本需求；内嵌总局规范的数据质量管理模型体系（校核规则近1000条），能够根据 各地实际业务需求进行灵活定制开发,快速响应新业务需求，可以深化和扩展数据管理内容，实现 数据应用分析的扩展需求.实施本方案将为您带来如下价值：极大地提高了工商数据管理效率按照工商总局实际应用统计，本系统对全国存量数据进行扫描校核，处理时间在20小时以内， 对于周新增数据进行扫描校核，处理时间在2小时以内。而以往采用SQL进行数据质量校核，存 量校核处理时间在3天以上，可见，应用系统后数据质量管理效率明显提高.大大降低了数据质量管理成本本系统采用先进的工具软件进行模型设计，大大降低了模型设计开发与维护的技术门槛，普通 业务人员经过简单培训就可以快速上手，缩短了与技术人员交流的时间，大大降低了管理成本。同 时本系统可方便进行存量数据和增量数据检查，系统针对不同业务主题进行合理的选择，实现数 据质量的增量检查和分环节检查，降低了检查负荷，提高了检查监控的频率，从而降低了检查成 本。为实现进一步数据分析应用奠定了基础数据质量管理校核内嵌全面系统的总局数据质量校核模型，可大大提高现有工商数据质量，同 时本系统采用的工具软件Spss modeler内嵌丰富先进的数据挖掘模型，可实现对现有工商数据的 深度应用分析，例如市场活跃度指数构建与分析，市场主体存活路径分析，信用风险模型体系构建等 等.1.4成功案例-J-国家工商总局数据质量管理校核系统H.I: Ji-.al is i . iBfy中华人民共和国国家工商行政管理总局#，Administration for ImduMry & Comms re* of thv Powpl十# Rg-publlc： of China第2章工商数据质量管理校核系统解决方案介绍2.1总体架构工商数据质量管理校核系统设计按照分层设计理念，分为网络通讯层，系统设施层，数据层，模 型层，分析展现层，应用系统层和界面层，系统建设的同时建设数据质量评价校核的安全体系，标 准体系和协作体系，具体如下图所示：觥原鱼仟愀核朱中检苜客户端间冠裁据遣球愤城废爵型甘理蛇据JSfit有析熟据触辨吉 W_ -«辛时蛭养叩蛭即席查询坦函展玦DahbL j：d业务愤用斤OLAP Report项苞性七齿系统没腕冠ts范性-sm许帝横塑斧忻模型 ，评丽里完狡姓评谕板义异河也I 业金 拆测我里|/按模型福帽福树有作 12?15,行航援I独问.R阳嵬:T 宜嵬.T 至心I山下右悒胃数据尊主机设备': 有倨很备玄全设备）1系坑款件位!婚i臣汛，层|电千或好网|图表i逻辑结构图其中集中检查的外业部分采用客户端进行，客户端自身携带检查任务，检查工作流，问题数据 库。当外业工作完成后，可以将检查结果（问题数据库）提交到服务器端的问题数据库中。2.2功能模块工商数据质量管理校核系统包括数据质量监测评价校核，问题数据追溯反馈和数据质量模型 管理三大核心模块以及前端展示模块和数据质量分析模块等组成。其中数据质量监测评价校核模块的主要功能如图2所示。数据 质量 监测 评价 校核 模块图2数据质量监测评价校核模块功能图问题数据追溯反馈模块的主要功能如图3所示.图3问题数据追溯模块功能图数据质量模型管理模块的功能如图4所示。图4数据质量模型管理模块功能图数据质量前端展现主要完成对现有数据的质量分析查看，帮助深入了解数据质量主要存在的 问题，区域分布特点，业务分布特点，质量变化趋势等等，主要借助Cognos展现工具来实现。数据质量分析模块包括： 设计评价模型 设计评估模型， 使用工具软件采用 Spss modeler (Spss Spss modeler 13。0)通过看我们已经做好的国家工商行政管理总局数据质量评价校核管理系统的一些截图，可以 使读者更了解本解决方案，下面的是平时检查模块的页面截图，如图5所示。国家工商行政管理总局数据中心SlartBFor inrtielry & Cepnmtrro iMtiC&nterw蜉心.tut中币用主律际旦:空团M何5用h河3E朋曜才童刀-磐互?3!0凭英图5平时检查页面截图以下是平时检查部分的模型开发列表，如图6所示。名掰A也平ST真名单完整性_YLL_YZFML_Q¥_1O23. str 由平时藻名单_准确ti_YLL_YZFJfMLj9¥_1023. xtr 西平时一内资一存续顶范性崖盘性JtIX_UF_WMLUQ23. str 回平时一内资一存续顶范牲Jt矣由YLLJf整如LJJL1Q23.血 旦平时一内资存续至整性_TLL_YZF_L_QT_IO23. str 钮平时-内费_存续一瘦确性_Yd_?M_ViM顷_1皿3" 由平时一内资年检_YZF_YLLJ9Y_iO23 str 关平时_?卜亳溪联性一存续JfWT_n±JlY023一 str 互平时夕资一年检溪整性_TLXJ7F_WML_QY。跤一戏 约平时/卜资工余性Uf_YLL_QY_lD23. str 均平时3卜资W整性J?Jf7FJfU_JJL1023. wtr 均平时歹资t满性存续JfTT_YLLjr_10233t 乂 1 平时_i人公司_联性_YZF_YLL_gY_L023 5tr 均平时一一人公旬_%余性宜F_YLL_就023. ?tr 回平时一一人公司_S£t4jZFJLL_0Y_lO23. str 戏平时一一人公司迎务检查JF_YLL=9?O23*tr 英平时一人公司_借确性_Y2?_rLLJiY_lS3. str勺平时一注吊销诚范姓亨联佳一吊销jfLLjfZFjyiLiaza. str 回平时_注吊销顶范性M联姓-注销-?皿登7逮叽_叫_1询一计 为平时注吊q肖顶范性项余性一吊销LLEFJTML_QY_1O23 str 为平时注吊铠项洁性JJL余性注销_YLL_Y7FWL_虬1023一 w :V平时一注吊4肖烷整性吊销_YLL_YZFJfFlLJJY_l023. str 勺平时一注吊销集基性一注植YLLJZFJMLJQYI023 str 为平时一注吊销一准碰性艾LLJf登_岫_9?_1023 str图6平时检查模型开发列表图以下是模型设计图,通过一个个的节点构成模型，如图7所示.玫虫隹虹£而血口巧侑仁TTM m&KJlWEF聃fTESTIER图7模型设计图2.3典型配置应用系统:工商数据质量管理校核系统数据库：IBM DB2 数据库接口： SPSS Access Pack提供的ODBC 工具软件：Spss modeler ( Spss modeler)操作系统：Windows 2000, Windows 2003 or Windows XP 硬件平台：IBM X3850存储系统：IBM DS48002.3.1 Spss modeler数据服务器配置说明2.3.1.1数量对性能的影响每个CPU的核心速率都会影响到数据挖掘性能.几乎所有的数据挖掘操作，尤其是建模，更依 赖于处理器性能，因此提升CPU速率相应地就能给许多Spss modeler操作带来相应的益处。当运行多个数据流时多CPU (或是多核CPU)平台能够有很好的性能改善。这就意味着用户 数量是决定CPU数量的决定因素.多CPU能够提升并行处理能力，但更大的好处就在于能够支持 更多的并发用户。表1 CPU数量与用户关系的建议表使用SPSS在生产服务器上执行数据挖掘任务，CPU的数量则要考虑同时执行的独立作业的 个数.同时建立多个模型或者把一个模型评分过程分解成多个平行步骤分派给多个CPU执行能够让 数据挖掘过程的性能达到最大。2.3.1.2内存对性能的影响大多数Spss modeler操作只需要很小的内存就能够处理大数据集。只有一些特殊的操作，如排 序，联合和建模需要把数据临时存放在内存中.如果内存不足，这些操作会把部分数据作为虚拟内 存存放在外部存储器中。此时性能会受到影响。因为磁盘的读写访问速度要远远低于内存。同CPU使用建议一样，用户数的多少同样对内存的需求有着密切关系，当然也与数据量的大 小有关。大数据集模型建立在数据挖掘过程中模型建立是对内存需求非常敏感的操作步骤。一般来说想要得到较好的效 果，模型建立的过程应当是在小数据集上建立多个模型，然后从中选择一个最佳模型应用，而不 是在一个大数据集上只建立一个模型。这种模型建立方式通常能够对内存的需求降到最低。虽然使用更多的数据未必能让模型的准确度更高，但是如果实际中确实需要处理大规模数据 的话，增加内存有助于性能的提升。列数行数（白力）10205010050010000.10.50.50.50.5240.50。50。50。514810.50。51281620。50。524163240.5148328128161624163232483264816表3内存需求与数据量的关系建议表表3中对模型建立过程中为了避免磁盘缓冲而所需要的内存需求提供了一些数据参考，其中的 数据估计是依据神经网络，K均值聚类和Kohonen建模算法。当然，实际中最大的物理内存也 要受操作系统的能力约束。