毕业设计(论文)胜利油田图头数据质量检测工具.doc
《毕业设计(论文)胜利油田图头数据质量检测工具.doc》由会员分享,可在线阅读,更多相关《毕业设计(论文)胜利油田图头数据质量检测工具.doc(33页珍藏版)》请在三一办公上搜索。
1、目 录1引言12 项目背景22.1项目提出的背景22.2名词解释22.3问题的提出32.4分析问题33 需求分析43.1产品介绍43.1.1 数据比较方法的设计思路43.1.2 应用目标43.2产品面向人群43.3产品功能性需求43.4产品模块划分53.4.1模块划分53.4.2文件导入模块53.4.3数据比较模块63.4.4数据修改模块73.4.5新数据文件管理模块83.5未来可能出现的需求及解决方案93.6故障处理要求94概要设计104.1系统设计目标104.1.1近期目标104.1.2长远目标实现系统的二次开发104.2系统结构114.2.1系统类图114.2.2类功能描述124.3系统
2、流程154.3.1系统总体时序图154.3.2系统时序图分析164.4数据对比解决方案的评估175 系统功能实现185.1 文件导入模块功能实现185.1.1 文件类型匹配检查185.2 数据比较模块195.2.1 表结构匹配检查205.2.2 数据量匹配检查235.2.3 数据比较245.2.4 比较结果显示245.3 数据修改模块265.3.1 切换数据库的逻辑处理265.3.2 动态存储要修改的表275.4 新数据文件管理模块285.4.1 保存修改数据286 总结30参考文献致谢1 引言在实现企业信息化的过程中,大家最常挂在嘴边的一句话是“三分技术、七分管理、十二分数据”,以此来表达对
3、数据的高度重视。数据可以说是一个企业的血液,它随着企业运作不断流动,并且在流动过程中随着数据的采集和使用不断变换着。在系统运行过程中,及早发现和纠正数据质量问题可大大降低成本和失败的风险。数据质量不高,有人简单地以为数据是错误的,数据不可用。其实数据质量问题比较复杂,不能用简单的对错来区分。简单的说,评价数据质量的唯一标准就是看它是否能够满足应用需求。在数据的流动过程中,质量低下的数据往往是在数据的采集和录入时产生的。目前有一种比较好的方法可以保证数据质量,即双工输入比较法。就是将同一批数据由两个输入人员在不同的时间和不同的终端上分别录入,并且形成两个临时数据库文件,然后由第三个人在程序的作用
4、下对两个库文件中的数据进行逐项比较并进行确认或修改。在这种方法中,尽管同一批数据被录入了两次从而造成了数据冗余和影响了录入进度,但对于对输入数据的正确性要求很高的场合,是一种不可缺少的和行之有效的方法,因为,两个数据录入者都同时在某处出错的机会极少,故这种方法可以极大地减少出错率2。“胜利油田图头数据质量检测工具”就是采用双工输入比较法的解决方案,专门检测录入数据质量的工具。2 项目背景2.1项目提出的背景胜利油田在对一口井进行测量的过程中,会通过地震、气压、光电等方法对这口井的各种情况进行测量,然后得出大量、复杂而又专业的图表。由于技术瓶颈的原因这些图表中所携带的数据还无法通过计算机技术自动
5、的识别并填写到基础数据库中。这就需要数据录入人员手工的来完成这项工作。由于专业的划分不同这些数据录入人员大部分对石油地址行业的数据不敏感,再加上超大的数据量使得录入数据库中的数据质量无法得到保证,而往往在现实生产活动中对数据有一个共同的要求,那就是数据的准确性和精确性,因而新录入的数据无法直接使用,必须通过有着相当专业知识的数据质量检测人员对数据进行检查。2.2名词解释(1) 胜利油田数据质量录入人员:胜利油田负责将基础数据录入数据库中的专业人员,他们的工作是从实际生产中等到的各种图表数据中识别出有用的基础数据,并将这些基础数据录入到数据库中。(2) 胜利油田数据质量检测员:胜利油田负责检测数
6、据质量的专业人员,他们的工作是分析和排除基础数据中的质量问题,保证数据在流动过程中的准确性。(3) 双工输入比较法:将同一批数据由两个输入人员在不同的时间和不同的终端上分别录入,并且形成两个临时数据库文件,然后由第三个人在程序的作用下对两个库文件中的数据进行逐项比较并进行确认或修改的方法。(4) 数据的准确性:数据的准确性一般是说数据的测量值与真实值相比的符合情况,但在油田生产数据的采集和加工处理过程中,数据的准确性往往是指采集入库的数据值和现场采集记录的正确值之间的差异。2.3问题的提出胜利油田数据质量检测工作现阶段存在的主要问题是:工作量巨大使数据质量检测人员对数据的敏感性下降,专业人员的
7、匮乏使得数据质量的检测工作质量年以保证,所有工作都由人工完成使得效率低下。希望解决的问题是:缺少一个能够有效的检测出录入数据错误的工具,能够改善胜利油田数据质量检测员高压的工作现状,帮助他们高效率、高质量的完成数据质量检测工作。2.4分析问题胜利油田图头数据是存储在ACCESS数据库的不同表当中的。由于测井形式多种多样导致这些ACCESS数据库中的表的结构也互不相同,这样就难以从石油地质专业的角度找到一个统一合理的解决方案来处理这些数据。从计算机技术的角度考虑我们采用双工输入比较法来解决这个问题。双工输入比较法解决方案的操作是这样的:通过对两个数据录入人员录入的两份具有相同结构的ACCESS数
8、据库中的数据的对比,可以找出两份数据中的差异。在一对存在差异的数据中,至少有一个数据是错误的,数据质检人员可以通过改正这写错误数据得到一份数据质量较高的数据文件。3 需求分析3.1产品介绍本软件的主要目标是通过数据比较的方法,使工作人员能够方便的发现录入到ACCESS数据库中的数据的错误,进而改正这些错误,以满足某些行业对数据质量的要求。3.1.1 数据比较方法的设计思路本软件的主数据比较方法是指通过对两份由数据录入人员录入到具有相同结构的ACCESS数据库文件中的数据进行比较,发现两份数据中差异的部分,则至少有有一个人的数据是错误的。由于两个人同时犯同一个错误的几率比一个人犯错误的几率低得多
9、,所以这种方法可以发现大多数的错误。3.1.2 应用目标此工具可以是数据质检人员方便的发现录入数据中的大部分错误,从而提高工作效率和质量。3.2产品面向人群本软件主要面向的人群是胜利油田数据质检人员,他们现在面临的主要问题是难以高效的对大量的录入数据进行检查,本软件可以方便的使他们发现录入数据中的错误,从而高效的完成工作任务。3.3产品功能性需求功能描述:软件的主要任务是实现对两个具有相同结构的ACCESS数据库文件中数据的比较,要求能够灵活的查看数据库表中的数据在数据库,要能够明确的标记差异的数据,在界面中可以对错误的数据进行修改,要能够生成新的数据文件,其结构与参与对比的两个数据库文件相同
10、,其数据为修改后正确的数据。具体功能需求如下:l 数据比较只针对结构相同的表,对不同者需要作出提示。l 需要实现查看全部表和只查看存在差异的表。l 需要实现参与比较的两个数据文件的同步和异步查看。l 需要实现查看全部表和查看存在差异的表。l 修改数据是需要实现修改数据库的动态切换。l 修改数据只针对新生成的数据文件,参与比较的两个文件不变。3.4产品模块划分3.4.1模块划分本系统划分为文件输入模块、数据比较模块、数据修改模块和新数据文件管理模块四个模块,具体信息如表3-1:表31模块划分Table 3-1 Module partition模块划分子模块文件导入模块文件类型匹配检查生成数据库连
11、接串数据比较模块表结构匹配检查数据量匹配检查数据比较比较结果显示数据修改模块切换数据库的逻辑处理动态存储要修改的表新数据文件管理模块保存修改数据生成新数据文件3.4.2文件导入模块功能描述:此模块负责导入两个ACCESS数据库文件,并与对应的两个ACCESS数据库取得连接。3.4.2.1 文件类型匹配检查表32文件类型匹配检查Table 3-2 Check the file type matches名称、标识符文件类型匹配检查功能描述检查导入的两个数据文件是否都为ACCESS数据文件输入两个数据文件操作序列在导入两个数据库文件后执行输出1、若两个文件都是Access数据文件,继续执行;2、若两
12、个文件不都是Access数据文件,作出提示。3.4.2.1生成数据库连接串表33生成数据库连接串Table 3-3 Database connection string generated名称、标识符生成数据库连接串功能描述生成两个数据库文件对应的连接字符串输入两个数据库文件路径操作序列在导入两个数据库文件,并检查类型匹配通过后执行输出两个Access数据库的连接串3.4.3数据比较模块功能描述:对两个数据库中结构相同的数据表中的数据进行比较,差异数据作出明确标识。3.4.3.1 表结构匹配检查表34表结构匹配检查Table 3-4 Table structure matching check
13、名称、标识符表结构匹配检查功能描述对名称相同的两个表进行结构检查输入两个数据库中名称相同的两个表操作序列获取数据库连接并取得两个表后执行输出1、若两个表结构相同,则继续执行; 2、若两个表结构不同,则提示不能进行比较。3.4.3.2 数据量匹配检查表35数据量匹配检查Table 3-5 Check the amount of data matching名称、标识符数据量匹配检查功能描述检查两个数据表的数据量是否相同输入两个结构相同的数据表操作序列表结构匹配检查通过后执行输出1、 若两个数据表的数据量相同,则继续执行; 2、 若两个数据表的数据量不相同,则提示不能进行比较。3.4.3.3 数据比
14、较表36数据比较Table 3-6 Data comparison名称、标识符数据比较功能描述对两个数据表中的每一个数据进行比较输入两个结构和数据量都相同的数据表操作序列在表结构匹配检查和数据量匹配检查都通过后执行输出差异数据所在位置3.4.3.4比较结果显示表37比较结果显示Table 3-7 Comparison of results名称、标识符比较结果显示功能描述将对两个表中数据比较的结果显示出来输入1、 两个进行比较的数据表2、 差异数据所在位置操作序列在数据比较完成后执行输出1、 对没有差异的数据正常显示; 2、 对存在差异的数据用红色标记,其所在行用蓝色标记。3.4.4数据修改模块
15、3.4.4.1 切换数据库的逻辑处理表38切换数据库的逻辑处理Table 3-8 Logic processing of switch database名称、标识符切换数据库的逻辑处理功能描述处理切换数据库时的逻辑关系输入1、 上一次选择的数据库2、 当前选择的数据库操作序列在比较结果显示、新数据库文件生成后执行输出当前选择表的基本信息及其中的数据补充说明3.4.4.2动态存储要修改的表表39动态存储要修改的表Table 3-9 Dynamic storage modification table名称、标识符动态存储修改的表功能描述将当前选择的表中的数据存储到新数据库文件中(选择是在两个数据库
16、中具有相同名称的两个结构和数据量都相同的表之间进行)输入当前选择表的基本信息及其中的数据操作序列在生成新数据库文件、选择要修改的数据库后后执行输出将获得的表的数据更新到新数据库文件中补充说明3.4.5新数据文件管理模块3.4.5.1保存修改的数据表310保存修改的数据Table 3-10 Save the modified data名称、标识符保存修改的数据功能描述将修改后的数据保存到新数据文件对应的表中输入1、 修改数据的位置2、 修改后的值操作序列在修改数据后执行输出1、 界面上显示修改后的值; 2、 修改后的值保存到了新数据文件中。补充说明3.4.5.2生成新数据库文件表311生成新数据
17、库文件Table 3-11 Generate a new database file名称、标识符生成新数据库文件功能描述生成一个新数据库文件输入默认修改数据库的连接串操作序列在生成数据库连接串后执行输出新的数据库文件(其中的表和表中的数据与默认选择表所在数据库相同)所在路径补充说明3.5未来可能出现的需求及解决方案(1) 两个数据录入人员录入数据质量统计:描述:现需求要求修改数据时只针对新生成的数据库文件,两个进行比较的数据库文件中的数据不变。可能添加对原数据文件与新生成的数据文件对比取得的数据质量的统计数据。解决方案:在改变要修改的表时,针对修改前的表进行数据比较和统计,生成新数据库文件时总
18、合这些单个表的统计数据,得出两个数据录入人员录入数据的质量统计。3.6故障处理要求(1) 程序在运行时主要会出现两种错误:l 由于输入信息格式不正确或类型不对应产生的错误。l 由于两个数据库中一对同名表的结构不同导致无法比较。(2) 出错处理对策:对于第一种错误,须在输入修改数据后对修改后的数据进行分析,若符合要求则更新,若不符合要求则恢复原来数据并作出提示。对于第二种错误,须在显示表时对这一对表的结构进行判断,若相同则正常显示,若不同则不显示,并作出提示。4概要设计4.1系统设计目标4.1.1近期目标:(1) 界面设计合理化界面设计的好坏直接影响用户使用软件的体验,简单、易用、明了的界面可是
19、使用户使用起来非常的方便、舒服。本软件在设计时尽力考虑到以上的原则:数据库文件中需要查看的表比较多所以考录用TreeView控件,展开后可全部显示,方便查找;突出数据显示区域,保证界面美观的情况下把这一区域做到最大;两个显示表中数据的DataGridView控件上下对齐摆放,以方便同步操作和查看。(2) 系统实用性系统的设计应注重与现有系统的结合,尽量的减少冗余和流程上的改变,使得使用人员操作简便、易懂易学,最大限度的满足各项功能要求。系统界面统一、提示准确、操作简单。(3) 系统的健壮性和可靠性系统总最容易引起错误的地方在于两个数据库及其中表的结构的比较,因此必须对两个数据库及其中表的结构进
20、行可靠的检测,在系统实现过程中采用完备的异常处理机制,对各个异常进行实时处理提醒,尽量保证程序运行的可控性,使得到的结果符合实际需要。4.1.2长远目标实现系统的二次开发(1) 使用三层架构增加系统的可维护性3通常意义上的三层架构是将整个业务应用划分为:表现层(UI)、业务逻辑层(BLL)、数据访问层(DAL)。区分层次的目的是为了“高内聚、低耦合”的思想。表现层(UI):通俗的讲是展现给用户的界面,即用户使用一个系统时的所见所得。业务逻辑层(BLL):针对具体问题的操作,也可以说是对数据层的操作,对数据业务逻辑处理。数据访问层(DAL):该层所作事物直接操作数据库,针对数据的添加、删除、修改
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 毕业设计 论文 胜利油田 数据 质量 检测工具
链接地址:https://www.31ppt.com/p-3984595.html