数据研发流程规范.docx

军标n论HiXffS研发流程规范经过前面阜节，我们明确了表和指标的规范,数据存储和建模规范，但这还不足以消除掉数据重复建设的风险，我们还需要从整个研发流程上进行规范.研发流程这块遵循了目前标准的软件研发流程，整体流程涉及需求调研、模型设计、开发测试、模型上线四个主要环节。需求调研下模型设计开发测试模型由")害来分析手Jtt吩本开龙打包卜线EQO口海程系绘潮W微型设计的人事核«1里父技-O-j-u口r段分析横暨W审业务费试w布国AC业一家/明C|文&7C计调*RCa三uih八9*½na哀¥发15分QM加工佶身;一求调研)馍型设计开发测试，/模型上线害求分析主1*分”本开发打包上线444ZU_玄程系循8刷气型设计出本审核anWd-1.-d-3J-而序及分析*i1业务费试微星发布TMJt¾三÷ttWWW在需求调研阶段，研发人员要根据需求说明书中来理解业务方的需求，将自己所理解的需求和业务方达成一致，再结合目前系统中存在的数据，对整个需求进行分析和梳理，确保数据能满足需求，形成最后的需求调研文档;需求调研阶段完毕后，进入模型设计:首先根据前期需求调研文档来选择合适的数据主题进行归类和划分，随后进行模型设计，模型设计上主要根据之前章节的规范化思想来设计规范化的表和指标,以及存储模型和数据模型，同时兼硕宽表夏用性和性能等因素，这些都落地成文档后,发起一次模型评审，由业务方，研发，数据管理人员多方参与，共同评审该模型设计是否达标，在达标后才能进入下一阶段，也就是开发测试阶段;在开发测试阶段，我们需要将设计的模型进行脚本编写，也就是ET1.发，并进行线下调试，待全部完成后,数据管理人员需要对已经开发的脚本进行审核，相当于对需求实现和需求目标是否一致的二次校验，审核除了看实现和目标是否一致外，还翕要看开发中表，指标的规范性，数据存储定义和模型建立是否和当初设计的一致，避免偏离航道，造成数据的不规范化开发，所以在脚本审核环节，对数据管理人员有较高的要求，和之前描述的一样，数据管理人员需要对业务和数据规范化有非常深的理解度,才能进行全面把控，对不规范的脚本给出意见，协助研发共同建设规范化流程，直至审核通过审核通过后进入业务测试环节,由测试同学接手,对整体数据正确性，性能等方面进行全面化测试，测试通过后才能进入上线环节.模型测试通过后，就可以在生产环境中进行部署了,上线后需要对模型进行监控和睑证，主要目的是看模型服务是否能稳定为业务提供数据支撑，并对其使用情况等进行分析，同时将模型的实体和属性说明文档发布给仓库数据的使用者,使模型得到更好地应用.上面介绍了整个数据研发的流程以及各个模块的作用，以及具体要做的事情，那下面说下我司在这些环节中是建设了什么工具来落地的：1.需求调研阶段：在这个环节，使用了公司的项目管理平台来集中化进行项目需求的管理，业务方在项目管理平台上提出需求，然后由产品人员接手,通过线下电话或是邮件，会议沟通后，产品和业务方对需求理解达成一致后,产品输出业务需求说明书，上传至项目管理平台上；研发人员在平台上对业务需求说明书进行查阅，经过前面说的需求分析，系统调研，表和字段分析后，对产出的需求调研文档和表和字段分析结果统一上传至项目管理平台中进行管理；2.模型设计阶段：在这个阶段，研发人员将模型设计好后,组织会议多方进行模型评审,最后形成的模型设计说明书也会上传到项目管理平台中进行统一维护；3 .开发测试阶段：也就是前期设计的模型的实施阶段，该阶段需要进行建表，指标,ET1.流程开发等处理,但是这些新建的指标,表信息，我们维护在哪呢？我们如何解决每次进行ET1.研发流程都需要进行大数据环境搭建的高成本问迤?基于这些问题，搭建了一套数据仓库管理平台，所有的数据表,指标的建立，ET1.流程的开发均在该平台上进行，该平台承载了目前整个部门的所有数据流程和元数据管理，旨在管理规范化元数据，井提供一站式数据研发集成环境，提高研发效率.在后面工具体系建设章节中我会对该平台的建设进行细化的讲4 .模型上线阶段：模型的上线我们也在数据仓库管理平台上做，其支持一键发布功能来提高上的率；上线后验证无误，所形成的模型实体和属性文档也需要上传至项目管理平台中，至此一个完整的数据研发流程就结束了.总体来说，整个研发过程除了依线下调研，沟通外，还构建了两个工具：项目管理平台和数据仓库管理平台，其中项目管理平台旨在集中化进行需求的全生命周期管理，能提高管理效率，帮助我们沉淀业务，做到了需求可追溯，文档可积累；数据仓库管理平台则承载着开发测试阶段&模型上线阶段中元数据规范化创建和管理，数据高效研发的核心职责，这两个工具配合使用，使得整体研发规范得到了保瘴，研发效率得到了提升。