XX县特色基础数据仓运营服务项目采购需求.docx

XX县特色基础数据仓运营服务项目采购需求一、采购清单序号名称分项服务明细单位数量按照要求国标、省市地标及委办数特色基人口据需求情况，提供人口基础仓运营础数据基础服务，并在服务期内持续提供包括1仓数据新增数据采集、库表融合、主、专项1人口仓仓服题库建设等服务工作。（不包含数服务务据的计算、分析、模型搭建等工作）。按照要求国标、省市地标及委办数特色基法人据需求情况，提供法人基础仓运营础数据基础服务，并在服务期内持续提供包括2仓数据新增数据采集、库表融合、主、专项1法人仓仓服题库建设等服务工作。（不包含数服务务据的计算、分析、模型搭建等工作）。人口及法人类在特色数据仓的工作成果上，结合地方数据运营服务机制及管理工作的要3数据标数据求，制定符合本地特色的人口、法项1准标准人类数据标准，并进行发布，以指制定导后续相关数据工作的开展。及发布14培训数据资源培训（不少于5次）针对全县各委办数据专员及需申请数据使用人员进行培训，将数据仓的数据资产情况、申请流程等充分告知项15迁移应用数据服务迁移将开店宝应用的数据供给方式由原有的多个业务库表汇聚计算，优化为从人口、法人数仓中融合出的专题库表进行计算，以提高该应用的数据供给服务质量。项16数据运营服务人口及法人类数据运营服务1,自合同签订起，三年内，提供人口、法人类数据的持续采集、质量探查、治理、清洗等数据工程服务:2,自合同签订起，三年内，为县所有大数据应用提供治理融合后的高质量的人口、法人类数据支撑，包括数据共享服务和数据服务接口（不包含数据的计算、分析、模型搭建等工作）。项1二、采购服务具体内容及要求（一）项目背景1 .上级工作有要求2023年XX省大数据局围绕省委、省政府三个"一号工程"和“十项重大工程”等中心工作要求，推进数据深度开发利用工程，明确提出重点开展基础数据2治理，打造一批好用易用的数据产品，实现从原始数据到数据产品的新跃升。同时对市县提出工作要求，配合高频数据治理，并将治理好的数据反哺省平台。按需使用省通用数据产品，结合本地中心工作大局，开发本地优秀数据产品，依托IRS数据产品专区进行推广。2 .本级工作有需求XX县数字化转型工作已从数据基础建设阶段，进入了数据运营阶段，各委办局、乡镇街道迫切希望可以方便快捷的使用跨业务、跨部门的高质量数据资源。前期大数据局通过公共数据管理平台提供数据供给服务，来满足业务部门的数据需求。随着业务部门对数据的需求增多，数据质量要求增加，数据维度更细化,导致大数据局疲于频繁处理相似内容的数据服务。针对这一问题，亟需一套完整数据应用支撑体系，按照统一的特色数据仓库，将大数据局拥有的海量政务数据服务垂直专项业务应用，通过数据运营服务，形成本地特色的基础库，提供持续高效的提供数据服务，以满足业务部门对跨部门数据协同的迫切需要，全面提高县内整体数字化水平。3 .运营依据2022年10月，国务院印发全国一体化政务大数据体系建设指南的通知提出，汇聚城市人流、物流、信息流等多源数据，建立城市运行生命体征指标体系，在确保数据安全的前提下，推进数据深度开发利用工程，进一步激活数据要素潜能。2022年12月，中共中央、国务院发布的"数据二十条”第二条中提到“强化优质供给，促进合规流通。顺应经济社会数字化转型发展趋势，推动数据要素供给调整优化，提高数据要素供给数量和质量。建立数据可信流通体系，增强数据的可用、可信、可流通、可追溯水平。实现数据流通全过程动态管理，在合规流通使用中激活数据价值"。2023年1月，2023年XX省政府工作报告提出，实施营商环境“一号改革工程"，健全具有XX特色的营商环境评价指标体系，XX省营商环境优化提升"一号改革工程”总体方案中将推进数据要素市场化改革、拓展数据要素价值转化应用场景列入今年的重点工作.（二）现状分析1 .建设现状XX县共有数据表单2091张，涉及67个委办、部门、街道，近30亿条数据。XX县数据质量提升建设历程如下：2020年首次对大数据局所归集的全量数据，进行质量探查，并出具质量探查报告，将存在空值、字段异常等问题的数据，反馈给相关数源单位，确认字段的业务属性和重要程度，进行整改，提升整体数据质量。2022年针对委办不断增加的数字化改革和大数据创新应用的建设需求，响应省市部门要求,在2020年的工作成果的基础上,开展大数据高质量供给工作，截至目前为止己向10多个委办，20多个应用持续输出高质量的数据支撑工作。2023年为响应省市要求，结合省市回流数据、县本级数据、其他数据，构建本地特色的人口、法人基础数据仓；同时不断丰富各类场景的专题服务，从而进一步提升数据质量，并将数据供给链路从原表加工，优化为以特色基础数据仓为依托，以专题数据服务为输出的高效、便捷的数据供给链路。2 .问题分析2.1 现有数据供给模式亟需改变现有数据服务模式，往往由委办局发起，为满足业务应用而申请所需数据,大数据局接到数据服务请求后，在省市IRS资源库进行数据申请，接收到数据反馈后进行数据关联整合（往往数据服务涉及多个数据库的多张数据表），并将处理后的数据反馈给委办局。由于委办局发起的数据服务申请是基于单次业务的，就存在多次数据处理中存在数据服务内容多次重复的问题，频繁的、重复的数据服务工作也将大量地占用了大数据局的工作人员的宝贵时间。与此同时,这种工作模式问题也存在风险,一旦数据更新，这个数据申请应该要重新计算，还需要重新告知提出需求的委办局。同时数据服务的相关人员变更，导致数据无人管理、更新、维护的问题。2. 2委办应用亟需更全面的数据支撑4从委办局数据服务的需求上看，委办的应用如民政精准识贫应用、XX安骑智管等项目上，希望对数据进行综合关联分析，以往单表的数据供给方式已无法满足全面性的需求，比如目前县公安局就已经不再提供XX县户籍人口信息，大数据局能使用的人口数据是省公安的常驻人口表、XX市自建的楼管家系统数据、卫健委的个人疾病史、社保回流数据等数据，但这些数据存在数据更新不及时、数据采集没有完全覆盖、数据内容滞后与实际情况等问题，导致了现有人口基本数据包含信息不全，比如缺乏学历信息、婚姻关系、车辆资产信息、奖惩信息、护照信息等信息，不足以支撑委办业务相关的各个公共服务，因此需要建设更全面、准确的基础数据仓。（三）运营内容和目标1.运营内容将省、市回流的人口、法人相关数据和本地数据进行全面融合，按照"一数一源”的原则，对数据湖的数据进行清洗比对融合，并进行标准化处理，以消除数据孤岛，屏蔽源系统的变化对应用的影响，形成XX县特色的基础数据资源。对数据进行清洗融合，建立数据间的关联关系，形成XX县融合的基础数据资源，消除"各自为政、条块分割、烟囱林立、信息孤岛”等现象；实现"一数一源”，建立XX县权威的基础数据资源，以统一的来源与口径对外提供基础数据，消除数据在各使用部门间不一致性现象，避免数据打架，同时有效提升基础设施利用率:构建稳定的基础数据仓模型及标准规范，建立标准化的基础数据资源，并通过标准接口对外提供服务，降低各部门使用数据的难度，同时消除各源系统数据结构的变化对各部门数据应用的影响；制定涵盖数据供给链路全过程的管理规范及制度，并形成长效机制，有效避免重复建设造成的新一轮"信息孤岛”和"数据烟囱"，促进XX县电子政务健康可持续发展。2.预期目标5为实现以优质的数据共享、支撑服务促进委办的数据应用，在现有数据供给的基础上，进一步融合人口及法人相关数据，打通人口的基本信息、家庭信息、资产信息、共富信息、文明诚信信息等全方位信息，打通法人基础信息、监管信息、审批备案、经营信息等全方位信息，并依托特色基础数据仓，提供面向各类专题的数据服务。2.1 运营管理完善通过建立人口数据、法人数据的更新机制，确保数据的鲜活性，保障人口数据、法人数据在采集、治理、共享、运营环节的更新迭代能力，为委办局提供服务支撑，帮助数据服务人员提高效率。2. 2服务质量提升项目通过系统自检、人员巡检等多种检查方式，确保系统健康、稳定、高效的运行。对故障根据故障等级不同进行不同级别的响应。对于系统出现的问题，及时进行处置整改，一般问题由现场服务人员直接解决排除，复杂问题联合研发、咨询、测试一起协调解决。3. 3统筹省市县和社会面的人口及法人数据在原有人口数据基础上，尽可能多的结合其他数据，摸清县内人口底数，提升人口基础数据质量，构建XX人口基础库，深入践行数据资源化、资源目录化、目录全局化、全局标准化的发展理念，逐步摆脱传统单表的查询、下载、比对等单一服务方式，根据人口数据业务功能对服务进行分类，构建一体化服务目录。本次特色基础数据仓-人口仓，基于一体化智能化公共数据平台，通过对接公安、人社局、民政局等委办局，进行人口相关数据的采集、清洗融合、治理等工作，并进一步完成功能扩展，构建全县统一的人口基础信息数据库。本次特色基础数据仓-法人仓，基于一体化智能化公共数据平台，通过对接市监局、税务局等委办局，进行法人相关数据的采集、清洗融合、治理等工作,并进一步完成功能扩展，构建全县统一的法人基础信息数据库。4. 4搭建全新的数据共享服务机制6依托IRS数据资源管理系统、省市县三级公共数据平台，实现服务的封装和发布，优化数据服务流程，做到全过程留痕、全流程监管、服务智能感知和响应，对各项数据共享服务进行跟踪反馈，及时根据业务需要调整完善，提高数据仓的服务质量。5. 5突破性探索委办应用共创的数据支撑聚焦破解委办业务共创的普遍性难题、新题，研究支撑社会服务体系的高质量数据，构建高质量和谐社会。（四）性能需求本次项目的特色基础数据仓，需严格按照相关标准规范要求，为XX县人口及法人相关的数据应用场景提供高性能、高可靠性、易扩展、高可用性、特色鲜明的数据服务，并能在未来一段时间内保持先进性，高性能。1 .基本性能指标稳定性要求：此项目为数据服务类项目，应基于数据资源平台开发提供基础库，并适配资源平台环境。在常规压力下需保持7*24小时稳定运行，事务成功率需达98%以上。2 .响应指标数据服务类接口响应时间需小于等于2秒3 .处理能力指标数据抽取平均每秒效率需不低于20万条。数据加载平均每秒效率需不低于20万条。数据服务支持正常IoOO个并发用户情况下的系统响应时间需小于3秒。（五）运营服务的内容要求1服务内容总体要求7服务主要内容：XX县特色人口、法人基础数据仓运营服务支撑。1.1 机制搭建搭建"以场景需求为导向，以业务单位为中心，以共建共治为模式，以数据服务为核心”的数据运营服务机制。1.2 运营服务工作为委办局提供人口、法人库应用的源数据基本服务支撑，包括数据共享服务和数据服务接口。委办有涉及人口、法人库基本数据需求的，全部由本次运营服务提供。以人口、法人基础数据仓为支撑，为委办局提供人口、法人库应用的高质量数据服务支撑，包括数据共享服务和数据服务接口。委办有涉及人口、法人库高质量数据需求的，全部由本次运营服务提供，包括数据的采集、质量探查、治理、清洗,融合后提供高质量的数据支撑（不包含数据的计算、分析、模型搭建等工作）。1. 3本地标准制定及发布在特色数据仓的工作成果上，结合数据运营服务机制及管理工作的要求，制定符合本地特色的人口、法人数据标准，并进行发布。针对全县委办的数据专员开展培训，以指导后续相关数据工作的开展。1.4运营服务内容清单数据运营服务,是在数仓建设的基础上，以服务的方式对数据进行持续采集、治理及面向各类需求的专题服务，是数据价值得以发挥并持续的保障。本次项目的运营服务包括人口、法人类数据在未来三年的持续采集、质量探查、治理、清洗等数据工程服务，以及提供治理融合后的高质量数据支撑，包括数据共享服务和数据服务接口。服务清单如下：序号名称分项服务明细单位数量特色基人口按照要求国标、省市地标及委办数1础数据基础据需求情况，提供人口基础仓运营项1仓数据服务，并在服务期内持续提供包括8人口仓服务仓服务新增数据采集、库表融合、主、专题库建设等服务工作。（不包含数据的计算、分析、模型搭建等工作）。2特色基础数据仓法人仓服务法人基础数据仓服务按照要求国标、省市地标及委办数据需求情况，提供法人基础仓运营服务，并在服务期内持续提供包括新增数据采集、库表融合、主、专题库建设等服务工作。（不包含数据的计算、分析、模型搭建等工作）。项13数据标准人口及法人类地方数据标准制定及发布在特色数据仓的工作成果上，结合数据运营服务机制及管理工作的要求，制定符合本地特色的人口、法人类数据标准，并进行发布，以指导后续相关数据工作的开展。项14培训I数据资源培训（不少于5次）针对全县各委办数据专员及需申请数据使用人员进行培训，将数据仓的数据资产情况、申请流程等充分告知项15迁移应用数据服务迁移将开店宝应用的数据供给方式由原有的多个业务库表汇聚计算，优化为从人口、法人数仓中融合出的专题库表进行计算，以提高该应用的数据供给服务质量。项196数据运营服务人口及法人类数据运营服务1、自合同签订起，三年内，提供人口、法人类数据的持续采集、质量探查、治理、清洗等数据工程服务；2、自合同签订起，三年内，为县所有大数据应用提供治理融合后的高质量的人口、法人类数据支撑，包括数据共享服务和数据服务接口（不包含数据的计算、分析、模型搭建等工作）。项1为委办局提供人口、法人库应用的源数据基本服务支撑，包括数据共享服务和数据服务接口。委办有涉及人口、法人库基本数据需求的，全部由本次运营服务提供。以人口、法人基础数据仓为支撑，为委办局提供人口、法人库应用的高质量数据服务支撑，包括数据共享服务和数据服务接口。委办有涉及人口、法人库高质量数据需求的，全部由本次运营服务提供，包括数据的采集、质量探查、治理、清洗，融合后提供高质量的数据支撑（不包含数据的计算、分析、模型搭建等工作）。1. 5运营服务期运营服务期：自合同签订之日起三年内。2. 6服务原则遵循''统筹规划，协同实施，资源共享，分级负责”的总体原则。服务要标准化，要有整体规划、数据安全、操作易用。1.7服务总体设计框架依据服务内容，设计服务总体框架，应分层建设。1.8技术路线需要选择数据治理和运营服务采用的技术路线。1。2.基础仓设计要求2.1 人口仓模型设计要求1.1 .1物理模型设计要求数据库在物理设备上的存储结构与存取方法称为数据库的物理结构，它依赖于选定的数据库管理系统。为一个给定的逻辑数据模型选取一个最适合应用环境的物理结构的过程，就是数据库的物理设计。1.2 .2逻辑模型设计要求逻辑模型设计是对概念模型设计的进一步细化，根据数据的产生频率及访问频率等因素综合考虑，确定数据热度和数据关系等规则。作为概念模型到物理模型转换的中间过程，逻辑模型设计时兼顾业务理解和系统实现。2.2人口仓数据整合要求基于人口仓的整体需求，对数据湖（贴源层）己归集的人口数据资源开展模型治理，通过数据清洗加工、基于业务背景及要求的处理加工、以及面向专题场景的运营服务，构建整合数据资源、开发人口类数据产品服务，形成指标口径一致、统存统用的基础人口数据仓。2. 2.1人口仓明细宽表构建要求对贴源层的数据按人口数据域进行整合、清洗（数据标准），形成人口仓明细宽表。2. 2.2人口仓专题服务表要求面向健康医疗、教育信息、就业社保、社会关系、救助信息、生活信息、资产信息和资质荣誉等各类应用场景，我们可以从人口仓明细宽表提取特定维度的数据生成专题服务表,进行关联统计,提高数据查询的速度,减少系统响应时间。2. 2.3人口仓开发原则人口仓在数据库分层开发中可以对应数据仓库明细层数据，主要针对来自数据湖中的操作层数据进行处理。2. 3法人仓模型设计要求11构建法人单位基本信息模型。法人基础信息是标识法人不可缺少的基本元素,是使用最频繁、最基础和最重要的信息。2. 3.1物理模型设计要求数据库在物理设备上的存储结构与存取方法称为数据库的物理结构，它依赖于选定的数据库管理系统。为一个给定的逻辑数据模型选取一个最适合应用环境的物理结构的过程，就是数据库的物理设计。2. 3.2逻辑模型设计要求逻辑模型设计是对概念模型设计的进一步细化，根据数据的产生频率及访问频率等因素综合考虑，确定数据热度和数据关系等规则。2. 4法人仓数据整合要求基于法人仓的整体需求，对大数据资源平台己归集的政务数据资源开展模型治理，通过数据清洗加工、基于业务背景及要求的处理加工、以及面向应用专题场景的开发，构建整合数据资源、开发DWD层法人主题库，ADM层法人专题库，形成指标口径一致、统存统用的基础法人大数据资源库。2. 4.1法人仓明细宽表构建要求对抽取至数据湖中的数据按法人数据域进行整合、清洗（数据标准），形成法人仓明细宽表。2. 4.2法人仓专题服务表要求面向企业监管信息、审批备案、生产经营、司法信息、资产信息和资质荣誉等各类分析应用，我们可以从法人仓明细宽表提取特定维度的数据生成专题服务表，进行关联统计，提高数据查询的速度，减少系统响应时间。3. 4.3法人仓开发原则法人仓在数据库分层开发中可以对应数据仓库明细层数据，对数据按不同的数据域进行分类、整合、清洗，主要针对来自数据湖中的操作层数据开发，对这一过程的数据进行数据清洗、关联扩充、维度解码等操作，提供给下游明确的业务过程数据。3 .数据标准要求12在特色数据仓的工作成果上，结合数据运营服务机制及管理工作的要求，制定符合本地特色的人口、法人类数据标准，并进行发布，以指导后续相关数据工作的开展。数据治理标准体系应该包括基础共性、数据基础设施、数据资产管理、数据流通、数据安全5个方面。4 .数据迁移应用数据服务迁移的需求，将开店宝应用的数据供给方式由原有的多个业务库表汇聚计算，优化为从人口、法人数仓中融合出的专题库表进行计算，以提高该应用的数据供给服务质量。5 .数据安全建立数据安全保障机制，保障基础数据仓的数据安全，包括数据存储安全、传输安全、脱敏安全等等。（六）服务机制搭建要求1 .数据需求调研在人口、法人基础数仓搭建之前，需制定对数据需求单位进行调研的思路。2 .数据质量问题整改机制数据质量是在运营中不断完善提升的，需构建数据质量的整改机制。3 .高质量数据供给基于数据运营和数据服务的需要，提出高质量数据供给的运营思路。4 .数据联动治理机制需构建用机制保证建立省市县数据联动治理机制。（七）组织及服务计划要求1 .组织保障13为实现数据仓运营服务，需要成立专门的组织进行保障。2 .服务计划本项目为购买人口、法人基础数据运营服务，周期为三年，需要简单制定服务计划。()服务运营培训要求1 .售后运营服务要求1.1 运营售后服务人员：系统运行维护人员，至少1人，提供售后人员名单；运营服务人员，提供人口、法人类数据的持续采集、质量探查、治理、清洗等数据工程服务，保持至少2人，提供运营服务人员名单。1.2 运营服务期：自合同签订之日起三年内提供运营服务。2 .培训要求针对全县各委办数据专员及需申请数据使用人员进行培训，提供每年不少于5次的培训。14