《数据标注工程》第四章数据标注质量检验课件.pptx

大数据应用人才培养系列教材,数据标注工程,大数据应用人才培养系列教材,5.1 数据标注工厂设计,第五章 数据标注管理,数据标注工厂的办公区域划分,5.1 数据标注工厂设计,第五章 数据标注管理,数据标注工厂设计平面图,大数据应用人才培养系列教材,5.2 数据标注管理架构,第五章 数据标注管理,数据加工从业务性质上可以划分为三个部分：数据采集；数据清洗；数据标注。数据采集组由于主要负责采集工作，设立数据采集组负责人，并根据项目小组划分，设立项目小组长。数据清洗组业务模式分为原始数据的质量检验工作以及敏感隐私数据的清洗工作，所以除了设立数据清洗组负责人外，还需要在负责人下面分别设立原始数据质量检验组长以及敏感隐私数据清洗组长，两个组长下面再分别项目小组，设立项目小组长。数据标注组因为标注方法类型比较多，所以需要根据标注方法类型进行管理。每种类型的数据标注分别设置单项标注负责人，然后再根据项目安排项目组长；因为数据标注项目需要多个项目小组共同参与完成，所以需要在项目组长下面设立项目小组长；因为数据标注项目小组的工作质量是由标注质检员进行检验的，所以一般数据标注项目小组长由质检员担任。,大数据应用人才培养系列教材,5.3 数据安全管理与质量管理体系,第五章 数据标注管理,5.3.1 数据存储安全管理要求,数据加工的服务器与计算机禁止连接互联网，禁止通过外接设备进行拷贝。数据加工的服务器需要使用多节点存储系统，这样当发生事故某些节点上的数据出现损坏情况，也能够及时通过数据恢复算法将数据进行恢复。数据加工的服务器需要定期做好容灾备份管理，这样当发生突发情况，也能够保证数据不丢失。,5.3 数据安全管理与质量管理体系,第五章 数据标注管理,5.3.2 工厂人员行为管理,对标注工厂内的人员行为进行视频监控，此举可以通过观察工厂内人员的行为，预防工厂人员窃取数据或在数据泄露发生后侦查发现嫌疑人踪迹。,各项目组必须安装独立的门禁管理系统，对项目办公区域的准入人员进行管理，只有项目的参与者才能够通过身份识别进入项目办公区域进行办公，减少无关人员可以有效降低数据泄露风险。,视频监控系统,门禁管理系统,5.3 数据安全管理与质量管理体系,第五章 数据标注管理,5.3.3 溯源体系建设,溯源体系需要对数据从预处理阶段到最终交付期间所有经手的办公人员都进行记录。当发生数据泄漏后，可以清楚的了解到哪些办公人员接触过该数据，并负责哪些环节，这样可以快速锁定调查范围，追查数据泄漏源以及追究责任。 为了更好建设溯源体系，可以使用智能水印技术对数据标注每个环节进行记录。智能水印是通过算法进行制作并在数据上进行记录，只有在特定算法下才能够识别，肉眼无法察觉。通过智能水印技术可以将数据加工阶段各环节责任人在数据中进行记录，当发生数据泄漏问题后，可以根据智能水印，直接找到泄漏环节与责任人，快速锁定调查范围。,5.3 数据安全管理与质量管理体系,第五章 数据标注管理,5.3.4 质量管理体系建设,整套质量管理体系采用了实时检验、全样检验、以及多重抽样检验，只有在三种检验方法均合格后，数据才能交付，如果标注出现不合格情况，都需要进行返工改正，通过此体系，能大大保证数据标注的质量。,大数据应用人才培养系列教材,5.4 数据标注项目评估,第五章 数据标注管理,以图像标注为例，当接到数据标注项目后，需要先对项目的验收标准进行沟通确认，一般会先用10张图片进行标注，然后沟通验收标准。当验收标准确认后，需要选择5-10名熟练的标注员，每人进行10张左右的数据标注，按照验收标准进行质量检验并验收。,大数据应用人才培养系列教材,5.5 数据标注订单管理,第五章 数据标注管理,数据标注订单管理流程图,大数据应用人才培养系列教材,5.6 数据标注客户关系管理,第五章 数据标注管理,想要成功实施客户关系管理就需要做好以下工作：,01st,确立业务计划,02nd,组建客户关系管理团队,03th,04th,客户信息管理,客户关系管理的分析,大数据应用人才培养系列教材,1请画出数据标注工厂简易平面图。2请简述数据标注工厂管理架构。3请简述数据标注工厂溯源体系。4请简述数据标注项目评估流程。5请简述数据标注订单管理流程。6请简述数据标注客户关系管理工作内容。,习题：,