浙江绍兴电信综合营销系统（IMS）建设方案.docx

《浙江绍兴电信综合营销系统（IMS）建设方案.docx》由会员分享，可在线阅读，更多相关《浙江绍兴电信综合营销系统（IMS）建设方案.docx（80页珍藏版）》请在三一办公上搜索。

1、附件一绍兴电信综合营销系统（IMS）方案建议目 录1系统综述62系统总体设计72.1建设策略建议72.1.1集中解决目前急需问题72.1.2以客户为中心建立数据集市72.1.3简化数据来源82.1.4功能上应有取有舍82.1.5以数据集市为核心组织基础数据82.2系统建设原则92.3系统的业务架构102.3.1以针对性营销为核心的分析架构102.3.2以营销自动化为核心的处理架构112.3.3以多角色支持为核心的界面架构112.4系统的技术架构122.4.1数据获取层132.4.2数据存储层132.4.3数据展现层142.4.4元数据152.5系统功能结构153数据获取层163.1数据源分析1

2、63.1.1系统接口分析163.2ETL过程193.2.1数据抽取203.2.2数据转换213.2.3数据加载233.2.4数据审核233.2.5ETL过程管理243.2.6ETL具体实现254数据存储层274.1数据仓库信息模型设计原则274.2模型设计方法274.3数据仓库信息模型294.4数据集市构建方法314.5OLAP分析模型324.5.1OLAP分析模型建模方法324.5.2OLAP分析技术实现方法324.5.3客户情况分析模型344.5.4业务发展分析模型344.5.5收益情况分析模型354.5.6市场竞争分析模型365数据展现层375.1综合查询375.1.1自定义查询功能37

3、5.1.2主题查询功能375.1.3即席查询功能385.2统计分析报表395.2.1统计报表数据来源405.2.2统计报表要素分类415.3预定义报表425.3.1省公司报表435.3.2本地网报表435.4关键指标展示报表445.4.1今日视点445.4.2每月聚焦445.4.3年度回眸485.4.4竞争前沿525.5营销渠道支撑555.5.1营销管理平台555.5.2片区经理/高级客户经理营销服务平台555.5.3社区经理/客户经理营销服务平台555.5.4系统管理平台565.6话务量针对性营销565.6.1客户信息查询565.6.2话务量营销支撑575.6.3信息反馈支撑585.7数据分

4、析支撑（OLAP分析）595.7.1客户情况分析595.7.2业务发展分析635.7.3收益情况分析645.7.4市场竞争分析685.8领导驾驶舱705.8.1仪表显示705.8.2图表显示716元数据管理726.1ETL、数据仓库、数据集市、前端展现的元数据管理726.2管理对象746.3元数据互联747系统管理757.1.1用户管理757.1.2用户划分757.1.3工号维护757.1.4工号密码维护757.2预警管理767.2.1预警管理功能描述及标识767.2.2系统预警的对象767.2.3系统预警的功能767.3系统日志管理777.3.1功能描述777.3.2子模块功能描述777.4

5、权限管理787.5系统备份788系统平台建议方案808.1综合营销系统平台简介808.2本期系统平台建议818.3设备配置建议828.3.1存储系统配置828.3.2服务器系统配置848.3.3整体配置方案建议861 系统综述为适应日趋激烈的市场竞争环境，提升绍兴电信的企业核心竞争力，应充分利用业务支撑系统产生的大量宝贵的数据资源，尽快建立综合营销系统，以便可以进行“保、挖、抢”等针对性营销，并支持多层面的用户使用，为市场经营工作提供及时、准确、科学的决策依据。综合营销系统利用先进的计算机和网络技术对营销渠道进行支撑，同时对客户、帐务、计费、结算等业务数据进行多层次、多角度、多种方式的统计分析

6、，揭示客户、业务的内在规律和发展趋势，形成极具管理决策价值的战略信息，使决策者能始终把握大局，从容应对纷繁复杂、快速多变的电信竞争市场。建设综合营销系统IMS可以达到下列应用目标：l 协助企业进行“保、挖、抢”等针对性营销。l 及时提供真实可靠的企业经营信息，为经营管理人员科学地进行决策提供经营信息支持。l 帮助企业建立整体信息视图（one view），协调绍兴电信内部各部门之间的合作关系。2 系统总体设计2.1 建设策略建议本着急用先行，简单有效的原则，我们建议本期系统建设采取如下建设策略：2.1.1 集中解决目前急需问题本期系统应该解决目前绍兴电信面临的最需要解决的问题：即对于全网经营情况

7、的把握和针对性营销的支撑。鉴于急用先行原则，我们建议本期综合营销系统的目标定位为以下几点：1. 提供对全网市场经营情况的全方位视图；2. 解决目前面对竞争的针对性营销的支撑需求；3. 提供面向营销的各类分析数据。2.1.2 以客户为中心建立数据集市目前企业最缺乏的分析功能，是基于各类客户和客户行为的统计分析，包括营销渠道支撑系统的建立，也体现着以客户为中心进行各种营销和服务的思想。因此，本期系统主要考虑以客户为中心建立的数据集市，其中的主要内容如下：1. 客户基本信息：包括与经营分析相关的各种客户信息，如客户类别、所属区间、行业、收入、信用度、忠诚度等信息的分析结果；2. 客户拥有的服务信息：

8、即客户拥有服务的相关信息，如号码，服务类别、服务特性、SLA等信息的分析结果；3. 客户消费行为信息：包括其消费详单、账单、缴费流水、客户的业务受理情况（包括新增、拆机等）等的分析结果；4. 客户其他行为信息：如投诉、建议、资源、障碍申告等信息的分析结果；5. 客户网间消费行为：如跨网的消费情况（从网间数据得到）等的分析结果。2.1.3 简化数据来源综合营销系统的上线工作中，各类数据的收集整理占了很大比重。因此，本期系统，应该大大简化系统的数据来源，只对最主要的数据来源进行采集，对不太重要的数据源，可以先放到二期再进行处理。具体地，我们建议把系统的数据来源限定在：1. 计费帐务系统：本期综合营

9、销系统的数据采集重点应该在计费帐务系统中，计费帐务系统提供主要的客户消费行为数据，在营销所需要的数据中，计费帐务系统可以提供80的数据来源；2. 九七系统：要从九七系统中采集客户基本信息和客户服务信息，以及客户的受理信息收集；3. 网间结算数据：从中抽取各种客户网间消费行为的数据；4. 其他系统：其他系统的信息收集主要考虑以收集客户行为信息为主。2.1.4 功能上应有取有舍完整的综合营销系统可以包含很多功能，尤其有强大的数据采集和管理功能，但是，目前绍兴电信建设这种大而全的综合营销系统并未突出绍兴电信急需的功能。因此，我们建议绍兴电信本期系统在功能方面应有取有舍：一方面，在功能方面，应该对系统

10、管理、数据采集、数据管理等功能，尽可能地进行精简，只留下最小的功能集合，以突出营销分析的主题；另一方面，应该加入领导驾驶舱等功能，以使系统更能支持多角色使用，支撑针对性营销的实际需求。2.1.5 以数据集市为核心组织基础数据在本地网级进行经营活动的各种监控和分析，可以主要是利用统计好的数据而不是清单进行处理。因此，建议本期系统将重点放在建设数据集市方面，系统主要保留统计好的历史数据在集市中，以便进行各种纵向分析和比较。而对于一些详单的查询要求，可以直接从计费系统中读取，以节省存储空间。2.2 系统建设原则综合营销系统涉及到数据库、联机分析处理（OLAP）等多种学科与技术的交叉。在技术实现上涉及

11、到多种系统平台与工具的集成。因此，在系统的技术实现上应充分考虑多种技术和平台的无缝集成。因此，系统建设必须遵循以下要求：1、 开放性：为保证系统的开放性，系统构建中要使用世界主流的硬件平台（主机、网络设备等）和软件平台，基于业界开放式标准，支持系统建设中涉及的各种网络协议、硬件接口、数据接口等，为未来的系统扩展奠定基础。同时，为了保证系统的开放性，在数据模型建立时，数据存储中应充分考虑对未来业务发展的最大支持（如：客户数据/用户数据的处理上考虑较为全面的采集，模型建立中使用独立的客户数据域，为CRM系统使用客户/用户数据奠定基础），使相关系统能够顺利地访问和使用该系统数据。2、 灵活性与可扩展

12、性：全局数据存储模型的设计采用面向企业整体信息的主题域方式，保证信息的完整性和信息主题的稳定性。将来新业务数据和分析需求出现，新（业务）数据的加入可以按照域归属的方式进行增加，在无主题域可依的情况下，采用建立新域的方式进行数据扩展。分析模型可以通过数据集市对主题域进行多次重构，系统能保证重构后的分析模型符合数据要求，这样也保证了对未来相关系统的数据支撑。3、 安全可靠性：综合营销系统使用集中的管理模块和集中的数据处理，有利于对系统的整体管理和安全控制。这种安全机制不仅能定义数据的安全性，而且能定义应用级的安全性。系统的安全管理能够通过门户方式与其它应用集成为一体。4、 实用性：结合不同部门、不

13、同的业务需求，合理的构建分析模型（按主题、地市、部门建立不同的OLAP分析模型），以及合理地组织数据（特别是有效又合理的数据粒度、分析模型的数据总量控制），保证了查询效率与响应时间。对现有业务运营系统影响小，是系统的设计基本要求，采取恰当的数据抽取策略和控制机制（晚间自动抽取控制）来达到这一目标。系统对大多数使用人员提供通过浏览器访问方式，并且提供多种图表展现方式（如：柱状图、饼图、多维透视表等），只要会使用浏览器，就会使用本系统。通过门户与OA融合，向个性化的方向发展，提供短消息以及语音的访问方式，使人机接口、展现方式多样化，实用化，灵活方便。2.3 系统的业务架构系统的体系结构应分为业务架

14、构和技术架构，以下说明系统的业务架构：2.3.1 以针对性营销为核心的分析架构目前，电信市场的竞争已经非常剧烈，移动、联通等运营商通过准单向收费、VPN、大客户打包优惠等方式进行竞争，不但使中国电信在客户方面造成流失，而且也导致了话务量的大量分流。因此，目前的当务之急是要动员中国电信的营销力量，立即展开针对性营销。要开展好针对性营销，综合营销系统的支撑几乎是必不可少的先决条件。首先，要支撑针对性营销，本期综合营销系统必须要能够提供目前各类客户的各种消费情况的分析和波动情况分析，从中发现现有客户的各种异动情况，以及这些异动情况的特点和分布，以便尽早发现各种客户流失或者话务流失的先兆，采取措施尽可

15、能地保住现有客户及其话务量。另外，要完成此目标，系统还必须具备从各本地网的社区营销等系统中提取竞争对手信息的数据进行分析处理，以便针对竞争对手的动态开展有针对性的营销活动；其次，本期综合营销系统还应该能够通过各种过网数据分析和客户的消费分析，发现潜在用户的发展可能方向，并据此得出结论，进而指导营销方案的制订和推广，同时达到挖掘潜在话务量的目的。最后，本期综合营销系统应能整合各类与竞争对手的客户有关的信息源（包括网间数据，各类含竞争对手话务的清单数据等），进行综合统计和分析，尤其是发现竞争对手的有价值客户的基本特点和分布情况，以便有针对性地采取营销措施，对竞争对手的客户进行抢夺，力争化被动为主动

16、，最终改变中国电信的竞争态势。以上这些需求，宏智科技的综合营销系统都以专题分析的方式提供了较为完整和体系化的支持，用户能够在这些专题的导引下，方便地进行各种类别的针对性营销分析。2.3.2 以营销自动化为核心的处理架构系统的处理架构应围绕着营销自动化的思路展开，完成发现和确认营销目标(比如要对零费用的所有用户等)分解营销任务分解考核指标实施营销反馈营销实施情况分析营销实施效果完成考核这样的一个全流程的管理，其目的是：1. 社区经理/客户经理的工作难度（我原先的想法是强调社区经理的主观能动性，主动从数据中挖掘营销目标），降低对他们的要求；2. 分工明确（社区经理/客户经理、营销分析人员、营销管理

17、人员职责明确）；3. 提高营销过程效率；4. 实现营销过程闭环管理。同时，针对性营销的最终目的要落实到营销方案的制订和推行上，尤其是绍兴电信总部更是要负责制订出营销方案或营销策略的指导意见。因此，系统要能对营销方案进行全流程的监控，包括在营销方案推出前的预评估，营销方案进行中的跟踪以及营销方案定期的效果评估等。比如预评估指的是系统应能预先锁定营销方案针对的客户群、话务集合进行数据统计和分析，得出营销方案涉及的客户数量、涉及的话务量、涉及的金额等，从而方案的盈亏平衡点或者是营销方案的成本等，从而供决策层进行综合分析和评估。2.3.3 以多角色支持为核心的界面架构综合营销系统将有不同层面的用户进行

18、使用，不同层面用户的要求是不同的，尤其是本系统作为本地网级的综合营销系统，这方面的特点尤其突出。宏智科技建议的三层界面架构如下：例如对于绍兴电信的高层领导来说，他们没有太多精力了解计算机技术，在数据利用的尺度上也比较宏观，因此系统就为他们专门设计了领导驾驶舱系统，以简单直观的图表方式提供数据的展现，使决策人员能一目了然地发现问题所在，并通过本系统层层深入地发现问题发生的原因，从而做出正确的反应和决策。对于绍兴市电信的中层干部来说，他们需要向下贯彻公司高层领导的战略意图，并指导本部门基层干部将其演变为具体的营销动作或者变为指导各营销渠道的营销策略，同时他们要对本部门所提出的各种营销建议进行决策或

19、提交高层决策。因此，系统界面以体现结果的各类预定义报表为主，但这些报表本身都可以做为分析的起始点进行深度挖掘和分析。使中层干部一开始可以将注意力集中在关心的业务、指标和营销方案实施的基本情况上，但同时也可以对自己关心的数据进行各种联机分析和处理。同时，系统应能够提供对于营销方案制订的全流程支持，使分析的结果能迅速落实为营销方案或营销策略的建议。另外，系统应提供灵活且易用的报表定义功能，使基层干部能够将分析的结果存为报表提供给各层领导做为决策依据和分析的起始点。对于绍兴市电信的基层人员来说，他们需要对自己负责的业务或者客户群进行细致的分析，发现趋势及问题所在，并提出初步的营销方案的建议或者采取具

20、体的销售动作。因此，系统应提供完善的清单功能和统计功能。同时，由于考核指标将是激励基层人员的重要手段，因此，应提供围绕考核指标提供各种统计和因素分析支持。2.4 系统的技术架构综合营销系统采用本地网集中的模式，在本地网建立数据中心，再通过这些数据存储提取数据集市进行分析和呈现。综合营销系统从各业务系统、非业务系统中将相关业务数据进行抽取（录入）、清洗、加工、整理、加载到数据仓库中，在数据仓库中形成基础的分析数据的存储，然后根据业务及管理等实际的需要在数据仓库上建立适合各种应用的数据集市。数据仓库、数据集市中蕴含的信息可以通过报表、OLAP分析、即席查询等形式向综合营销系统使用人员展现。系统体系

21、结构分为三层，即数据获取层、数据存储层和数据展现层，如下图所示：下面分别对于软件体系结构中的数据获取层、数据存储层和数据展现层进行说明。2.4.1 数据获取层数据获取层功能是将数据从数据源经过必要的抽取、清洗、转换等处理后加载到综合营销系统数据库中，即ETL过程。为保证数据的正确性，在ETL的每一环节都必须对数据进行审计。ETL具有统一调度、监控和管理功能。处理过程支持校验点功能，当因某种原因使处理过程中断时，可以从最近校验点开始恢复处理过程。ETL的日志记录了数据抽取、清洗、转换、加载的历史过程。为提高ETL工作效率，宏智科技开发的ETL工具内嵌的专用脚本语言、存储过程完成综合营销系统复杂的

22、ETL过程。2.4.2 数据存储层数据存储层包括中央数据仓库和从属的数据集市。中央数据仓库是信息的逻辑和物理的存储。在综合营销系统的实施过程中，对于某些主题的业务分析问题，可能会按照主题采用数据集市的方式对数据进行进一步的组织。所以在数据仓库的基础之上根据分析需求创建相应的从属数据集市。2.4.2.1 中央数据仓库中央数据仓库是按照绍兴电信整体的、全本地网一致的信息模型进行构建的，是综合营销系统的核心。由于经营信息需求的不断变化，数据仓库必须采用主题分域的方式和尽可能小的业务单元来进行数据的组织和存储，这样才能满足数据使用的灵活性和信息的完整性，即适应需求的变化，又可保证最少量的数据冗余避免信

23、息的不一致，节约系统投资，并以“元数据驱动、螺旋上升”的方法来指导系统建设。2.4.2.2 数据集市中央数据仓库构建是对数据集市的数据支撑，几乎所有的业务分析都需要通过进一步组织数据集市来实现，以满足性能、灵活性的要求。数据集市的建设主要面向部门和重要的领导，根据其关心的主题、数据层次、数据粒度不同，构建相应的数据集市。数据集市的数据可直接来自于中央数据仓库，也可直接进行采集。为一些访问中央数据仓库十分频繁的关键业务部门建立从属数据集市，可以提高查询的反应速度。2.4.3 数据展现层数据展现层的主要功能是通过对数据存储层的数据进行各种加工整理并进行分析预测等操作，然后将获得的数据以文字、报表、

24、曲线和各种图形的方式，简便、快捷地展现出来。主要包括综合查询、联机分析处理（OLAP）、报表输出、话务量营销和领导驾驶舱功能。用户经过身份安全、权限认证后访问数据和进行各种分析、查询操作，同时预留与信息门户（比如OA系统）的接口，实现各种功能的无缝连接，并提供集成化的认证、信息发布和管理环境，使综合营销系统使用人员无需关心具体的技术实现途径，即可实现对综合营销系统数据的访问和分析。同时门户站点还可根据不同分析和决策人员的需求，对所需的访问和分析内容进行方便、简捷的定制，以满足个性化信息服务的需求。2.4.4 元数据元数据是描述数据的数据，用以了解我们有什么信息，信息在什么地方，以及整个综合营销

25、系统中如何利用信息的管理方式。元数据管理在综合营销系统开发建设中有很重要的作用。在综合营销系统建设过程中，根据绍兴电信的业务需求和业务发展，构造全局数据模型，然后以数据模型为指导，分阶段实施，逐步完成综合营销系统的建设，更重要的是，在实施的每个阶段、每一阶段内的每个步骤，都由元数据进行统一的管理和协调。因此，每个新的实施阶段都能和前些阶段通过统一的元数据实现良好的对接和数据共享，保证各建设阶段成果的连续性和有效性。2.5 系统功能结构绍兴综合营销系统功能包含数据获取、静态报表、话务量营销支撑、数据分析（OLAP分析）支撑、专题分析、领导驾驶舱、系统管理。数据获取是系统的数据接口和ETL功能；报

26、表、话务量营销、OLAP分析、领导驾驶舱体现系统的业务功能；系统管理是系统的安全管理和系统维护功能。3 数据获取层3.1 数据源分析绍兴电信综合营销系统需要从以下数据源获取相关数据：1、业务支撑系统：初期主要从本地计费帐务系统、九七系统提取数据。2、网间结算数据：获取网间话单，市场竞争数据。3、市场调研、社会统计、竞争对手数据：从各种途径获取的社会统计数据、市场调研数据，提供人工录入功能。对于以上需通过人工录入的数据，系统提供相应的工具或接口，并能支持通过Excel、HTML、XML、RTF、TXT等格式文档加载的形式进行数据的批量录入功能。接口方式：l 系统统一采用接口形式进行数据抽取，并建

27、立接口区。设立数据接口区的目的在于对接口数据统一存储。l 接口数据源形式为文本文件。3.1.1 系统接口分析1、综合营销系统从九七系统中提取客户基本资料信息，如客户名称、住址、联系方式、证件号码、客户类型、客户细分等。信息特征：信息量级： 2-3E6（单位：记录数）周期增量：一般小于10E4（单位：记录数）周期更新幅度：一般小于10E4（单位：记录数）接口方式：九七系统在每个周期把本周期新增、变化或删除的客户基本资料信息传递至接口。周期可根据实际情况由两个系统协商确定。周期： 1次/天2、综合营销系统从九七系统提取客户订购资料信息，即每个客户所使用的产品（服务）信息。信息特征：信息量级：10E

28、6（单位：记录数）周期增量：一般小于10E4（单位：记录数）周期更新幅度：一般小于10E4（单位：记录数）接口方式：九七系统在每个周期把本周期新增、变化或删除的客户产品（服务）信息传递至接口。周期可根据实际情况由两个系统协商确定。周期：1次/天3、综合营销系统从本地网计费帐务系统提取客户帐户资料信息，即客户使用各项产品（服务所）所发生费用的付款单位的资料信息。1）帐户基本信息信息特征：信息量级：10E6（单位：记录数）周期增量：一般小于10E4（单位：记录数）周期更新幅度：一般小于10E4（单位：记录数）接口方式：计费帐务系统在每个周期把本周期新增、变化或删除的帐户基本资料信息传递至接口。周期

29、可根据实际情况由两个系统协商确定。周期：1次/天2）帐户缴费信息信息特征：信息量级：10E6（单位：记录数）周期增量：10E5（单位：记录数）接口方式：计费帐务系统在每个周期把本周期新增的帐户缴费信息传递至接口。周期可根据实际情况由两个系统协商确定。周期：1次/天4、综合营销系统从各本地网计费帐务系统提取帐单资料。信息特征：信息量级：10E7（单位：记录数）周期增量：10E7（约为客户资料量级的810倍）(记录)建议接口方式：计费帐务系统按周期将周期内数据全部传递至接口。周期：1次/月5、综合营销系统从计费帐务系统提取销帐资料。信息特征：信息量级：10E6（单位：记录数）周期增量：10E5（约

30、为客户资料量级的810倍）（单位：记录数）接口方式：计费帐务系统按周期把周期内数据全部传递至接口。周期：1次/天6、综合营销系统从计费帐务系统提取欠费资料。信息特征：信息量级：10E6（单位：记录数）周期增量：10E5（约为客户资料量级的810倍）（单位：记录数）接口方式：计费帐务系统按周期将周期内数据全部传递至接口。周期：1次/天7、综合营销系统从各本地网计费帐务系统提取呆坏帐资料。信息特征：信息量级：10E5（单位：记录数）周期增量：10E5（单位：记录数）接口方式：计费帐务系统按周期将周期内数据全部传递至接口。周期：1次/月8、综合营销系统从计费帐务系统提取长途话单资料。信息特征：信息量

31、级：10E8（单位：记录数）周期增量：10E7（单位：记录数）接口方式：计费帐务系统每个周期都将周期内完整信息传递至接口。周期：1次/天9、综合营销系统从计费帐务系统提取本地网话单资料。信息特征：信息量级：10E9（单位：记录数）周期增量：10E8（单位：记录数）接口方式：计费帐务系统每个周期都将周期内完整信息传递至接口。周期：1次/天10、综合营销系统从计费帐务系统提取相关配置表信息资料，如帐目类型、话单类型信息、各种分类信息等。信息特征（针对每个配置表）：信息量级：10E110E3（单位：记录数）周期增量：10E010E2（单位：记录数）周期更新幅度：10E010E2（单位：记录数）接口方

32、式：计费帐务系统每个周期都将完整信息传递至接口。周期：1次/天11、综合营销系统提取网间通话数据资料。信息特征：信息量级：10E8（单位：记录数）周期增量：10E7（单位：记录数）接口方式：各本地网计费帐务系统每个周期都将周期内完整信息传递至接口。周期：1次/天3.2 ETL过程数据抽取、转换和加载，是综合营销系统应用过程中，进行数据由数据源系统向数据仓库加载的主要方法。3.2.1 数据抽取为了满足综合营销系统的分析、挖掘的需要，同时保证不能影响业务系统的性能，因此制定合适的抽取策略、抽取方式、抽取时机和抽取周期非常关键。对于大数据量(如话单)的抽取，采取“数据分割、缩短抽取周期”的原则。接口

33、策略在获取各业务生产系统源数据时，根据各业务系统提供数据的方式可以分为主动数据获取和被动数据获取两种方式。主动数据获取要求综合营销系统专门为各业务生产系统提供数据存放区，并为各业务系统制定所要求的数据内容和格式，要求各业务系统将产生数据定期传送到本系统源数据存放区中。综合营销系统定期对源数据存放区（接口区）中的数据进行处理。被动数据采集要求各业务系统为综合营销系统开放数据库连接，同时要求业务系统为综合营销系统提供专业系统元数据。综合营销系统通过理解专业系统元数据，直接连接业务系统定期从数据库中取数据，然后在系统内在对专业系统源数据进行处理，例如进行格式、编码转换等。采集周期可以根据具体情况，自

34、行设计。这种方式要求业务系统对所提供的元数据进行版本和发布管理。考虑到被动获取比主动数据获取对综合营销系统性能要求高和对业务生产系统安全和性能影响大等问题，我们采用主动数据获取方式，要求各业务系统定期按要求传送数据到源数据存放区。各业务系统以文本数据文件的方式传送数据。抽取策略：不同特征的数据采用不同的抽取策略，保证减少对生产系统的影响，同时又能提高抽取数据的效率和及时率。具体策略如下：（1）小数据量的一些管理数据、配置表数据等，可以采用完全抽取方式进行抽取；（2）大数据量的如帐单、话单数据，按抽取周期采用时间戳来做增量抽取；（3）如果实在没有时间戳，要进行完全抽取。抽取周期：抽取周期根据源数

35、据的不同性质和实际的分析需求而有所不同，如话单数据可以每天抽取，出帐数据在每一帐务周期的最后一天抽取，而欠费、销帐等信息可以每周抽取。具体的数据抽取周期要依据实际情况和要求协商而定。抽取时机：本操作尽可能在相关业务系统空闲的时段执行。在数据抽取成功后，本抽取周期将不再执行数据抽取操作。3.2.2 数据转换数据转换是指对抽取的源数据根据全局数据模型的要求，进行数据的转换、清洗、拆分、汇总等处理，保证来自不同系统、不同格式的数据和信息模型的一致性和完整性，并按要求装入数据库。根据实际情况，数据转换可以在以下几个环节中具体实现：l 使用异步数据加载，以文件的方式处理；l 在数据加载过程中进行数据处理

36、；l 进入数据库以后再进行数据处理。采用异步数据加载需要以文件方式处理时，必须充分考虑中间磁盘的存储量以及在整个流程中的协调性及文件处理的效率；采用在数据加载过程中进行数据转换时，必须考虑加载性能及效率；采用先将数据装载到数据库后再处理时，必须考虑数据库引擎的海量数据处理能力。执行时机：执行周期根据不同接口数据而有所不同。执行位置：l 从源数据存放区到加载入数据仓库之间，这里存在大量的数据操作， l 数据仓库到加载入数据集市之间，这里主要存在数据转换、汇总等操作，基本没有清洗操作。执行功能：集成、转换、清洗、拆分、汇总等处理l 集成：是将业务数据从一个或几个来源中取出，并逐字段地将数据影射到全

37、局数据的新数据结构上。l 转换：将源数据按照全局数据模型结构进行数据处理，本处描述的转换是简单转换，广义的转换是包括集成、转换、清洗、拆分、汇总等处理。l 清洗：目的是为了保证前后一致地格式化和使用某一字段或相关的字段群。l 拆分：简单转换的一种形式，用于分解源数据中复合含义的数据。l 汇总：把业务环境中找到的细节数据压缩成全局数据环境中的较少数据块，有时进行聚集中的细节数据是为了避免数据仓库存入业务环境中的那样具体的数据，有时则是为了建立包括数据仓库的聚集副本。l 代码转换：如果是由数据抽取工具来完成数据的集成转换，则用户自定义的代码转换功能成为系统必须的功能。因为业务系统数据与全局数据的信

38、息因各系统的不同会有较大的差异。客户有能力和手段自己定义数据或代码转换的操作使系统有更大的灵活性。转换技术：l 多线程、多进程技术由于数据清洗转换操作的数据量非常大，要求数据清洗转换程序以及所处的操作系统、主机要支持多线程、多进程的体系结构，以获得最大的数据处理能力。l 散列文件参照机制在数据清洗的过程中，关键的耗时的工作是将输入的数据与系统中的固定数据进行对照，每一条记录都需对数据库进行查询耗费了大量的时间。在ETL过程中，数据集成模块需要提供对固定参照数据的散列查找机制以提供数据清洗的高效实现。l 专用数据库驱动接口或API接口编程l 利用操作系统提供特点进行开发，例如数据上载内存等方式l

39、 采用专用工具进行数据转换数据审核：根据数据转换审核方案，将转换以后数据进行汇总分类统计，与数据接口区提供的审核资料进行比较。转换策略：l 使用异步数据加载，以文件的方式处理；l 在数据加载过程中进行数据转换。3.2.3 数据加载数据加载就是将转换后的数据加载到数据仓库中。数据加载采用数据加载工具（例如：Warehouse Manager、FastLoad/MultiLoad等），也可以采用API编程进行数据加载。数据加载策略包括加载周期和数据追加策略。数据的追加策略根据数据的抽取策略以及业务规则确定，一般有以下三种类型：直接追加、全部覆盖、更新追加。直接追加：是指每次加载时直接将数据追加到目

40、的表中。全部覆盖：对于抽取数据本身已包括了数据的当前和所有历史状况，采用全部覆盖方式。更新追加：对于需要连续记录业务的状态变化，用当前的最新状态同历史状态数据进行比对的情况采用更新追加的方式。作用区域：数据加载到数据仓库和数据加载到数据集市的两个区域。执行时机：数据转换成功以后即可以开展，并且要保证加载后业务数据的一致性和完整性。加载技术：数据加载采用数据加载工具加API编程进行数据加载。加载策略：l 加载周期：在保证加载后业务数据的一致性和完整性的基础上，针对不同业务数据设置不同加载周期。l 数据追加策略：根据业务规则和数据抽取策略，采用直接追加、全部覆盖、更新追加。3.2.4 数据审核数据

41、审核是指在每个数据加载周期中，保证数据仓库中数据同数据源中数据业务意义上的一致性及数据的准确性。审核方法如下：在每个环节处理完成后进行抽样审核（从数据源开始，到抽取出来的文本文件，到转换后的文本文件，到装载到数据仓库的数据，到数据集市中的Cube数据），一方面对总量进行审核，另一方面对数据正确性进行验证，分别对每一个维上的数据进行审核。对审核结果进行记录并报告，发现审核错误的数据发Email或SMS通知系统管理员。数据审核程序与ETL模块统一处理，审核程序配合ETL程序自动执行。作用区域：在数据抽取、转换、加载各个部分结束都需要进行数据审核。在一些关键处理过程结束以后，进行自动的数据审核，这样

42、能够及早发现问题，节省数据抽取、转换、加载的时间。执行周期：由数据抽取、转换、加载过程结束以后触发，在一些关键处理过程结束后触发。审核策略：l 通过日志校验；l 通过业务规则校验，例如：记录数，本月收入合计，某区客户数量等进行源与目标数据的校验；l 通过操作系统级校验，例如：文件大小、奇偶校验（常用于接口文件传输）。3.2.5 ETL过程管理ETL是一个复杂的过程，需要进行过程管理。ETL的过程管理包括ETL的调度、ETL程序管理、ETL出错处理以及故障恢复。ETL的调度ETL是一批定时运行的后台过程，需要通过一个合理的规划进行自动运行，只有在ETL过程出现异常时，进行人工干预或自动处理。本系

43、统提供系统管理员的控制和管理界面。ETL程序管理ETL过程包括许多程序，这些程序在运行期间对数据进行处理，将这些ETL程序管理起来，可以保证ETL过程的正确及稳定。ETL出错处理及故障恢复在ETL过程中由于数据接口、网络、主机或数据质量等问题，造成ETL过程出现错误，每次数据的处理和装载需要将非法的数据或处理失败的数据输送到专门的出错数据处理区中，一些错误可以通过自动处理进行恢复，一些错误需要人工进行处理。还可以自动将错误信息通过短信、mail等方式通知系统管理员或相关人员。3.2.6 ETL具体实现3.2.6.1 ETL过程需要重视的几个方面通过长期实践，宏智科技总结了以下几个是ETL过程中

44、需要重视的方面：1. ETL时间是有限的，ETL的效率是系统的关键由于各本地网业务支撑系统在白天都在执行关键的联机应用，所以ETL过程通常要在晚上执行，另外由于话单、账单等数据量极大，所以ETL的效率是最为重要的。除了在硬件上提供保证，要充分考虑开发的软件代码效率，更为重要的是要进行ETL的规划、设计和管理，尽可能考虑ETL各过程的并行操作，以充分利用系统资源。2. 数据仓库对数据的正确性要求是很高的，ETL要保证数据的正确性保证数据仓库的正确性，首先需要从全局数据模型入手，只有正确的模型才会有正确的数据存储。ETL是从数据源根据指定规则将数据转换到数据仓库中的数据迁移过程，在此过程中，每一个

45、步骤都是决定数据质量的关键，所以，要建立完善的过程来保证ETL的正确实施。我们采用以下方法来保证ETL的正确操作。l 严格的设计评审制度l 建立数据审核制度l 数据预警通过与历史数据比较，检测ETL的输出数据是否存在较大差异，判断是否数据出现错误，由于数据预警操作消耗资源较大，而且检测对象一般是业务系统提供的接口数据，所以，宏智科技建议数据预警操作放置在审核接口数据部分。3. ETL过程中出现的错误需要在合适的时间内正确处理。ETL过程是非常复杂的过程，其中涉及到业务系统、业务规则、系统硬件环境、系统管理等各方面，ETL过程出现错误是必然的。在设计、管理中尽可能做周全考虑的前提下，还要考虑ET

46、L过程中出现错误后该如何处理的机制。ETL出现的错误可以分成多种，各种错误对数据仓库的数据造成的影响是不同的，需要解决的迫切程度也有所不同，根据宏智公司的经验，将ETL过程产生的错误分成4个级别：l 严重错误，需要立即解决；l 较严重错误，影响系统部分数据，需要当日解决；l 一般错误，影响系统较小部分数据，且其中没有重要数据，需要解决；l 警告，出现异常或错误，但不影响系统数据，需要管理员注意。4 数据存储层4.1 数据仓库信息模型设计原则综合营销系统信息模型的设计应该遵循中央数据仓库的稳定性和数据集市的灵活性；数据仓库面向信息主题、数据集市面向分析业务；数据集市的数据来自数据仓库的原则。综合营销系统的数据存储分成数据仓库和数据集市两个逻辑上独立的存储。数据从数据源经过数据抽取、转换后加载到数据仓库，根据不同主题的数据集市的要求，数据从数据仓库中根据转换规则将数据加载到指定数据集市。由于综合营销系统的业务需求容易变