中国移动广东省经营分析系统技术建议方案书.doc

中国移动广东省经营分析系统数据挖掘系统集成和软件开发项目应标书 （技术部分）总体建议广州从兴电子开发有限公司 二零零四年九月目录1概述71.1系统背景71.2建设目标71.3建设原则81.4本建议书的相关约定102广东移动现状与系统规模112.1广东移动现状112.2现有系统的现状142.2.1概述142.2.2经营分析系统的组织结构152.2.3经营分析系统的建设规模212.2.4经营分析系统的功能简介212.2.5经营分析系统的网络结构223数据挖掘系统建设需求233.1业务需求233.2业务实现策略263.2.1概述263.2.2定义商务问题263.2.3评估环境273.2.4准备数据283.2.5数据挖掘283.2.6结果应用303.2.7效果回顾313.3系统建设要求313.3.1处理能力要求313.3.2在线存储容量323.3.3备份存储容量333.3.4容灾恢复343.4工程实施要求343.4.1系统集成要求343.4.2应用软件开发要求353.4.3项目实施和应用模式的要求374系统总体设计394.1设计原则394.1.1准确性394.1.2先进型及前瞻性394.1.3可集成性和开放性404.1.4完整性404.1.5高效性和可伸缩性404.1.6灵活性和可扩展性414.1.7安全性414.1.8可维护性和可管理性414.1.9易用性424.1.10统一性424.2设计思想424.2.1统一规划、分步实施434.2.2多种方法综合运用454.3网络架构474.3.1组网方案474.3.2IP地址规划504.3.3路由设计原则与策略504.4软件架构504.4.1软件体系架构524.4.2软件功能结构555系统应用设计625.1挖掘主题描述625.1.1个人/集团客户的离网/流失预测635.1.2个人/集团客户行为-价值细分及客户细分后的主动营销和交叉销售模型645.1.3营销计划管理及营销预演模型645.1.4客户异动分析（结合客户通话行为特征和IMEI信息）645.1.5竞争对手分析645.1.6信用度评估分析/欺诈分析655.1.7客户区域分布分析665.1.8客户价值综合评估/潜在大客户分析665.1.9客户发展分析665.1.10客户消费模型分析675.2系统应用模式概述685.3数据挖掘ETL705.3.1抽取、清洗、转换和加载725.3.2汇总、衍生735.3.3ETL监控735.4挖掘应用755.4.1数据分析、模型训练、数据打分755.4.2挖掘工具前端发布765.4.3OLAP展现805.4.4查询报表815.5元数据管理825.5.1逻辑结构835.5.2管理功能845.5.3管理范围855.5.4实现方法855.6系统管理865.6.1权限管理875.6.2参数配置管理885.6.3动态系统维护895.6.4监控调度管理895.6.5系统管理特色功能906备份及恢复926.1综述926.2备份及恢复策略分析926.2.1备份原则936.2.2备份方式及策略946.2.3灾难恢复策略956.3备份容量估算976.3.1经营分析系统备份估算976.3.2数据挖掘系统备份估算996.3.3备份容量总结1016.4方案及产品选型建议1046.4.1系统备份建议1046.4.2备份架构及模块说明1066.4.3备份结构说明1086.4.4备份系统的特点1096.4.5系统恢复策略建议1147系统配置方案1157.1硬件及网络配置方案1157.1.1硬件配置视图1167.1.2硬件配置方案1177.2系统及备份软件配置方案1327.2.1软件配置视图1327.2.2软件配置方案1337.3应用软件配置方案1357.3.1方案一1357.3.2方案二1377.3.3方案总结1388系统安全设计1408.1综述1408.2系统安全描述及建议1408.2.1黑客入侵1408.2.2非法入侵1418.2.3病毒危险1418.2.4操作系统安全1428.2.5用户账号安全1428.2.6系统应用安全1438.2.7安全管理制度1448.3方案建议1459系统网络管理1479.1综述1479.2BSM介绍及方案建议14810本工程难点和实施建议15610.1本工程重点和难点15610.2实施建议15610.2.1统一规划、分步实施15610.2.2注重效率15710.2.3针对不同地市的不同市场特征建立相应模型15810.2.4建立严格的操作管理制度1581 概述1.1 系统背景为适应日趋激烈的市场竞争环境，提升广东移动的企业核心竞争力，应充分利用业务支撑系统产生的大量宝贵的数据资源，在现有的广东省移动经营分析系统和综合数据仓库的基础上建立移动企业的数据挖掘系统。实现对信息数据的智能化加工和处理，充分利用数据挖掘分析技术、对未来业务的发展进行科学预测，为市场经营工作提供及时、准确、科学的决策依据。数据挖掘需要根据企业的既定业务目标和存在的问题，对大量的业务数据进行探索，揭示隐藏其中的规律，并将其模型化，指导并应用于实际的企业经营中。通过对广东移动业务数据的挖掘，从中发现广东移动运作的本质规律，从而可优化企业本身的运作，或进行有效的客户关系管理。数据挖掘项目是广东经营分析系统建设的重要组成部分，它涉及到对数据仓库中数据集市数据的抽取、整合及各种转换，以及在此基础上的数据探索，成果应用和展现，可以说它的应用源于数据仓库，又使数据仓库的应用层次得到升华。经营分析系统的数据挖掘工作是一个长期且不断探索的过程，根据业务需求所建立的模型也会越来多，越来越复杂。所以数据挖掘工作的规划和平台的设计必须着眼于长期的发展的过程。这要求我们在设计阶段建立一个可以不断扩充的，易于管理的数据集市；设计一个可以调整以面对未来越来越复杂的数据处理管理过程；建立一套方便的数据挖掘项目实施和应用的模式，在将来的发展和工作过程中把尽量多的精力放在数据探索和模型建立上。1.2 建设目标广东移动数据挖掘系统以数据挖掘、分析预测为主。在目前统一和集中的数据仓库平台上，通过提取生产数据中的有价值信息，为企业经营分析提供科学有效的支撑，体现中国移动“业务与服务双领先”的经营策略。按照广东经营分析系统的整体规划，要求数据挖掘应逐步实现以下主题的深度分析：1、个人/集团客户的离网/流失预测；2、个人/集团客户行为-价值细分及客户细分后的主动营销和交叉销售模型；3、营销计划管理及营销预演模型；4、客户异动分析（结合客户通话行为特征和IMEI信息）；5、竞争对手分析；6、信用度评估分析/欺诈分析；7、客户区域分布分析；8、客户价值综合评估/潜在大客户分析；9、客户发展分析；10、客户消费模型分析；11、广东移动经营分析系统一期工程数据挖掘项目近期内建设目标是个人/集团客户离网/流失预测、个人/集团客户行为/价值细分及客户细分后的主动营销和交叉销售、营销计划管理及营销预演三个业务模型的建模和业务闭环应用工作。1.3 建设原则广东移动数据挖掘系统涉及到前置数据处理、数据挖掘、人工智能和统计学等多种学科与技术的交叉。在技术实现上涉及到多种系统平台与工具的集成。在系统的技术实现上应充分考虑多种技术和平台的无缝集成，移动数据挖掘系统建设必须遵循以下要求。l 标准性广州从兴数据挖掘系统平台符合中国移动集团公司公布的各项有关经营分析、数据挖掘的业务规范，技术规范和需求规范，同时符合相关的 ISO、IEEE、ITU-T、ETSI、IETF、IMTC 、FCC 、ANSI 89 Level 1、ANSI 89 Level 2、ANSI 92 Entry等标准或协议。l 实用性流程简洁、实用，力求操作简单、快捷，紧密结合业务，易于使用推广，维护方便；系统应实现和保证用户可接受的查询效率与响应时间；对现有业务运营系统影响小；有良好的人机接口与灵活多样的展现方式；系统的数据发布对大多数用户提供通过浏览器访问方式，统一集成在经营分析系统中，并且提供多种图表展现方式（如：柱状图、饼图、多维透视表等），只要用户会使用浏览器，就会使用本系统。通过门户与OA融合，向个性化的方向发展，在未来提供移动终端的访问方式，以及语音的访问方式，使人机接口、展现方式多样化，实用化，灵活方便。l 先进性在建设移动数据挖掘系统平台时，充分采用国内外先进技术，在先进、实用的基本网络平台基础上，选用最先进的系统软件平台，采用性能价格比最优的服务器来构造应用系统。l 开放性基于业界开放式标准，对系统中的各种网络协议、硬件接口、数据接口等进行全省统一规划，为未来的系统扩展奠定基础。l 可扩展性在系统的功能划分和设备配置上适当预留发展余地，功能划分模块化，便于根据用户的要求以及信息技术的发展对应用系统进行扩展、维护，在设备选型中采用扩展性能良好的设备。l 可靠性系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确保系统的可靠。l 安全性在系统级、应用级、网络级提供各自的安全手段和措施，为系统提供全方位、立体化的安全实施方案，确保企业内部信息的安全。提供统一监控管理，对主机、网络、数据库、各准备进程等进行监控和预警。使用访问验证、权限分级管理、数据发布管理，防火墙，有效的IP地址分段，安全监控等技术手段，保证系统的网络安全和数据安全。l 规范性一方面是系统在设计和实现时要按照系统工程的方法和标准的质量体系进行组织和管理；另一方面是系统在使用中要注重用户流程的规范性。l 集中性和相对独立性参考在BOSS、网管等生产系统中集中化、集约化的先进经验，保证数据的集中，对GMCC数据挖掘系统进行集中建设和维护。同时要保证省中心和各地市公司在应用上的相对独立性，做到因地制宜。l 经济性在建设GMCC数据挖掘系统时，将充分考虑客户现有经营分析系统的投资，尽量充分利用客户现有可用设备，节省投资。l 系统的开发与建设要统一规划，分阶段实施。1.4 本建议书的相关约定Ø 广东移动通信有限责任公司简称广东移动Ø 广东移动经营分析系统一期工程数据挖掘系统简称GMCC数据挖掘系统或数据挖掘系统2 广东移动现状与系统规模2.1 广东移动现状广东移动通信有限责任公司分为省公司和22个地市分公司、省公司和分公司是上下级关系，其中省公司设立以下部门：综合部、人力资源部、企业发展部、市场经营部、客户服务部、财务部、工程建设部、网络部、物资供应部、党群事务部、纪检审计部。同时有分为几个中心：工程管理中心、网管维护中心、计费业务中心、信息技术中心、数据业务中心、后勤服务中心、鼎湖培训中心、物资管理中心。图：21广东移动通信公司省中心组织结构图省一级的部门使用到该经营分析系统的部门大概有：综合部、企业发展部、市场经营部、客户服务部、财务部、网络部、网管维护中心、计费业务中心、信息技术中心、数据业务中心。地市分公司也会设置相应的部门，地市分公司使用到该系统的部门包括：市场经营部、客户服务部、财务部、信息技术中心。图22：一类公司组织结构图23：二类公司组织结构图图24：三类公司组织结构图广东移动通信有限责任公司共有22个地市公司：广州公司、深圳公司、佛山公司、东莞公司、汕头公司、中山公司、江门公司、珠海公司、韶关公司、河源公司、梅州公司、惠州公司、汕尾公司、阳江公司、湛江公司、茂名公司、肇庆公司、清远公司、潮州公司、揭阳公司、云浮公司、顺德公司。广东移动目前有用户约4800万，其中签约用户940万左右，神州行用户2000万以上，另有1000万以上的动感地带等其他品牌的用户。其中广州的用户数和数据量大概占全省总量的1/4 略多，深圳大概占全省总量的1/4略少。东莞的用户数和数据量仅次于广州和深圳，其他地市公司的用户数和数据量差别不太大。2.2 现有系统的现状2.2.1 概述广东移动目前充分利用省中心基础经营活动信息集中的优势，正在建设自己的经营分析系统，该系统一期工程已基本完工，正处于试运行阶段。经营分析系统主要从BOSS系统和其他相关应用系统（移动网管系统、OA、MIS系统）中抽取数据，并将经营分析结果及时地反馈给BOSS系统和其他相关应用系统；经营分析系统的用户主要包括省公司和各分公司市场部、财务部、公司领导及其他部门（包括集团公司，包括测试、培训人员和网管、监控人员等）。根据集团公司的要求，广东移动经营分析系统实现的目标是以多维分析为主，辅以数据挖掘技术，建立一个统一和集中的数据仓库平台，通过提取生产数据中的有价值信息，为企业经营分析提供科学有效的支撑，体现中国移动“业务与服务双领先”的经营策略。广东移动经营分析系统近期建设将重点对客户分群、市场竞争、业务收益、客户服务、营销策划、新业务和数据业务等主题进行分析，并利用数据挖掘技术对相关专题进行分析作为补充。以BOSS系统中的生产数据为主要数据源，辅以其他企业信息和外部数据源，建立统一的数据视图，形成面向经营分析的专业数据仓库，满足12年的业务需求。当前广东移动经营分析系统的OLAP功能模块已经初步具备针对特定主题进行多维度分析的能力，而本期工程的建设任务则是在现有的广东移动经营分析系统上增加数据挖掘的功能模块，以便从海量的业务数据中智能地发掘有巨大商业价值的信息，自动对未来的业务趋势进行预测，动态探测以前未发现或者没有注意的商业模式，为准确高效的营销决策提供科学可靠的依据，进一步提高广东移动的营销水平，使广东移动在瞬息万变的市场竞争保持优势。2.2.2 经营分析系统的组织结构广东移动经营分析系统一期工程按照“两级系统、三层结构”的原则进行整体规划和建设。1、两级系统“两级系统”是指经营分析系统分为集团公司级经营分析系统和省级经营分析系统两级，地市公司不单独设立经营分析系统，集团公司系统与各省公司系统通过现有网络实现数据交互。图25：经营分析系统的组织结构图26：经营分析系统层次结构图27：经营分析系统的网络组织区域节点与省中心、区域节点与其内的本地网及办公网络之间利用广东移动MDCN计算机网络相连。各区域节点定期（分每天、每周、每月等不同时间）将用户资料数据、营销帐务数据传送到BOSS省中心系统。BOSS省中心系统向BOSS区域节点下发清帐单数据。MDCN网络提供需要的带宽和安全容错功能。经营分析系统将主要从BOSS省中心系统获取计费清/帐单和其他业务数据，并利用已有的BOSS 网络设备与各地市进行网络交互。在广域网设计上，经营分析系统应用也充分利用原有的BOSS网络设备及架构与各地市的系统客户端进行网络通信。图28：经营分析系统网络结构2、经营分析系统的分层架构中国移动经营分析系统从业务系统、非业务系统中将相关业务数据进行抽取（录入）、清洗、加工、整理、加载到数据仓库中，在数据仓库中形成基础的分析数据的存储。然后根据业务及管理等实际的需要在数据仓库上建立适合各种应用的数据集市。数据仓库、数据集市中蕴含的信息可以通过报表、OLAP分析、即席查询、数据挖掘及预测等形式向经营分析系统使用人员展现。系统体系结构分为三层，即数据获取层、数据存储层和数据访问层，如下图所示：图29：经营分析系统系统体系结构数据获取层：数据获取层功能是将数据从数据源经过必要的抽取、清洗、转换等处理后加载到数据仓库系统中，即ETL过程。为保证数据的正确性，在ETL的每一环节都必须对数据进行审计。ETL具有统一调度、监控和管理功能。处理过程支持校验点功能，当因某种原因使处理过程中断时，可以从最近校验点开始恢复处理过程。ETL的日志记录了数据抽取、清洗、转换、加载的历史过程。为提高ETL工作效率，利用专用ETL工具内嵌自己的专用脚本语言、存储过程完成移动经营分析系统复杂的ETL过程。数据存储层：数据存储层包括数据仓库和从属的数据集市。数据仓库是信息的逻辑和物理的存储。在数据仓库的实施过程中，对于某些主题的业务分析问题，可能会按照主题采用数据集市的方式对数据进行进一步的组织。所以在中央数据仓库的基础之上根据分析需求创建相应的从属数据集市。数据访问层：数据访问层包括前端EIS,报表数据、查询的汇总数据。数据访问层分布在数据仓库、多维数据库中。数据仓库和多维数据库提供相应的数据。以满足的数据访问的需求。元数据管理：元数据是描述数据的数据，用以了解我们有什么信息，信息在什么地方，以及整个数据仓库系统中如何利用信息的管理方式。元数据管理在数据仓库开发建设中有很重要的作用。在数据仓库建设过程中，根据中国移动的业务需求和业务发展，构造中国移动的电信级中央数据仓库数据模型（“全局考虑”），然后以数据模型为指导，分阶段实施，逐步完成中国移动数据仓库的建设（“分阶段实施”），更重要的是，在实施的每个阶段、每一阶段内的每个步骤，都由元数据进行统一的管理和协调。因此，每个新的实施阶段都能和前些阶段通过统一的元数据实现良好的对接和数据共享，保证各建设阶段成果的连续性和有效性。根据上述三层体系结构，经营分析系统架构主要由数据抽取、数据仓库系统及其存储、数据集市、联机分析处理（OLAP）、数据挖掘、数据仓库相关的工具等几个的子系统组成（如下图所示），其中一个大容量高效率的企业级数据仓库平台是经营分析系统的核心基础。图210：用户接入图2.2.3 经营分析系统的建设规模广东移动经营分析系统的建设规模计划满足到2004年底，保证以后能平滑升级。本系统设计的建设容量为3000万用户，每天的计费清单数量以2.7亿计算, 每天的结算清单数量以0.6亿计算。根据国内外数据仓库系统建设的经验，为了便于经营分析过程中进行年度的数据比较，细节数据（主要有计费清单、结算清单、帐单等）保存时间为13个月。省级经营分析系统在省级、22个地市公司的用户访问总量定为20002500 人，数据分析员总数定为400600 人。2.2.4 经营分析系统的功能简介依据业务需求，目前经营分析系统在功能上分为八个模块：Ø 关键指标展示Ø 客户分群Ø 市场分析Ø 客户服务分析Ø 营销分析Ø 财务帐务分析Ø 数据业务分析Ø 其它分析财务帐务分析客户分群客户服务分析经营分析系统营销分析其它分析关键指标展现市场分析数据业务分析图211：经营分析系统功能列表在完成多维分析的基础上，基于现有的数据仓库中的数据，分阶段进行各种专题的数据挖掘，如客户流失分析、客户行为价值细分模型、营销预演模型等。2.2.5 经营分析系统的网络结构广东移动经营分析系统的总体系统结构如下图所示。目前广东移动的经营分析系统属于系统建设的第一阶段，其建设容量为3000万用户。广东移动经营分析系统目前主要由两台高性能的数据仓库服务器、三台OLAP服务器、两台ETL服务器、三台查询管理服务器，支持80TB数据容量的磁盘阵列系统及配套的SAN系统所组成。系统的详细网络结构见下图。图212：经营分析系统网络拓扑3 数据挖掘系统建设需求数据挖掘需要根据企业的既定业务目标和存在的问题，对大量的业务数据进行探索，揭示隐藏其中的规律，并将其模型化，指导并应用于实际的企业经营中。通过对广东移动业务数据的挖掘，从中发现企业运作的本质规律，从而可优化企业本身的运作，或进行有效的客户关系管理。数据挖掘是建立在数据仓库基础上的高层应用，但数据挖掘跟数据仓库的其它一些应用如OLAP分析、预定义报表和即席查询等有很大的区别。后三者通常是用户根据已知的情况对所关心的业务指标进行分析；而前者则是在业务问题和目标明确但考察的问题不清楚时，对数据进行探索，揭示隐藏其中的规律性，进而将其模型化。数据挖掘项目是广东经营分析系统建设的重要组成部分，它涉及到对数据仓库中数据集市数据的抽取、整合及各种转换，以及在此基础上的数据探索，成果应用和展现，可以说它的应用源于数据仓库，又使数据仓库的应用层次得到升华。经营分析系统的数据挖掘工作是一个长期且不断探索的过程，根据业务需求所建立的模型也会越来多，越来越复杂。所以数据挖掘工作的规划和平台的设计必须着眼于长期的发展的过程。这要求我们在设计阶段建立一个可以不断扩充的，易于管理的数据集市；设计一个可以调整以面对未来越来越复杂的数据处理管理过程；建立一套方便的数据挖掘项目实施和应用的模式，在将来的发展和工作过程中尽量多的精力放在数据探索和模型建立上。3.1 业务需求数据挖掘系统应该至少包含前置数据处理，数据挖掘训练，模型的打分和发布，前端分析、挖掘等功能模块。首先，根据数据挖掘的分析主题，从经营分析系统的DW服务器或ETL服务器中抽取相关的数据（包括计费清单数据和BOSS等系统的客户数据），进行数据转换、汇总，生成数据挖掘目标表（宽表），并装载入数据挖掘的数据集市（DM）中。其次，利用数据挖掘工具软件，针对数据集市中的数据挖掘目标表数据进行抽样和训练建模。再次，商业模型建成之后，利用训练模型的打分代码定期对全体客户进行模型的打分和通过经营分析系统统一发布。按照广东经营分析系统的整体规划，要求数据挖掘应逐步实现以下主题的深度分析：1、个人/集团客户的离网/流失预测；2、个人/集团客户行为-价值细分及客户细分后的主动营销和交叉销售模型；3、营销计划管理及营销预演模型；4、客户异动分析（结合客户通话行为特征和IMEI信息）；5、竞争对手分析；6、信用度评估分析/欺诈分析；7、客户区域分布分析；8、客户价值综合评估/潜在大客户分析；9、客户发展分析；10、客户消费模型分析；11、广东移动经营分析系统一期工程数据挖掘项目近期内建设目标是个人/集团客户离网/流失预测、个人/集团客户行为/价值细分及客户细分后的主动营销和交叉销售、营销计划管理及营销预演三个业务模型的建模和业务闭环应用工作。对于数据挖掘的数据集市建设，要求通过对经营分析系统数据仓库或其它数据源中的相关业务数据进行抽取、清洗、加载，在数据集市中实现基础分析数据的存储，建立统一的数据视图，最终在省中心形成面向数据挖掘的专业数据集市。针对各地市公司在自身管理、业务的需要，可在省中心数据集市上建立适合其应用的数据子集，各地市公司的数据子集在数据上集中，但逻辑上独立。为有效的管理和引导各地市公司在其数据子集上的数据挖掘应用，要求数据集市在设计上具有较好的易管理性。此外，为应付不断发展的数据挖掘业务需求，还要求数据集市的设计具有较好的扩展性。对于数据挖掘的数据处理管理过程，要求实现自动化、批量化、可定制的从经营分析系统数据仓库或其他数据源中抽取、清洗、加载相关的业务数据，并最终形成数据挖掘所用的数据宽表，满足全省各地市公司不同数据挖掘主题的分析需要。数据挖掘结果的发布也必须满足自动化、批量化、可定制的要求。数据挖掘项目的实施和应用模式是省公司集中实施，并规划、管理和指导地市公司调整和优化业务模型并开展应用。因此，要求数据挖掘的系统体系架构至少应具备支持省中心及地市公司30个客户同时远程登陆到数据挖掘服务器上独立进行业务建模的能力。数据挖掘项目实施成功的关键在于实现业务上的闭环应用，包括设计、执行和评估目标营销活动以及后续的业务模型修正等步骤，详见图31。经营分析系统实现数据挖掘的业务闭环应用的基本思路是，将数据挖掘的相关结果信息或数据发布到BOSS省中心系统，从而可利用已有的BOSS 网络设备与各地市进行网络交互。数据探索数据准备建立模型执行目标活动设计目标活动跟进&评估目标价值评估及分群模型离网预警模型交叉销售模型定义业务目标范围模型应用模型建立应用闭环评估模型图31：数据挖掘项目实施流程为方便各层次用户（领导层，技术分析层，一般业务人员层）的使用，要求数据挖掘的结果展示应具有丰富的展现方式和足够的直观性，并且数据挖掘的前端分析展现需要与经营分析系统的前端分析方式实现有效地整合。3.2 业务实现策略3.2.1 概述经营分析系统实现数据挖掘的业务闭环应用的基本思路定义商务问题评估环境准备数据数据挖掘ExploreSampleModifyModelAssess效果回顾结果应用图32：数据挖掘流程根据数据挖掘项目方法论，以上流程图展示了整个数据挖掘的流程，大致上可以分成六个部分：3.2.2 定义商务问题每一个数据挖掘的项目，主要的目的都是要去解决或解释一些业务的问题，为了更容易的把问题数量化，从而能有系统的进行数据分析，清楚和明确的业务问题定义是十分重要的。例如在第一阶段里，“客户流失模型”，表面上看意思很简单，就是利用数据挖掘技术去预测每一个客户的流失机会，但是对数据挖掘来说，还需要对“流失”的定义作多一点的解释，这才可以把问题量化，一般对“流失”的定义有以下四种：终止合约客户主动通知广东移动，终止服务合约，这种“流失”定义比较明确。尽量减小客户持续减少应用广东移动公司的服务，甚至停止使用，这需要跟业务部门详细讨论来制订“流失”的定义。讨论以后，可能在需要做一些通话用量分析才最终决定“流失”的定义。外向性流失客户跑到竞争对手去。这种“流失”可能跟“终止合约”流失有点重叠，但如果能把它们分开，可以帮助广东移动更清楚自己的客户行为。内向性流失客户停止使用在广东移动其中一个品牌的服务，而转到广东移动另外一个品牌。3.2.3 评估环境在开始数据挖掘项目之前，一些客观的条件必须预先准备，才能确保项目顺利进行，以下列举一些重要的环境条件：Ø 内部的人力资源需求Ø 熟悉业务逻辑的人员；Ø 熟悉业务系统内数据的人员；Ø 熟悉数据处理的人员；Ø 用作数据挖掘的机器到位；Ø 领导层对数据挖掘的了解和支持。3.2.4 准备数据在一般情况下，数据的整理占用了整个项目的70%的时间，而数据能正确地处理更是数据挖掘项目的重要成功因素，如果数据仓库在项目开始之前可以到位，这对数据处理的效率和效果可以大大的提高。3.2.5 数据挖掘我公司根据自己在数据挖掘的经验，发展出一套完整的“数据挖掘方法论”，该方法论可以在很多项目应用，效果明确。“数据挖掘方法论”分为以下五大部分：Ø 数据抽样；Ø 数据特征探索、分析；Ø 预处理Ø 问题明确化、数据调整和技术选择；ØØ 模型的研发、知识的发现；Ø 模型的评估。3.2.5.1 数据抽样（Sample）当进行知识挖掘时，首先要从数据集市中取出一个与你探索的问题相关的样本数据集，而不是动用全部企业数据。数据抽样要根据所要达到的目标采取不同的方法，如随机抽样，典型抽样等。此外还要注意数据的质量，只有高质量的数据才可能导出正确的结论。3.2.5.2 数据特征探索、分析和预处理（Explore）得到一个样本数据集后，它是否达到了我们预想的要求，其中有没有什么明显的规律和趋势；有没有出现你从未设想过的数据状态；因素之间有什么相关性；它们可划分为怎样一些类别等等，这些都是要首先探索的内容。进行数据特征的探索和分析，一般采用可视化操作进行，如做散点图、图表，曲线等。还可用聚类、因子分析等方法对数据进行分类和筛选。这是一个反复试探和观察的过程，需要丰富的知识和敏锐的观察力。3.2.5.3 问题明确化、数据调整和技术选择（Modify）通过上述两个步骤的处理，对数据的状态和趋势可能有了进一步的了解，对原来要解决的问题可能有了进一步的明确，在此基础上，就可以按照问题的具体要求对数据进行修改了，如增删，组合或者生成一些新的变量等。3.2.5.4 模型的研发、知识的发现（Model）这一步是知识挖掘工作的中心环节。根据数据集的特征和要实现的目标，选择一种或几种知识挖掘方法，如数理统计方法，人工神经元网络，决策树等，从而将隐含在数据中的内在关系定量化，模型化。这一步也需要不断的试验，以得到拟合效果最好的模型。 3.2.5.5 模型的评估（Assess）从上述过程中将会得出一系列的分析结果、模式或模型，它们是对目标问题的多个方面的描述。但要形成最终的决策支持信息，还需要对这些结果和模型进行综合的解释。此外，要根据一定的方法，对决策支持信息的适用性做出评价。如可以扩大样本的范围，检验模型是否仍然满足。如果通过检验发现第一次构建的样本数据并不具有充分的代表性，或者模型本身不够完善，就需要重新进行数据挖掘的过程。因此，数据挖掘是一个反复进行的过程，在反复过程中，不断地趋近事物的本质。3.2.6 结果应用把建成的模型，实际应用在业务方面。例如利用客户流失模型去预测未来几个月的客户流失情况。如下图所展示，系统利用“客户流失模型”，在每个月底，根据每个客户在过去6个月的行为，为每一个客户打一个分数，分数越高，客户流失的机会越高。图33：预测未来客户流失情况下面以简单的客户流失模型说明数据挖掘模型的应用：经过数据挖掘所建成的模型基本上是一条数学方程式。例如，对客户流失模型，广东移动可以利用下列方程式去预测客户在将来的两个月内流失的概率。针对客户流失模型，在每一个特定的时间，可能是每个月的月底，利用客户流失模型方程式，去计算在下个月每一个客户的流失概率，再选择一些流失机会高的客户，由客户挽留部门的员工，在客户流失之前，进行挽留活动。在每个月中，定时检讨整个客户挽留流程的成效，优化当中的每一环节，以达到尽善尽美的效果。图34：客户流失模型应用流程3.2.7 效果回顾数据挖掘项目是一个持续的过程，数据挖掘出来的模型要根据业务和市场的改变不断的修改，所以在项目之后，检讨过去的项目中的成功与失败的地方，可以令日后的建模工作更加成功。3.3 系统建设要求3.3.1 处理能力要求1. 数据挖掘前期数据处理具备每天ETL和汇总全省3亿条计费清单（清单文件的每条记录按200字节左右计算，共60G/天）的能力。全省日清单的ETL和汇总时间应在8小时以内。具备每月ETL和汇总全省BOSS、1860等系统中的客户数据（预计广东移动04年底将达到4800万客户，数据量约20G/月）的能力。全省每月BOSS、1860等系统数据的ETL、汇总过程要求在24小时内完成。2. 数据挖掘的模型训练具备支持省中心及地市公司至少30个用户同时远程登陆到数据挖掘服务器上并发进行业务建模的能力。具备对广东移动4800万客户进行数据挖掘训练建模的能力，全省范围内22个地市公司并发训练单个业务模型（视业务需要，必要时须区分不同品牌客户）的训练过程花费的运行时间应在4小时内（不包括修正和优化的时间）。3. 数据挖掘模型的打分和发布具备对广东移动4800万客户进行业务模型打分和发布的能力。全省单个业务模型的打分和发布的运行时间应在4小时内。4. 前端分析展现前端分析展示界面中任一查询的响应时间应在25秒以内。前端展示界面的最大并发用户访问量应在500人以上。 3.3.2 在线存储容量1. 在线数据存储周期数据挖掘的目标数据表（宽表）的数据要求至少可保留13个月；通话清单数据要求至少保留3个月。计费清单的汇总数据要求至少保留6个月。BOSS、1860等系统的客户数据要求至少保留13个月。2. 在线存储数据量规划数据挖掘服务器需要保存的主要数据量包括：（1）保存清单数据及客户数据根据BI系统存储规划，规划到2004年底广东移动每天的清单数据量为60G（全省3亿条计费清单，清单文件的每条记录按200字节左右计算，共60G/天）。考虑清单数据在线保存3个月，则保存清单数据所需要的存储容量为：60×90=5.4TB。目前全省计费清单的汇总数据约为320G/B月，计费清单的汇总数据要求至少保留6个月，清单汇总数据的存储容量为：320GB×61.92TB。全省BOSS、1860等系统中的客户数据量约20G/月，存储13个月的客户数据需要约20G×130.26TB的容量。（2）数据挖掘目标表（宽表）2004年底广东移动的在网客户数将达到4800万左右，按实际通信客户占在网总客户的80%计算，根据经验按平均每个用户在数据挖掘目标表的记录长度为500个字节计算，一个主题的数据挖掘目标表的存储容量为19.2GB。系统考虑共有12个数据挖掘主题，每个主题的挖掘周期为1个月，目标表的数据共保存13个月，则保存目标表数据所需要的存储容量为：19.2GB×12×13=2.995TB。（3）数据打分结果及前端展示数据数据打分结果及前端展示数据的数据量，按照数据挖掘目标表的0.5倍估列，故需要的存储空间为：2.995TB×0. 51.498TB。（4）数据库索引与日志记录考虑采用数据库处理时可能需要建立数据库索引与日志记录，索引和日志按照有效数据的30%计算，数据存储容量约为3.622TB。（5）临时数据空间考虑数据挖掘的临时数据空间，按照上述数据容量的10%估算，容量约为1.569TB。（6）业务量增长上述数据量均按照广东移动2004年底的数据量进行估算，考虑系统的