移动互联网业务服务智慧通道技术研究及应用.ppt

《移动互联网业务服务智慧通道技术研究及应用.ppt》由会员分享，可在线阅读，更多相关《移动互联网业务服务智慧通道技术研究及应用.ppt（100页珍藏版）》请在三一办公上搜索。

1、中国移动联合研发项目结题汇报报告移动互联网业务服务智慧通道研究及应用,是否集团重点项目：是,一.开题计划完成情况,目 录,二、主要研究成果,三、项目创新性,研究背景：面临现网流量类业务急剧增长带来的巨大冲击，亟需建立中国移动智能化精耕化的通道,Internet,固定接入网,全网出口,省网出口,无线接入网,空口,CMCC,智能化精耕需求亟需通过新技术应用和持续优化、控制，提升通道业务支撑能力。建立智能化精耕化通道。,管道粗耕效应全程全网流量危机迫近，流量类业务迅速吞噬并占满网络资源。严重影响话音业务，影响用户业务使用感受！,挫败感,高投入低产出运营,管道粗耕效应,面临现网流量类业务急剧增长带来的

2、巨大冲击，亟需建立中国移动智能化精耕化的通道,PIM,MMS,游戏,ISMG,手机报,手机视频,通用下载,音乐/彩铃,139邮箱,飞信,中国移动自营业务,第三方应用,行业应用,家庭应用,电子商务,动漫业务,MM,统一门户,互联网应用,IPTV,迅雷,PPalive,腾讯网,移动用户,WLAN用户,宽带用户,中国移动承载网络,自营业务平台出口流量拥塞严重影响用户感受造成各业务系统扩容建设成本剧增,互联网流量拥塞网间和省关口严重影响用户感受造成网间结算成本剧增,中国移动面临日益严峻的管道化危机,中国移动面临日益严峻的管道化危机：流量类业务（Web、P2P、QQ等）骤增造成中国移动网络拥塞，严重影响

3、用户使用感受，网络运营成本升高。亟需改变目前中国移动对业务无感知、对流量无缓冲和疏导的纯管道化现状。,网络运营成本骤增,严重影响用户的业务使用感受,缺乏通道增值的设施和能力,全程全网扩容压力猛增网间流量突增结算成本骤增网络的投入产出比下降,流量类业务对语音业务产生严重冲击流量类业务造成网络拥塞，造成用户业务访问时延超出极限，甚至无法接通,缺乏提供热点内容的发现和积累的通道能力缺乏提供业务差异化的分发和加速的通道能力,1.2 主要研究内容及分工项目分工,研究院：宽带城域数据网总体技术要求研究院：城域内专网流量承载方案研究广东：传输和IP技术相结合的全业务下综合承载网解决方案研究（例子）,移动互联

4、网业务服务智慧通道研究,1,2,智能DNS（北京公司）,运营商智能DNS系统研究及系统开发：在体系架构、解析流程、个性化功能等多层面对传统DNS技术的架构和体制进行优化完善，形成整套技术方案并开发一套运营商智能DNS系统。,基于分布式缓存的通用型CDN研究与实践（江苏）,3,分布式缓存系统设计及多级调度策略及算法研究分布式缓存研发、测试及系统优化研究。智能DNS系统及分布式缓存平台向NG-CDN的演进研究。,音乐业务CDN应用和优化（四川）,4,构建音乐业务的CDN实验网，包括音乐内容分发的CDN解决方案、基于CDN的解决音乐内容分布式存储方案、CDN商用的技术储备。P2P技术与CDN融合，构

5、建P2P分布式网络，有效提升CDN边缘节点的下载速度，减少网间结算流量，提升用户感知。,智慧通道项目在现网的试点和应用（计划部/江苏/四川/北京/陕西）,5,研究院：Web Cache系统功能及性能选型测试研究院：Web Cache系统互通性测试研究院：P2P Cache系统功能及性能选型测试江苏：基于分布式缓存的通用型CDN的现网实践北京公司：智能DNS现网实践四川公司：音乐业务CDN应用和优化实践,1.3 开题计划完成情况总结,研究成果完成情况（成果包括研究报告，解决方案，研发出来的产品，测试报告，多少个测试例，规范，标准文稿，专利，等等）,1.3 开题计划完成情况总结（续）,1.4 联合

6、项目分工和整体性,研究院移动互联网业务服务智慧通道（SPoM）1）形成整体解决方案（架构、流程、核心策略和接口）2）形成全网路标式引入策略研究3）根据需求分阶段形成技术规范,研究院缓存加速系统测试方法与工具研究,北京：智能DNS技术及应用研究,江苏：运营商内容分发网络(CDN)技术研究与实践项目（一阶段）,四川：基于无线音乐业务CDN商用研究,四川：运用P2P技术提升中央音乐平台海量音乐内容分发能力和无线音乐下载能力研究,陕西：互联网应用缓存加速系统研究,通道基础能力提升,来自互联网需求,来自自营业务需求,通道基础能力,研究院：WebCache研究,各子课题研究目标,支持多业务多协议多厂家的S

7、PoM体系，融合P2P缓存、WEB缓存、CDN、智能DNS、云计算等关键技术，实现业务资源流量的智能识别、智能调度。,智慧通道,融合P2P Cache、Web Cache和CDN的整体解决方案，对互联网流量和自营业务的热点内容进行统一的缓存和加速处理,分布式Cache系统（NG-CDN）,为用户访问资源提供智能定位，依据资源位置、可用性等依据确定最佳的资源地址，以提高用户感受；同时提供更为优化、可靠安全的DNS服务。,智能DNS系统和策略,音乐业务基于分布式Cache系统的分发调度策略研究；基于P2P技术提高音乐业务分发能力的研究,研究有效验证系统功能和性能的测试方法、测试模型及测试工具,测试

8、方法和工具,自营业务的内容分发系统和策略,一.开题计划完成情况,目 录,二、主要研究成果,三、项目创新性,2.1移动互联网业务服务智慧通道研究（研究院）。2.2智能DNS技术及应用研究（北京）2.3基于分布式缓存的通用型CDN研究与实践（江苏）2.4音乐业务CDN应用和优化（四川）2.5智慧通道在现网的试点和应用（北京/江苏/四川/陕西/计划部）,面对现网流量急剧增长带来的巨大冲击，亟需建立疏导和控制结合的智慧通道（SPoM-Smart Pipe of Mobile Internet）,建设中国移动智慧通道（SPoM），避免传统管道能力单一和缺乏精细化管理的缺陷，利用运营商在移动互联网通道的核

9、心位置，建立能够主动感知和缓存业务流量，共享和快速分发热点内容，且具有通道增值能力的智能化通道,通道流量疏导,通道增值能力,流量疏导和缓存，以减少互联网流量冲击建设分布式Cache系统（D-Cache）,业务热点内容的加速分发,数据压缩能力分发能力租用AOI能力租用业务多屏适配个性化网盘热点增值服务,SPoM通道核心能力,内容流量类,共享的优化的长在线通道,缓冲暴增流量,提升访问速度,减少资源占用,打造通道增值,分布式缓存D-Cache,内容分发NG-CDN,增值能力V-PIPE,永远在线AOI,交互在线类,目录,焦点问题,解决方案,实施成效,引入策略,SPoM,SPoM愿景：疏控结合的精细化

10、通道模型,智能DNS,后端智能DNS功能,前端DNS受理功能,智能重定向功能,基于策略的流重定向,热点内容探测,内容策略控制,增强的DPI流量探测（E-DPI）,智能资源定位能力,分布式缓存能力,自营业务,云存储,音乐,Web,P2P,通道增值能力,第三方客户增值,CDN,AOI,个人用户增值,网盘,热点消费,多屏融合,通道信息总线,用户信息中心,用户ID信息库,对应UA信息库,安全扫描能力,图片/文字扫描系统,视频扫描系统,Internet,全网出口,省网出口,无线接入网,空口,压缩能力,通道端到端数据压缩,系统级解决方案介绍,智能资源定位解决方案分布式缓存（Cache）解决方案业务流量数据

11、压缩解决方案永远在线基础设施解决方案,系统级解决方案1：智能资源定位系统,智能DNS技术架构,智能重定向技术架构,通道信息总线,数据分析采样,流量优化引导决策,决策算法和模型,决策目标,系统架构,调度策略,代价算法,实现SPoM的关键总线系统全网管控中心的落地商用，打造了分布式的全网统一Cache体系。,基于SPoM的整体架构，结合互联网应用的先进思想与运营商需求，提出了适用于CMCC异构网络的互联网流量优化与调度策略，实可现最小代价下的最优化服务。,基于调度策略，提出了流量代价计算算法，可实现全局Peer的优化选择。,Cache系统的创新思路体现在如下三个层面,系统级解决方案2：分布式Cac

12、he系统解决方案,创新点1：首次提出了应用于Cache系统的全网管控中心系统,全网管控中心,WebCache系统,P2PCache系统,创新性地在Cache系统中引入全网管控中心，合理设计系统功能及接口标准实现针对多类系统的统一管控与策略服务；通过纳入二级/三级节点，打造了CMCC化的统一Cache体系架构，全网WebCache节点间的设备管理、资源管理和跨域调度；全网P2P Cache节点间的设备管理、资源管理和域间调度；对DPI及智能DNS中互联网访问数据的统一采集整合，形成中国移动的互联网资源信息视图；,提升系统服务效能,降低建设运维成本,符合系统演进趋势,智能DNS技术架构,智能重定向

13、系统,在全网管控中心调度下，形成多级Cache系统服务架构，各级别Cache节点可独立面向所辖范围的用户提供用户请求的调度和缓存服务，也可相互协同配置实现资源与流量的最优化管理。,创新点1：首次提出了应用于Cache系统的全网管控中心系统,全网管控中心,系统级解决方案3：业务流量数据压缩解决方案,少量用户对网络资源侵占严重：数据卡用户占全部上网用户数比例仅1.4%，却消耗了48%的流量。TD数据卡占用绝大部分TD移动数据流量，TD高流量的最主要来源从分层情况可知，72%的客户流量低于2G。27.2%的客户月流量超过2G，该部分客户占用83%的数据卡总流量，呈现比较明显的二/八法则。,TD数据卡

14、客户流量分层分析,单位：亿MB,TD数据卡客户流量分时分析,Internet,全网出口,省网出口,无线接入网,空口,互联网流量占据有限的空口资源,固定接入用户,上网卡用户A,手机用户,上网卡用户B,安装加速客户端,未装加速客户端,WebCache缓存子系统,Internet,DPI,GSLB,压缩优化系统,非热点内容：直接出外网访问,安装加速客户端：普通流量-由压缩优化系统作为Proxy；,安装加速客户端：视频流量-由WebCache系统实施302 Redirect，由WebCache提供服务,应用场景划分：上网卡用户A（安装客户端）普通HTTP流量视频类流量,系统级解决方案3：业务流量数据压

15、缩解决方案,系统级解决方案4：永远在线基础设施（AOI）,Internet,全网出口,省网出口,无线接入网,空口,QQ占据有限的空口资源,QQ业务特点QQ业务的消息数据量较小，平均每个操作的上行数据量为0.1k-3kB，下行数据量为0.1k-4kBQQ业务特点为实时交互，频繁交互、持续流量QQ业务需要终端和网络频繁交互，会导致占用大量无线信道资源（包括业务信道和控制信道）QQ业务无线信道利用率较低,QQ等即时通信业务流量占比小，消耗资源多，信道利用率较低。从深圳公司数据分析看，QQ流量占全部数据流量的21%，占用无线业务信道的76%，占无线控制信道的10-22%,占wap防火墙能力的85%,Q

16、Q业务存在GMM 状态变化时延（READY-STANDBY）导致的心跳对齐的问题，为了保活连接，造成大量的PS paging开销QQ业务峰值时刻有2000万（假设都是移动用户）同时在线，需要移动的防火墙提供2000万个端口，开销巨大，去年天津移动飞信登录成功率低和北京移动wap网关瘫痪均是该原因所致,占用控制信道,发消息,释放,心跳,释放,心跳,传送QQ数据时长,占用业务信道PDCH时长,QQ业务无线信道资源占用示意图,应用层心跳标识,占用控制信道,占用控制信道,QQ消息发送开始和结束时间点（2步骤）,应用层心跳发送开始和结束时间点（5、7步骤）,每次发起数据收发前需进行控制信道的请求（RAC

17、H、AGCH、PCH等1、4、6）,1,2,3,4,5,6,7,QQ业务应用层心跳时长(20-30秒),Always Online业务端到端问题分析,无线侧影响分析-CCCH,无线侧影响分析-PDCH,“信令风暴”对运营商无线网络影响北美-AT&T(2009.09.04):iphone 在纽约地区掉话率高达30，收发一条Twitter消息延迟15分钟欧洲-英国O2(2009.12.30):数据流量增长18倍，信令激增；8%的智能用户产生55%的信令流量，伦敦一些用户周期性无法拨打/接听电话澳洲-新西兰电信(2010.03.02):过载的原因推测来自WCDMA/HSDPA用户信令激增造成，三个月

18、时间里，3G网络四度瘫痪，CTO被辞退终端不断发起注册请求失败，再次请求,IP Backbone,GGSN FW,业务平台,UE,SGSN,GGSN,WAP GW,PS,BSC,CS,GRE R,2,3,1,4,CMNET FW,流量,耗电,CCCH,PDCH,MM时延,NAT周期,整体解决方案:AOI,为企业业务、互联网业务、以及内容提供商提供统一的消息推送通道和同步传输通道为基于长在线应用提供统一的接入点，有效地为客户提供高性能、低延时的用户体验服务,AOP,VBU,可利用网络空闲带宽，提供业务的同时，提升网络整体利用效率,解决方案：AOP,Application,AOP,AOP（PS）,

19、SMS（CS）,Internet,UE,永久在线应用,AOP,Terminel,UE 上所有永久在线应用与AOG 之间收敛成一个 IP 长连接完成App层的全部信令过程。IP 连接不可达的情况下，采用SMS、USSD方式唤醒终端客户端中间件具备收到 push消息的唤醒、应用消息适配与分发的能力统一IP连接，简化多APN，多IP地址，多IP连接、会话支持复杂性,协议栈,解决方案：AOP,解决方案:部署通用的“AOP”,在无线数据通道上最大化单位数据量的收益,用户体验：即时、低时延、始终在线用户消费模式转变：主动式消费传染式消费“短信”的体验方式稳定性、可靠性、速度提升，提高用户体验终端：终端节电

20、策略和Push机制结合长连接数的收敛，数据压缩业务平台：降低SP/CP服务器投资，更关注应用本身开发提供主动将内容推送至终端更为丰富的方式提供统一应用/内容接入方式，无线侧连接托管网络资源：无线心跳时长优化、无线心跳数据包大小优化核心网消耗优化，防火墙端口优化,目录,焦点问题,解决方案,实施成效,引入策略,SPoM,Cache系统项目总体效益-有效提升企业核心竞争力,显著减少运营成本,大幅提升用户感受,扩展通道增值能力,有效减少出口拥塞与流量结算成本，降低潜在带宽扩容需求.试点系统(江苏/浙江）互联网带宽节省HTTP总流量的20%；P2P流量约60%全网系统(北上广)预计降低现网出口链路约15

21、G的网间HTTP流量，30G左右的P2P流量；节省网间结算成本约1亿/年，并减少对应的线路扩容租用费用约3亿/年（10G线路年租金高达7200千万）,大幅提升用户的对互联网和自营业务的访问体验，增强个人客户/集团客户的使用黏度，提升业务核心竞争力试点系统(江苏/浙江/山西）100家重要用户网站的平均访问时延减少82%；P2P下载速度提升250倍不等；,通道内容分发能力增值：可作为IDC业务，面向客户提供一点接入全网服务的增强功能，提升CMCC IDC的竞争实力通道热点内容增值服务：基于缓存系统积累的热点内容，引导用户进行热点引导和消费。试点：P2P增值业务平台,数据压缩系统的效益评估,对于一般

22、的网页浏览而言，默认的图像压缩格式（采用压缩68%）基本能满足用户的需要图像压缩在网络上能够取得较好的加速性能通过压缩方法能够在有限的空口资源上支持更多的并发用户访问,AOI的效益评估,交互型移动互联网数据业务,通过流量管理规则的设定，通过监测数据链路状态对规定时间无流量的的数据业务断掉连接，达到连接触发条件时再重新形成网络连接。通过AOG在业务忙时允许更多的业务进行连接，附着更多的客户，,IM错峰管理示意效果图,内容型移动互联网数据业务,通过的消息到达调用的机制，将内容型数据业务的用户使用高峰期和业务投递高峰期进行分离，实现错峰调度管理。,新闻早晚报错峰管理示意效果图,目的：通过AOI合理分

23、配利用网络资源和降低数据业务对移动网络的资源消耗，从而实现降低网络建设投资和增量增收。,目录,焦点问题,解决方案,实施成效,引入策略,SPoM,SPoM部署：基于现网需求逐步实施,依托省联合创新项目与集团项目，实现成果与技术方案的多层次、全方位落地应用。,近期：结合现网WebCache/P2PCache需求，建立分布式缓存系统，应对外网流量冲击。,远期：推动通道能力整合，建立具有端到端流量探测/管理/增值能力的智慧通道,智慧通道初期：基于重点联合项目，验证全网方案可行性结合现网Cache系统，部署核心的智能组建,智慧通道远期：整合端到端通道的流量管理、安全检测、热点缓存和分发能力，形成全网管控

24、中心，实现通道的可控和智能化,已落地,已落地,已落地,2.1移动互联网业务服务智慧通道研究（研究院）2.2智能DNS技术及应用研究（北京）2.3基于分布式缓存的通用型CDN研究与实践（江苏）2.4音乐业务CDN应用和优化（四川）2.5智慧通道在现网的试点和应用（北京/江苏/四川/陕西/计划部）,智能DNS系统,项目背景,项目目标,项目方案,项目成效,A.,B.,C.,D.,项目背景运营商DNS系统面临的一些问题,DNS,1,5,2,4,3,部分中国移动用户无法访问网内IDC资源,DNS系统架构不合理,系统安全性差,受ICP DNS影响，ISP DNS系统解析效率低,错误域名及不良信息网站无法规

25、避,迭代查询攻击容易造成整个DNS系统瘫痪，影响大面积用户,5月19日，江苏、河北、山西、广西、浙江等省出现互联网故障，导致部分互联网用户的服务受到影响，原因在于(即暴风影音官方网站)域名解析系统遭网络攻击，导致运营商递归域名解析服务器拥塞，进而发生大面积用户无法上网；。,1.缓存查询及迭代查询基于同一物理DNS服务器实现；,2.迭代查询没有相关的限制及访问过滤机制；,3.ICP DNS服务器故障时导致ISP DNS系统迭代查询数目剧增；,4.导致ISPDNS系统资源耗尽瘫痪，从而影响整个网络用户的HTTP访问；,由于该类问题所导致的重大网络故障：中国电信519事件,项目背景运营商DNS系统面

26、临的一些问题,问题一：DNS系统架构不合理,问题二：部分中国移动用户无法访问网内IDC资源,由于DNS本身技术体制的问题，导致中国移动引入的IDC资源不能被部分中国移动用户访问，并且该IDC资源还会大量被部分联通电信用户访问；,业务流1：中国移动接入用户访问内网IDC资源（正常流量）业务流2：中国移动接入用户在拥有网内IDC资源条件下，还依旧访问外网IDC资源（需规避流量）,项目背景运营商DNS系统面临的一些问题,问题二：部分中国移动用户无法访问网内IDC资源,业务流1业务流2的质量对比,Web业务访问路由完全被ICP控制,案例1：、等，自从引入后，无论TD用户还是专线用户，均未被解析至北京移

27、动IDC（现已解决）；,案例2：前期针对省内及省外部分引入目标网站进行监测，均都出现了DNS解析问题；,案例3：:中关村在线，自从引入后，解析均正常。但2010年1月28日下午，北京移动所有用户均被指向联通IDC。至2010年2月21日，DNS解析被指回北京移动IDC；,业务流1业务流2的流量对比,注：3月29日周一0点至4月4日周日24点整一周时间,项目背景运营商DNS系统面临的一些问题,问题三：系统安全性差,同时利用TCP/UDP进行网络DDOS攻击,假冒DNS服务器，反馈虚假DNS响应报文：DNS劫持缓存毒化,正常用户,正常用户,正常用户,正常用户,国际顶级DNS服务器,A,B,项目背景

28、运营商DNS系统面临的一些问题,问题三：系统安全性差,A.迭代查询的报文没有任何加密保护，极易受到DNS劫持及攻击,DNS系统受到网络攻击导致缓存毒化，使得TTL值巨大，并将用户请求被劫持到其它非法网站，目前仅能通过缓存清理解决；,项目背景运营商DNS系统面临的一些问题,问题三：系统安全性差,B.传统DNS系统同时开启UDP/TCP的53号端口，加大了基于TCP的网络攻击的可行性,DNS域名解析协议规定采用UDP53号端口和TCP53号端口进行域名解析的查询和响应工作，首先，采用UDP53号端口进行域名查询，若DNS应答长度超过512字节，则只返回前512个字节，这时DNS认为UDP查询失败，

29、就需要使用基于连接并可分片的TCP重发原来的查询请求；,UDP连接的失败，会导致重新发起TCP连接，导致DNS时延增加，同时，TCP对超长报文的切片和重组也增加了DNS的解析时间。DNS时延的增加使得用户感知下降，恶劣情况下，可能会导致用户无法访问ICP资源；,项目背景运营商DNS系统面临的一些问题,问题四：受ICP DNS影响，ISP DNS系统解析效率低,本地DNS服务器接收到DNS响应包中的TTL时间偏短会引起短时间内同一网址请求的再此迭代查询，增加DNS系统负荷同时提升DNS查询时延；,ICP考虑到自身利益，通过将DNS响应报文中的TTL值设置的很小，使得ISP DNS会在短时间内反复

30、针对同一域名多次发起DNS迭代解析，大大消耗DNS系统资源，降低DNS解析效率，并增长了DNS响应时延，降低了用户感知；,项目背景运营商DNS系统面临的一些问题,B.不良信息网站访问如何规避，如何利用个性化的域名定制服务开展经济潜力巨大的增值业务,问题五：错误域名及不良信息网站无法规避,A.异常的DNS包大约占全部查询的14%，大大降低了系统性能,项目背景运营商DNS系统面临的一些问题,智能DNS系统,项目背景,项目目标,项目方案,项目成效,A.,B.,C.,D.,项目目标,优化系统架构：将传统DNS服务器按照迭代查询功能及处理缓存查询功能分隔为物理隔离的前端模块及后端模块，后端智能DNS服务

31、模块处理迭代查询及其它优化功能；IDC资源定位精确性：DNS递归查询结果经智能DNS处理后，可准确定位至用户归属ISP的内部IDC资源，解析结果不再受ICP及其它授权域名服务器控制；优化解析流程，提升DNS解析效率：优化解析流程，由智能DNS代理前端DNS完成递归查询功能，并对递归查询结果的TTL位及TC位进行优化改写；智能DNS仅完成缓存查询及本域查询功能；安全性提升：前端DNS关闭TCP查询功能，规避基于TCP的网络攻击；TTL值的优化改写，规避缓存毒化的网络攻击；前端DNS/智能DNS上启用对源地址的限制功能，规避了其它运营商用户的网络攻击；有条件地启用DNSsec功能；启用ANYCAS

32、T：前端多点DNS服务器启用anycast的负载均衡方式，并统一将迭代查询forward给后端智能DNS服务器；域名封堵及增值功能：实现不良信息网站域名的封堵；能够实现将错误域名访问、不良信息网站访问解析至预配置页面（广告页面等）；,智能DNS系统,项目背景,项目目标,项目方案,项目成效,A.,B.,C.,D.,项目方案,智能DNS总体技术架构,智能DNS总体功能架构,项目方案,智能DNS功能实现举例,优化DNS解析协议及流程，规避DNS报文超长时所引起的二次DNS解析请求，从而大大提高解析效率及用户感知；使得系统可以关闭TCP53号端口，规避基于TCP的所有网络攻击；,项目方案,智能DNS功

33、能实现举例,前端缓存及后端缓存TTL值的双级智能处理；将二级缓存TTL值设置一定的时间差值，由于时间差的存在，完全规避了在用户发起DNS请求时进行DNS迭代查询的可行性，大大提高DNS解析时延、设备性能及安全性，提高用户感知；,项目方案,智能DNS系统,项目背景,项目目标,项目方案,项目成效,A.,B.,C.,D.,节省互联互通流量,目前北京移动IDC出口带宽为1.66G1.27G2.93G,北京移动IDC已引入17个网站，IDC流控系统数据统计IDC流量中有68为中国移动服务（其中北京移动流量不到2）；通过北京移动IDC和北京CMNET的流控系统统计，在引入镜像网站资源后，用户访问这些网站的

34、流量还有30要流向网外；可以计算，尽管引入了IDC，仅北京一个IDC依然有2.93G683/7=0.85G的出口带宽流向网外；,估计，全国23个IDC中心产生10G以上的可规避的出口带宽，智能DNS能完全将这些流量拉回网内，可节省费用上亿元,项目成效,通过TTL值优化、TC值优化规避了DNS的缓存毒化攻击、基于TCP的网络攻击。缓存查询和迭代查询的隔离更是在技术体制上规避了类似于“电信519重大事故”大面积互联网瘫痪的发生可能性，带来的经济效益和社会效益,不可估量；,安全加固互联网的“神经系统”DNS,智能DNS部署方式,省网独建模式,多省共建模式,项目成效,2.1移动互联网业务服务智慧通道研

35、究（研究院）2.2智能DNS技术及应用研究（北京）2.3基于分布式缓存的通用型CDN研究与实践（江苏）2.4音乐业务CDN应用和优化（四川）2.5智慧通道在现网的试点和应用（北京/江苏/四川/陕西/计划部）,基于分布式缓存的通用型CDN研究与实践,SPoM,课题整体背景,课题的解决方案,课题实施成效和意义,其他,A.,B.,C.,D.,一、课题形成背景,承载网络,PIM,MMS,DM,ISMG,手机报,手机电视,通用下载,音乐/彩铃,139邮箱,飞信,各类业务平台,第三方应用,行业应用,家庭应用,中国移动提供日益丰富的业务内容，用户访问量和带宽占用日益增加，如何保证用户服务质量，对业务平台和业

36、务承载网均提出了更高要求随着3G和全业务的来临，业务服务内容激增与业务系统瓶颈的矛盾急剧显现承载网络对于业务的分发能力直接决定了业务的质量与感知,电子商务,如何为中国移动众多内容增值业务（内容下载、点播直播、网页浏览等），提供加速服务，以提高用户服务质量，降低对承载网和业务平台的性能要求，从而大大降低投资建设成本，成为亟需解决的问题,上网用户数量快速发展，高流量用户不断增加,互联网业务大量占用运营商网络资源,一、课题形成背景,互联网资源（网络、内容）不足制约我公司的业务发展,HTTP/P2P成为主流的互联网内容传播方式，占用大量网络带宽，用户流量不断增加，网络运营带来巨大压力,跨运营商网间流量

37、增长快增幅大，跨网业务访问质量低，网间结算费用昂贵，业务运营面临较大的成本压力,中国移动2009年租用电信和联通电路年结算费用达到了近10亿元，江苏移动全年总结算费用达到了1.8亿，占20%，全集团第一,一、课题形成背景,72%,21%,7%,IDC收入结构,主机托管,虚拟主机,其他增值业务,在IDC市场上，主机托管基础服务是目前IDC收入主体，而CDN具有很大的成长空间,在众多IDC增值业务中，CDN（Content Delivery Network）业务独树一帜，发展极其迅速。CDN即内容分发网络。其目的是通过在现有的互联网中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”

38、，使用户可以就近取得所需的内容，解决网络拥挤的状况，提高用户访问网站的响应速度,2,699,2006,7,790,2007,13,200,2008,+121%,CDN示例：全国第二大CDN提供商上海帝联业务收入（万元）,CDN内容加速服务利用智能热度分发技术，把热点内容高效、稳定地发布到离用户最近、负载较轻的服务节点，提高用户访问质量特点真正实现“一点接入，全网服务”，通过IDC-CDN为用户提供统一的业务入口无需源站拥有内容同步软件及技术，对源站系统要求较低CDN通过内容智能分发删除，有效地降低骨干网带宽和单点服务器I/O压力使全网的计算、存储和网络资源消耗最小化，节能降耗,CDN技术具有较

39、大的发展空间,目录,SPoM,课题背景,课题的解决方案,课题实施成效和意义,其他,A.,B.,C.,D.,二、课题的解决方案,通过智能DNS系统、分布式缓存内容分发技术及架构的研究，最终形成通用型内容分发架构。,分层架构设计（业务控制层、策略调度和管理层、内容分发服务层、终端接入层）业务在接入层平滑接入，保证网络稳定性和灵活性以P2P技术为代表的网络计算技术为基础向通用CDN架构的演进核心和内容中心间、内容中心和服务节点间内容层面的P2P化，将提高网络整体效率，节省资源，节约成本，提高可扩展性，并具备良好容灾能力,新型分布式系统架构和网络计算技术研究,用户引导（内容路由）结合DNS重定向、应用

40、层重定向、移动定位技术的智能访问调度针对新架构的负载均衡机制内容分发和内容存储技术PUSH和PULL结合的智能分发-基于热度的智能分发和智能删除算法海量数据的高性能网络分布式存储和缓存技术不同节点间的P2P传输技术与分发和存储策略的融合-切片和部分缓存算法（P4P）,通用型CDN核心算法技术研究,二、课题的解决方案,二、课题的解决方案,通过不同内容分发及流量调度机制实现各种流量的智能疏导,Internet,省IDC中心,用户,CMNET骨干,CMNET省网,引入互联网节点,P2P及WEB缓存平台,中国移动网外,蓝汛CDN网络,省IDC中心,蓝汛CDN节点,省内DNS,蓝汛DNS,DNS智能转向

41、,蓝汛CDN可加速网站外部节点,蓝汛CDN不可加速网站外部节点,中国移动网内,通过智能DNS系统完成HTTP流量的智能内容疏导与分发。,二、课题的解决方案,通过智能DNS系统及分布式缓存平台实现P2P流量的智能内容疏导与分发。实现缓存与IDC引入网站节点流量的分发调度协同机制。,Internet,省IDC中心,用户,CMNET骨干,CMNET省网,引入优酷网节点,P2P及WEB缓存平台,优酷网外部节点,优酷网智能DNS系统,中国移动网外,省内DNS,中国移动网内,通过不同内容分发及流量调度机制实现各种流量的智能疏导,二、课题的主要内容,构建以分布式缓存为基础的通用内容分发体系,Internet

42、,IP承载网,分布式缓存（HTTP、P2P、IPTV。）,流量拥塞点省网出口互联出口,以分布式缓存为基础，在主动分发被动请求两个方向上构筑面向所有业务内容的标准化的内容分发体系，有效提高业务质量，降低成本,主动分发,被动请求,内容汇聚：一次外网访问，多次内网服务Cache作为互联网与移动网络间的缓冲带，有效吸纳互联网通道上的热点流量，减少网间和网内的流量压力，加快网络访问速度，提高用户互联网体验，降低对电信、联通网间互联链路的依赖；内容分发：内容分级存储，热点数据全网调度分发建设分布式Cache与全网管控系统，保证用户以最快捷的通路访问所请求的资源；内容增值：基于缓存数据，提供多角度的增值业务

43、开发及运营体系；,缓存子系统是整个系统的重要部分，一般会运用多种智能缓存技术，将互联网热点资源缓存下来。,缓存子系统（CSS）,调度子系统运用负载均衡、缓存记录搜索、热点内容管理调度等技术将用户的访问请求直接引导到缓存，同时其对多级缓存进行有效地负载管理。,调度子系统（DSS）,包含流量采集分析模块和重定向模块这两个子模块。采集流量从中解析出用户请求（P2P、HTTP、FLV等），对用户请求的进行重定向处理，引导用户优先获得本地流量。,重定向子系统（RSS）,通过设置各种参数，提供多种管理策略，保证系统按照既定策略工作，同时可对运行状态和各种数据进行监控。,管理子系统（MSS）,分布式缓存平台

44、逻辑架构,二、课题的解决方案,分布式缓存平台工作原理,全网统一部署管理子系统、重定向子系统和一个调度中心系统，而缓存子系统则按节点分别部署到各地市分公司。调度中心将作为全网的中枢，对所有前端系统、各区域的缓存系统的设备、服务以及客户访问行为进行统一调度。调度中心将管理全网所有的内容资源，充分调度资源迁移；自动识别性能瓶颈，调度负载均衡；识别故障设备，调度应对策略，减小故障影响，从而提高系统的可靠性和整体性能。,二、课题的解决方案,关键技术一：文件唯一性判定算法,在互联网上，内容相同的资源经常会出现在不同的网站上，而且文件名也不一样。如果按照文件名和URL等信息来定位资源，将会造成内容相同资源的

45、重复下载，浪费宝贵的互联网出口带宽。调度系统能够准确的判断互联网资源的唯一性，避免重复缓存带来的带宽和缓存空间的浪费。其实现原理如下图所示：系统自动将文件进行分片并预读取每片的前面几个字节，然后用HASH算法获得一个唯一标识该资源的hash值，确保缓存资源的唯一性。,二、课题的解决方案,关键技术二：负载均衡调度算法,调度子系统对部署的多台缓存子系统设备进行有效的负载管理。比如当部署了多台HTTP缓存设备后，调度子系统将把用户的HTTP下载请求在多台缓存设备上进行有效的负载均衡管理。,调度子系统中，每个资源都有自己的Content Hash。每台缓存子系统负责一部分Content Hash段的资

46、源，如缓存子系统1#负责Content Hash段从A到F的，缓存子系统2#负责Content Hash段从G到K的，以此类推。当某个用户请求下载Storm2009_558这个资源时，其Content Hash计算为B0084cc7b224bbd9f0d13ca22bdf731d，所以此请求被转到缓存子系统1#进行服务。,二、课题的解决方案,关键技术三：内网P4P调度算法,以迅雷协议为例，标准迅雷用户进行下载过程中，服务器在返回Peer-list时，并不能判断哪些peer属于内网应该优先互相传输，而是随机的将列表发送给客户端，列表中既包含外网的用户，也包含内网的用户。部署采用P4P技术的缓存系

47、统后，调度系统就会将内网中保存有相同内容的peer地址优先传送给请求用户，而不需要向外网peer进行请求。通过优先调度内网用户之间进行数据传输，可以达到降低对骨干网的传输压力，并提高文件传输的性能。,Internet,CMNET省网,缓存平台,二、课题的解决方案,各类不同的调度策略,某个资源达到热点时，DSS将选择一台CSS设备去外网下载该资源，选择的依据主要是根据各设备的任务数多少进行调度。,外网资源进站调度,缓存资源出站调度,域间资源调度,域内资源调度,用户要访问的资源已有缓存时，调度中心将通过RSS重定向到相应缓存服务器实现缓存加速。如果区域内有多个CSS都含有该缓存资源，调度中心依据负

48、载均衡原则进行调度。,某资源达到热点时，调度中心首先会检索其他区域是否已有缓存，若其他区域都没有，则执行进站资源调度策略；若其他某节点已有缓存，则依据一定的调度策略实现区域间的资源迁移，保证整个系统同一份资源不需要去外网下载2次。,在同一个区域（节点）内，如果某资源下载量非常大，由于下载的客户很多，为了实现负载均衡，将对这些资源进行区域内的迁移，在该区域内不同CSS设备上分别保存一份，DSS将根据这些记录，灵活调度对相同资源的并发访问用户的重定向地址，采用轮巡机制保证整个系统的高效服务。,二、课题的解决方案,二、课题的解决方案,分层架构,扁平架构,组合架构,根据不同应用特点，试点采用不同的逻辑

49、架构实现内容的高效分发,分布式缓存智能化分发的逻辑架构研究,目录,SPoM,课题背景,课题的解决方案,课题实施成效和意义,其他,A.,B.,C.,D.,多级架构协同,分布式缓存,智能化重定向,P2P、P4P技术应用,与流控协同,松耦合架构,依托于分布式缓存，实现主动内容和被动内容的双向分发,根据用户类型、业务类型实现用户流量重定向，达到网络流量的优化整形,采用P2P、P4P技术来提高分发效率，降低网络负载,通过与流量监控和分析系统的协同，实现全方位的流量管控体系,通过提炼标准化网络组件逐步实现CDN向松耦合架构的平滑演进,根据业务特性采用不同的逻辑分发架构,三、课题实施成效和意义,通用型CDN

50、,课题研究的意义：,三、课题实施成效和意义,疏堵结合 有效的减小非关键流量出口带宽占用，并大大提升了客户体验，有效降低出口流量，减少网间结算费用，为运营商带来CAPEX 和OPEX 的下降。一体化缓存解决方案 支持对多种业务的缓存加速，支持多种协议的检测处理，支持对P2P传输、HTTP文件下载、在线视频业务的缓存加速 高效缓存 节省外网流量的40。流量峰值期间，分布式互联网缓存系统的命中率达到85以上，缓解流量压力达到70以上。高性能海量存储 单台缓存设备最大可提供450Mbps 吞吐量，采用分布式互联网缓存系统高性能存储服务器，每台缓存服务器最大配置20T存储容量，极大提高缓存命中率，高峰期