WAP业务典型故障处理经验交流——广东移动.ppt
WAP业务典型故障处理经验交流,中国移动广东公司,Connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析,Connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析,Connect问题分析,大量用户投诉在不知情的情况下被订购某SP的业务，而且在MISC平台也发现该SP业务的访问量及用户数异常增高，并且访问日志中没有发现用户的私网地址（x-forwarded-for字段）。对于这种情况，初步判断是SP欺诈行为造成的。,Connect问题分析,用户否认定购业务。订购用户无相关的GPRS流量。WAP网关无订购用户相关的访问记录。MISC平台有完整的访问日志，并且访问均来自WAP网关。,采样点2、WAP内网交换机，该采样点可以监控到手机向WAP网关以及WAP网关去往MISC的数据包。,从各种现象来看，怀疑是SP通过某种方法伪造用户信息进行业务定购，而这种定购行为需要通过WAP网关（MISC平台的访问日志表明，定购请求是来自WAP网关的）完成。基于以上考虑，应当在WAP网关与GGSN连接侧及与CMNET连接侧同时进行抓包，获取第一手信息以进行后续分析。,WAP,MISC,CMNET,采样点1、公网交换机，该点可以监控到从WAP网关去往MISC的数据包。,手机终端发起对MISC平台“80”端口的Connect请求。WAP网关收到用户请求后，与MISC平台建立安全连接隧道。手机终端通过安全连接隧道向MISC平台提交访问请求（WAP网关对安全连接隧道中的数据进行透明传递），请求中附带了伪造的用户信息，如其他用户的手机号码，用户终端类型等。MISC平台接受用户请求并按正常流程进行处理。,SP欺诈过程,WAP论坛规范对Http层的Connect的定义：“Http层的Connect信令是用于从终端通过WAP网关建立安全的tunnel隧道连接到SP，WAP网关对于建立Tunnel连接后的终端请求不应做任何修改，应该透传。”SP正是利用了MISC平台允许用户Connect到“80”端口建立安全连接隧道的漏洞进行欺诈活动。,WAP网关,WAPDB,MISC,3、订购请求（含IP、不含手机号码）,2、PDP激活成功，WAP网关将用户手机号码和IP地址的对应关系存储在数据库中。,5、WAP网关发送用户的订购请求（含手机号码&IP）,6、业务订购成功,1、PDP激活（含手机号码&IP）,4、网关在数据库中根据IP地址查询用户手机号码，对于信任的SP网站（设置在网关的白名单中）将号码封装在http包头中进行发送，对于不信任的SP站点将不发送手机号码和用户的UA。MISC是WAP网关信任的一个站点。,正常的业务访问流程,WAP网关,WAPDB,MISC,6、订购请求（含IP&他人手机号码）,8、WAP网关发送用户的订购请求（含IP&他人手机号码）,9、业务订购成功,1、PDP激活（含手机号码&IP）,2、PDP激活成功，WAP网关将用户手机号码和IP地址的对应关系存储在数据库中。,7、由于手机已经和MISC建立连接，网关得到的请求不再进行数据库的查询工作，直接根据信任关系对消息进行转发。,3、到MISC的CONNECT请求,4、发送手机到MISC的CONNECT请求,5、手机终端到MISC之间建立连接。,SP欺诈的业务访问流程,手机终端申请向MISC平台的“80”端口建立Connect连接,WAP网关透传用户请求，连接建立。,手机终端通过安全连接隧道向MISC平台发出访问请求。,访问请求中伪造其他用户信息。,解决办法：WAP网关封堵到MISC平台“80”端口的Connect请求。MISC平台直接封堵用户终端发起的Connect请求。现网是采用第一种方案，即WAP网关通过加载禁止用户发起到“80”端口的Connect请求的补丁来实现漏洞的封堵。,诺基亚WAP网关存在的新情况：补丁加载一段时间后，诺基亚WAP网关再次发现SP利用Connect漏洞进行欺诈活动，诺基亚WAP网关的补丁并没有完全封堵SP欺诈行为。广东公司根据掌握的情况，在广东省网二诺基亚WAP网关实施了抓包。在WAP网关 VPN侧防火墙用tcpdump抓包，获取手机用户与WAP网关之间交互的所有数据包。由于抓到的数据包较多（大约12G），个人笔记本无法打开，只能在服务器上用tcpdump将数据包解析保存到文本文件中，然后在文件中搜索关键字。用tcpdump从源数据包中过滤相关的信息。对过滤后的信息进行分析。,标准的CONNET报文的CONNECT header：标准的http协议中描述header里面的Host应该以name:value对存在，也就是说Host后面应该有“:”，分隔主机IP地址。,SP欺骗报文的CONNECT header：SP欺骗的报文中，header里面的Host后面没有“:”，与标准的http协议规范不符。,WAP网关的封堵机制只考虑了标准Http报文，这种非规范的Http Connect报文绕过了WAP网关的封堵，顺利与MISC平台建立安全连结隧道。诺基亚公司在分析SP欺诈报文的基础上提交了新的补丁，对非规范的Http Connect报文均返回“500”错误，对规范的Http Connect报文进行端口过滤判断。,经验总结：针对SP欺诈行为，要结合各方面信息定位问题所在。一般来说，应检查MISC系统话单，WAP网关话单及SGSN的GPRS话单。如果MISC系统有来自WAP网关的话单，而WAP网关及SGSN没有相应的话单，则应该首先考虑从WAP网关着手去收集信息。跟踪手段要完善。通常情况下，需要通过抓包获得足够的信息，以进行分析、研究工作。有相应的工具进行抓包及分析是最好的，如果没有，只能是在现有条件找到合适的方法进行分析排查。分析过程要结合各系统的信息，考虑各种异常情况。问题解决后，做好后续工作，包括模拟测试、现网核查等。,Connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析,手机串号问题分析,现象描述：移动公司收到用户投诉，反映手机上WAP出现串号问题。所谓串号，就是A用户上网的时候，使用了B用户的号码。例如，13802880473用户访问梦网网站，梦网网站看到的却是13802880463的号码。用户反映上手机邮箱显示的是其他手机号码，而不是自己的手机号码。维护人员检查WAP网关的日志，也没有发现相应的用户访问记录。用户产生了GPRS流量。,在PDP激活以后，GGSN会将用户主叫号码和用户私网IP地址对应关系发送给WAP网关，保存在WAP网关数据库中。在用户访问过程中，WAP网关根据用户私网IP地址从网关数据库中提取用户主叫号码，附加在用户请求报文中发送给WAP SP网站。,诺基亚WAP网关内部处理机制,跟踪过程：采用Moto E360手机（用户投诉手机）作为测试手机。测试号码采用测试APN进行测试。访问测试网页，测试网页具有显示用户主叫号码的功能。WAP网关针对测试号码整个访问流程进行抓包分析。,串号现象是由于手机终端不规范而造成！,串号存在的客观条件：市面上大量手机使用openwave浏览器，这个浏览器的特点是手机端固定使用8502端口访问业务。Moto E360手机同样使用openwave浏览器。部分手机终端下线时没有发送Disconnect信令。Moto E360手机在特定情况下（如频繁的上、下线），没有遵循标准信令。GGSN IP地址重分配的时间间隔小于WAP网关释放沉默会话的超时时间间隔。WAP网关负荷分担机制是根据源地址、源端口、目的地址和目的端口实施的。WAP网关节点服务器仅在会话连接建立时从数据库提取用户IP地址与手机号码对应关系。,A用户（使用Openwave浏览器）,B用户（使用Moto E360）,节点服务器,数据库,WAP网关,WAP网站,1 Connect,2,3,4 ConnectReply,5 Get,6 Get with Msisdn A,7,8 Reply,9 Disconnect,10 DisconnectReply,11 Connect,12,13,14,15 Get,16 Get with Msisdn B,17,18,2）、12）：节点服务器根据用户IP地址从数据库获取用户主叫号码。,正常用户访问流程（A用户与B用户分配了同一个IP地址）,A用户（使用Openwave浏览器）,B用户（使用Moto E360）,节点服务器,数据库,WAP网关,WAP网站,1 Connect,2,3,4 ConnectReply,5 Get,6 Get with Msisdn A,7,8 Reply,9 Get,10 Get with Msisdn A,11,12,2）节点服务器根据用户IP地址从数据库获取用户主叫号码。A用户下线时候没有发送Disconnect信令，网关保持着会话。B用户上网后首先发送Get信令，由于此前会话信息仍保留，WAP网关认为仍然是A用户在发送请求，因此WAP网关将A用户号码添加在请求包中发送给网站。,串号情况下用户访问流程（A用户与B用户分配了同一个IP地址）,解决办法 破坏串号发生的条件-GGSN调整IP重新分配时间间隔，使得IP重新分配时间间隔大于WAP网关会话超时时间间隔。,Connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析,手机访问异常分析,现象描述：用户反映使用Nokia N-Gage QD/1.0 访问梦网页面出现乱码现象,不能正常浏览。用户手机是水货手机。用户手机支持中文系统。访问梦网部分页面出现乱码，访问部分中文网站正常。访问乱码页面时，WAP网关话单显示Http返回码是“200”。,分析及定位：获取手机与WAP网关的交互过程，与其他手机进行比较。获取手机访问梦网网站的信息，包括手机与WAP网关的交互过程，WAP网关与梦网网站的交互过程。分析在乱码情况下的数据包。,手机实际支持的编码格式和手机声明的编码格式不符！,Utf-8编码字符,Utf-8编码字符,手机终端声称支持utf-8编码方式。WAP网关返回utf-8编码的网页。手机终端能正确识别部分utf-8编码的内容，但对其他utf-8编码的内容不能识别，显示为乱码。对于WAP网关而言，内容已正确传递给手机终端，访问成功。,解决办法 建议客户使用通过正当途径购买的手机。,经验总结：处理用户投诉时，要尽量模拟真实情况，如使用同样的手机，模仿用户使用习惯等。对于手机访问异常的问题，首先检查手机对字符集的支持情况。市面上手机终端五花八门，存在缺陷的手机终端也有不少。在分析过程中必须对各种流程有清晰了解，才能准确定位，及时发现问题。利用各种有利条件进行验证测试。不断积累知识，提高故障定位效率。,Connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析,数据库异常问题分析,WAP网关工作状态异常，业务处于半中断状态网关不响应GGSN发送过来的Radius请求。节点服务器上处理请求/响应的线程缓存大小急剧增加。四层交换机将所有节点服务器的Radius模块、WAP 1.x和WAP 2.0模块标识为不可用。,分析及定位按照WAP业务应急预案进行故障排查,检查防火墙状态VPN侧防火墙的数据包交互状态防火墙工作状态检查节点服务器状态节点服务器工作状态数据包交互状态检查数据库状态数据库服务器工作状态,CMNET侧防火墙的数据包交互状态Radius包交互状态各模块工作状态与数据库之间的数据包交互状态数据库进程,磁带满导致数据库增量备份失败。归档日志没有被删除，导致数据库的归档日志目录满。数据库服务器CPU利用率达到100%，数据库服务器不再响应网关发起的请求。节点服务器与数据库之间的通讯中断，节点服务器挂起了大量的会话。节点服务器资源消耗严重，各功能模块处于瘫痪状态。,解决办法 删除数据库上旧的归档日志，释放磁盘空间。由于业务量增加，每日的归档日志量也相应增加。为避免问题再次发生，取消数据库的增量备份，每周只做一次全备份。在数据库服务器定时任务表里增加每日定期删除前一日的归档日志文件的任务。,经验总结：制定应急预案并进行演练，在发生故障时参考应急预案进行故障排查。进行故障排查时，结合应急预案及维护经验尽快进行故障定位。加强监控力度。针对重要目录进行监控。针对业务流量、业务成功率等指标进行监控。对Radius成功率进行监控。,
