开放平台产品技术发展.ppt
淘宝开放平台技术和产品演进,放翁（文初）,淘宝开放平台技术和产品演进,淘宝开放平台技术和产品演进,萌芽（2007）,业务：SAAS概念开始普及卖家类服务草莽成长（页面获取数据的方式）产品：内部开始试点SAAS平台，希望通过构建组件化平台，让isv依赖于平台搭建应用服务于卖家。,萌芽（2007）,萌芽（2007）,技术：服务化：OSGI，SCA，Webservice，ESB，SOA解决手段：SCA结合Spring方式来实现bundle内部spring简单组合，bundle外部通过SCA规范和Webservice实现接口互通。延展内容：服务安全，服务管理带来的痛苦：服务化看似很美好，但对于内部来说用框架限制太重，性能，调试，维护，协作效率都会受到限制。服务粒度控制成为最大的设计障碍，太细增加服务管理成本，太粗会降低服务复用性。（应用和业务模块边界的界定）关注于工具，平台，语言等表象层面的东西，忽略了市场对业务的需求，以及开发者真实的业务诉求（易用，商业化等）,雏形（2008）,业务：部分卖家应用开始转型到阿里软件开放平台，服务市场有了简单雏形，淘宝业务开放走出了第一步。产品：阿里软件创建了阿里系第一个开放平台，业务对接阿里软件自有服务（旺旺，简单的企业管理流程），淘宝的服务。08年底，淘宝服务开放30个，日均服务调用量2000w。开放平台基础设施开始构建：服务网关，应用授权中心，开发者中心，简易的服务市场。,雏形（2008）,雏形（2008）,技术：OAuth 0.x的借鉴，自有授权流程的设计（步骤接近于OAuth2，客户端模式考虑不多）服务mashup的关注：数据层（Gdata，json等），语言层面YQL，Yahoo pipe（rss）数据分析：Hadoop的尝试，每日文件离线计算集中式缓存实践：memcached的引入和自有客户端的开发。（客户端容灾，软负载均衡，NIO等）,产品化（2009）,业务：卖家应用开始正式转战淘宝开放平台，服务市场有了明确定位（淘宝的卖家和买家），市场逐步有了。产品：淘宝开放平台，淘宝箱（卖家服务市场前身）。09年底，淘宝服务开放100个，日均服务调用量4000w。,产品化（2009）,产品化（2009）,技术：流量控制，规则多样化。（集中式缓存）服务隔离：（尝试使用jetty和tomcat，失败告终），尝试使用LVS支持软路由控制服务分流。利用mysql做一些在线及时分析，满足一些简单的统计告警需求。（hadoop做离线统计）自有日志分析框架版本雏形出现，解决MR编写维护成本，支持在线配置修改方式满足统计需求。（Hive的工作类似）优化web容器数据流解析部分。（解析原始二进制数据流，穿插业务控制内容到数据解析过程中，实现lazy parser，按需解析）,平台化（2010）,业务：淘宝正式对外宣布开放，赢在淘宝等运营活动激活了大量的卖家应用（管理，营销），买家类应用逐步出现，顺应sns化，大量的游戏应用首先占有了买家市场。产品：淘宝开放平台（服务生命周期管理，数据透明化）。10年底，淘宝服务开放304个，日均服务调用量8亿。,平台化（2010）,平台化（2010）,技术：流式数据分析单机到集群构建（反向任务索取替代正向任务分配，支持多数据来源分析，MS协作基础通信层建立），每半小时分析一次结果，分析规则动态配置服务隔离：初步引入Jetty，开始封装支持Comet的容器，实现web请求处理异步化API定义有schema描述，服务半自动接入，文档，sdk可自动生成。对服务路由应用实行管道化结构重构，支持业务灵活降级和灰度发布测试，也为异步化web服务提供更细粒度的资源分配控制。数据访问控制层优化（富客户端：bloom filter，多级缓存，访问降级控制）,市场化（2011）,业务：卖家市场趋于成熟，sns热潮退去，站内买家应用部分开放，无线市场刚刚起步，淘宝客市场飞速发展。产品：淘宝开放平台（多样化服务：ATS，TQL，Streaming api，访问控制多样化）。11年底，淘宝服务开放798个，日均服务调用量19亿。（淘宝客占了一半）,市场化（2011）,市场化（2011）,技术：流式数据分析进入第一阶段成熟期（单机性能调优，多核充分利用（计算换存储），磁盘换内存，数据压缩，任务分拆（shuffle），经历着hadoop经历着的事情，保留着最初的设计基础），每3分钟分析一次结果，分析规则动态配置，用于告警和业务分析利用PipeComet框架在jetty上层做了封装，支持Streaming api（实现消息外送的基本原型），服务异步处理隔离，保证了平台的稳定性。（不再受制于后端业务的稳定性）TQL为无线等对连接消耗敏感的开发者提供了技术基础。ATS为大数据异步处理提供了技术支持。OAuth2的引入，对客户端模式的支持，尝试简化服务访问开发成本。,垂直化（2012）,业务：淘系服务市场开始成长出来：无线，站内买家，站外买家（网站集成），淘宝客，卖家市场，垂直业务线（机彩票，二手，p4p，营销等）。产品：网站集成（JS sdk），ios sdk，应用安全控制等级多样化，应用监控系统，数据同步组件，聚石塔。11年底，淘宝服务开放798个，日均服务调用量25亿。,垂直化（2012）,垂直化（2012）,技术：流式数据分析进入第二阶段，1.5分钟迭代计算一次，支持master根据业务横向扩展，支持输入输出的多样化。（hdfs，文件系统，http数据流等）借鉴FB的js sdk，构建了top的sdk设计思路（非常轻量化），促成了对于买家服务调用的安全控制技术手段落地，并便于网站集成服务将访问控制粒度细化到了字段级别，针对不同安全级别的应用在访问范围和授权时长上都有差异化对待。应用监控成为应用身份经验积累和服务质量考核的重要指标。数据同步组件帮助开发者省掉Streaming api的客户端实现，最大化的减轻用户集成长连接带来的管理成本，保证了同步数据的稳定性。无线卖家产品安全和市场化开始逐步控制起来，无线端控制能力增强。,店铺,淘宝基础业务,卖家,买家,淘客,垂直业务,网游,SNS,画报,店铺数据,物流宝,分销,用户,交易,评价,产品/商品,类目,旺旺绩效,营销,酒店,淘花,直通车,收藏夹,E链通,聚划算,机票,会员管理,图片空间,二手交易,支付流水,关联推荐,购物车,天猫精选,彩票,淘女郎,物流,开放数据,子账号,开放平台服务现状,卖家后台,无线应用,卖家前台,网站接入,站内买家,垂直业务,开放平台,用户,商品,交易,营销,物流,p4p,淘客,开放平台和应用市场,开放经历的感悟,业务：1.开放平台从一个垂直部门到一个横向部门。（快速建立与长期发展）2.开放单点驱动到市场机制建立。（卖家线切入，垂直线兴起）3.不同BU的开放支持方式不同。（BC差别，反向SNS支持）4.市场需要运营，内部服务也需要运营。（开放部门的效果追踪和规则制定，UV 客单价）,开放经历的感悟,技术：1.透明化永远是平台的第一需求。（稳定性，优化基础）2.足够的业务嗅觉，用技术来创新。（数据推送）3.安全、业务、用户体验的平衡。（细节控制）4.找到企业基因来差异化设计平台。（安全设计）5.技术无边界，不同角色看问题解决。（前端，无线，后端。前端问题后端思维解决）6.客户第一，用数据来找到客户，用数据来分析客户需求。（TQL）7.按需裁减，深入技术设计背后的理念，用户群和需求的变化来演进技术产品。（流式分析集群）,开放平台技术月,
