《牛云存储详解》PPT课件.ppt

《《牛云存储详解》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《牛云存储详解》PPT课件.ppt（22页珍藏版）》请在三一办公上搜索。

1、七牛云存储详解,许式伟2013年5月1日,大纲,需求七牛云存储的功能特性存储、加速、数据处理功能与实现原理存储与加速数据处理总结,七牛云存储,为移动时代开发者打造的数据平台存储海量、可靠、便宜加速上传、下载速度快可分块并行上传可断点续上传、下载数据处理图片缩略图/裁剪/水印/.音视频转码流媒体可快速定制新的数据处理模块,框架示意图,存储,目标海量、可靠、便宜如何用便宜的机器、很低的冗余度，组装出可靠的系统,集群可靠性,存储集群的可靠性取决于硬盘寿命比较难调整，且与成本挂钩容错度集群可以容忍同时损坏多少块硬盘通常与冗余度有关，与成本比较相关单位修复时间指单块硬盘损坏的修复时间实现上可产生巨大差异

2、存储集群可靠性的关键指标,修复时间,参考值：单盘对拷时间局域网带宽磁盘带宽磁盘大小修复时间=磁盘大小/min(局域网带宽,磁盘带宽)如何突破单盘带宽瓶颈？让更多磁盘参与其中：将丢失的数据，均匀地分配到集群其他磁盘上注意：为了高可用，同一文件的数据不应该同时出现在一台机器的不同硬盘上理论上限修复时间=磁盘大小/min(局域网带宽,磁盘带宽)/(N-1)N=集群的磁盘数目,容错度/冗余度,三副本冗余度：3容错度：允许3块硬盘同时损坏2块可靠性：在单位修复时间内，同时损坏3块盘，则发生数据丢失跨机器做RAID6冗余度：(N+2)/N容错度：允许N+2块硬盘同时损坏2块(N越大风险越大)可靠性：在单位

3、修复时间内，同时损坏3块盘，则发生数据丢失典型配置：N=4，冗余度=1.5跨机器做EC冗余度：(N+M)/N容错度：允许N+M块硬盘同时损坏M块(M越大风险越低)可靠性：在单位修复时间内，同时损坏M+1块盘，则发生数据丢失,跨 IDC 的数据冗余,目标高可靠单IDC出现自然灾害（比如地震）时不丢失数据高可用单IDC网络出现故障时，整个集群仍然正常工作,加速,下载加速利用成熟的CDN网络多CDN智能管理上传加速跨IDC的分布式存储结构,下载加速,考量CDN这样的下载加速网络已经发展了10年多，非常成熟七牛不希望在这一块上重复投入七牛希望成为业界最专业的多CDN管理者如果某个区域某家 CDN 比较

4、快，将流量分配给它在一个 CDN 出问题的时候，迅速将流量切到另一家 CDN.,下载速度对比,与国内某知名云的对比,上传加速,上传加速是个新课题，随着UGC内容增加而兴起上传加速需要结合存储一起考虑区别于下载加速，你不能认为上传节点是加速节点，它需要是存储节点，Why？上传加速节点有数据可靠性的要求，不能丢数据上传加速节点的数据，需要被立刻访问不能有一个中间状态，你告知用户上传成功了，但是用户通过其他 IDC 下载不到这个数据,存储与加速一体化,目标跨 IDC 的分布式存储传统分布式存储通常是单IDC集中式的用户可选择任意的 IDC 就近上传可大大提升上传速度可分块并行上传对传视频等大文件特别有效可断点续上传对2G/3G等移动网络特别有效,上传速度对比,与国内某知名云的对比,数据处理,目标快速、高伸缩性功能易扩展需要非常容易添加新的数据处理模块可预转上传即转换，加快用户第一次访问时的速度,有点抽象？来点真的,微软的网站七牛镜像http:/,可以做更多,缩略图http:/,数据处理样式,样例largerotate,音视频处理？,总结,要点（Highlight）存储的关键是成本和可靠性不重复制造轮子，做好多CDN管理专家要做到上传速度快，存储与加速一体化数据处理客户需求多样化，关键是解决扩展性,Q&A,许式伟七牛云存储,