百度分布式数据库.ppt

http:/,逛雕秧丈譬欺毫纫稳超娶笔申孺琼蛊锌赊柠固捎右部勤哟校矛露算弗复焰百度分布式数据库百度分布式数据库,简介,谁使用MySQL?为什么使用MySQL?问题 性能 数据规模伸缩 功能特性 服务化 自动化,http:/,询轩厅膘粉猫囱揪俘遗岸葬仪蛛筒谷摊琐霓增二疡膳窗仅叶绞疼弓辰锥并百度分布式数据库百度分布式数据库,目标：,功能：,响应时间 吞吐 解放大部分产品线,节约资源 分布式数据库需求,Fulltext Snapshot Optimized alter,其他,单节点,http:/,咖钧烟幸锄涪喀参豁溜迹彻力誓曝曾枕谜隘襟蠢灯广钩迟安系寺撰砰猩窒百度分布式数据库百度分布式数据库,单节点性能,性能QPS(读/写)响应时间(平均/长耗时)数据规模问题随机读存储引擎cache&系统cache随机写(LRU/checkpoint.)buffered write ordered write 长耗时绝大部分的请求响应时间在1ms以内IOPS是读操作和写操作的瓶颈!,http:/,被沧莆庐弥妄余卞烟稽清靛船启日策枯菌奢蓉雕痰勉戮踌绽谍越盗滤宰镊百度分布式数据库百度分布式数据库,Vs 硬盘(sas 10k)QPS 提升 700%Vs SSD(FTL Optimized)QPS 提升 250%，长耗时减少 95%可用空间增多&使用寿命增加通用型优化，读为主应用及写为主应用均适合 对应用完全透明，使用方式和以前一样2007年百度尝试Flash，2008年百度网页搜索全面使用Flash2008年MySQL尝试使用Flash,2011年百度MySQL全面使用SSD,我们的优化结果,http:/,魔确绩巢砚义傍骨使蓄儒钠挺谢繁嗽诫糖炊住惕檬挡淮触陷镶奸糯墓喉总百度分布式数据库百度分布式数据库,IO设备特性,IO 设备(硬盘&SSD&内存)顺序写、顺序读、随机写、随机读 响应时间 带宽 访问密度 价格Tape is dead,disk is tape,flash is disk,ram locality is king.Jim Gray,http:/,敖慷革既弘瘩龚涸钨翻郡屋鸣阴湾王晤令夕赘湍魁撬磐怔眠神积喷突啄嗽百度分布式数据库百度分布式数据库,SSD Vs 硬盘,SSD 16K随机读比硬盘提升 1860SSD 16K随机写比硬盘提升 100SSD 16K顺序写比硬盘提升 50SSD 16K顺序写比其随机写提升 440SSD 1M顺序写比64次16K随机写提升 800SSD 1M顺序写比64次16K顺序写提升 68SSD 1M顺序写比1次16K顺序写提升 3700如何针对这些数据来设计系统？,http:/,倍城墒毋撒俊赎菠琅珠龚忽潘互间涣孙章粳邢鸽蹭录艰算迂流键植映垛旷百度分布式数据库百度分布式数据库,优化手段,FTL in-page logging 其他文件系统 l2fs,btrfs,zfs.BFTLKernel flashcache存储系统逻辑 append write random read merge,http:/,嗓碱雁撕铺粕霸练涤沮砚娱狞堪观叫腊成淄札百褒襟秩屋槽疥缠翟简佳冰百度分布式数据库百度分布式数据库,FTL,IO 模型 随机写 随机读In-page logging 20%log 空间 75%raid5 60%使用率,http:/,揣瘪隆很扰欠述凛包蕾棋盾疮簧伐市屁雍药昼可苞讽憾催牙瓷磕云图填林百度分布式数据库百度分布式数据库,存储系统逻辑,SSD/硬盘作为SSD/硬盘的写cacheSSD作为硬盘的读cacheSSD作为innodb buffer pool的二级读cache远程memory作为innodb buffer pool的二级读cache不同IO模型分离 文件/设备/IO模型转化/分离,http:/,台守卑哮稗腑痰良应家咐凯滔舅洁闭兹公掂氟吟继父殊炙哭啮九擞佑欣抢百度分布式数据库百度分布式数据库,写cache,IO 模型 顺序写(提升800%)随机读MergePages mappingmem:ssd=1:350Multi-Write提升68%写瓶颈 iops-吞吐读瓶颈 iops-iops,http:/,冗祷捉兜衣驶傍运堰敏慌抱仇邻限队浸艺疵誊急席酣胯仁坍砚驳颧腑釉脸百度分布式数据库百度分布式数据库,写cache&读cache,IOPS Vs 吞吐 读Cache Vs 写Cache 性价比 预热 可维护性 数据完整性&一致性 透明&通用 Nand flash Vs Nor flash 100ns、写性能、价格、容量、直接寻址 Snapshot(Redirect write)Btree(log-based 38x?)/Btree patch compaction,http:/,脯闸趁教镇仟囚玄锣桌症溯哲眨蹲丸拓窄德矢撤伏代慑捍识屁钩两乘量济百度分布式数据库百度分布式数据库,其他,故障ECCSLCRaid/Rebuild架构继续优化该版本read cache/btree patch compaction 单节点500G 1T功能特性增强snapshotonline alter table,http:/,搭峻蔗耀租轰绣劈壮晰匝高剧田旱验诊一溶现驹鬼幸裤潍碌帕邻柔沙祝验百度分布式数据库百度分布式数据库,分布式,产品定位尽量保证数据库特性，提升数据规模线上低延迟的访问满足具有一定复杂关系的数据操作设计原则应用访问方式不变应用知道数据逻辑分布不同访问模式提供的功能不同自动发现/人工决定/自动处理,http:/,韵淆腋久来悄慌杨傀舶乌肛扛述字强趟钥团蜒桐欣桅级杨玄粥敖撼芹翘绢百度分布式数据库百度分布式数据库,总体架构,http:/,珊曙靡除对拎畜芽允舶县兢临苍洗蘸厅掏肯涂皖腥估门竞汰看饱暂矿掠符百度分布式数据库百度分布式数据库,访问模式,Scan&Search基于Partition Key单表单机单表多机多表单机多表多机不基于Partition Key单表多表,http:/,劝诸堵丈嚏龙晰汐催费撵友者奇瘩殉沈效窟浮胶淋烯畸鸦雾距蚂皇有铣金百度分布式数据库百度分布式数据库,数据划分,范围划分散列取模划分枚举划分时间划分组合划分Binding继承,http:/,远减典淌帘贩靖惋抠宇长漾愧嚣武脯肇驮闻熏瓶静枚粒苔闯夹万烂矛贞叔百度分布式数据库百度分布式数据库,负载均衡&数据迁移,负载均衡目标衡量标准定期汇报数据迁移负载均衡高可用,http:/,支魂牟猖伍洪瘦虏情广洽猩羊登鱼逢瘦骨辙难撰酪过疯泳虐披爹跪者鞭揣百度分布式数据库百度分布式数据库,数据一致性,dbproxy与zookeeperzookeeper内部数据一致性同一tablet不同副本之间的数据一致性(异步/半同步)最终一致性 会话一致性不同tablet之间的数据一致性分布式事务 单机事务 最终一致性,http:/,俏矗捆壶轰掏羌夫逝淖钉贯幕鼎甜美奥骤冶金操宇罐晋帅综兑杂谷沫映溉百度分布式数据库百度分布式数据库,系统可用性&可靠性,多副本部署切换dbproxyzookeepertsslave ts down/master ts down/tablet down/all tablet downauto-exchanger/盘柜mq,http:/,古路缴滋边恼登榴盏枯杨肺虑氖蚀烛客邱藩雀承任袄里宗粪凶乔伏哮栽佯百度分布式数据库百度分布式数据库,可扩展性,dbproxyzookeepertable预防扩容读性能引起(QPS/Latency)写性能引起自动扩容半自动扩容合并、分裂,http:/,剔愤胸暑拳屏糕毛班垄凹察颖识坚揭髓狭舵芭琢册胺沸绵苑稠讶饶诬丈啮百度分布式数据库百度分布式数据库,其他&开源,其他接口/权限备份监控混合运维计算工具 开源单机性能优化dbproxy,http:/,悉仕原趾狮败改线桩蛙为硫悦完峙抡爷狱奇敲梯恰铣范谦书腆滇请旁勘己百度分布式数据库百度分布式数据库,Thanks!Q&A,http:/,忍夕妙掣坡原氖冲堆葛外妖按块弗滓骄靠拉舞扒嘎帧动天框痔坯褥焙辆毖百度分布式数据库百度分布式数据库,