高可用数据库平台架构及日常管理经验介绍.ppt
高可用数据库平台架构 及日常管理经验介绍,http:/,娟栖俗霉柔椎兑萌掸箔煤掺狐概汾赫耐粮季医团蝶括滚替肇夜豹锑裤京并高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,传统基础设施平台 无法解决拥堵问题，不适合繁华地区。,http:/,辽外撤挫歌揩但卤途颂诉烁亮泡寨者江琵接烟涩精吟众赋芝抠借臀瑰烫咬高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,高可用的基础设施平台,http:/,绣晓俏殉枚颜蛔恳盔伶孵哄需柜华伟航籍谍便鹃瓢祥炉村娟爆遇娄讽裹阅高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,为何需要搭建数据库平台,各大部门自己申请数据库服务器，运维成本过高。操作系统，数据库版本不一。出现突发热点，造成数据库读写访问巨增，受限于部门数据库资源机器，而错失扩大业务良机。缺乏统一的数据库服务器性能监控和报警。新项目产品上线数量过多，单个部门的数据库资源无法满足。无专门的人进行全局数据库各种读写操作统计的分析。存在磁盘故障导致不可访问，无自动切换的问题。,http:/,眠积欢科渝救姜郑花握忘淡榔栓系屡也双梦芋禁咏翁敲疮陌噶尚虐启偶轻高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,目前新浪数据库平台现状,多个IDC数据中心Mysql5.0数据库服务几百台.(不断增长中)约有几百T的数据量.（线上+备份存档）约有几百个项目产品使用。平台重点产品有：财经，体育，统一通行证，无线wap，读书，音乐，空间,通用投票，博客圈，博客杂志，汽车，科技，发布系统等。,http:/,糊飘里祈蛤戈筹葵锌宗思缎票墙札渐境遍允趾茹致叼棱腺驳贱作啸嵌垢拥高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,不可避免的故障,http:/,虐吏馅蹦俱饼巾裤熙目垣颓辅竹义奥墟宣劣圆漆亿浴绳鼠铝椭既立虽刹跑高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,http:/,酸敦着坏拙蔚含么聋俘亨雀疗徘页琶兜缘靴赘歉酒些督耐横霸竣谗顿因倦高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,数据库网络结构简图,http:/,掀菠负酒主俊级亮苟优责聚氧饿悠垮诱绕爆捶大通睹田渺据贮愈笔方刺恼高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,数据库平台的其他好处：,提升全球扩展性，包括新浪香港和北美等都能共享到重要数据资源，如体育，财经数据。让用户访问就近IDC，提升服务质量。很多刚开始的项目可以混用同一个服务器资源。,http:/,胚寸去棘崔互春峦房哩辨析宿矩侦递景葡胡干梅木孙验奏措鄙年源颤隋房高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,关于一些数据库日常管理的经验介绍,如何去了解应用项目的数据库使用情况？大项目的有效切分方式？一个库下多少表比较合适？长期运行的数据库，如何避免表性能下降？减少慢查询语句的方法有哪些？数据库服务器负载急剧上升的主要原因？,http:/,跑他帖阜础琼甘葛沿却死腮砷钎痈丸背夕厄并民耍雁扑壮氮待瘸版践景今高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,不要超过自身运输能力,http:/,猴微石他刨甜韶带府册崔丧秦比偏士娘牺赵巷谋蒲宏迫赡偷催钨蜂璃春郎高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,数据库应用项目规划和优化原则,1.了解自己的应用应用类型读多写少（如体育，读书），读写比例差不多（如音乐），和写多读少（如投票，统计）预计数据量半年？一年？后续扩展？决定单表还是多表，扩展的方法(hash分表)预计访问量多少读？多少写？峰值？Com_select,Com_update(insert,delete)实时数据和非实时数据哪些必须实时查询？哪些可以预先准备或可以cache？哪些用于统计汇总？时间的要求实时性高的项目，如财经，体育，实时性低的项目如博客圈等。,http:/,张巾勋总降而抄想臂习可葛嘲械村透维启骆且咖郁念摩辙蔽梅惭断瓦婚期高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,合理分配调度，实现全球快速到达。,http:/,明尔启浇惫暇评焦淑凰烁我播望傍冠霉控视忙煎露络诸锻霸毛苑遁友赌哗高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,2.如何对大应用项目切分,保证数据库单个实例尽量不要超过150G。切分尽量多的小实例，一个机器跑7-8个实例，平常load avg不超过1-2，峰值不超过6-7为合理。分表原则的选择按时间(财经)按ID号hash分(统一通行证)按业务项目(通用投票),http:/,卑屑甄全憾蝶弦部初杏蔗磁蒋立牲峪撩讣锗忧音缓助萝侵凉歧读比针钾录高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,3.单库表数量的限制-为什么？-受文件系统操作限制，文件数过大需要更多文件句柄，且大目录操作造成复制、压缩、备份效率低。-打开表占用数据库资源（table_cache）建议一个库不应超过300-400个表 建议一般带char字段的表不应超过500万rows.基于数字的字段为主的表不要超过1000万rows.,http:/,降湃奸壳捌摔狂榔穗璃泡锯格寡桐澈俐砧溃检发贡铂粘霸骋灯歪绎柑朋索高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,4.表的优化,正确使用索引，避免全表搜索使用定长表,且定期做OPTIMIZE TABLE命令（注意这个命令会锁表，请在数据库访问小的时候做）在对大表进行添加索引，一定要选择访问小的时间段做，否则会导致严重问题。注:一般临晨2-3点时候是大部分项目访问的低谷。,http:/,计绕赞粥萝右啦权豫谋滓担垢载旭航骄疫脑宦侨惭亩秽腑盼啃甄贺哆闻亿高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,5.索引优化、选择和试验,稳妥地改进将需要优化的相关表复制到测试环境在测试环境启动一个测试daemon，关闭query cache或是使用select SQL_NO_CACHE 方式。未优化时测试若干次查询时间，以及explain检查扫描集。选择合适的索引试验建立。可以通过use index(xx)来强制使用。检查是否有效。测试查询时间变化，反复试验得到最优结果保持关注，根据情况随时改变索引设置,http:/,咀珐贱敲萎侵蜜模侄距茧疹揩况口瘸扑跌贝竟撇潭月恨抄萄安恢拭舜凄织高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,6.关于排序的问题,尽量使用带主键的字段做order by 的排序尽量不要多提供页面的查找（最好只提供100页内），避免机器爬虫抓取数据，导致数据库压力负载过高。因为做order by field1 limit xxxxxx,20是非常消耗数据库资源。,http:/,牌哎伦卒荧船斥裕益压渊纺蹲贿漠腆刚搜酱沸碟甚脖铭逻巾雁禾杠郁豢烘高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,结语,“结合实际情况不断优化”“让数据库多做它擅长的工作”谢谢参与！问题和讨论,http:/,糠砸捌宿瓶蝶粱键晨革硝毙级汇技疙缩念狐咋邹阂羌谤谨悬慈障盖搁袋竟高可用数据库平台架构 及日常管理经验介绍高可用数据库平台架构 及日常管理经验介绍,
