360大数据平台.ppt

360大数据平台介绍,唐会军,360大数据规模&能力大数据服务器规模超过30000台总存储数据量接近1EB，每天新增超过1PB每天各种数据计算任务10万个，每天处理数据量10PB具备一分钟内调动几十万颗CPU核参与计算能力具备一秒钟处理1TB数据能力,360大数据技术路线利用最廉价的PC服务器+开源/自主开发软件构建而成数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100,360大数据业务(搜索 广告 杀毒 语音图像识别),360大数据架构图,产品,计算,存储,机器学习平台,实时计算平台,M/R计算平台,文件存储平台,表格存储平台,对象存储平台,搜索,安全,广告,语音,图像,底层,云主机,内核,硬件,流式计算平台,块存储平台,HBase平台（HDFS,M/R）运行全球最大的HBase集群之一（3K节点）存储记录总条数达到100万亿条增加索引引擎，满足关系型数据库查询需求增加搜索引擎，对存入平台的所有数据支持字符检索,Cassandra平台Cassandra集群总规模全球第一（超过10K节点）增加数据备份，数据冗余EC方案，索引等一系列功能修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验,机器学习平台Euler,应用,计算,存储,MPI通信框架,分布式向量,作业管理&任务调度,分类,分布式矩阵,计算框架,聚类,回归,Euler平台算法库,聚类k-means凝聚层次聚类minhashDisjoint-SetQuery Clustering分类随机森林GBDTLLGC朴素贝叶斯主题模型plsaLda,协同过滤User-basedItem-based回归逻辑回归机器翻译SMTEMBT其它PageRank：网页排序ALS：矩阵分解,Hadoop平台（HDFS,M/R）360内部分支版本（从2010年开始）单集群规模5K个节点，年底到10K节点增加了权限管理，性能优化一系列改进,大数据分析平台云图,语音识别7人小团队一年时间在搜索语音识别领域超过讯飞利用公司海量数据优势和海量数据挖掘经验,谢 谢！,