生物医学大数据概述课件.ppt

《生物医学大数据概述课件.ppt》由会员分享，可在线阅读，更多相关《生物医学大数据概述课件.ppt（109页珍藏版）》请在三一办公上搜索。

1、生物信息与医学大数据概述,刘雷生物医学研究院 医学系统生物学系2016. 09. 14,2022/12/18,2,生物信息与医学大数据概述,第一部分,2022/12/18,3,生物信息与医学大数据概述,遗传学与基因组学,2022/12/18,4,人类基因组计划之后取得的成就,2022/12/18,5,Nature 2011, 470: 204213,研究内容,数据库建设 数据库整合和数据挖掘 序列分析 结构分析与功能预测 大规模功能表达谱的分析 代谢网络建模分析 预测调控网络 网络普遍性分析 模型分析程序开发 商业化,2022/12/18,6,数据库建设 数据库整合和数据挖掘 序列分析 结构分

2、析与功能预测 大规模功能表达谱的分析 代谢网络建模分析 预测调控网络 网络普遍性分析 模型分析程序开发 商业化,研究内容,2022/12/18,7,Roche 454,Illumina HiSeq 2000,ABI SOLiD,数据库建设 数据库整合和数据挖掘 序列分析 结构分析与功能预测 大规模功能表达谱的分析 代谢网络建模分析 预测调控网络 网络普遍性分析 模型分析程序开发 商业化,研究内容,2022/12/18,8,研究内容,数据库建设 数据库整合和数据挖掘 序列分析 结构分析与功能预测 大规模功能表达谱的分析 代谢网络建模分析 预测调控网络 网络普遍性分析 模型分析程序开发 商业化,2

3、022/12/18,9,研究内容,数据库建设 数据库整合和数据挖掘 序列分析 结构分析与功能预测 大规模功能表达谱的分析 代谢网络建模分析 预测调控网络 网络普遍性分析 模型分析程序开发 商业化,2022/12/18,10,研究内容,数据库建设 数据库整合和数据挖掘 序列分析 结构分析与功能预测 大规模功能表达谱的分析 代谢网络建模分析 预测调控网络 网络普遍性分析 模型分析程序开发 商业化,2022/12/18,11,Experiment,Information Technology,Computation,Hardware & instrumentation,Mathematical &

4、Physical Models,DNA SequenceGene & genome organizationMolecular evolutionProtein structure, folding, function & interactionMetabolic pathways regulationSignaling NetworksPhysiology & cell biologyInterspecies interactionEcology & environment,基因组测序Genome sequencing,基因组数据分析Genomic data analysis,统计遗传学St

5、atistical genetics,蛋白质结构预测、折叠、设计Protein structure prediction, protein dynamics, protein folding and design,蛋白质组学Proteomics,功能基因组学（生物芯片等）Functional genomics (microarrays),高科技野外生态学High-tech field ecology,数据格式、标准化及分析复杂生物数据工具Data standards, data representations, and analytical tools for complex biologic

6、al data,动态系统建模Dynamical system modelling,计算生态学Computational ecology,代谢组学metabolomics,转录组学Transcriptomics,生物信息学,12,2022/12/18,计算生物学的复杂性,13,2022/12/18,生物信息学和系统生物学,14,2022/12/18,第二部分,2022/12/18,15,生物信息与医学大数据概述,生命科学大数据的挑战与实践,2022/12/18,16,生命科学大数据的挑战与实践,2022/12/18,17,个性化遗传背景,30亿碱基对，22000个基因，30万蛋白质。个性化遗传差

7、异：300万bp。,2022/12/18,18,人类基因变异的深层目录,1000基因组,2022/12/18,19,1亿3500万,340亿,大于80亿,100万,医学：大数据,2022/12/18,20,The International Nucleotide Sequence Database Collaboration, Nucleic Acids Research, 2011, 15 doi:10.1093/nar/gkr1006,SRA碱基积累率成指数增长。WGS序列仍是传统序列中的组成部分。,INSDC碱基对，分解为选定的数据部分,21,每个碱基与人类基因的检测成本急速下降,202

8、2/12/18,22,Nature Methods 7, 495 - 499 (2010),计算能力与急剧上升的生物数据之间的巨大差距,我们将面临何种挑战？,23,Nature Methods 7, 495 - 499 (2010),计算能力与急剧上升的生物数据之间的巨大差距,我们将面临何种挑战？,24,Illumina / Solexa/HiSeq Genetic Analyzer200 Gb/run/week,Applied Biosystems ABI 3730XL1 Mb /day,Roche / 454 Genome Sequencer FLX 1000 Mb/run/day,App

9、lied BiosystemsSOLiD/HQ 5500 xl300 Gb/run/week,PacficBio Single Molecule Sequencer1000 Mb /day,Roche / Ion Genome Sequencer 1000 Mb/run,新一代测序仪器,2022/12/18,25,Eric S. Lander, 2011, “Initial impact of the sequencing of the human genome” Nature,“The ultimate goal is for sequencing to become so simple a

10、nd inexpensive that it can be routinely deployed as a general-purpose tool throughout biomedicine . , research applications will include characterizing genomes, epigenomes and transcriptomes of humans and other species, as well as using sequencing as a proxy to probe diverse molecular interactions.”

11、 测序的终极目标是变得简单、廉价，成为整个生物医药领域常规的通用的工具。研究应用包括人类及其他物种的基因组、表观基因组、转录组表征，同时也包括利用测序作为代理来探讨不同分子间的相互作用。,2022/12/18,26,基因组学,转录组学,蛋白质组学,代谢组学,表观基因组学,元基因组学,大量数据是生命科学的根本基础。生物数据的规模从GB,TB增长到PB。大数据促进了生命科学的研究与应用。派生出了疾病基因组学，药物基因组学，环境基因组学等等。,生命科学：从实验到数据驱动,2022/12/18,27,新一代测序技术使生物成为了数字科学,2022/12/18,基因组,调控组,表观基因组,转录组,元基因组

12、,生命科学进入信息时代！,28,背景介绍,29,Genome,Rregulation pathways and networks,Transcriptome,CCTGGAGCAC GGAAGATTCT TGCGGACACA AATCGCAACT GCTAAATAAA ATTT,基因组表观基因组,基因组生物信息学管理、整合大量“组学”数据的挑战！,2022/12/18,生命科学大数据的挑战与实践,2022/12/18,30,信息科学面临“大数据”的挑战,存储：磁盘容量与成本的增加。运转：输入/输出限制与传输速度。分析：配备有巨大内存与多个CPU/GPU的电脑服务器。（Interpretation

13、)整合?：异构源的数据整合。可视化：需要新的基因浏览器。,寻求解决途径,31,生物数据的性质,研究水平多种多样从分子、细胞、组织与系统到行为疾病。异构源数据从遗传学&生理学到成像与临床试验。复杂的数据能够同步记录1000个细胞甚至更多。动态的数据生物进程随经历与时间的推移而改变。庞大的数据TB甚至PB都非常普遍。,2022/12/18,32,大数据管理的挑战,科学和技术层面建立可共同操作的数据库。支持信息学研究，开发信息学工具。为研究界提供可持续发展的工具。创建工具开发中心，服务于国家。构建资源和基础设施，云计算等等。社会层面制定规范。组织教育活动（座谈会、研讨会、出版各类文章、文献）。互通性

14、层面形成标准、词汇与知识本体。开发新的系统基础设施与工具。获得如云计算服务等科学界的认可。,2022/12/18,33,“大数据”挑战：需要高性能的计算系统,基因组数据压缩、存储、检索；可重构的计算；云计算。,2022/12/18,34,IBM、Amazon、Life Technology都建有专门针对生命科学研究云计算服务系统。美国众多著名的实验室都是他们在计算、数据存储方面的忠实的客户。,云计算提供了管理、挖掘生物大数据的解决途径,2022/12/18,35,生命科学大数据的挑战与实践,2022/12/18,36,全基因组关联研究和药物基因组学,已完成：疾病相关的基因、SNPs、CNVs、

15、微阵列，蛋白组学，生物标记物，药物代谢途径相关的SNP/基因突变，.人类基因组结构相关的数据与数据库。13篇Nature Genetics论文和2篇New Englang Journal of Medicine论文。,-Supported by MOST,2009-2011, 30 million USD,2022/12/18,37,GWAS和药物基因组学,II型糖尿病病的GWAS研究超过 5000 疾病样本 和 2500-5000 正常参考样本, 1500-2000药物基因组学研究样本。精神分裂症的GWAS研究5000-8000 疾病样本 和 2500-5000 正常参考样本, 1500-2

16、000药物基因组学研究样本。肺癌的GWAS研究超过 5000 疾病样本 和 2500-5000 正常参考样本, 1500-2000药物基因组学研究样本。,2022/12/18,38,高血压的GWAS研究超过 5000 疾病样本 和 2500-5000 正常参考样本, 1500-2000药物基因组学研究样本。食道癌的GWAS研究5000-8000 疾病样本 和 2500-5000 正常参考样本, 1500-2000药物基因组学研究样本。,这个项目将会产生150TB的分子生物数据！相关的综合数据集的数据规模将超过PB！我们怎样才能高效、动态地应对这些？我们需要进行二次数据挖掘的能力！,GWAS和药

17、物基因组学,2022/12/18,39,生命科学大数据的挑战与实践,2022/12/18,40,肿瘤的分子分型和生物标志物发现和中国人群肝癌样本库与分子分型方案的建立,中国人群肝癌的个性化图谱群及分子分型基础,Genotyping and personalize medicine of liver, gastric cancer and diabetes by CAS,2022/12/18,41,通过NGS技术完成超过10000个肝脏、胃癌和糖尿病患者样本的基因分子分型，得到外显子捕获数据，RNA序列数据，蛋白质组和代谢组数据等。使用上千的PDX、PDC模型系统得到所有回应个性化药物的干扰的组

18、学数据。,任务,2022/12/18,42,实验流水线,基因组测序与数据验证,转录组测序与数据验证,表观遗传组测序实验与数据验证,中国人群正常、肝癌（胃癌）病理前瞻、用药回朔样本库+样本详细临床表型信息,SNP、CNV、Indel和可变剪切位点缺损,Genomics,RNA-seq,Epigenomics,组蛋白修饰图谱,Databases & knowledgebases,可作为指征的、多组学分子表型耦合关联的生物标志物和初步分型方案,蛋白质组、组织芯片实验与数据验证,Proteomics&passways,Protein Profiling、PTM、Pathways、metabolomic

19、s,Data integration,编码和非编码RNA分子指纹,2022/12/18,43,数据的整合与挖掘,国内外肿瘤分型研究产出的组学数据、相关基因信息,SNPs,CNVs,Gene expression,proteomics,Methylation,Pathways,具有若干重要疾病表型分类、用药反应的疾病和对照人群和PDC、PDX样本,高深度全外显子/基因组或靶向外显子测序,蛋白质组+修饰组+代谢组+组织芯片,全基因组/编码区域结构变异数据(SNVs、CNVs、methy、 ) + 组蛋白修饰数据 + 转录组（编码和非编码RNA）数据 +肿瘤重要通路功能变异 + 蛋白质组 + 修饰组

20、 + 代谢组数据,Two-level motif based disease related biomarkers,xQTL分析、因果分析（MVL、Bayesian inferences, ),发现可用于疾病重要表型分类的基于两层Motif的疾病生物标志物指纹图谱和初步的肝癌分子分型和个性化药物治疗的初步方案,RNA-Seq测序、全基因组甲基化或组蛋白甲基化修饰测序,中国人群肝癌和胃癌个体化图谱群,中国人群肝癌疾病分型和用药指导生物标志物,临床样本疾病表型、病理分期、生理指标、用药和药物反应等详细的信息,44,数据库结构与系统,2022/12/18,45,各类标准为基础的公共组学平台数据库,这

21、个项目总共会产生超过4PB的组学数据与相关分子数据。,2022/12/18,46,2022/12/18,47,Personal Genome Projects (15K/100K human sample)1000 Genome Projects (UK, China, US)ClinSeq (NHGRI)International Cancer Genome Consortium (Canada)23andMe Research Revolution (US)Cancer Genome Project (European, China, US) 这些会产生上PB的DNA数据。 想一想: 过去

22、几年中，从公共或私人领域中，已有超过350,000个私人人类个体基因组进行了测序。这大概产生了1000PB的测序数据。这是我们无法同时解决的巨大数据量。,与人类基因组学相关的项目,2022/12/18,48,中英临床试验样本银行Over 1,00,000 bilateral human cohort samples Over 2000 Chinese haspitals involving inDetailed phynotype information Propose to sequence all of samples and get whole genomic DNA and RNA i

23、nformation 这些会产生上PB的DNA数据。,临床检测项目,2022/12/18,49,中国北京基因组研究所Has purchased 128 of Illuminas HiSeq 2000 instruments. 200-300GB/run/per week/ instrumentPlaned to purchase 1,000 Ion Protons, 10TB/day, and next year 80TB/daycapacity to sequence the equivalent of 1,600 complete human genomes each day基因组测序每天

24、产生100TB的数据！,中国NGS平台容量,2022/12/18,50,生命科学大数据的挑战与实践,2022/12/18,51,Sciencific Data Sharing Platform in Bioinformation http:/,52,2022/12/18,EPGD，NAR 2008,SysPTM，MCP 2009,dbDEPC, NAR 2010,2012,PlantTFDB 2.0, NAR 2011,PathLocdb, BMC Genomics 2010,PPPS, Protein Cell 2012,部分已发表的数据库演示,53,2022/12/18,以SysPTM为例

25、阐明数据整合,2022/12/18,54,中国已成为产生大量生物与生物医学数据的世界领先国家！,2022/12/18,55,中国需要一个像NCBI，DDBJ，EBI这样的国家级生物数据库中心或联盟，保持大量生物数据的持续不断产出，以促进生物数据量数据挖掘，实现国内和国际共享。,2022/12/18,56,生物大数据时代,2022/12/18,57,第三部分,2022/12/18,58,生物信息与医学大数据概述,生物医学信息学技术,2022/12/18,59,生物医学信息学技术,2022/12/18,60,生物医学信息学,“The field that is concerned with the

26、 optimal use of information, often aided by the use of technology and people (researchers, practitioners, users, etc.), to improve individual health, health care, public health, and biomedical research” (Bill Hersh, 2010),61,生物医学信息学： 是在充分利用信息学、技术和人力（如：研究人员，从业者和用户等）资源的基础上，提高个体健康、医疗保健、公共卫生和生物医学研究的领域。,

27、数学&计算机科学,社会科学,健康&生命科学,生物医学信息学,2022/12/18,62,挑战：对非结构化数据的深度挖掘和智能分析,数据-信息-知识-智慧-智能,生物医学信息学技术的挑战,如何实现生物医学数据的标准化和规范化更快如何打破数据孤岛，实现生物医学数据共享生物医学大数据的存储、管理和高效利用生物医学大数据的分析、整合与挖掘，特别是对半结构化和非结构化数据（如心电图、医学影像资料）和对流数据（实时视频、传感器数据、医疗设备监测数据）的处理，是生物医学大数据分析面临的重要挑战。生物医学和信息科学的复合型人才缺乏,2022/12/18,63,Our bioinformatics resear

28、ch aims at efficient storage and knowledge management of medical data and extracting biological knowledge by combining clinical, transcriptomics, proteomics and lipidomics data.U-BIOPREDeTRIKStranSMART,Medical Informatics,2022/12/18,64,tranSMART,65,TranSMART-VMs: re-usable TranSMART Infrastructure f

29、or stratified medicine,2022/12/18,66,生物医学信息学技术,2022/12/18,67,通过辨别、整合和使用知识来改善决策和行动,运用信息技术对信息进行搜集、加工、存储和传播。,远程医学、远程放射学,用计算机来提高决策的效能,医学信息学的研究内容,2022/12/18,68,Green et al. Nature. 2011,Targets for EHR-linked DNA Biobanks,Target for AMIA leadership in CDSS, EHR,Informatics + people, process, technology,6

30、9,2022/12/18,Interpreting Natural Language Text,Clinical Notes, test reports, etc,Denny et al. JAMIA 2003, 2009Xu et al. JAMIA 2010Doan et al. JAMIA 2010,70,生物医学信息学技术,2022/12/18,71,多源异构数据数据的采集、清洗语义分析和预测面向领域的应用,智能语义分析平台,2022/12/18,72,微博传播网络,电商数据,网络文本内容,数据采集与集中,2022/12/18,73,语义聚类,地域分析,趋势分析,褒贬分析,语义分析与数

31、据挖掘,2022/12/18,74,生物医学信息学技术,2022/12/18,75,开放创新机制符合产研院大数据共享平台定位,上海产研院(SITI）,定位于大数据共享服务平台；数据汇聚、交换和交易服务；共性技术研发和成果转化。,Background,Government, Industry, Universities, Intermediary, End Users,背景,2022/12/18,76,生物医学研究：数据共享思路,平台内容,生物医学研究实例：个性化用药服务,研发人员,患者电子病历管理药物相关查询互作药物查询药物靶标查询药物代谢酶查询计算SNP变异概率计算药物有效性概率提醒功能,根

32、据SNP在人种内的不同分布特性调整商业策略了解药物靶标与酶的信息，研究药物的作用机理根据实验与SNP信息，证实不良反应与SNP之间的关系,查看药物基本信用药指南,药物-药靶-药靶SNP数据库,用药咨询系统,个性化用药服务平台,Personalized Medicine Platform,平台内容,2022/12/18,79,生物信息与医学大数据概述,刘雷生物医学研究院 医学系统生物学系2016. 09. 14,谢谢！,大趋势 Big Data,*,国内大数据,马云对未来的预测，是建立在对用户行文分析的基础上。“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了

33、货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；,*,2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研发计划”，旨在提高和改进从海量和复杂数据中获取知识的能力，加速美国在科学和工程领域发明的步伐，增强国家安全。这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，由美国国家科学基金会、能源部等6个联邦部门共同投资。,美国的大数据战略,*,目录,*,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变

34、大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。,大数据时代的背景,*,想驾驭这庞大的数据，我们必须了解大数据的特征。,地球上至今总共的数据量：在2006 年，个人用户才刚刚迈进T

35、B时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！,1PB = 250字节1EB = 260字节1ZB = 270字节,数据大爆炸,*,大数据的4V特征,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍,大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义

36、,大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效,*,目录,*,1、密不可分的大数据与云计算,商业模式驱动,应用需求驱动,云计算本身也是大数据的一种业务模式,大数据是落地的云,云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。,*,2、大数据

37、不仅仅是“大”,多大？至少PB 级,比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,*,4、大数据的应用不仅仅是精准营销,通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景,消费行业,金融服务,食品安全,医疗卫生,军事,交通环保,电子商务,气象,*,5、管理大数据“易”理解大数据“难”,虽然大数据是一个重大问题，真正的问题是让大数据更有意义目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化

38、、普适化的核心非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等,*,目录,*,分析技术：数据处理：自然语言处理技术统计和分析：A/B test; top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等,存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非

39、结构化存储,解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）,一些相关技术,*,行业拓展者，打造大数据行业基石：,IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析软件被称为bigshe

40、et，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案微软：2011年1月与惠普（具体而言是HP数据库综合应用部门） 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。EMC：EMC 斩获了纽交所和Nasdaq；大数据解决方案已包括40多个产品。Oracle：Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。,大数据的应用 企业在投入,*,政府、金融、电信等行

41、业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目标；应用到制造等更多行业。,更多行业的应用,*,数据的再利用： 由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。,大数据价值链的3大构成：数据本身、技能与思维 其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为

42、了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。,未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。,大数据时代,传统行业最终都会转变为大数据行业，无论是金融服务业、医药还是制造业。,大数据的应用 未来，改变一切,具体案例,难点分析,移动用户上网记录集中查询与分析支撑系统,什么是hadoop,开源Apache 项目,灵感来源于Google的MapReduce白皮书和Google文件系(GFS),Yahoo完成了绝大部分初始设计和开发Hadoop 核心组件包括:-分布式文件系统-Map/Reduce 分布式计算用Java编写运行平台:Linux, Mac OS/X, Solaris,

43、 Windows普通的X86硬件平台,为什么hadoop很重要,非结构化数据暴增:估计未来5年，企业的数据将增长650%，其中80%都是非结构化数据比如FACEBOOK每天收集100TB的数据，Twitter会有每天产生3500亿的tweets非结构化的数据同样蕴藏巨大价值需要新方法利用所有数据进行业务分析 Apache Hadoop作为一个分析存储大量数据的关键数据平台出现,hadoop与大数据,Hadoop是致力于“大数据”处理的最重要平台之一 能够轻松扩展到PB级别的数据存储，处理规模 带有高度容错能力的并行处理架构基于普通的X86平台硬件架构，硬件成本低廉 用内置格式存储/处理数据基于开源项目，拥有当量的代码来源，并且传统厂商也日益重视对其的支持，它已经成为重要的并行处理架构标准之一,英特尔企业级Hadoop堆栈,我现在做的工作Nutch,定义Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。,nutch首页,搜索引擎原理,一、搜索引擎原理,用户,用户,用户,检索入口google百度,结果排序,网页索引,网页分析,网页抓取,互联网,搜索引擎技术框架图,Nutch工作原理,谢谢,