大数据技术发展与应用趋势研究报告.docx

大数据技术发展与应用趋势研究报告一、大数据发展概述1（一）大数据概念1（二）大数据发展现状21.市场总体规模22 .产业区域分布33 .国家政策环境44 .总体发展成效5（三）存在问题61.数据共享运营机制不完善62 .技术创新与支撑能力不强73 .专业人才短缺成发展瓶颈84 .行业应用不深入难题待破解85 .数据安全问题亟待解决8二、大数据技术发展现状9三、大数据技术发展趋势10（一）多元数据融通共享10（二）多技术融合发展111 .大数据与人工智能112 .大数据与云计算123 .大数据与物联网134 .大数据与区块链145 .大数据与数字挛生15（三）计算、存储逻辑分离15（四）离、在线系统混部16（五）数据分析全民化16（六）数据安全面临新挑战17四、智能电网技术发展趋势18（一）智能感知技术18（二）云计算与大数据技术18（三）深度学习智能算法19五、大数据应用发展趋势20（一）整体行业应用情况20（二）电力行业应用情况201 ll/J212 丹麦维斯塔斯公司21（三）未来大数据应用发展趋势22六、发展启示和建议23（一）推动开放共享，提升大数据建设质量23（二）构建分层数据治理体系，推动数据管理25（三）强调供需对接，拉动产业有序发展25（四）完善法律制度，切实保障数据安全26（五）加强技术产品创新，切实保障数据发展28（六）构建人才培养体系，切实保障数据运营28通过对前沿大数据技术发展和应用趋势进行研究和分析，了解和洞察大数据技术和应用未来发展趋势，为大数据中心发展规划提供技术借鉴，为此撰写大数据技术发展和应用趋势研究报告。该报告内容分为六大部分，具体包括大数据发展概述、大数据技术发展现状、大数据技术发展趋势、智能电网技术发展趋势、大数应用发展趋势、大数据发展启示和建议。一、大数据发展概述（一）大数据概念大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，是一种新资源、新技术和新理念混合体。从资源视角来看，大数据是新资源，体现了一种全新的资源观。1990年以来，在摩尔定律的推动下，计算存储和传输数据的能力在以指数速度增长，每GB存储器的价格每年下降40%。2000年以来，分布式存储和计算技术迅猛发展，极大的提升了互联网企业数据管理能力，互联网企业对“数据废气”（DataEXhaUSt）的挖掘利用大获成功，引发全社会开始重新审视“数据”的价值，开始把数据当作一种独特的战略资源对待°从技术视角看，大数据代表了新一代数据管理与分析技术。传统的数据管理与分析技术以结构化数据为管理对象、在小数据集上进行分析、以集中式架构为主，成本高昂。与“贵族化”的数据分析技术相比，源于互联网的，面向多源异构数据、在超大规模数据集（PB量级）上进行分析、以分布式架构为主的新一代数据管理技术，与开源软件潮流叠加，在大幅提高处理效率的同时（数据分析从T+1到T+0甚至实时），成百倍的降低了数据应用成本。从理念的视角看，大数据打开了一种全新的思维角度。大数据的应用，赋予了“实事求是”新的内涵，其一是“数据驱动”，即经营管理决策可以自下而上地由数据来驱动，甚至像量化股票交易、实时竞价广告等场景中那样，可以由机器根据数据直接决策；其二是“数据闭环”，观察互联网行业大数据案例，它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”，从而能够不断地自我升级，螺旋上升。目前很多“大数据应用”，要么数据量不够大，要么并非必须使用新一代技术，但体现了数据驱动和数据闭环的思维，改进了生产管理效率，这是大数据思维理念应用的体现。（二）大数据发展现状1 .市场总体规模2018年，我国大数据产业规模不断扩大，产业链条加速完善，企业实力不断增强。包括大数据硬件、大数据软件、大数据服务等在内的大数据核心产业环节的产业规模将有望突破5700亿元。与此同时，国内大数据公司业务覆盖领域日益完备，在数据采集、数据存储、数据分析、数据安全与数据可视化等领域均成长起了一批有一定实力与特色的大数据企业代表。阿里、华为、百度、腾讯等企业的平台处理能力跻身世界前列，华为、联想等公司在数据存储、处理等软硬件设备市场的优势则逐渐显著。围绕大数据的创新创业企业发展势头正热,在中国大数据独角兽企业T0P20榜中，平安医保、商汤科技、旷视科技、云从科技、金山云等一批优秀企业上榜。在国内巨大的应用市场需求与日新月异的新一代信息技术发展的双重推动下，我国大数据产业整体仍将保持较高增速。预计2019年我国大数据核心产业规模有望突破7200亿，增速将维持在25%-30%左右。随着我国大数据企业核心竞争力的不断提升，大数据产业链条将更为完备，围绕产业链上下游的布局趋于合理，协同创新能力将不断提升。产业蝴（亿元）图1大数据产业规模及代表企业2 .产业区域分布我国大数据产业集聚区主要位于经济比较发达的地区，北京、上海、广东是发展的核心地区，这些地区拥有知名互联网及技术企业、高端科技人才、国家强有力政策支撑等良好的信息技术产业发展基础,形成了比较完整的产业业态，且产业规模仍在不断扩大。除此之外，以贵州、重庆为中心的大数据产业圈，虽然地处经济比较落后的西南地区，但是贵州、重庆等地依托政府对其大数据产业发展提供的政策引导，积极引进大数据相关企业及核心人才，力图占领大数据产业制高点，带动区域经济新发展。京津冀地区依托北京，尤其是中关村在信息产业的领先优势，培育了一大批大数据企业，是目前我国大数据企业集聚最多的地方。不仅如此，部分数据企业扩散到了天津和河北等地，形成了京津冀大数据走廊格局。珠三角地区依托广州、深圳等地的电子信息产业优势，发挥广州和深圳两个国家超级计算中心的集聚作用，在腾讯、华为、中兴等一批骨干企业的带动下，逐渐形成了珠三角大数据集聚发展的趋势。长三角地区依托上海、杭州、南京，将大数据与当地智慧城市、云计算发展紧密结合，吸引了大批大数据企业，促进了产业发展。大西南地区以贵州、重庆为代表城市，通过积极吸引国内外龙头骨干企业，实现大数据产业在当地的快速发展。珠三角地区主大敷三问 泉粉.尸4鼻发次业" 理方云率先示茶.具有成<试麻区发JMt新京津食毡区力打造六救已初步形或大歙界林调发展体系以上海为慎：.布长三命堆区.挣堆推生大敕循与当地之后城中境设.以及三讦算.人工，的等算他干一代信息许“段畏袤度合图2国家大数据综合实验区发展定位3 .国家政策环境随着国家发布促进大数据发展行动纲要、大数据产业发展规划（2016-2020年）等一系列政策的深入推进实施，政策环境迎来了加速优化期。据不完全统计，从2014年至今我国涉及到大数据发展与应用的国家政策规定已多达63个，其中国家大数据发展顶层设计1个，国家层面顶层规划4个，重点行业领域发展应用31个，重点工作推进25个，重点区域发展2个。大数据战略已上升为国家战略高度，各部委从战略规划、技术能力提升、应用与管理三个层面积极落实推进大数据发展政策。在机构改革方面，山东、福建、浙江、广西等省新成立了省级大数据管理局；广东在原有大数据管理局基础上，新组建省政务服务数据管理局；此外，贵州大数据管理局等已存在机构，也被明确提升至省政府直属机构级别。在人才培养方面，2018年教育部在全国范围内新批准248所高校开设大数据专业；同时，成立了如达摩院、北京大学健康医疗大数据国家研究院、重庆邮电大学科大讯飞人工智能学院等大数据研究培训机构，不断加强大数据人才培养力度。在大数据标准化方面，2018年贵州省获批建设国家技术标准（贵州大数据）创新基地，用以加快建立大数据关键共性标准，并引导国内外企业加强大数据关键技术、产品的研发合作。在公共服务方面，围绕大数据的咨询服务、知识产权保护、产权交易、品牌推广、投融资服务等服务机构也逐渐发展成熟院等大数据研究培训机构，不断加强大数据人才培养力度。大数据相关利好政策将进一步加快落地，围绕数据安全、数据交易、数据标准等领域的更多创造性政策将加快出台，随着各地加快建立大数据管理机构，大数据产业发展的政策环境将进一步优化。大数据人才将呈现多元化培养模式，随着教学内容、教学理念向更加灵活、更加实用的方向发展，我国大数据人才供给质量、数量将大幅提升。数据交易标准与技术体系将加快完善，大数据公共服务体系及专业服务机构将进一步发展，整个大数据产业生态将愈发趋于健康成熟。4 .总体发展成效截止到2017年1月份已经公开发布的37份地方的大数据规划,涵盖16个省21个市Q第一类是以北深广浙为代表的引领性的规划，与产业现状结合最为紧密；第二类是以苏州、南宁为代表的落实性规划，对接国家和省相关战略制定可操作的具体落实措施；第三类是追赶型规划，以相对欠发达地区制定的弯道超车型的发展规划为主。通过各地规划目标和阶段性实施成果的分析可总结出我国目前大数据发展的四大成效:区域特色创新发展促进大数据产业快速聚集。总的来说，目前我们国家已经形成中西部地区、环渤海地区、珠三角地区、长三角地区、东北地区五大产业区，配合国家大数据综合实验区的建设，整个产业布局将进一步规划。行业应用逐步深入。以共享开放推进在政府中的应用，发展工业大数据促进产业转型升级，积极开展金融大数据的应用创新，推动在公共卫生医疗保健中的应用是各地规划中要见成效的领域。政府试点促进数据中心建设迅速提升。通过大数据战略倒逼基础设施配合国家宽带中国普遍服务、全面小康一系列战略的推进，现在宽带网络和互联网数据中心都取得了快速的发展Q数据资源整合加快，共享开放的意识增强。截止到现在，8096以上省市提出要开展数据共享开放平台的建设，强调政府数据的统筹协调管理。同时建设多个数据交易场所加快政府数据的开放共享，这个模式的大规模推广，将数据的价值不断挖掘出来，使产业特征或市场服务以及用户体验等带来新的价值提升空间。（三）存在问题自大数据上升为国家战略后，该产业和应用得到了快速发展，但面向数字中国、智慧社会等建设的更高要求，大数据行业仍还存在一些差距，尤其是数据开放度低、技术薄弱、人才缺失、行业应用不深入等难题需要解决。1 .数据共享运营机制不完善数据资源的流动性是大数据应用和产业发展的基础，但目前我国数据共享与运营市场机制不成熟，数据交易额仍然较小、数据来源也相对狭窄，早先成立的多家数据交易平台更是面临停运或半停运风险。宜加快解决下述三点问题，推动数据共享与运营机制不断完善。一是数据交易的权威性和准确性无法保证的问题。我国尚未对数据交易平台的建设主体、参与主体等做出明确规定和标准要求，监管条例的缺失将严重影响交易数据质量，从而对数据流通带来障碍。二是大数据交易市场无统一定价规范的问题。当前我国对数据资产交易模式、交易规则、分级分类规则、定价交割模式等仍缺乏明晰表述，需要加快构建合理、公平、普适的定价方式。三是数据确权问题Q数据所有权的归属和合规性仍存在争议，尚未在用户和服务提供商之间达成平衡,这有可能导致类似Facebook,数据堂等侵犯公民个人信息的问题发生，也为数据跨境流通交易留下安全隐患。2 .技术创新与支撑能力不强技术创新是推动大数据产业发展的内在动力，但是目前我国在新型计算平台、分布式计算架构、大数据分析方法、模型、算法等方面技术水平与国外仍存在较大差距，在前瞻性技术研发方面仍处于跟随状态，技术创新对于大数据产业的引领作用仍然不强。一方面，国内企业对大数据核心技术、开源技术和相关生态系统影响力总体较弱，如商用数据库等主流产品市场仍由国外企业主导。另一方面，大多数大数据企业的创新仍以模仿性、渐进性创新为主，突破性、颠覆性创新偏少，自主研发具有国际影响力的先进技术较少，同质化竞争日益加剧。此外，由于我国科学技术水平基础条件不够成熟，大数据底层技术与国外差距存在很大差距，大数据应用的商业模式走在了技术前面，较少通过技术手段来推动创新。大数据行业发展，技术才是真正的发力点，我国大数据技术创新能力有待提高。3 .专业人才短缺成发展瓶颈我国仍存在严峻的大数据人才短缺问题，尤其紧缺基础技术开发、专业咨询、数据分析挖掘等方面的专业人才以及兼具专业运作能力、行业动态理解力、解决问题能力的多学科复合型人才，难以满足大数据产业的高速发展需求。一方面，我国高科技人才储备不足，高科技人才储备难以应对与日俱增的大数据人才市场需求。另一方面，我国大数据人才培养体系不完善，大数据人才培养体系起步晚，规模小，层次和模式相对单一，技能知识和理念落后，难以有效匹配产业发展速率。另外，我国大数据人才还存在地域和行业供需不均衡、学历层次错位明显、预期薪资与市场脱节等问题，这些都严重制约了大数据的快速发展。据相关数据披露，未来3至5年中国需要180万数据人才，但截至目前中国大数据从业人员只有约30万人。另一方面，大数据行业选才的标准也在不断变化，也促使人才跟不上时代的脚步。4 .行业应用不深入难题待破解据有关大数据专业研究机构提供的数据显示，互联网、金融和电信三大领域的大数据应用在各行业总规模中所占比重超过70%；健康医疗领域和交通领域虽然近年断“上架”新应用，但实际上行业规模占比仍相对较小；而在其他众多民生领域，大数据应用仍处于浅层次信息化层面，行业发展水平参差不齐。根据以上种种难题来看，虽说大数据产业已经从初步阶段迈入新的发展阶段，但其终究也不可避免任何行业都会遇到的难题一一行业蓬勃发展之际，乱象也随之而来。5 .数据安全问题亟待解决大数据发展促使数据生命周期由传统的单链条逐渐演变成为复杂多链条形态，随着数据应用场景和参与角色逐渐多样化，在大数据背景下的数据安全面临着有别于传统安全的新威胁。一是数据泄漏事件数量持续增长，造成危害日趋严重，今年8月底，华住集团旗下连锁酒店用户数据和顺丰快递客户数据的疑似泄露、交易事件引起舆论关注，涉及数据总数均达上亿条，影响众多网民。二是复杂的数据来源为数据真实性校验带来困难，目前尚无严格的对数据真实性、可信度的鉴别手段，来识别并剔除虚假甚至恶意的数据。三是数据流通路径的复杂化导致追踪溯源异常困难，数据从采集到销毁是多向、多路径的复杂流动模式，实现异构网络环境下跨越数据控制者的全流程跟踪变得非常困难。在复杂的应用环境下，保证国家重要数据、企业机密数据以及用户个人隐私数据等敏感数据的安全，是发展大数据的首要需求。二、大数据技术发展现状数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，进而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。GoOgle利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。2017年3月21日，大数据分析与应用技术国家工程实验室揭牌仪式暨大数据分析与应用技术创新论坛在北京大学举行。大数据分析与应用技术国家工程实验室由北京大学牵头，中国科学院数学与系统科学研究院、北京奇虎科技有限公司、北京嘀嘀无限科技发展有限公司、中山大学、中国信息安全研究院等单位共同参与，该实验室旨在建设大数据分析技术研发与应用试验平台，培养和汇聚大数据分析技术研发与应用高端人才，为推动中国大数据分析与应用的技术进步和产业发展提供技术支撑。大数据技术已经成为引导社会变革的新兴力量，北京大学等200多所高校已经分别获批“数据科学与大数据技术专业”O北京大学将以国家工程实验室的建立为契机，完善实验室的基础设施、人才团队、资金投入和机制创新，推动大数据产业的快速发展。截止2018年，全国已有284所高校获批开设大数据技术专业，引领了全国学习大数据挖掘技术的高潮。三、大数据技术发展趋势（一）多元数据融通共享随着大数据技术的发展，越来越多的数据类型被纳入了其处理范畴：从来自互联网的网页、来自关系数据库的业务数据（如用户、订单数据）、来自服务的0志数据（如点击流），到IoT（InternetofThings,物联网）设备产生的海量数据。这些数据在不同维度具有不同的特性：一是涵盖了结构化（如关系数据）、半结构化（如Web文档）和非结构化（如语音、图片）数据。二是数据的产生不同。数据来源于用户的操作、设备传感器的读数、大数据处理的结果等。三是数据接入方式不同，包括了数据库日志采集，网页、文件抓取，主动上报等。有采取批量方式或流式方式接入。四是数据安全敏感度不同。有些是公开数据，有些则包含敏感用户数据。为了更好地发挥不同数据的价值，需要将它们有机融合，进行统一存储和处理，形成连贯的数据中台。这样作为共享数据提供了单一的存储形式，从而降低数据复制的成本，也避免数据不一致。数据的融合，尤其是I。T数据的加入，也对大数据技术提出了相应的需求:一是从数据存储的角度，一方面需要存储系统高度可扩展以支持海量数据（比如EB级别）；另一方面要求灵活的数据存储格式，以满足不同类型的数据存取需求。例如对于结构化数据，需要高效的列式存储格式；对于非结构化文本数据，需要生成有效的倒排索引；有些数据需要进行多跳查询，适合以图的形式存储。二是对不同的数据类型,需要定制相应的治理策略，包括对冷、热数据的分级对待：对热数据优化其查询性能，尽可能放置在高速存储设备上；对于冷数据优化其存储效率，节省存储空间。同时不同来源、属性的数据需要不同级别的安全保护。三是对不同来源的数据，需要有相应的接入和处理方式。例如IoT数据可以通过一些标准的协议如MQTT接入，进行流式实时处理。四是需要构建有效的数据字典和API,使得数据更容易被发现和正确使用、处理，成为真正可以被利用的信息。数据字典本身需要支持高效查询，并能够随着数据的变化而进行更新。APl主要针对非结构化或半结构化的数据，用以封装数据内部的细节，提供一个稳定的查询接口。（二）多技术融合发展1 .大数据与人工智能所有数据在没有被分析利用之前都还不能成为有用的信息。传统的数据分析基于统计的方法来寻找数据的规律和相关性。随着数据类型、维度和数据量的增加，及应用场景的扩大，基于人工智能的结构化数据挖掘在实践中被更广泛地应用。一个直接的例子是利用机器学习来构建和使用用户画像。随着深度学习技术和分布式技术的不断发展，相应的计算框架,如TenSorFIOW也应运而生。计算能力的提升，结合大量训练数据，使深度学习技术在结构化与非结构化数据领域产生巨大效应，开始应用于人脸识别、智能客服、智能投顾、无人驾驶、时尚推荐等领域。大数据和深度学习平台的结合也已经在业界得到共识，例如Databricks正在推进Spark上的深度学习支持，不同公司也在推出与Hadoop/Yarn融合的深度学习平台。通过容器技术用Kubernetes构建同时支持大数据处理和深度学习的平台，也是业界的一个实践。就目前而言，大数据平台对机器学习的支持大多处在提供基础框架组件的阶段。如何将这些组件有机串联起来，形成一个从开发、训练到部署的端到端机器学习和深度学习平台，也是当前一个活跃的研发领域。2 .大数据与云计算云计算作为一个方兴未艾的方向，正在得到更广泛的认可。当前的一个趋势是云服务正在从IaaS向更高层次的PaaS发展。作为一项重要的平台服务，在云上提供大数据解决方案也成为各个云服务商的重点。这其中包括GoogleCloucl的BigQueryDataFlow,AWS的RedShift、EMR,MicrosoftAzure的HDInsight等。使用云上的大数据服务使得用户可以专注于数据分析的逻辑，而不必投入很多的精力来关心和维护构建大数据平台所需的基础框架。这种Serverless服务模式很适合于没有强大的数据基础架构团队的中小型公司，通常也是总体成本最低的解决方案，这对I。T数据存储和处理尤其有吸引力。通过公有云进行大数据处理的一个核心问题是如何保证数据安全。随着云服务商提供了各种级别的安全保护如数据加密，访问权限控制等，在技术上这个障碍也逐渐被移除。在私有云方面，随着DOCker、KUberneteS等开源容器技术的成长，大数据与机器学习平台开始基于容器云的概念构建计算资源管理与调度，并通过容器将集群中的各种资源进行封装，以承载大数据和机器学习的相关组件进程。这些容器可以与其它线上业务的容器进行混合编排调度,从而实现更大范围的资源共享，有效提高机器资源利用率。3 .大数据与物联网到2020年，全球预计将有200亿台活跃的IOT设备，这些设备随后将收集更多数据进行分析，借助日益精密和专业的计算资源和更强大的数据存储，边缘计算理论上会成为所有行业的一个主导因素。机器人、无人机、自动驾驶车辆和运营系统等日益复杂的边缘设备正在加速推动这一趋势。面向边缘的I。T基础设施处于不断演变中，智能能力也逐步向终端、网关和类似设备迁移，非结构化程度更高的架构会由广泛的“物件”和服务组成，由一套分布式云服务在灵活的动态网格中连接起来。具体边缘、近端边缘和远端边缘会与中心化的数据中心和云服务连接起来。边缘计算解决了很多紧迫的问题，例如带宽成本高昂和延时过长等。边缘计算拓扑在不远的将来会大幅改善数字业务和IT解决方案的具体细节。边缘设备之间以及边缘设备与后端服务的连接是IOT的基本技术之一，也是智能空间的推动者。5G是4G长期演进(LTE)技术之后的新一代蜂窝技术标准，后续迭代还将包括对窄带物联网(NB-IoT)的支持，窄带物联网针对的是低功耗和低吞吐量要求的设备。新的系统架构会包括核心网络切片和边缘计算。一是增强移动宽带（eMBB）,多数5G通信服务提供商会率先提供这一技术。二是超可靠低延时通信（URLLe）,满足了许多现有的工业、医疗、无人机和运输要求，其中可靠性和延时要求的重要性超过带宽需求。三是海量机器类通信（mMTC）,解决I。T边缘计算扩容需求。5G采用更高频谱，且功能极为强大，需要高密度部署基站，并增加频谱的再利用。预计到2022年，企业机构主要利用5G支持IOT通信、高清晰度视频和固定无线接入。4 .大数据与区块链区块链是一种基于广泛分布式账本理念的特殊架构设计，使账本不受任何一个应用和参与者的控制，并在分布式网络中复制账本以创建重大事件的权威记录，消除了业务和技术摩擦，区块链有潜力通过建立互信、提供透明度和实现跨业务生态系统的价值交换来颠覆行业格局，从而降低成本、减少交易结算时间并改善现金流。资产可以被追溯到来源，从而大大减少被以假乱真的可能。然而区块链和大数据将以何种方式深入互动还没有很显性的结论。在将区块链技术应用到大数据方面，有提议利用区块链为数据溯源，保证数据及其发生时间的保真度，提高数据分析的质量。一方面可以对区块链中记录的数据进行分析处理来鉴别一些异常活动；另一方面部分大数据技术栈可以作为支撑区块链技术架构的基础，例如有人基于MongODB来构建分布式区块链数据库。在应用大数据对区块链数据进行分析处理时，也面临着各种不同的挑战，比如对链上节点数据的采集和一致性问题。5 .大数据与数字挛生数字李生是物理实体的数字化代表。使用数字挛生，就是以封装软件对象来映射一个或一组独特的物理实体。汇总来自多个数字挛生的数据，跨多个现实实体（例如电厂或城市）进行合成视图。根据业务优先级精心设计的数字李生，有望显著改善企业决策。数字李生在边缘与真实世界的对象彼此链接，可以用其了解物件或系统的状态、响应变化、改善运营，并增加价值。企业机构将首先实施简单数字挛生，然后逐渐改进其收集和虚拟化数据的能力，运用适宜的分析技术和规则，有效地响应业务目标。预计数字挛生模型将激增，会有更多供应商将其作为产品服务的一部分，提供给客户。（三）计算、存储逻辑分离目前的IIadoop架构力求保持存储的本地性，这很大程度上源于最初机房网络带宽比较受限。随着高速网络的应用，机器之间的带宽不一定再是瓶颈，在实际中，很多时候反而是单节点上硬盘的IO或者CPU成为瓶颈。在这种情况下，把存储本地性的优化目标减弱，将同一数据打散到不同节点的硬盘上，相应的计算也可调度到不同节点上，将是更有效的策略。这种计算、存储分离的策略使得计算任务的调度更加灵活，方便计算和存储资源的分别扩展。这种灵活性也为建设跨机房高可用的大数据平台提供更好的支持。如上所述，大数据和机器学习平台是紧密地结合在一起的Q这两个平台一直以来都是新硬件的理想落地场所。这其中包括深度学习需要的GPU,用作硬件加速的FPGA,以及高速存储设备（NVME）和RDMA等。如何在异构计算环境下更好地管理和调度不同的计算和存储资源,将会是一个需要解决的问题。(四)离、在线系统混部离线和在线业务在整体资源利用率上有高有低且侧重点不同，有计算密集型，有存储密集型，也有综合型的。由于业务特点的不同在时间周期上也有差异，有的白天比较繁忙，有的晚上比较繁忙。以物理机进行业务资源分配的方式无法达到资源的最优利用，尤其是现在单节点容量和性能越来越强的情况下。离线、在线混部是利用业务的不同资源需求，将不同业务的任务通过容器隔离，并调度到相同的集群上，从而达到资源共享，提高有效资源利用率。要实现高效混部，首先要达成离线任务计算和存储的逻辑分离工作，使其任务调度更加灵活，进一步实现不同任务容器之间的强隔离，使得在线任务不会受到离线任务的影响。同时，不同类型任务需要有不同的调度优先级，且高优先级任务可以驱逐低优先级任务，以保证在线任务优先获得资源。(五)数据分析全民化增强分析采用由机器学习(ML)和人工智能(AI)辅助的数据准备、洞察生成和洞察诠释，让业务人员扮演“公民数据科学家”，在无需专业数据科学家帮助的情况下自主探索和分析数据，主要通过三个关键途径实现了数据分析全民化：一是增强数据生成和准备，使用AI自动化来增强数据创建、配置文件、质量、协调性、建模、操纵、扩充、编目和元数据开发。同时，它也在改变数据管理的方方面面,包括数据集成、数据库和数据中台管理的自动化。二是增强分析作为分析和业务智能的一部分，使企业用户和公民数据科学家能够自动发现、可视化和叙述相关发现，而无需构建模型或编写算法Q这些发现可能包括相关性、异常、聚类、细分、离群值和预测。用户通过自动生成的可视化和会话界面浏览数据。三是增强分析利用ML实现数据科学和Al建模的自动化，例如特征工程、用于模型选择的自动机器学习(autoML),模型实施、模型说明，以及最终的模型调整和管理。可以减少对生成、操作和管理模型的专业技能的需求。企业机构可以使用公民数据科学家，或经过半培训的业务专家，来填补数据科学人才缺口。Gartner预测到2021年，借助数据科学任务的自动化，公民数据科学家进行的先进分析数量将超过专门的数据科学家。到2021年，增强分析会成为相关平台和内置分析新采购的最主要推手，包括分析和商业智能(BI)、以及数据科学和ML。到2025年，数据科学家人才稀缺不再成为企业机构部署数据科学和ML的掣肘。企业机构会不断增强和外包数据科学工作。(六)数据安全面临新挑战随着大数据平台汇集的数据越来越多，各种数据应用和服务也不断增加。与此同时，用户对隐私的关注越来越高，各种针对数据安全的政策法规也相继出台。例如，鉴于互联网公司频发的、由于对个人数据的不正当使用而导致的隐私安全问题，欧盟制定了“史上最严格的”数据安全管理法规通用数据保护条例(GeneralDataProtectionRegulation,GDPR),并于2018年5月25日正式生效。条例生效后，Facebook和谷歌等互联网企业即被指控强迫用户同意共享个人数据而面临巨额罚款，并被推上舆论的风口浪尖。2020年1月1日，被称为美国“最严厉、最全面的个人隐私保护法案”一一加利福利亚消费者隐私法案(CCPA)将正式生效。CCPA规定了新的消费者权利，旨在加强消费者隐私权和数据安全保护，涉及企业收集的个人信息的访问、删除和共享，企业负有保护个人信息的责任，消费者控制并拥有其个人信息，这是美国目前最具典型意义的州隐私立法，提高了美国保护隐私的标准。在这种情况下，过去利用互联网平台中心化搜集用户数据，实现平台化的精准营销的这一典型互联网商业模式将面临重大挑战。这方面的工作将从精细化权限控制、敏感数据分级、端到端用户认证和数据加密等方面开展。由于大数据和机器学习领域大量采用了开源技术，而不同开源项目所采取的通信及权限控制机制都有所不同。如何构建一个统一的数据安全体系将成为一个挑战。四、智能电网技术发展趋势电网的发展和变革，将向着自动化、智能化的路线演进。电网智能化未来的发展是建立在物联网、云计算、大数据与深度学习等一系列技术成熟且被深层次应用的基础之上，是对传统电网物理属性的进一步扩展，是增加电网的连接通信特性和智能决策属性的智能化改造过程。（一）智能感知技术智能感知设备遍布电网各个环节，实时采集、传输电网状态信息，用数据真实记录和反映着电网运行状态。随着电力信息通信网和无线专网的建设，传输带宽不断增大，可支撑更多高密度数据采集和大容量数据传输的场景，实现电网实时状态采集和全程在线感知。未来电网是利用数字化的手段对电进行重新定义和刻画，用数据真实记录和展现电网能量流、信息流和数据流的交互过程，利用数据全程实时展现电网运行状态、设备健康状态，管控运营状态，并为电网调度、运营管理及社会服务的决策过程提供数据支撑。（二）云计算与大数据技术云计算技术的成熟和广泛应用，将带来通信和计算能力变革。以云资源为基础，充分利用其广泛部署和分布式存储能力，能够完成电网大范圆的数据采集接入与融合存储工作；充分融合云的计算资源弹性扩展魅力与大数据的处理能力，能够实现更大范围、更宽时间跨度、更智能算法的数据计算和处理工作。（三）深度学习智能算法无人驾驶、语音识别、图像理解等众多人工智能领域的应用，正是因为深度学习技术取得了突破，带来了新的发展。人工智能的核心优势在于能够利用各类传感器来代替人类收集数据、提取信息；能够利用大数据达到超越人类的计算和分析能力；能够不知疲倦地面对海量重复性任务；能够代替人类来实现学习成本高但是使用频度低的场景。同时，人工智能能够将学习、分析与决策能力在多场景应用中低成本复制，并不断进化该能力。这些优势是人类无法比拟的，也是电力行业所要的。电网的智能化决策支撑同样也是建立在一系列基础工作之上，要海量持续积累的业务数据，需要在业务解读的基础上，利用神经网络等深度学习算法抽象电网生产和决策过程并搭建模型，建立起输入与输出结果之间的逻辑函数映射关系，需要智能化算法设计团队，需要具备云计算与大数据计算能力。这几类能力形成合力，带来的是决策结果准确度的不断提升。电网规划选址、大电网安全态势评估、运营效益评估诊断、设备预防性检修维护、用户用能分析与转化等场景,都可以建立相应的深度学习模型来辅助智能决策。未来遍布电网发电、输电、变电、配电、用电各环节的传感设备将替代人工收集、统计和录入数据，提炼基础信息，实时传输至建立在云平合上的数据中心，基于覆盖电力全业务的数据模型进行融合存储，利用大数据技术对数据进行处理和分析。针对不同的电力业务场景，开发预警、监控、查询、统计、分析、辅助决策等功能模块，以云平台软件的方式提供服务，同时产生的数据以服务模式为用户使用。电网的全部业务环节转化为一张由数字构建的网络，所有现有的业务和决策过程抽象为数据处理流程和模型算法，将最终结果作为人工决策的依据。五、大数据应用发展趋势（一）整体行业应用情况大数据在各个领域的应用持续升温。据Gartner公司2018年的调研，全球范围内已经或未来2年计划投资大数据应用的企业比例达到76%,比2017年增长3虬中国信息通信研究院调查显示中国地区的受访企业中有32%的企业已经实现了大数据应用，另有24%的企业正在部署大数据平台Q另一方面，大数据的效益尚未充分验证。大多数的大数据系统尚处于早期部署阶段，因此它们的投资回报还未得到充分验证，比如WikibOn公司2017年的统计显示，美国企业的高层管理人员期望大数据能够带来总计35倍的投资回报，但实际回报当时只能达到55%o总体来看，大数据应用尚处发展前期阶段，应用快速部署，效益有待检验。大数据前景很美好，同时也可能存在“忽悠”出来的“泡沫”成分。（二）电力行业应用情况电力大数据是指通过传感器、智能设备、视频监控设备、音频通信设备、移动终端等各种数据采集渠道收集到的，海量的，结构化、半结构化、非结构化的业务数据集合。电力大数据应用是以进一步支撑业务发展与创新为目标，利用大数据存储、整合、计算、应用四类核心技术，驱动业务应用和技术平台的升级与改造，扩展对业务数据采集的容纳能力，填补在非结构化数据分析与利用、海量数据挖掘等领域的空白，提升在信息资源价值挖掘的整体水平，促进业务管理向着更精细、更协同、更敏捷、更高效的方向发展。1.法国电力公司（1）项目背景目前全法国已经安装3500万智能电表，智能电表采集的主要是个体家庭的用电负荷数据。以每个电表每10分钟抄表一次计算，3500万智能电表每年产生L8万亿次抄表记录和600TB压缩前数据，电表产生的数据量将在5T0年内达到PB级。（2）项目成效形成能够支撑在规定延迟内的复杂、并行处理能力；可以在不同尺度上进行处理，某些应用实现了实时处理；实现电网调度等高级应用（电网状态监测，电网自动愈合）；对电网调度进行局部优化；用电需求侧管理，实现了实时电价；实现了电网的可再生能源的接入。2.丹麦维斯塔斯公司（1）项目背景该企业拥有43000个风力发电机，安装到65个国家，共计2万多员工。风力发电机的位置选择直接关系到发电能力和投资回报。安装位置要考虑诸多的因素，温度，风向，风力，湿度等，该公司拥有的数据，通过现有的方案无法及时处理。已安装的风力发电机及其他收集到的环境信息，遍及全世界，过去十年的数据，数据量惊人，共计2.6PB气象数据。（2）项目成效对天气建模以优化风力发电机的放置，最大限度提高发电量并延长设备使用寿命，将确定风力发电机的位置所需的时间从几周缩短为几小时。同时，纳入2.5PB的结构化和半结构化信息流，预计数据量将增长到6PBo（三）未来大数据应用发展趋势大数据行业应用的发展，是沿袭数据分析应用而来的渐变的过程Q观察大数据应用的发展演变，可以从技术强度、数据广度和应用深度三个视角切入。从以上的应用来看，大数据区别于传统的数据分析有以下特征。数据方面，逐步从单一内部的小数据，向多源内外交融的大数据方向发展，数据多样性、体量逐渐增加。技术方面，从过去的报表等简单的描述性分析为主，向关联性、预测性分析演进，最终向决策性分析技术阶段发展。应用方面，传统数据分析以辅助决策为主，大数据应用中，数据分析已经成为核心业务系统的有机组成部分，最终生产、科研、行政等各类经济社会活动将普遍基于数据的决策，组织转型成为真正的数据驱动型组织Q大数据本身除了要有数据、采集、汇聚一定量的数据之外，更重要的是数据的处理、挖掘、分析、可视化、应用这样一整套的过程。关于大数据的话题，基本围绕三个问题展开：一是数据从哪里来，二是数据如何进行分析，三是数据如何进行商品化。任何大数据都是以应用为主的，在未来，通过多维度、多复合的大数据的精准挖掘，最终提供出优质的商务解决方案才是最关键的。数据的三个来源分别是政府、企业行业和个人消费。政府数据做了