城市大数据的生态模型及应用探讨.docx
《城市大数据的生态模型及应用探讨.docx》由会员分享,可在线阅读,更多相关《城市大数据的生态模型及应用探讨.docx(12页珍藏版)》请在三一办公上搜索。
1、我要:从提出一个生态模型开始,附述了也立一个可持续的城市大数据生态所需安的关过角色以及地方政府在演进这些角色中所能发挥的作用.接着,给出了一个实际案例作为这个模型的参考实现,并分享了案例中企业在配合政府建立大数据生志过程中所开展的一系列工作以及工作中总结的经脸和教训,脸让这个模鞭在实践中的可行性,呆后,给出了一个具体的大数据应用案例:通过大数据手段来帮助政府优化行政审批流程,使得优化后的流程对市民更有利,从中一瓶未来政府通过大数据进一步精细化社会管理的潜力.关键词;大数据;产业模型:社会治理;社会服务:可信分析1引言中国经过改革开放以来30多年的发展,城市化步伐不断加快.每年有1500万人口进
2、入城市,城图1所示.到2025年,中国将会有近三分之二的人口居住在城市,已羟进入了一个城市社会。与此同时,城市人口的增加带来的交通拥堵、环境污染、资源过度消耗、各类突发事件增加等社会矛宙日益突出,各种“城市通病”与日俱地,城市管理难度加大,这对城巾管理者的管理能力和极务水平提出/考5金.城市要保持可持续发展越来越受到各种因素的制约,需要转变方式、调整结构、适应日益增长的人民生活方式、不断解决突发性事件等问璃。人们在探索中意识到,智感城市是探治“城市病”的最隹良药.H三A”MWiH,ttAQMM,*AtfweKnAeweAnttKt图12O-2O1S年全国城镇人II数情况为了规范和推动智.蓝城市
3、的健康发展,住房和城乡建i殳部于2012年12/15日正式发布了“关于开展国家智慈城市试点工作的通知”,并印发了名国家智您城市试点通行管理办法和国家哲皴城市(区、钺)试点指标体系(试行)两个文件,正式启动了全国智想城市建设拓湖.到2015年公布的第三批试点名单,共计289个大小城市加入试点城市范附.住房和城乡建设部智基城市试点城市分布情况见表1.表1住房和城乡建设部智态城市试点城市分布情况试点城B第一批/个第二批个第三批/个合计/个省会城F55010JtiEH303637103县委方183033S1.区、斫区34272485多慎35210合计9010396289在轮接一轮的智态城市建设过程中,
4、大数据技术在城市建设的应用逐渐成为智魅城市建设的热点之一.通讯股份有限公司(以卜.简称通讯)把“以大数据应用为中心”的钟慈城市建设称为“智慈城市2.0,从而与之前“以建设业务系统为中心的智桂城市建设区分开.2城市大数据生态模型2.1 城市大数据在长期的城市建设与运营过程中,政府积累了大量的数据,如经济、民生、交通、旅游、医疗、安全等各行各业的数据。同时也枳累了大量的业务系统.以重庆市为例,包括51个部门,平均每个部门有S6个系统,整个政府有近300个系统在运行,如图2所示.图2亚庆市应用系统按建设汲别分类这些系统包含的数据涉及了城市的方方面面,其中维微的价值酶脩有效的手段进行挖妲与发现与互联网
5、公F所楣行的大数据不同.城市大数据具有自身的特点.见表2.我2城市大数据与互联网大数据的对比erfeM-rBc夫cttthctJ+uwotf多,型37)JtKFr灾:务3y3r-rZRSWCWtoCrty)mHKN*3MtrjTi.wMix三jreefiirR*2SM三*rx玄电子*jfc-re城市大数据与互联网大数据虽然各有不同,但可以互相补充,从而共同发挥更大的羟济效益和社会效益,2.2 人数据生态大数据的潜在经济价值催生了大数据的交易.自2015年4月15H全国首家大数据交易所一一员用大数据交易所正式挂牌交易起,先后有北京大数据交易所、上海大数据交易所、广州大数据交易所、陕西大数据交易所
6、和长江大数据交易所等机构启动,困绕大数据交易开始脖成一个生态系统,如图3所示。图3大数据交易生态系统模型围烧这个生态系统以外围的是工具厂商,这些厂商提供大数据采集、转换、存储、分析、可觇化等技术手段,Goog1.e,C1.oudera,Amazon等公司为大数据的技术推动做出了巨大贡献,同时火型的开源社区和产品逐渐成为大数据技术潮流的中望力增。处于生态中心位置的是大数据交易商.数据生产者为大数据交易商提供初级数据.后者通过数据标准化把初级数据转换成高级数据存储在基础设施运苕商处.基础设施运营启通过提供存储服务和计算服务获得市场地位,并从中衍生出PaaS运营商来M轻大数据交易商对技术的衢求。数据
7、挖掘者通过基础设施运营商提供的计算服务,结合领域知识对高级大数据进行挖掘.於得的。价的成果通过大数据交易商的交易平台提供给数据消般者.这样吸引更多的数据消费者源源不断地想入交易平台,提出更多的向阳并支付获得的满意答案,由此衍生出大数据咨询商来引杼大数据消费者更好地消费.数据消费者的支付逋过大数据交易商的分成平台,使褥数据生产者也获得相应的回报.这样整个生态就能够自生自长,实现良性循环*在真实世界里,一个企业可能栽有这个生态中的一部分、一个或多个角色,或者只专注与某个细分领域,“中关村大数据产业联盟”就活动在“咨泡”这个细分领域。从大数据交易生态系统也可以看出,有些领域如“数据标准化二多数有识之
8、士觉得很重要,但标准化并没彳f先行发展起来.究其原因就在于标准化其实是一个用部问避而非全埼问题.另外,这个产业模型让数据本身不需要发生大规模移动或复制,避免了数据安全、个人因龙、产权归属、初娘或高级数据定价等更杂的社会问胞和商业伦理同题,为持续进行交易提供理论依据.2.3 政府与数据交易商在大数据交易这个生态系统电形成初始的生态平衡是非常关键的,在全国此起彼伏的智.M城市建设以及交易所设立的浪潮中,政府有天然的优势来孵化数据交易商角色,具体原因如下.(1)政府是岐大的数据生成者如前所述,城市大数据联本部在政府手中,另一小部分在党政机关或步业单位手中,另外.随箭身憩城市系统的建设,政府手中的人数
9、据会越来越完善,越来越动态。(2)政府是最大的数据消费者我国的社会治理模式是“大政府、小社会”的模式,要求政府对国计民生方方面面做好保障与服务工作,这些工作的顺利开展都离开不科学决策,离不开数据的支摊.随着大数据价值的不断发现,政府治理的效率也将不断完善。(3)政府是城市公共设施的提供者政忖也将持续为每个城市的健康运行提供必要的基础设施,如交通、水利、学校、医院、水电煤气等。而信息葩础设施正在成为城市越来越正要的联础设施之一.到年上半年,全国共规划建设数据中心个,口投入使用个,总用地约万平方米,总机房面枳约万平方米.可见,在大数据生态的5个核心角色中.政府已经身兼3个角色.另一方面,社会费本在
10、目前的产业环境下承担大数据交易商用色仍有很多挑A1.大数据交易的法律法规、信息安全标准等宏观政策还不完善,导致各种市场主体对舂与大数据交易持观望态度。大数据交易还没有看得见的成熟的商用模式,能否在欣期的投资周期里获得投资合理回报是一个很大的问Sfi.由于大数据交易对象的高度技术化,如何吸引大规模的用户,认同交易物彳j所俏,衢要强大的信用支撑来鼓励各种用户先行会试,在大数据产业初期,通过政忖投资.其他社会资本参与成立数据交易商是一个比较现实的选择.政椅可以在实践过程中打通产业各个环节,迅速完成法律法规建议,通过PPP(PUbIprivate-PartnerShip,公私合作)模式、政府采购服务以
11、及财政补贴的方式来为新兴产业提供资本和信用保if。3实践案例通讯股份有限公司和市政府共建智慧城市是大数据生态系统产业模型的一个实践案例.其中,软创科技股份有限公司作为数据挖掘者多与了市城市大数据的合作开发;市政府承担数据提供者和数据游的者的角色:市与通讯合作组建的()智姒产业有限公司承担了交奶商和基础设施运营商的角色.合作开发过程主要困绕“基础设距、技术架构获取数据、分析列表、分析人才、分析过程和决策应用”7个方面展开.3.1 法础设施在目前的技术条件下,获得城市大数据运营所需的基础设施其技术困难不大.以市为例.从动土开工到大数据中心投入使用.整个工期不到一年,总体成本对于一个城市而言不高.也
12、可以采取租赁互联网公司数据中心的方式,但考虑数据安全、运维成本、区位优势等囚素后,城市自建大数据中心仍然是主流选择e3.2 技术架构满足城市大数据开发需要的技术平台也不难搭建.以隹者研咒团队的经验.这个平台应该包括大数据采集器、数据中心、主数据管理、大数据分析器、大数据眼分涔、可视化服务器、大数据客户端7个部分,技术才算是比较完整的,如图4所示.图4满足城市大数据开发所需要的技术平台架构大数据采能器能城实现海信数据的收集,不管是结构化数据还是非结构化数据,文本、语言、觇频都健实现数据的聚集、清洗、整合、利换和装载,这炖数据最终存储在数据中心。数据中心从软件与怏件层面实现对海量数据的存储和访问.
13、同时注重能耗与安全.主教据管理则实现数据的编目、管理、授权、共9和交换.淮护城市数据模型,形成五大库(UP人口玲、法人库、地理信息玲、建筑物库和宏观经济库),并维护各自的过程库、业务数据库和主题应用库等.大数据分析器根据何胞、目标设计出分析模型及数据处理、训练、检脸过程.将设计好的蓝图交给大数据服务器计完.大数据底务器管埋所有的计算资源,实现分布式计算、海此数据即时处理,可视化限务器把大数据分析结果转换成图形,宜观地告诉客户所拥行数据的形态和关键特征,这也图形最终通过大数据客户擢向用户早.现。大数据客户端包括如下3类。数据服务平台:面向公众,以网站的形式向公众提供大数据开放服务,鼓励大众参与城
14、市服务。决策服务平台:面向各报领导,通过图表方式呈现经济、民生等数据的分析结果。管理服务平台:面向政府工作人员,通过缩放地图、拉动时间线来查看其感兴邂的数据.如街道主任可以限定自己所处街道查看人口出生率,而同级教育主任可能更关心扫盲率.3.3 获取数据在城市大数据开发过程中,真正的困难是从获取数据开始的,从产业模型角度看,属于培百大数据生产者的工作.首先,政府部门开发自己的数据意愿很低.这其中的原因非常多,包括政策上的顾虑、部门立场的考虑以及公开数据可能带来的种种问题和时变化的担忧,在这些因素里,数据安全是一个绕不开的话题.2015年刑法修正案在信息安全领域明确扩大了犯罪主体的适用公国.使得部
15、门主要领导和相关负责人都不愿遨承担因数据泄漏风险引发的连带责任。为了让政府部门的数据能够更有效地共享,除J技术上不断提高,加大数据保护的力度之外,在法律、制吱上进一步细化和松绑己成为不可缺失的一环。商业上的创新也比较为键,比如考虑一种保险制度来解除大数据共享过程中所引发的安全责任风险。其次,数据预处理(H1.J把低级数据加工成高级数据)的工作Ift非常大.一方向,政忖的系统建设过于分散,都是大*的小厂商开发出来的,数据规范性一开始就不高:另一方面,这些政府系统一开始没有考虑向大数据分析优化,缺失数据严重,而不同系统之间的数据一致性更加没有保障,这就要求厂商花出大量的时间进行数据交JW补缺,通过
16、不同的数据源进行相互验证来获得更加完整、准确的数据集.在这个预处理过程中本身也有一些大数据技术在其中应用,比如通过数据分析来判断哪些数据集准确性更高,从而替换其他重虹数据.另外,数据格式五花八门,有根原始的表格、文本数据,也有纸侦数据,需要通过。CR扫描识别入库.3.4 分析列表有了数据之后,接下来就姑要有分析目标.从产业模型角度看,同于培育大数据消费者的工作。在培Ier消由者方面,目前比较新颖的做法就是大数据竞骞例如,年月在上海举行的开放数据创新应用大赛,奖金最高达万元“传统的做法是需求调研,通过和各委(员会)、办(公室、局座谈来发现他们工作中的玳鹿,并从中找到大数据可以胜任的问题列表.这种
17、方式由于信息不对称,导致效率比较低,因此,在选择部门时应该考虑部门的业务特点、部门积极性和颖导人风格来安排优先次序.3.5 分析人才企业狭得合格的大数据分析人才不是一件容易的事情,主要足因为大致据分析人员不仅要熟怂大数据工具、技术,还需要精通数理统计以及有足够的社会通识,才能通过一层层数据关联关系找出问题的答案。一种可行的办法是通过2-3个小团队高效协作的方式来解决.类似“戚家军”的战斗组织形态,这样可以整体降低对人才的需求门楼,使褥产业模型里的数据挖掘者可以规模化.3.6 分析过程分析人员在针时具体问Sg进行分析前要学习很多算法,除此之外还要关注如卜重要的问题.(1)评估方法是关城算法要在新
18、数据上的表现和在样木数据上的表现几乎一样好。比较好的做法是把数据集分为二,一部分用于训练模型,一部分用于模型评估,交叉脸证,观察算法的稳定性。如果算法不能柳定下来,那么结果是非常可疑的.因为t务的领域是公共服务领域,如果一口.错误执行,就会存在很大危害.另外,训练模里也不能训练过度,避免出现过度拟合的问即.(2)特征提取是根本分析人员不要迷信算法,大多数奴杂算法效果大同小异。但要确保完全理解这些等价总法中的一种,然后一宜用下去.在分析过程中如果能找到合适的特征,对于达翎分析目标所需的样本数据ht就能大大缩减。数据分析人仍需要完整地掌握各种特征工程来快速找到样本数据的特征向加,如果分析人员非常懂
19、业务,也Ur以弥补特征工程经脸不足的短板。特征提取是大数据分析非常重要的成功因素“(3)时间Si颈是模型训练,而不是数据集规模在模型训练过程中,衢要花粉大M的精力进行多数优化,从而得出比较合理的解,在承诺给政府部门一个分析结果之前,应该充分用有这部分的时间。另外,还有“数据自大”问题.很多人欠到了数据以为很大,其实这只是很小的部分.但他自己不知道,所以结果会出现偕整.还布就是W法演化向Sfi和数据生产者的存不见的动机,这些都会导致分析结果和实际出入较大,分析时能要仔细甄别。3.7 决策应用当数据分析人员把一个分析结构给政府相关部门,报告里面的结论是否就会很快被果纳?其实不一定.分析结果不能及时
20、应用主要包括如下原因,(1)大数据分析透明度不足大数据分析由于算法上的艰深难懂,除专业人上之外,其他人很难技懂,导致最终的分折结果很难证明其结果是正确的、中间的分析过程是可坡的.使得政府不足非常席意主动采信这样的分析结果.(2)缺乏第三方机他的验证如果有第三方机构脸证也能促进政府放心使用大数据分析结果,使政府决策更具科学件.但企业因为商业机密方面的原因.不愿意公开分析过程中的数据模型,导致第三方没有合适的会证方式.(3)多方位分析结果相互不支持有时确实会出现多个分析结果打架的情况,这时候需要ff细排杳,分析是数据上的原因还足算法上的原因.但有时这样的分析结果没有及时发现就报给政府部门,将导致相
21、关部门对分析结果的可信度更加担忧.如何提高大数据分析结果的可信度,宅者认为可行的办法是改变应用方式,由传统时报告式“结果呈现转变为“探询式”结果呈现,软创科技股份有限公司在这方面正在进行较大的技术创新.例如,对政府行政审批数据进行了一个预测分析,通过KNN回归模型来预测每一类行政审批事项当前蚊合理的办件承诺时间”这个承诺时间是动态变化并适配外部环境变化(如收件累、工作人员状况、时节、社会热点等)的,从而让这个时间更加科学。4结束语本文介绍了笔者在城巾大数据开发方面的一些经验.这个领域还有很多重要问遨焉要一一面对,如能耗与污染、信息模型与标准库、可靠性与可用性等.在工作开展的过程中会遇到很多现实
22、困难,但更多的是解决办法,其中,发展大数据生成者和消费者并建立完整生态依然是发展大数据产业的重中之弟。国务院发布了国务院关于印发促进大数据发展行动纲要的通知3.中国的大数据产业己羟妗不可挡,必将开始一个新的智慧城市时代.附参考资料:大数据在城市规划中的应用研究琮述【精要】大数据具有的多源、人本、时空等属性特征与城市规划决策的本联属性具有紧定的稿介性,为城市规划决策提供数据基础和技术支掠.推动着城市规划精准化以及城市治理高效化发展.通过对大数据作用于城市规划的相关文献梳理.大数据推动了城市规划在4个方面发生明显转型:从“小样本解态”向“多源时空”数据转变:从电,空间尺度向全域空间尺度转变:从“物
23、质空间”向“以人为本“利变:从”人工化”向”智能化”转变:在此基础上,本文主要从居民时空行为分析、城市交通路珅布局优化、城市功能区划分、区域联系和城市等级分析、城市生态环境治理以及城市边界划定等方面梳理城市规划领域中的大数据应用进展,【关键词】大数据:城市规划:应用研究;展望。引言我国在较短的时间内是历了两方发达国家在较长的历史时期内发生的城镇化历程,产生正负两种效应:从正面效应来看,人口、产业、佥融资本、技术信息等资源高度集中于城市区域,所形成强大的集鹿规模,推动着城市和整个区域的社会经济快速发展,从负面效应分析,这种“多阶段共存”和“时空压缩”的特点,使得当今中国城市问遨显得尖蜕且复杂.大
24、hi城市问应被浓缩在一起,如城市快速犷张、用地结构混乱、社会空间割裂、生态系统退化、能源消*增加、交通拥堵、空气污染、热岛效应等何册己经时城市可持续发展和城市居民正常生产生活造成巨大或胁在此有第卜,2014年国务院颁布C国家新型化规划(2014-2020)3作为指导全国城镇化发展的宏观性、战略性、基却性的规划文件,系统比给出了“以人为核心”的新型城M化发展模式,由此城镇发展由过去重祝“求”的增长向关注“质”的改善转变,而大数据技术发展正为这种转型与革新带来新切入点。与传统数据相比,大数据具有海量的数据规模、多源的数据类型,动态的时空属性、价值密度低和处理速度快等优势特点.并正逐步运用于地理学、
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 城市 数据 生态 模型 应用 探讨
链接地址:https://www.31ppt.com/p-7265693.html