返回首页> 大数据 > 用大数据预测雾霾,已获得环保部订单的微软是如何做到的?
跳过导航链接

用大数据预测雾霾,已获得环保部订单的微软是如何做到的?

文章摘要: 用大数据预测雾霾,已获得环保部订单的微软是如何做到的?全球范围里,有超过半数的人类居住在城市之中,城市化的进程也从未停止过。面对越来越庞大的城市,许多事情已经超出了控制:拥堵的交通,严重的空气污染,让人烦躁的噪音等等。   没有人真正了解城市中到底发生了什么,也没有人真正了解城市里的居民、住...
 

大数据预测雾霾,已获得环保部订单的微软是如何做到的?全球范围里,有超过半数的人类居住在城市之中,城市化的进程也从未停止过。面对越来越庞大的城市,许多事情已经超出了控制:拥堵的交通,严重的空气污染,让人烦躁的噪音等等。

  没有人真正了解城市中到底发生了什么,也没有人真正了解城市里的居民、住户每天在发生什么样的故事。对于城市管理者来说,他们需要更多的信息化方式来了解动态的城市,知晓正在发生的情况,并即时做出反应。

  城市计算这门研究正在逐步解决上述的问题。在微软亚洲研究院主管研究员郑宇的带领下,他和他的团队正在利用城市计算解决各类问题,比如雾霾、噪音、交通拥堵和能耗等问题。尤其是在空气质量分析、监测这一领域里,已经和国内部分政府机构签约,目前预测范围覆盖了全国 300 多个城市。

  所谓城市计算指的是计算机科学以城市为背景,跟城市规划、交通、能源、环境、社会学和经济等学科融合的新兴领域。更具体的说,城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战(如环境恶化、交通拥堵、能耗增加、规划落后等)的过程。

  用大数据预测雾霾

2016 11 30 日,美国计算机学会(ACM)网站公布了 2016 年该学会在全球范围内评选出的 32 名杰出科学家,郑宇是入选的两名中国大陆科学家之一。不仅如此,郑宇还是 2013 年美国《麻省理工科技评论》(MIT Technology Review)评选出的 35 35 岁以下的全球杰出青年创新者之一。他还是人工智能领域国际顶尖学术期刊 ACM Transactions on Intelligent Systems and Technology 的主编 ,也是到目前为止 ACM/IEEE 顶尖学术期刊里唯一在大陆获得博士学位的主编。

据郑宇介绍,城市计算包括城市感知及数据捕获、数据管理、城市数据分析、服务提供四个环节。与自然语言分析和图像处理等“单数据单任务”系统相比,城市计算是一个“多数据多任务”的系统。城市计算中的任务涵盖改进城市规划、缓解交通拥堵、保护自然环境、减少能源消耗等等。

  “城市计算最后主要能帮助我们解决 3 个问题,即理解问题的现状、预测未来和考究历史。以空气质量为例,我们可以根据有限的空气监测站点给出的数据,算出城市每个角落的空气质量分布,了解清楚现状;也可以通过数据预测未来。当然也可以通过这些数据,分析历史:雾霾产生的原因是什么?”郑宇在接受澎湃新闻专访时说。

  目前,微软在利用城市计算预测空气质量上,已推出 Urban Air 系统,通过大数据来监测和预报细粒度空气质量,该服务覆盖了中国的 300 多个城市,并被中国环境保护部采用。同时,微软也已经和部分其他中国政府机构签约,为不同的城市和地区提供所需的服务。该技术可以对京津冀、长三角、珠三角、成渝城市群以及单独的城市进行未来 48 小时的空气质量预测。那具体是如何做到的?

  首先雾霾的大数据主要包括当前空气质量数据、气象条件、未来天气预报 3 类数据。在北京共有 35 个空气质量监测点,外加上美国大使馆的一个监测点,共 36 个。

  郑宇介绍,要预测一个地方的空气质量,并不是指单纯地只看这个地方本地的数据,而且要考虑到周边地区的空气及其他因素,比如空气质量站点数据、交通流数据、气象数据、厂矿数据、人口流动数据、路网结构等。

  与传统模拟空气质量不同,大数据预测空气质量依靠的是基于多源数据融合的机器学习方法,也就是说,空气质量的预测不仅仅看空气质量数据,还要看与之相关的气象数据、交通流量数据、厂矿数据、城市路网结构等不同领域的数据,不同领域的数据互相叠加,相互补强,从而预测空气质量状况。

  “预测的准确率,我们现在已经做到北京未来 6 个小时的准确率达到了 75%,在深圳和广州做到了 80%。未来 48 个小时的预测准确率达到 50%。大家不要小看 50% 的准确率,它其实已经非常高了。相比之下,天气预报 24 小时的准确率只有 40%。”郑宇说。

  预测未来空气质量情况,给在城市生活的居民出行带来重要的提示信息,除了与环保部的合作外,微软的空气质量监测系统 Urban Air 还为在 2015 年于福州举办的第一届全国青运会的空气质量保障工作中提供了技术支持。另外一个科技巨头 IBM 也推出了类似的服务。IBM 与北京市环保局共同创办了“联合环境创新中心”,使得政府官员可以在最恶劣的情况下更好地制定减排计划。IBM 还与张家口市签订了协议,在冬奥会之前作出一些前期规划和应对方案。

  除了政府部门,城市计算还能帮助城市居民规划出行安排。如果你约3-5 个好友一起周末踢球,你就可以根据预测给出的空气质量情况进行选择。

  在采访的过程中,郑宇还向澎湃新闻(www.thepaper.cn)解释了为什么中国政府部门给出的空气质量数据与美国大使馆的数据不同。

  “美国用的是自己站点的读数。其实两者的测量原理都是一样的。美国大使馆公布的是实时的 PM2.5 浓度,以及根据这个浓度换算的 AQIair quality index)值。中国政府的测点也公布了实时浓度,但发布的 AQI 是根据过去 24 小时的平均浓度。所以两者之间换算方法不一样,导致 AQI 看上去不一致。但实时浓度值其实是一致的,有时候中国政府公布的污染物浓度还会比美国大使馆公布的高。”郑宇说。

  用大数据解决美国纽约的噪音问题

  城市化发展进程中,除了有空气污染问题,噪音问题同样值得关注。被誉为“世界中心”的纽约,噪音问题尤为严重。已经有研究证明,人如果长时间处在噪音环境下,会对人的血压、记忆和睡眠等都造成影响。

  “用传统的方面解决噪音问题是非常困难的,因为传统技术通过撞击传感器来监测噪音。但噪音是声音上的变化,在时间和空间上的反应非常剧烈,并且可能是一瞬就消逝了。而另一个原因是,传感器并不能让你知道噪音污染的原因。”郑宇告诉澎湃新闻。

  如果想要对噪音进行监测,郑宇认为需要在 100 平方米的范围内,甚至更小的区域内装一个传感器。那整个纽约市可能需要装约 100 万个传感器。这既不可行,而且要花费的人工管理成本也很大。其次,对于噪音的定义和人的感受有着非常紧密的联系。白天时间里,人对噪音的容忍程度和夜里会有明显地区别。

  这样一来,在城市计算中,就需要考虑人的感受。郑宇给出的解决方法是根据美国人工投诉热线 311,通过电话记录人们投诉的原因和地点,把人变成噪音监测的传感器。这样就能为噪音给出准确的定义和分析,政府也能及时给出限制措施。

  除此之外,郑宇还在用城市计算预测城市人流,为城市大型活动的人流管控提供政策服务。目前,微软已经和贵阳市共同做了研究项目。利用出租车的数据,可以知道每一平方公里内,有多少出租车进入和有多少出租车驶出。可以让政府部门提前2-3 小时进行备案,疏导人流,防患于未然。

  “人流量控制其实在很多地方都非常需要,比如机场、地铁站等。它能真正降低事故发生的概率。但预测人类的行为其实是非常困难的,因为当你有重大事件或活动发生的时候,很远地方的人也会赶来参加。这就要求建立许多相关性,融合许多的数据。”郑宇说。他还举了一个简单的例子,比如城市上班族出行的早高峰时间,会随着天气的变化有所改变,那在预测人流量时就不能只考虑一个因素。

  未来,在人工智能、深度学习等算法的支持下,城市计算给大众带来的惊喜会更多,但郑宇也向澎湃新闻介绍了这门学科遇到的挑战。首先,数据的获取。虽然并不是数据越多,对于城市计算就越有帮助。但如何更准确有效地获取相关数据,还是值得思考的问题。其次,数据融合。即打破各类数据的壁垒,让来自不同行业、领域的数据进行融合。最后,还要向各个行业的专家进行学习,进行对比借鉴。

“有时候我们需要先用自己的能力证实一下,即你能做出东西来,并展示给其他人看。在与行业对接时,还需要用他们的语言把问题讲清楚,别人才会接受你。别人接受你之后,才有可能真的落地并真正推动行业进步。”郑宇对澎湃新闻说。

 

更多推荐:大数据云计算  Cloudera认证培训  Hadoop基础培训  Apache Hadoop CCAH培训

 

上一篇:最近面试的大数据岗位的公司经历
下一篇:大数据学习经验
文章摘要: 大数据学习经验,随着互联网的发展,尤其是近期互联网大会召开,再一次谈到大数据,大数据发展趋势已经成为一种必然。那么我们怎样去迎接这样一个新的数据时代?我们可以看到越来越多的人想学习大数据,可是却无从下手,根据自己的经验为大家分享一下大数据的知识: 一、大数据是什么?它的特征? 大数据指一般的软件工具难以捕捉、管理和分析的大容量数据。 大数据有4V特征:Volume(大量)、Velocity(实时)、Variety(多...
◆最近面试的大数据岗位的公司经历 ◆用大数据预测雾霾,已获得环保部订单的微软是如何做到的? ◆大数据学习经验 ◆身处大数据时代,大数据这些误区你知道吗 ◆大数据分析促进人才招聘 ◆微软将在Office中引入人工智能 ◆微软发Surface Pro 4/Studio固件更新日志 ◆微软:AI人工智能应该帮助,而不是替代人 ◆微软推出WDATP强化企业终端威胁防护 ◆Windows申请免费SSL证书-Let's Encrypt ◆思科ASAP助力全数字化时代数据中心创新 ◆怎样选择合适的PoE交换机? ◆思科持续保持企业基础设施市场优势 ◆网络工程师需要的8项技能 ◆思科IOS中改善CLI的用户体验 ◆H3C交换机以太网端口类型 ◆H3C交换机做DHCP ◆H3C交换机常用配置命令 ◆新华三集团总裁兼首席执行官于英涛2017年会致辞 ◆新华三加速云落地 ◆RHEL7 配置VNC远程桌面 ◆RHEL7利用iso镜像制作本地yum源 ◆RHEL6 学习笔记 ◆RedHat5和RedHat6 配置yum源详解 ◆RedHat7上为Nginx编译安装nginx_push_stream_module ◆是否有必要参加PMP考试培训 ◆该怎么选择PMP培训公司 ◆企业为什么需要IT配置管理及其如何使用 ◆PMP考试心得 ◆IT资产管理与ITIL配置管理的区别和联系 ◆Juniper用户快更新:Junos OS、SRX有DoS漏洞 ◆Juniper防火墙之恢复出厂默认设置 ◆Juniper SSG双机高可用(HA)平滑升级经验分享 ◆高盛:Juniper市场表现将超过Cisco和Arista ◆Juniper收购云管理公司AppFormix ◆F5 Network:让爱点亮世界 ◆F5发布2017年应用交付状态报告 ◆除F5外,其他负载均衡软件的优缺点 ◆负载均衡的那些算法们 ◆F5配置手册:设备初始化配置 ◆Oracle培训:Oracle数据泵导入dmp文件 ◆Oracle培训:Oracle手工建库出现ORA-01519错误 ◆Oracle培训:Oracle CDC部署 ◆Oracle培训:Oracle 12c创建可插拔数据库(PDB)及用户 ◆Oracle EXP和IMP使用方法介绍 ◆VMware中CentOS 6.6的kdump启动失败解决 ◆VMware NSX升级:微细分、安全启动和支持非vSphere环境 ◆VMware虚拟化培训:虚拟化的基础知识 ◆VMware发布2016数字化工作空间现状报告 ◆VMware助力广州科政实现恒大集团打造全虚拟化数据中心 ◆戴尔EMC补丁在VMAX存储系统中出现漏洞 ◆EMC进行SAN拆分,解决更细化的存储需求 ◆EMC数据中心全闪存年,机架级闪存可让Hadoop提速10倍 ◆EMC发布2016年新品和技术路线 ◆重新定义企业IT,EMC联手VMware推超融合 ◆最近面试的大数据岗位的公司经历 ◆用大数据预测雾霾,已获得环保部订单的微软是如何做到的? ◆大数据学习经验 ◆身处大数据时代,大数据这些误区你知道吗 ◆大数据分析促进人才招聘 ◆云计算SaaS采用要考虑的5大因素 ◆如何构建一个私有存储云 ◆云计算的三大支柱 ◆云计算的真正价值不仅仅是节省开支 ◆云计算将改变我们的生活? ◆Apache Spark也有不完美 ◆Spark将机器学习与GPU加速机制纳入自身 ◆spark作业调优 ◆Spark基本工作流程及YARN cluster模式原理 ◆从Spark 2.0版的推出,看开源大数据技术的商业化发展 ◆EasyStack郭长波当选OpenStack基金董事 ◆OpenStack私有云:好处、挑战和未来 ◆在Openstack上创建并访问Kubernetes集群 ◆思科公司关闭基于OpenStack的公共云 ◆2017年OpenStack管理员认证会不会火? ◆IBM和Bell联手共同打造苹果iOS企业应用 ◆IBM首席执行官提出人工智能部署三大基本原则 ◆调研IBM与西门子:软件将是工业的未来! ◆IBM在美获专利最多 ◆IBM闪存迎接新挑战 ◆Hadoop创始人Doug Cutting寄语2017:五种让开源项目成功的方法 ◆基于Ubuntu Hadoop的群集搭建Hive ◆HDFS以及HBase动态增加和删除节点 ◆Cloudera提供课程帮助缩小数据技能差距 ◆Cloudera提供课程帮助缩小数据技能差距 ◆扩大与Azure合作,思杰力推超融合基础设施上部署VDI ◆MapReduce工作流多种实现方式 ◆Citrix虚拟化技术:XenServer6.2资源池配置 ◆Citrix虚拟化技术:XenServer6.2虚拟机创建 ◆Citrix虚拟化技术:XenServer6.2存储管理 ◆2017年十大最热IT技能:安全位列其中 ◆筑牢个人信息安全防火墙 ◆2016年最热门的六大IT职位 ◆CISP认证和CISSP认证区别 ◆成为CISSP的理由