资源环境数据形成的大数据方法
|
|
云端资源环境数据
21 世纪以来，随着对地观测数据的爆炸性增长和广泛应用，人类开始对地球实现多尺度、全方位的立体观测，海量多源遥感数据给资环环境监测带来了极大的便利。然而，面对动辄几十、成千上万幅的长时间序列遥感数据，传统计算机的计算模式已经远远不能满足如此大数据量数据的快速处理工作。
随着网络和计算机技术的变革，云存储和云计算技术已经在过去几年得到了迅速发展。相比传统的个人计算机、服务器，云平台具备计算效率高、性能强、可弹性扩展、存储容量大、价格低、数据安全等特点，非常适合用于海量地理数据的处理与运算。地理数据云平台随着自身的普及，通过云平台调用数据的方式，越来越多地成为资源环境数据研究和生产的平台。利用云平台上的高速计算设备，无需将大量数据下载到本地进行计算，即可在云端对数据进行有效处理，并将分析处理后的最终结果提取或下载到本地使用，从而大大提高资源环境数据分析的效率；还可以对更长时间序列、更高的空间尺度对地表资源环境进行分析，摆脱了运算、存储能力的限制。这催生了大量的云端资源环境数据。
2011 年，Google 公司发布了“Google Earth Engine”地理数据云计算平台。与此同时，澳大利亚地球科学院（Australian Geoscience）也于 2011 年提出并开发了云端地理数据处理方案“Data Cube”，并运行在澳大利亚超算平台中，从而实现了对澳大利亚全境的、包括遥感、气象、地面站点数据的一致性数据管理构架。通过平台调用的方式，用户可以在个人计算机上通过浏览器实现对澳大利亚全境的地学数据进行处理与分析。2016 年，澳大利亚将“Data Cube”开源化，完全公开了当前所有数据构架和应用算法，并支持用户构建自己的数据管理与运算系统，因此得到了全球用户的广泛支持。另外，“AWS 亚马逊云”通过公开对地观测数据，共计开放了包括“NASA Earth Exchange数据集”“全球的 Landsat 系列”“Sentinel 系列卫星”“气象雷达（NEXRAD）”“美国农业影像计划（NAIP）”和“数字高程（DEM）”等共计 61 组数据集。借助这些云端对地观测数据，科学家可以方便地在云端开展全球资源环境监测。
云计算和机器学习极大地促进了资源环境监测向高分辨率要素类监测的转变。例如，我国科学家借助“Google Cloud”，生产了 30 m 全球土地覆被产品。欧盟联合研究中心基于“Google Earth Engine”完成了1984—2015 年全球尺度 30 m 分辨率陆表水体空间分布监测。由于陆表水体是区域水资源状况的最直观反映，长时间、可比较的序列数据集为诊断干旱生态系统水资源胁迫程度及其变化提供了十分有价值的信息：欧盟联合研究中心开展了 1975、1990、2000 和 2014 年全球人居用地监测；美国马里兰完成 2000—2016 年全球 30 m 分辨率的森林覆盖的变化监测；美国地质调查局 USGS 采用“Google Earth Engine”与超级计算机，首次完成 2015 年全球 30 m 分辨率的耕地种植空间分布图；中国科学院遥感与数字地球研究所完成 2015 年全球 30 m 分辨率火烧迹地的遥感监测。欧空局针对“Sentinel数据集”，开发“S2ToolBox”工具，可开展空间分辨率为 20 m 的植被叶面积指数（LAI）、植被光合有效辐射吸收比（FAPAR)、植被覆盖度（FCOVER）监测，将生态参数监测提升到与类型监测相同的分辨率，实质性地实现了高分辨率的类型与功能一体化监测。
新的数据源将不断出现，新的分类、识别及分析手段，特别是人工智能（AI）技术的发展日新月异，使得云端的资源环境数据产品高、中、低分辨率齐全，而且中、高分辨率遥感数据种类越来越多，分辨率也越来越高——从过去的公里级，逐渐发展百米级、十米级的数据产品，未来米级的数据产品也必将涌现。全球尺度、更高分辨率的遥感产品生产将成为主流趋势，而且将成为对地观测领域竞相角逐的制高点。高分辨率的云端资源环境数据普及后，科学研究和业务生产之间的界限将大大淡化；依托云端的强大运算能力和公开的数据资源，生产高分辨率的数据产品将逐渐取代以生产数据为己任的专业业务部门的职能。