|
海洋大数据分析技术现状
海洋大数据从上游获取后,在中游主要涉及存储管理、挖掘及表达可视化等分析技术。
海洋大数据存储管理。世界各主要海洋国家均有负责数据处理和管理的海洋数据中心。美国国家航空航天局(NASA)的地球观测中心建立了地球观测系统数据和信息系统,存储和管理全部数据,采用的是分布式开放的系统架构;欧洲航天局(ESA)也建立了采取基于任务的分布式存储的数据中心。中国目前海洋卫星遥感数据的存储采用由千兆交换机连接构成的 NAS (网络接入存储)三级存储体系,主要采用磁盘阵列加光盘存储的方式。国外的海洋大数据存储采用了逻辑上集中,物理上分散的分布式服务器集群存储架构;而国内的海洋大数据还属于地域上的集中式服务器存储——随着数据量的增长,在线存储资源有限,难以实现在线存储资源的动态扩展和灵活配置,离线数据获取耗时,无法在线直接访问任意数据。
海洋大数据挖掘分析。目前已有 MapReduce、Storm、StreamBase、Pregel 等先进的并行计算框架,且在各领域中得到广泛应用。海洋大数据在信息挖掘过程中也从传统的经验模态正交法(EOF)发展到了具有时空解耦特性的四维谐波提取法(4D-HEM)。但是由于海洋大数据的时空耦合及地理关联特性,导致传统的数据挖掘算法无法有效地进行时空解耦与地理分解,使得挖掘算法成为海洋大数据科学全链条运转环节中亟待改进与调整的重要屏障。
海洋大数据表达可视化。利用科学可视化技术展示海洋数据以及更进一步地利用可视化分析技术挖掘时空数据规律,是建立从感知到认知的关键技术桥梁。海洋矢量场可视化算法主要有图表法、几何法、纹理法、拓扑法等。标量场可视化算法在大规模体绘制、实时光照、多变量提特征提取、二维时空可视化等方面都取得了重要成果。但是随着海洋数据体量的继续增大,对可视化表达方式、处理效能等方面都提出了非常高的要求,需要一方面尽可能真实地反映数据的特性,另一方面充分提供系统的承载能力和处理能力,提高数据的更新和绘制能力。
纵观国内外海洋大数据的分析技术研究,中国在数据存储管理及挖掘方面仍处于跟跑阶段,但在可视化分析方面已实现并跑。
海洋大数据应用现状
海洋大数据的应用主要为社会经济发展及气候预测等提供决策支撑。目前,世界各国都在积极投入“数字海洋”的建设,并为进一步建设“智慧海洋”平台奠定基础,如美国和加拿大制定的“海王星”计划、日本的“ARANA”计划、非洲沿海 25 国的“非洲近海资源数据和网络信息平台”以及中国的“iOcean”平台等。海洋大数据在气候预警报决策支撑方面,主要是建立在高性能集群基础上的完备数值预报体系。例如:美国大气海洋局(NOAA)计划在 2023 年推出 WoF(Warn-on-Forecast)系统。该系统可为美国及其临近海域提供精细化天气预报和灾害预警——美国本土计算网格大小精细至 3—10 km,全球区域内网格精细至 15 km;该系统的计算需求高达 1 万亿亿次。中国系列海洋卫星产品在赤潮/绿潮监测、海冰监测、渔业生产和水质调查等方面也得到了全面的业务化应用。其中,HY-2 产品应用于中国与欧盟的数值模式预报及多源融合产品中,而高分辨率海面温度产品在马航失联客机海上搜救保障、极地大洋航线中提供了重要的支撑保障。
目前,海洋相关行业都在积极推动海洋大数据在行业中的应用,关注海洋科学领域的新发现和新发明,并推动产业化落地。然而,行业应用在大数据转型中毕竟是个新形态、新过程,可以借鉴和参考的经验不多,海洋大数据应用的行业落地过程还有不少问题需要解决。随着大数据相关技术的研究不断取得突破,传统行业如何重新审视自己的发展战略,积极拓展行业内部(上、下游)之间、行业之间的数据更好地融合与利用是海洋大数据应用中的一项挑战。