技术控速度聚集|看大佬揭开时空数据库的神秘面纱

技术控速度聚集|看大佬揭开时空数据库的神秘面纱
2021年05月10日 11:31 闪马智能

时空数据库探秘

前言

全球城市化的进程依然以不可阻挡的趋势向前推进,到2050年,接近70%的世界人口将生活在城市。人口大国中国和印度所在的亚洲将成为全球城市化最快的地区。在城市急速扩张的过程中,先进的技术将帮助城市实现可持续发展,引领城市走向更美好的未来。

从“推进国家治理体系和治理能力现代化”的提出,到最新公布的国家“十四五规划”纲要中对“加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革”的强调,都体现出城市管理与城市治理正处于从传统手段向新方法、新手段加速变化的过程中。

数据,或者说大数据,正是数字化变革的核心;数据库技术,则为存储、分析和利用这些数据提供了基础技术支撑。如果说大数据是新经济的石油,数据库和大数据分析技术,则是储油罐和炼油厂,将原始的数据提炼成指导城市管理的决策依据和指南。

与传统的基于表格的数据不同,城市的每个角落,无时无刻不在生成各种各样的数据,这些数据大多都会和时间和空间相关。典型的比如城市交通中的车流量、人流量等,跟时间和空间都是相关的。对于处理这种类型的海量数据,就需要相对应的支持时间和空间比较、查询的数据库来支撑,来加以利用。

时序数据库

传统SQL数据库虽然也可以处理时间序列数据,但并不是专门以此为目标的。TSDB( TimeSeries DataBase )时序数据库是专门以时间维度进行设计和优化的。

TSDB 通常具有以下的特点:

  • 时间是不可或缺的绝对主角(就像 MySQL 中的主键一样),数据按照时间顺序组织管理

  • 高并发高吞吐量的数据写入

  • 数据的更新很少发生

  • 过期的数据可以批量删除

  • InfluxDB 就是一款非常优秀的时序数据库,可以更加高效快速的存储大量时间序列数据并对这些数据进行实时分析。

Prometheus、Influxdb和OpenTSDB就是是三款业内比较知名且实际生产使用的时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库,以插件化的形式打包提供,随着 PostgreSQL 的版本升级而升级,不会因为另立分支带来麻烦。TimescaleDB的数据自动按时间和空间分片(chunk),如下图。

空间数据库

由于传统的关系数据库在空间数据的表示、存储、管理、检索上存在许多缺陷,从而形成了空间数据库这一数据库研究领域。而传统数据库系统只针对简单对象,无法有效的支持复杂对象(如图形、图像)。空间数据库是某区域内关于一定空间要素特征的数据集合,是地理信息系统(GIS)在物理介质上存储的与应用相关的空间数据总和。

基于SQL的简单要素访问(Simple Feature Access-Part 2:SQL option,SFA SQL)和SQL多媒体与应用程序包第三部分空间(SQL Multimedia and Application Packages-Part3:Spatial,SQL/MM Spatial),是目前两种主流的空间数据库国际标准,在地理信息系统和数据库行业得到广泛的遵循。

商用的空间数据库引擎比如Esri公司的ArcSDE(SDE即Spatial Database Engine,空间数据库引擎)。目前一些开源的数据库也支持空间数据,例如PostgreSQL由于具备PostGIS扩展而在开源GIS中有广泛地应用,可视化工具包括pgAdmin、Quantum GIS(类似ArcGIS Desktop)。

比如,下图列举了几个PostGis用于计算空间关系的函数:

空间数据的应用在我们日常生活中也很常见,比如搜索邻近的餐馆、路径导航等。

时空数据库

时空数据库能够存储、管理包括时间序列以及空间地理位置相关的数据。传感器网络、移动互联网、射频识别、全球定位系统等设备时刻输出时间和空间数据,数据量增长非常迅速,这对存储和管理时空数据带来了挑战,传统数据库很难应对时空数据。时空数据是一种高维数据,普通的关系型数据库更适合于存储数值和字符类型数据,也缺少相关的算子。时空数据库具有时空数据模型、时空索引和时空算子,完全兼容SQL及SQL/MM标准,支持时空数据同业务数据一体化存储、无缝衔接,易于集成使用。

典型的时空数据例如交通场景的数据,具有栅格、图、路径三种不同的空间结构,随着时间维度的加入,可以形成时空栅格数据、时空图数据和时空轨迹数据这三类典型的时空数据类型。不同的时空数据具有各自不同的特点和处理方法:

  • 时空栅格数据——比较规整,是一种欧式数据,可以用二维或者三维的卷积方法;

  • 时空图数据——图结构的数据,使用图的办法去处理,例如图神经网络;

  • 时空轨迹数据——是用户的状态转移,可以使用马尔科夫决策过程、深度生成模型去做预测或者分析。

时空数据库系统或数据处理技术,其内容表现为以下三个主要方面:

(1)空间时态数据的表达。空间时态数据表达的目的在于建立空间时态一体化数据模型。它涉及到时间标志、空间时态版本的标识、空间变化类型的定义、空间拓扑与时态拓扑、空间时态数据的存储结构,以及存取策略等内容。

(2)空间时态数据的更新。空间时态数据的更新研究空间数据更新的类型、操作方法,更新对时空数据库中空间和时态拓扑的影响,以及拓扑重建等问题。

(3)空间时态数据的查询。空间时态数据的查询探讨空间时态数据的各种跟踪算法,多维信息的复合、分析、可视化等。

在城市数字化转型的大背景下,对于时空大数据的分析应用,正是提高城市治理水平的关键点。对时空数据的分析,可以给城市治理提供指导。比如智能信号灯,通过实时分析多个路口的车流、人流,可以及时的改变红绿灯状态,最大化通行流量。

闪马智能,作为专注城市空间智能管理的新一代AI中台公司,以人工智能和时空数据库为核心技术,从时空大数据中挖掘价值;专注视频异常行为分析,聚焦城市空间管理,以道路交通、工作学习、生活娱乐、城市环境、互联网信息等城市五大空间管理为主轴,助力和加速城市数字化转型。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部