¿Es Geoparquet el formato del futuro para el procesamiento de grandes volúmenes de datos geoespaciales?

¿Es Geoparquet el formato del futuro para el procesamiento de grandes volúmenes de datos geoespaciales?

GeoParquet es un nuevo formato de código abierto para el almacenamiento de datos vectoriales geoespaciales, dotando de capacidades geográficas a Apache Parquet, el formato de archivo diseñado para el almacenamiento y recuperación eficientes de grandes cantidades de datos.

Desarrollado por el Open Geospatial Consortium (OGC), los datos guardados en Geoparquet ocupan menos espacio y trabajan más rápido que otros formatos de datos geoespaciales como GeoJSON o GeoPackage.

Pero ¿por qué desarrollar un nuevo formato para manejar la Información Geográfica? La comunidad geoespacial necesita un formato de datos unificado para almacenar y procesar grandes volúmenes de datos e integrarlos en otros sistemas y flujos de trabajo.

Gran parte del trabajo con datos geográficos o geoespaciales no se realiza de manera óptima debido a la falta de soporte en formatos populares de Big Data como Parquet, Redshift, ORC (Optimized Row Columnar), etc. lo que dificulta la gestión integral de datos geoespaciales y no geoespaciales.

Muchas de estas herramientas Big Data ya admiten tipos y operaciones espaciales, pero de forma limitada y prácticamente incompatibles entre sí. Por lo tanto, el objetivo principal de GeoParquet es permitir la interoperabilidad entre cualquier sistema que lea o escriba datos espaciales en Parquet.

Con el formato Geoparquet, se puede ahorrar una gran cantidad de potencia de cálculo y almacenamiento de datos. Además la optimización de carga de datos (omitir, filtrar, indexar) permite realizar consultas geoespaciales aún más rápido.

El OGC lleva tiempo trabajando en una serie de estándares para crear ecosistemas geoespaciales nativos de la nube. GeoParquet encaja en el grupo de estándares de codificación de datos que son de alto rendimiento para grandes volúmenes de datos alojados en la nube, como Cloud Optimized GeoTIFF (COG) para rásteres en teselas y Zarr para cubos de datos. GeoParquet permitirá, con el tiempo, que trabajar desde la nube con grandes conjuntos de datos vectoriales sean tan fácil como con estos formatos.

Herramientas habituales en el manejo y gestión de la Información Geográfica, como QGIS para Windows y Linux. También FME, la herramienta de transformación de formatos (ETL) geoespaciales de Safe Software, que integra GeoParquet en sus últimas versiones, incluido el soporte de lectura y escritura. Asimismo, GDAL, desde la versión 3.8.0, también puede trabajar con datos GeoParquet. Además de ArcGIS GeoAnalytics Engine y otras, incluyendo, por supuesto, nuestra plataforma de gestión y análisis de información geoespacial, Ipsilum.

Adoptado como estándar por el OGC, la versión actual de Geoparquet, la 1.0.0, se publicó en agosto de 2023 y ya se está trabajando para que Geoparquet sea un formato maduro, utilizado por la comunidad de forma habitual en entornos de producción. Actualmente la OGC y el equipo de Geoparquet está trabajando en el desarrollo de la especificación técnica con la creación de código, datos de muestra, pruebas y otros recursos . Con la versión 1.1.0 se espera mejorar los índices y particiones para mejorar las búsquedas el rendimiento de la lectura de subconjuntos de datos.

Geoparquet es un formato prometedor para el procesamiento de grandes volúmenes de datos geoespaciales y ya está ayudando a empresas distribuir grandes cantidades de datos geoespaciales, como Microsoft y su Building Footprints que incluye petabytes de datos de monitoreo ambiental.

¿Quieres aprender más sobre Ipsilum?

Para conocer más sobre nuestra solución para trabajar con grandes cantidades de datos geoespaciales

Contacta
Contacta

¿Hablamos?

En SRM Consulting nos esforzamos cada día para ofrecer soluciones innovadoras a las empresas. Contacta para más información sobre nuestros servicios

Contacto

Ven a vernos, escríbenos o llámanos para cualquier duda o consulta

Dirección:

Calle Gobelas, 25 - 27; 28023 Madrid (España)

Correo-e:

info@srmconsulting.es

Teléfono:

+34 91 116 06 06

Cargando
El mensaje ha sido enviado. Gracias por contactar