Representaciones compactas de datos LiDAR

Transcripción

1 Representaciones compactas de datos LiDAR Miguel R. Luaces Laboratorio de Bases de Datos Universidade da Coruña 1

2 Motivación 2

3 Motivación La obtención y el acceso a nubes de puntos LiDAR está cada vez más generalizado Las aplicaciones basadas en nubes de puntos cada vez son mayores Las nubes de puntos son voluminosas: Ejemplo: PNOA LiDAR (0.5 puntos/m 2 ) Galicia: 9244 archivos, 161GB comprimidos Península Ibérica: archivos, 2.2TB comprimidos 3

4 Motivación Alternativas para el almacenamiento y consulta Formato LASzip Compresión de los datos (10% - 20% del fichero original) Permite acceso directo por índice a un punto de la nube Índice LASIndex Quadtree sobre las coordenadas x e y Entre el 0.1% y el 0.01% del fichero LAZ Problema: No tiene ningún tipo de soporte para la dimensión z ni para los valores escalares 4

5 Motivación Alternativas para el almacenamiento y consulta Estructuras de indexación multidimensional Octrees / R-Trees Permiten la creación de índices multidimensionales Problema: La maldición de la dimensionalidad El volumen a indexar aumenta exponencialmente mientras que la cantidad de información aumenta linealmente 5

6 Motivación Alternativas para almacenamiento y consulta Compresión con pérdida Descartar puntos o información de los puntos Generar versiones alternativas de la información para acelerar la visualización Problema: No mejoran los tiempos de consulta Soluciones Big Data Mejoran el rendimiento mediante la distribución del procesamiento Problema: Necesitan infraestructura 6

7 Motivación Suposiciones: Los datos son estáticos La funcionalidad de inserción y borrado no es necesaria El precio de la memoria RAM y SSD sigue bajando Una estructura compacta en memoria principal es mejor que una estructura dinámica en memoria secundaria El objetivo de la estructura es mejorar el tiempo de consulta Consultas de rango en cualquier dimensión espacial o escalar Consultas de vecinos más cercanos en cualquier dimensión 7

8 k 2 -tree 8

9 k 2 -tree Miguel R. Luaces luaces@udc.es Estructura de datos T = L =

10 k 2 -tree Miguel R. Luaces luaces@udc.es Búsquedas T = Children(p) = rank 1 (T,p) k L =

11 k 2 -tree con compresión de 1s k 2 -tree original comprime eficientemente regiones extensas de 0s (se usa un único 0) En un raster binario Las matrices pueden ser densas Los 1s y los 0s aparecen en clusters 11

12 k 2 -tree con compresión de 1s Objetivo: comprimir regiones de 1s La división de un nodo para cuando se llega a una región homogénea ALL_ONES

13 k 2 -tree con compresión de 1s Se utilizan dos bits para representar los nodos homogéneos que no sean hoja del árbol ALL_ONES T = T = L =

14 k 2 -tree con compresión de 1s Evaluación: Comparamos nuestra estructura con quadtrees Estructuras: k 2 -tree con compresión de 1s Linear quadtree implementado por nosotros Conjuntos de datos: MDTs convertidos a binario usando un umbral de altura Conjunto de datos Dimensiones mdt X 5881 mdt X 5841 mdt X

15 k 2 -tree con compresión de 1s Resultados: Espacio (medido en bits por cada 1) Conjunto de datos K 2 -tree LQT mdt mdt mdt Tiempo de consulta (µs/query) Conjunto de datos K 2 -tree LQT mdt mdt mdt

16 Representación de datos ráster 16

17 Representación de datos ráster Representación eficiente de cualquier ráster Permitir consultas de rango espacial o escalar Alternativas Usar tantos k 2 -tree como valores de la variable escalar. Dos variantes: Un k 2 -tree por cada valor de la variable: k 2 -base Un k 2 -tree acumulando los valores de la variable: k 2 -acc Definir un k 3 -tree y usar la variable escalar como dimensión adicional 17

18 Representación de datos ráster Alternativa k 2 -base Value=1 Value=2 Value=3 Value=4 Value=5 18

19 Representación de datos ráster Alternativa k 2 -base Consultas: Consulta espacial pura: todos los k 2 -tree Consulta escalar variable = valor: un único k 2 -tree Consulta escalar variable en rango: varios k 2 -tree Consulta de rango espacial y escalar: varios k 2 -tree Value=1 Value=2 Value=3 Value=4 Value=5 19

20 Representación de datos ráster Alternativa k 2 -acc Value 1 Value 2 Value 3 Value 4 Value 5 20

21 Representación de datos ráster Alternativa k 2 -acc Consultas: Consulta espacial pura: varios k 2 -tree Consulta escalar variable = valor: dos k 2 -tree Consulta escalar variable en rango: dos k 2 -tree Consulta de rango espacial y escalar: varios k 2 -tree K3: Value 3 K2: Value 2 Value = 3 _ = 21

22 Representación de datos ráster Alternativa k n -tree Generalización del k 2 -tree a n dimensiones Una matriz de n dimensiones se divide en k n submatrices Consultas permitidas: Recuperar el valor de una celda Recuperar todas las celdas de una fila Recuperar todas las celdas de una columna Recuperar todas las celdas de un plano Recuperar todas las celdas de una submatriz 22

23 Representación de datos ráster Ejemplo: k 3 -tree

24 Representación de datos ráster Ejemplo: k 3 -tree

25 Representación de datos ráster Evaluación Conjuntos de datos MDTs con alturas representadas en metros Conjunto Tamaño # valores mdt x mdt x mdt-medium 7721 x mdt-large x

26 Representación de datos ráster Evaluación Espacio de almacenamiento: Dataset lg (#values) H 0 K2-base K2-acc K3 Tiff-plain Tiff-comp mdt mdt mdt-medium mdt-large

27 Representación de datos ráster Evaluación Obtener el valor de una celda (µs/consulta) La mejor opción es el k 3 -tree El k 2 -base es la peor opción y corresponde a una búsqueda secuencial Dataset K2-base K2-acc K3 Tiff-plain Tiff-comp mdt mdt mdt-medium mdt-large

28 Representación de datos ráster Evaluación Obtener todas las celdas con un valor (µs/consulta) La mejor opción es el k 2 -base porque sólo busca en un k 2 - tree Los tiempos del k 3 -tree son competitivos Dataset K2-base K2-acc K3 Tiff-plain Tiff-comp mdt mdt mdt-medium mdt-large

29 Representación de datos ráster Evaluación Obtener todas las celdas en un rango espacial y un rango de valores Dataset Spatial Range K2-base K2-acc K3 Tiff-plain Tiff-comp Mdtmedium Mdtlarge

30 Conclusiones 30

31 Conclusiones El k n -tree es una estructura compacta que permite la realización eficiente de consultas Ventajas: Por ser compacta, es ideal para memoria RAM o SSD Es eficiente en consultas con rangos amplios Inconvenientes: Es una estructura estática La calidad de la estructura depende de la distribución de los datos 31

32 Trabajo futuro En la actualidad Adaptándola para el almacenamiento de nubes de puntos LiDAR Evaluación: LASzip + LASindex Octree R-Tree En el futuro: Implementación de consultas de vecinos cercanos Prueba de otras estructuras 32

33 Representaciones compactas de datos LiDAR Miguel R. Luaces Laboratorio de Bases de Datos Universidade da Coruña 33