Verslag seminar van 8 december 2015 van OGH in samenwerking met NCG en TU-Delft

Management of Massive Point Cloud data: wet and dry
17 dec 2015 - Hans Gerritse

Op 8 december jl. werd in de TU Delft het seminar 'Management of Massive Point Cloud data: wet and dry' gehouden. Het drukbezochte seminar - meer dan 100 deelnemers - was voor de tweede keer georganiseerd door het Nederlands Centrum voor Geodesie en Geo-informatie (NCG), in samenwerking met de OGh, TU Delft en het Netherlands eScience Center. Vergeleken met zes jaar geleden, toen het seminar voor de eerste maal werd gehouden, zijn er de nodige ontwikkelingen geweest rondom het managen van punten

Op 8 december jl. werd in de TU Delft het seminar 'Management of Massive Point Cloud data: wet and dry' gehouden. Het drukbezochte seminar - meer dan 100 deelnemers - was voor de tweede keer georganiseerd door het Nederlands Centrum voor Geodesie en Geo-informatie (NCG), in samenwerking met de OGh, TU Delft en het Netherlands eScience Center. Vergeleken met zes jaar geleden, toen het seminar voor de eerste maal werd gehouden, zijn er de nodige ontwikkelingen geweest rondom het managen van puntenwolken zoals deze worden ingewonnen met behulp van laserscanners, LiDAR en multibeam sonar-oplossingen. 

 

Het programma van het seminar, dat plaatsvond in de Berlage zaal van de Faculteit Architecture and the Built Environment van de TU Delft, omvatte een breed scala van presentaties, waarin uiteenlopende facetten van het beheer van Massive Point Cloud data vanuit verschillende invalshoeken werden belicht. Deelnemers en organisatoren kunnen dan ook terugkijken op een geslaagde dag met veel interessante en praktische informatie over het beheer van puntenwolk-data. Hierna een verslag van een aantal van de presentaties. Alle presentaties zijn te vinden in de downloadsectie elders op de OGh website.

 

 

Een puntenwolk is een verzameling 3D metingen van een object of bijvoorbeeld, een deel van, de (zee)bodem. De wolk van metingen en de statistieken uit de metingen wordt een puntenwolk genoemd. Een puntenwolk is ruwe meetdata waarbij de omvang als snel enorme proporties (100GB is weinig) bereikt. De data vormt steeds vaker de basis van geografische informatie producten en object herkenning.  In veel gevallen zijn puntenwolken door laserscanners geacquireerd maar er zijn ook andere methoden die werken met het combineren van fotomateriaal waarbij het object vanuit verschillende hoeken is opgenomen.

 

Point cloud data management benchmark: Oracle, PostgreSQL, MonetDB, LAStools

Door Theo Tijssen (TU Delft)

Webservices op basis van puntenwolk-data zijn populair en stellen specifieke eisen waaraan de meeste van de beschikbare puntenwolk-datamanagementsystemen niet kunnen voldoen. Dit betekent dat er specifieke op maat gemaakte oplossingen worden gebouwd. Onderzoekers van TU Delft en Netherlands eScience Center) hebben de eisen van deze webservices in kaart gebracht en stellen een realistische benchmark-extensie voor, die helpt bij het bepalen van de toekomstige manier van werken met meer generieke puntenwolk-DBMS'en - zoals Oracle Spatial and Graph - die dergelijke steeds veeleisender webservices ondersteunen.

 

Theo Tijssen -TU Delft- Point cloud data management benchmark Oracle - Postgres - MonetDB and LAStools

Foto © GIS-Magazine


Theo Tijssen (TU Delft) presenteerde de uitkomsten van het Massive Point Cloud for eSciences-project (http://pointclouds.nl), waarin verschillende generieke puntenwolk-datamanagement systemen zijn getest. Naast de point cloud benchmark die is ontwikkeld en uitgevoerd hebben de onderzoekers ook een interactieve 3D point cloud webservice (en viewer) ontwikkeld. Opmerkelijk is ook de duidelijke invloed die het project heeft gehad op point cloud datamanagement ontwikkelaars, aldus Tijssen. Met als tastbaar resultaat systemen die aanzienlijk beter en soms zelfs opzienbarend veel beter presteren.

 

De collectie van massale puntenwolken-data wordt mogelijk gemaakt door LiDAR, fotogrammetrie en verschillende andere onderzoektechnologieën, stelde Tijssen. Geconfronteerd met honderden miljarden of biljoenen punten presteren de traditionele oplossingen voor het afhandelen van puntenwolken meestal onder de maat, zelfs voor de klassieke loading en retrieving acties. Om inzicht te verkrijgen in de features die de performance beïnvloeden, voerden de betrokken onderzoekers in het Massive Point Cloud for eSciences-project (http://pointclouds.nl) singel-usertests uit met verschillende storagemodellen op verschillende systemen, waaronder Oracle Spatial and Graph, PostgreSQL-PostGIS, MonetDB en LAStools (gedurende de tweede helft van 2014). In de zomer van 2015 werden de tests verder uitgebreid met de laatste ontwikkelingen van de systemen, met inbegrip van de nieuwe versie van Point Data Abstraction Library (PDAL) met efficiënte compressie. Op basis van die testen is in eerste instantie een conceptuele benchmark ontwikkeld en vervolgens een executable mini-benchmark, die gedurende het project is opgeschaald naar een medium-benchmark en tenslotte een full scale benchmark waarbij 640 miljard wolkenpunt geladen werden in de verschillende systemen. In het oog springend daarbij is het significante verschil in performance van Oracle Point Cloud op een 'gewone' (HP) serverconfiguratie ten opzichte van een Oracle Exadata databasemachine.

 

Tabel-benchmark


From point cloud to bathymetric digital elevation model

Rogier Broekman (Hydrografische Dienst) en Niels Nijhuis (Caris)

De Nederlandse Marine is verantwoordelijk voor de creatie en publicatie van zeekaarten in de Nederlandse Continentale Zone van de Noordzee. Voor de veiligheid van de scheepvaart is voor deze grafieken up-to-date informatie vereist over de ondieptes in het gebied, de obstakels op de zeebodem en diepte-contourlijnen als leidraad voor de marinier. De Nederlandse Marine maakt gebruik van twee hydrografische schepen om Multibeam Echosounder data te verzamelen in een gebied van 59.000 km2, dat is anderhalf keer de grootte van het land. Rogier Broekman (Nederlandse Marine) en Niels Nijhuis (CARIS) lieten zien hoe de gegevens van de Multibeam naar een bathymetrisch digitaal hoogtemodel van de Noordzee is gebracht. Zowel de puntenwolken als DEM's worden opgeslagen in een format dat deze grote volumes kan verwerken en visualiseren. In de presentatie werd de verdere ontwikkeling naar het CSAR format en een nieuwe modelleringsmethode die de beperkingen van single resolution rasters en Triangulated Irregulated Networks (TIN's) behandeld en werd het Variable Resolution surface modelling concept beschreven en in een demo zichtbaar gemaakt.


Connecting indoor and outdoor - Insight through explorative point clouds
(MSc Geomatics Synthesis project)

Edward Verbree (TU Delft)

In hedendaagse processen worden de stappen die moeten worden genomen en de doorlooptijd van data acquisitie, verwerking, modellering, analyse en visualisatie, bepaald door het informatiemodel en de gebruikerseisen. Zo wordt bijvoorbeeld in de laatste fase van dit proces geen rekening gehouden met sommige inherent beschikbare informatie van de verzamelde data of gaat deze verloren. Edward Verbree gebruikte de term 'exploratief' om de mogelijkheden aan te geven van directe toepassing van puntenwolken in deze keten van geo-verwerking. Deze puntenwolken (enorme verzamelingen van X, Y, Z coördinaten en kenmerkwaarden) zijn de verbindende elementen tussen data-acquisitie en information retrieval. Dus moeten de verworven puntenwolken zelf verwerkt, geanalyseerd en gevisualiseerd worden, zo veel en direct als mogelijk om informatie beschikbaar te stellen voor alle soorten gebruikers.

Vanuit deze denkrichting hebben 15 studenten van de MSc Geomatics hun Synthesis project uitgevoerd, waarin ze de kennis, vaardigheden en inzicht van hun kernopleiding bij Geomatics bundelen en tegelijkertijd hun projectmanagementvaardigheden ontwikkelen. De volledige interne binnenomgeving van de 'Bouwpub' van de faculteit Architecture en Building Environment is gescand door de Zeb1 mobiele laserscanner van Zeb1, een andere grote puntenwolk van het exterieur van deze Bouwpub is vergaard van 1132 drone-achtige ruimtelijke beelden en een vergelijkbare massive dense puntenwolk van het volledige gebouw en de omgeving van de Architecture faculteit is verkregen met het nieuwste Cyclomedia opnamesysteem. Deze drie verschillende puntenwolken zijn direct verwerkt om de 'puntloze' navigeerbare ruimte af te leiden, de externe punten te koppelen aan de opgenomen beelden en de wegen te classificeren. In de presentatie werden de verkregen resultaten van met elkaar verbonden binnen- en buitenomgevingen gepresenteerd als sleutelvoorbeelden van het verkrijgen van inzicht door middel van exploratieve puntenwolken.

 

LiDAR data exploration boosted by a column-store

Romulo Gonçalves (NLeSc), Kostis Kyzirakos (CWI) en Dimitar Nedev (MonetDB Solutions)

Momenteel worden grote datasets, zoals landsgewijze LiDAR scans, verzameld en gecombineerd met grote verzamelingen van semantisch rijke objecten om zo een nieuwe bron van kennis te creëren ten behoeve van moderne risicomanagementsystemen. Om verschillende datasets te integreren met spatial data en efficiënte en flexibele data-exploratie mogelijk te maken, wordt een Spatial Data Management systeem (SDBMS) aangeraden. Huidige oplossingen zijn echter niet geschikt voor het efficiënt verwerken van grote LiDAR datasets vanwege de hoge kosten die zijn gemoeid met het converteren, laden, indexeren en comprimeren van puntenwolk-data. [1]. Gepresenteerd werd een efficiënte datamanagement-laag voor de Analyse van geo-spatial data met de nadruk op LiDAR data. Het voordeel van deze aanpak is dat, in tegenstelling tot eerdere oplossingen, de raw datasets worden opgeslagen en uitsluitend worden getransformeerd, gecombineerd en verwerkt wanneer dat nodig is, waardoor de flexibiliteit en de performance aanzienlijk worden verbeterd.

 

Oracle support options for point clouds

Albert Godfrind en Mike Horhammer (Oracle)

In deze presentatie werd het beheer van grote geografische datasets in Oracle-databases geïntroduceerd. Specifiek werden verschillende alternatieve storage-modellen gepresenteerd en met elkaar vergeleken: blocked, flat en hybride, met hun voordelen ten opzichte van andere toepassingen, met een focus op prestaties en schaalbaarheid. De sprekers gaven een overzicht van de momenteel beschikbare puntenwolk-functionaliteit: creatie, laden, compressie en blocking in de verschillende modellen, alsmede de functies om range-selectie en -analyse uit te voeren, zoals knippen, vinden van dichtstbijzijnde buren en contouring.

 

The AHN2 3D web viewer and download tool

Oscar Martinez Rubi (Netherlands eScience Center)

Als onderdeel van het Massive Point Cloud voor eSciences project heeft het Netherlands eScience Center een 'verdeel-en-heers-algoritme ontworpen en geïmplementeerd voor het creëren van multi-resolutie datastructuren die worden gebruikt voor de web-visualisatie van massive point cloud datasets, zoals de AHN2-gegevensset met 640 miljard punten. Dankzij dit algoritme is Nederland het eerste land met een puntenwolk van de totale oppervlakte die vrij gevisualiseerd is via het web (http://ahn2.pointclouds.nl). In de presentatie werd het algoritme beschreven en werden de gebouwde webservice en de features daarvan gepresenteerd, met speciale aandacht voor een nieuwe multi-resolutie download tool waarmee de gebruikers wolkenpuntdata van elk geselecteerd gebied kunnen downloaden voor verdere analyse.

 

Overview of techniques to collect subsea point cloud data

Wilbert Brink (Fugro)

Het nemen van handmatige dieptemetingen op zee om bathymetrische kaarten te maken is zo oud als de geschiedenis zelf. De invoering van de akoestische echo sounder in de vroege 20e eeuw resulteerde in nauwkeuriger en vooral meer dichtbevolkte puntenwolken van de zeebodem, vooral na de overgang van singlebeam naar multibeam echo sounders. Hedendaagse multibeam systemen bepalen honderden echopunten en dat tientallen malen per seconde. tweede. Akoestische golven worden van oudsher gebruikt vanwege hun superieure doordringingscapaciteit in water in vergelijking met elektromagnetische golven. Het zichtbare spectrum heeft echter ook een relatief lage absorptiefactor en kan onder water worden gebruikt. Fotogrammetrische standaardmethoden, evenals laser profilering en LiDAR, bieden puntenwolken met een nog hogere puntenwolk-dichtheid dan de nieuwste multibeam systemen. Daarnaast is een ander voordeel van het gebruik van zichttechnieken dat de raw data heel goed begrijpelijk zijn voor de mens is: onze hersenen zijn veel beter getraind om visuele informatie te interpreteren dan akoestische informatie.

 

Managing and processing massive amounts of maritime point cloud data with GeolinQ

Milan Uitentuis en Mark Terlien (IntellinQ)

Beheer van maritieme puntenwolken wordt steeds uitdagender, vanwege de toenemende omvang van de verzamelde gegevens en meervoudige puntenwolk-toepassingen. Gegevensbeheer is cruciaal voor het omgaan met deze uitdagingen. GeolinQ is een datamanagement-oplossing die een combinatie biedt van snelle en efficiënte opslag, visualisatie, web-distributie en flexibiliteit met betrekking tot punt-kenmerken, metadata van puntenwolken en vormgeving.

Gebruikers zijn in staat om te bladeren door puntenwolk-datasets op basis van metadata en locatie, puntenwolk-data naar eigen behoefte te visualiseren en puntenwolk-datasets te publiceren op basis van de behoeften en eisen van de klant. Speciale algoritmen worden gebruikt voor efficiënte opslag databasetabellen. De algoritmen optimaliseren de storage tijdens het importeren van puntenwolken en genereren visualisatie-piramides en de puntenwolk footprint. Deze aanpak wordt niet beperkt door het aantal puntkenmerken, grootte van de puntenwolk, fysieke geheugen of schijfruimte. Aangezien de datamanagement-oplossing ook raster en vector datasets ondersteunt, kunnen ook verkregen dataproducten worden beheerd.

 

Reporting from the OGC Point Cloud DWG

Peter van Oosterom (TU-Delft)

Het gebruik van puntenwolken groeit in een snel tempo en kan worden gevonden in een verscheidenheid van domeinen, met inbegrip van nutsbedrijven, mijnbouw, indoor en outdoor 3D-modellering enz. Puntenwolk-data worden momenteel in vele formats, waarvan sommige nu de facto standaarden zijn, gedefinieerd voor vele domeinen zoals multidimensionale wetenschappelijke data, LiDAR data, hoogte-data, seismische data, bathymetrische data, meteorologische data en data van vaste/mobiele consumentensensoren (Internet-of-Things). Met zo veel toepassingen van puntenwolk-data en met maar zo weinig standaardisatie, bestaat er een variëteit aan verschillende formats.

De leden van het OGC hebben hun zorg uitgesproken dat zonder ontwikkeling van best practices of consensus normen, de divergentie in de community zal aanhouden en interoperabiliteit zal worden geremd. LiDAR gegevens bijvoorbeeld worden meestal uitgewisseld met behulp van een ASPRS standaard format die bekend staat als LAS. Echter, het gebruik van LAS content door eindgebruikers voor analyse of weergave vereist indexering, optimalisatie en/of compressie van de inhoud. Hiervoor zijn meerdere methoden beschikbaar, variërend van leverancierspecifieke indexing schemes tot commerciële en vrij beschikbare toolset voor optimalisatie en compressie.

In een persbericht van 2 november jl. hebben het OGC en de ASPRS bekend gemaakt dat ze gaan samenwerken in de Point Cloud Domain Working Group (DWG). De Point Cloud DWG is opgericht om de hiaten in de basis standaarden van de OGC met betrekking tot puntenwolkdata, te vullen. Een van de eerste activiteiten van de Point Cloud DWG is daarom het ontwikkelen van een vragenlijst, die naar verwachting in december 2016 zal worden uitgebracht. Meer informatie is te vinden op: www.opengeospatial.org/projects/groups/pointclouddwg.