Aanvraag: Bulk import NDW meetpunten

Hoi allen,

Ik ben nieuw op dit forum en ben hier gekomen via Eggie. Voor mijn afstudeerstage aan de TU Eindhoven ben ik bezig met Vehicle Routing Planning (hoe bezorg ik X pakketjes met zo min mogelijk km’s/kosten) en hiervoor zijn de plannen om opensource bronnen te gebruiken om routes te bepalen. Hiervoor wordt OSM gebruikt (icm OSRM). Nu is de bedoeling om ook verkeersinformatie te gebruiken en hiervoor is de NDW (Nationale Databank Wegverkeersgegevens) een goede bron. De NDW verzamelt op zo’n 25.000 punten in Nederland informatie over snelheden en verkeersdruktes. Deze informatie is openbaar toegankelijk: (http://www.ndw.nu/pagina/nl/4/databank/65/historische_gegevens/).

Nu wil ik graag een koppeling maken tussen OSM en de NDW meetpunten. Dit zijn camera’s langs (snel)wegen of lussen in de grond bij verkeerslichten e.d. De informatie over alle meetpunten is hier te vinden: http://www.ndw.nu/downloaddocument/4ceb5142ed9e79bad0db5382736c474a/MST.zip (let op, een zip met 150MB aan data).

Mijn vraag is, is of het mogelijk is om deze meetpunten te importeren in OSM. In de toekomst kunnen mensen/bedrijven/instanties dan makkelijk analyses maken met de historische gegevens van het NDW en de geïmporteerde punten in OSM. In het bestand staan ook meettrajecten, wegen tussen 2 meetpunten, en het zou helemaal mooi zijn als die trajecten gekoppeld kunnen worden aan wegsegmenten in OSM.

Hoi Jord,

Mooi idee en goed dat je je hier meldt om het te bespreken!

Als dit lukt, dan zou het een mooie stap vooruit kunnen zijn voor serieus gebruik van routeplanners voor motorvoertuigen met OSM (hoewel we in de kwaliteitsborging voor access-tags nog wel een weg te gaan hebben)

Mooi ook in het verlengde van interessante toepassingen zoals deze reistijdisochronen van de Universiteit van Heidelberg:
https://maps.openrouteservice.org/reach?n1=52.067267&n2=4.702148&n3=10&a=52.071593,4.655353&b=0&i=0&j1=30&j2=15&k1=en-US&k2=km

Het past ook binnen de scope voor nieuwe data in OSM zoals beschreven in
https://wiki.openstreetmap.org/wiki/Any_tags_you_like

Naar mijn idee: ja, mits je voldoet aan de importvoorschriften op https://wiki.openstreetmap.org/wiki/Import/Guidelines
en voorzichtig te werk gaat in de database (veel zorg voor goede inpassing van de data in de bestaande database).

Die inpassing van de nieuwe data in de bestaande database is in de praktijk het meeste werk
(dat is in ieder geval mijn ervaring met dit importvoortsel: https://forum.openstreetmap.org/viewtopic.php?id=61493 )

Praktisch voorbeeld:
-je zou de unieke id’s van NDW-meetpunten kunnen toevoegen aan bestaande nodes in OSM die dara al liggen of op die OSM een nieuwe node aanmaken waar je deze ID aan toekent (vergelijk het hoe we dat met fiets- en wandelknooppunten doen)

-alleen zal je al snel zien dat een NDW-punt net buiten de weg in OSM ligt. Een van de twee moet dus worden verschoven, want het punt moet wel deel uitmaken van de weg (we willen geen losse imports van data-bovenop-data ; OSM kent geen echte lagen en dan wordt en een spaghetti…)

-dus dat vergt onderzoek: wat is de juiste locatie. Grote kans dat weg in OSM net niet op de goede plek ligt en verschoven moet worden. Alleen kan je dat niet alleen voor die ene node doen, want dan zit er in OSM een knik in de weg die er eigenlijk niet is

-ook kan de weg in OSM en in NDW anders zijn gemodelleerd: 1 way per rijbaan vs 1 way per rijstrook of per x rijstroken

-je zal dus om onbedoelde effecten te voorkomen elk punt (en de omliggende data in de database) na moeten lopen en zo eventueel aanpassen voordat je het echt kan importeren

-mijn ervaring is dat hier flink veel werk in gaat zitten, zeker als je bedenkt dat het hier om met 25.000 punten gaat

In theorie zou je voor elk meettraject een expliciete relatie kunnen aanmaken in de OSM-database , maar dat levert enorm veel relaties -en daarmee veel werk- op , waarbij je ook wegdelen moet opknippen op de plek van de nodes (met soms onverwachte schade aan andere relaties tot gevolg).

Als ik bedenk hoeveel werk het invoeren van -relatief simpele - wandelnetwerken al is, zou ik je dat niet aanraden.
Ik vermoed dat er met 25.000 punten op een relatief beperkt netwerk (ca5% van het wegennet en juist de wegen met weinig kruisingen) doorgaans maar 1 route van telpunt x naar y is. In dat geval zou je denk ik veel beter af zijn met het bepalen van die trajecten door slimme programmeertruc in je eigen applicatie (dus buiten de OSM databse)

Het aanmaken van aparte relaties zou ik dus zelf afraden.

Het doen van een klein proefstukje lijkt me daarentegen een goed idee.

Als je die proef beperkt tot het min of meer handmatig geven van een paar NDW-id’s aan nodes op bestaande wegen in de database, dan hoef je daarvoor niet eerst de hele molen van een importvoorstel door:

https://wiki.openstreetmap.org/wiki/Import/Catalogue

Succes!

Een andere insteek is de database, de database laten, die goed wordt onderhouden.
Ga je importeren zal het onderhouden moeten worden.

Kan je koppelen aan wegvakken van OSM?

De gps punt uit de xml ligt altijd net even naast een OSM weg.

Misschien heeft men meer aan een Open Source Software koppelings tool. Die ook andere kunnen gebruiken.

Download OSM en NDW en maak een eigen dataset met de koppelingen, die je periodiek kan controleren.

http://research.geodan.nl/sites/ndw_arena/
https://www.geodan.nl/nieuwe-visualisatietechniek/ LEUKE VIEWER.

Schijnbaar is het mogelijk:

Kijk ik naar tmc info in Duitsland.
Dan zie je dat zo’n project niet echt doordendert.
https://wiki.openstreetmap.org/wiki/TMC
veel staat op not yet started.
https://wiki.openstreetmap.org/wiki/TMC/TMC_Import_Germany/Areas2
https://wiki.openstreetmap.org/wiki/TMC/TMC_Import_Germany/OtherAreas

NDW en Openstreetmap.

Onze medemappers Stefan de Konink en andere zouden je vast kunnen vertellen wat een goede insteek is.

http://opengeo.nl/pdf/opengeo-beleidsplan-2014.pdf

http://www.ndw.nu/downloaddocument/5f80e9ea37ca94d456d81fe09a3e27aa/NDW%20Jaarplan%202107%20samenvatting.pdf

Worden we straks ingehaald?

https://www.tripcast.nl/onze-diensten/trip

video MP4 koppelen NDW meetpunten

http://bestwelsnel.nl/

Let wel op: het is niet omdat data ‘publiek beschikbaar is’, dat het ook ‘open data’ is. Toch eerst even checken wat de licentievoorwaarden op de dataset zijt, licentie moet compatibel zijn met die van Openstreetmap…

Ik heb dit eerder ook voorgesteld: https://forum.openstreetmap.org/viewtopic.php?id=56504. Aangezien er toen weinig animo was hier heb ik het toen niet verder doorgezet, aangezien een van de eisen voor een import natuurlijk is dat het nut heeft voor de lokale community. Goed om te horen dat er meer geïnteresseerden zijn! :slight_smile:

De licentie moet inderdaad eerst opgehelderd worden, aangezien NDW het alleen aangeeft als “open data”, zonder expliciete licentie. Volgens https://data.overheid.nl/data/dataset/ndw-actuele-verkeersgegevens is het CC-0, maar het zou goed zijn om bevestiging te hebben van NDW.