Highways defragmenteren, een analyse

Ik was vandaag een mooie wandeling aan het maken en keek ff op mijn telefoon en las toen dit

en ik dacht … shit… zit er toch een fout in de kaart. Das vreemd …gisteren nog meer dan 1000 fietspaden samengevoegd en nergens problemen gehad. Dus toen maar even de pas er in om thuis te reageren. Daar las ik dit…

Ah … gelukkig … dus niet een foute suggestie van de kaart. Wel vreemd dat het dan hier gepost wordt …. maar goed …. levert wel weer extra aandacht op . :wink:

En gisteren heb ik mijn script eens losgelaten op OSM Duitsland. Dat duurde uiteraard wel wat langer maar het resultaat was er niet minder verrassend om. Duitsland had ongeveer het zelfde aantal aan potentieel samen te voegen wegen als NL maar het aantal wegen in Duitsland is wel bijna 6x zoveel. Hoe kan dat? Zijn die Duitsers dan toch veel “grundlicher” dan wij Nederlanders?

Het antwoord vond ik later in dit draadje. Was al langer geleden dus was ik allemaal weer vergeten :wink: Samengevat … bij de AND import werden niet hele wegen geimporteerd maar weg segmenten. Daar waar een aftakking was naar een andere weg begon een nieuw segment. En al die segmenten hadden hun eigen AND identifier. Doordat deze verwijderd zijn is het samenvoegen van die segmenten een stuk makkelijker geworden zoals Baggeraar hier al aangeeft. Want als we het met dan hand hadden ingevoerd hadden we echt niet alles in stukken opgeknipt.

In middels ben ik weer iets verder met mijn analyse en zal tzt de kaart weer iets aanpassen. Mijn doel is om te beginnen met de makkelijkste varianten waarbij je zo min mogelijk hoeft na te denken… daarna zien we wel verder.

Obv wat ik gisteren heb samengevoegd is mijn voorzichtige conclusie dat de eerste 5 opties op de kaart … zo goed als blind kunnen worden uitgevoerd. (prio1 tm prio2 2wegen) Dat zijn samenvoegingen halverwege een highway zonder dat er ook maar andere wegen aan vast zitten.

Bedankt voor de aandacht zover. ik ga weer verder met de analyse. :wink:

Ik was benieuwd wat de impact is en het is “duidelijk” te zien.

Data verkregen m.b.v. Ohsome dashboard (autosnelwegen niet meegenomen) en helaas loopt dat wat dagen achter maar het effect is duidelijk zichtbaar. Schaal voor het aantal wegen is in miljoenen; de rode lijn is het start van dit topic.

Wat betreft de rechte lijnen:

  • Van 1 mei tot 1 aug zijn er gemiddeld 473 weg-segmenten per dag toegevoegd

  • In diezelfde periode is de lengte gegroeid met 26,5 km per dag

  • Op 1 Mei was de gemiddelde weg 129 meter lang

  • Als van 1 mei tot 1 aug wegen toegevoegd zouden zijn van 129 meter zouden er maar 206 weg-segment per dag zijn toegevoegd

  • Het verschil kan verklaard worden door aan te nemen dat per dag 267 wegen gesplitst werden in die periode

Dan hoop ik dat PeeWee toch nog ontspannen verder gewandeld heeft :slight_smile:
Het vreemde is dat hier iemand juist met josm aan de slag was en vertrouwde op de validator van josm. Tja die gaat niet af als er sorteerfouten veroorzaakt worden.
Maar dit soort acties zien we dus doorlopend.
Meestal is het een eenmalig actie, maar hier toevallig een hele serie. Dan is het niet meer bij te houden. … Vandaar mijn opmerkingen hier… Gelukkig heeft mapper gereageerd en gaat hopelijk met Peters app aan de slag.
Lus 4 zou nu ook hersteld zijn.

Echt al duizenden highways samengevoegd, met en zonder relatie. Dat gaat helemaal prima in JOSM. Netjes met beleid. Zodra er ook maar één verschil tussen 2 highways inzit deze niet samenvoegen, maar daarvoor is de tool van peewee32 zo handig, want die geeft alleen aan welke je highways je wél kan samenvoegen. En ook nog eens van “makkelijk naar moeilijk”. Het juiste gebruik van de tools & software is wel noodzakelijk. :wink:

@emvee leuk grafiekje!

1 Like

Leuke inzichten Emvee. Mooi dat dit soort data beschikbaar is zonder dat je een hele OSM NL inclusief historie beschikbaar hoeft te hebben. Ik hou de verwijderde wegen bij op mijn locale machine maar als daar iets mis gaat ben ik het kwijt. Niet echt belangrijk natuurlijk maar wel leuk om de voortgang inzichtelijk te maken. Wat me wel opvalt is dat bij mij de gemiddelde lengte van een highway 209 meter is en bij jou behoorlijk lager. Ook als ik de motorway uitsluit is ie nog veel hoger dan bij jou . Maakt voor de grafiek niet uit want die laat het verloop zien. Gemiddeldelengte highway in Duitsland is overigens 293 meter.

Hieronder het lijstje van aantallen verwijderde wegen (zeer waarschijnlijk door samenvoegen). Hier ontbreken dus nog de Roeloeboelie wegen van vóór die datum :wink:

“checkdatum” Aantal
“2022-08-17” 161
“2022-08-18” 194
“2022-08-19” 24
“2022-08-20” 333
“2022-08-21” 913
“2022-08-22” 917
“2022-08-23” 234
“2022-08-24” 245
“2022-08-25” 254
“2022-08-26” 426
“2022-08-27” 1794
“2022-08-28” 606

Ja hoor … nog steeds lekker gewandeld maar wel meteen de laptop opengeklapt bij thuiskomst.

In JOSM selecteer ik eerst de ene weg en kijk dan wat er gebeurt in het tags overzicht als ik de 2e weg aanklik. In de tags zelf zie je als het goed is niets veranderen en in het ‘lid van’ overzicht daaronder ook niet behalve dat de positie kolom nu de oplopende posities in de relatie laat zien (als het goed is). Als dat er goed uitziet op C klikken en dan zijn de wegen samengevoegd.

Ja, Ohsome is een mooi stuk OSM-gereedschap. Ik wordt altijd wel blij van dit soort grafiekjes, het is fijn te zien als ze de “goede” richting in bewegen en ik denk dat het mensen kan aanmoedigen.

Dat is vreemd, die 129 meter is gebaseerd op 288.502.400 meter en 2.236.794 wegen op 1 Mei. Het aantal wegen komt goed overeen met taginfo dus dan zou het probleem moeten zitten in de afstand.

Mijn nummers zijn gebaseerd op de highway way values > 1%:

footway,residential,service,unclassified,cycleway,path,track,tertiary,secondary,primary,pedestrian,living_street

Ik heb een netherlands.pbf van gisteren en met osmium-tags-filter kan ik dit soort wegen er snel uit halen. Even geëxporteerd naar een .opl file en die weer met python ingelezen en toen van alle wegen de lengte berekend en die geeft:

2260464 wegen, gemiddeld 127.7 meter

Wilde ook een histogram maken maar dat gaf maar een verwarrend plaatje tot ik uitvond dat de langste weg 24540.2 meter was, dus maar een print toegevoegd:

w6540187 is 10412.7 meter – fietspad op Ameland
w6552392 is 13646.7 meter – Oostvaardersdijk
w27780355 is 24540.2 meter – Markerwaarddijk
w46609197 is 10049.9 meter – fietspad deel Afsluitdijk
w233097180 is 10705.6 meter – fietspad Oostvaardersdijk
w239360218 is 11359.8 meter – dijkweg Waddenzee Noord Groningen
w239748983 is 13130.9 meter – voetpad over de dijk behorende bij w239360218

Na wat experimenteren gevonden dat de enige manier om de data enigszins overzichtelijk te plotten is twee logaritmische assen:

De top van de grafiek komt overeen met 73 meter, de mediaan is 59.6 meter, de kortste weg was 2.6 cm.

Lang verhaal om te zeggen dat ik denk dat de ~128 meter wat mij betreft klopt, is die 209 misschien na alles is opgeruimd? :wink:

Ik ben er uit en je hebt helemaal gelijk. Ik had de fout gemaakt om in postgis ST_Length functie verkeerd te gebruiken. Inmiddels kom ik op een gemiddelde lengte van 129,17 meter.

Ook obv de PBF van gisteren kom ik op 2.331.569 highways met een gemiddelde van 129.17meter. Weer net een fractie anders dan wat jij hebt maar niet zoveel dat ik me daar druk om maak :wink:

Er lijkt nog flink gecombineerd te worden:

Ohsome gaat op dit moment maar tot 28 Aug dus het laatste punt is gebaseerd op een netherlands.pbf die vanmorgen is bijgewerkt. Of de laatste vijf dagen (vallende deel van de blauwe lijn) is er flink vooruitgang gemaakt of er is iets anders in de telmethode van Ohsome versus mijn script, wat betreft gemiddelde lengte lijkt er geen afwijking te zijn.

NB: De getallen zijn iets anders dan voor de vorige plot, nu motorway,motorway_link,trunk,trunk_link,primary_link,motorway_junction,secondary_link meegenomen.

Mooi om te zien dat er zo enthousiast word gedefragmenteerd :smiley: Voor de gene die een steentje bij willen dragen, hun regio wat willen opschonen en het topic niet geheel gevolgd hebben:

Open deze kaart op de computer, de standaard filter is goed.
https://qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

Elke stip op de kaart (node) geeft aan waar wegen kunnen worden samengevoegd. 
    De kleuren van de stippen geven aan om wat voor highway het gaat en prioritering. 
    Blauw is bijvoorbeeld fietspaden. Rood is snelwegen. Grijs is lage prio (tracks bijvoorbeeld).
    Focus op groen/oranje/blauw of wat je zelf fijn vindt.
De stippel lijntjes op de kaart geven visueel aan welke wegen het exact zijn (handig in woonwijken vooral).
    De rode stippel lijntjes zitten relaties achter de highway. 
    De zwarte stippel lijntjes zijn "kale highways" zonder relaties. 
    Beide gaan prima met combineren in JOSM, weet wel wat je doet! Zo niet, vraag het.
Voorkeur alles met het programma JOSM combineren.
    Selecteer de 2 highways en druk op de knop [c] op je toetsenbord. 
    Ga zo door tot alle stippen op de kaart verdwenen zijn.  ;-) (Peewee32 ververst de kaart regelmatig, elke dag op dit moment!)
Klaar.

Om te filteren qua stippen, lijntjes en om te zien wat er allemaal al samengevoegd is, druk rechtsboven in “Map&Tools” → “Layers&Legends” → vink aan/uit wat je wilt zien.

Voordelen;

  • je komt op vergeten plekjes in OSM, met achterstallig onderhoud, dat betekent dus;
  • direct de omliggende wegen uitlijnen met BGT.
  • de omliggende wegen actualiseren naar de huidige situatie.
  • straatnaam correcties
  • Landuse correcties
  • Highway types correcties
  • Snelheid correcties.
  • Nieuwe highways! Vervallen Highways!
  • En zo veel meer.

Probeer het !

De Geofabrik data-extract bevat niet de data uit de overzeese gebiedsdelen, zou het kunnen dat Ohsome die wel meetelt?

Mooi grafiekje weer Emvee. Als ik het goed begrijp zouden er al 20.000 wegen verdwenen zijn. Das best veel en ik ga er maar vanuit dat dit vnl door het samenvoegen gebeurd is. Als ik kijk naar wat ik bij hou kom ik op 9000 maar Roeliboelie was al bezig voordat ik het bijhield dus ga ik er maar van uit dat het verschil voor een groot deel aan hem toe te rekenen is :wink:

Ik heb tot op heden niet vernomen dat er echt fouten in de kaart zitten. En als er al zoveel is samengevoegd, is dat best bemoedigd. Wel is het zaak goed op te letten want er kan in OSM veel gebeuren tussen het maken van de kaart en het moment dat je wil samenvoegen. Zo wilde ik gisteren wegen samenvoegen die net door een ander waren samengevoegd :wink:

Nomenatim werkt gelukig ook alles snel bij. Waar eerst tig hits waren op een straatnaam zijn er vrij snel na het samenvoegen al een groot aantal verdwenen. Wat me ook opviel is dat Nomentim een postcode terug geeft als je een straat zoekt. Dat zijn postcodes met een spatie tussen cijfers en letters. Iemand een idee waar dat vandaan komt? Met de BAG hebben we postcode zonder spaties nl.

Ik heb net een nieuwe versie van de kaart/WMS gemaakt. Reden is dat ik nog meer potentiele samenvoegcombinaties zie en daar al mee geexperimenterd heb. Een belangrijk verschil in de data is het aantal graden tussen de samen te voegen wegen. Ik hanteerde een minimum hoek van 90 graden maar bij nader inzien vind ik dat geen goed idee. Minder dan 90 graden zie ik vaak bij hofjes maar er zijn veel meer situaties waarbij ik het logisch vind samen te voegen. Bovendien was die hoek gebaseerd op de begin en eindpunten van wegen en dat is lang niet altijd logisch.

Ik heb de huidige lagen intact gelaten (dus wel minimaal 90 graden) maar heb 3 extra lagen toegevoegd waar de 90 graden veelal is losgelaten. Cat1 t/m Cat3. Cat 1 zijn de wegen waar alleen de samen te voegen wegen samen komen. Deze lijken haast blind samengevoegd te kunnen worden. Cat2 zijn situaties waarvan ik denk dat samenvoegen zeer waarschijnlijk zonder problemen kan maar waar je af en toe een keuze moet maken of en zo ja welke van de opties je samenvoegt.
Cat3 is een restcategorie waarbij het samenvoegen nog minder waarschijnlijk is. Voor Cat1 t/m 3 geldt dat de wegtypes o.b.v. kleurtjes zijn uitgesplits net zoals dat voor de andere lagen geldt.
Het voordeel hiervan is dat je maar 1 WMS laag in JOSM hoeft toe te voegen om toch een hele categorie te zien.

Goed initiatief want het draadje is inmiddels best lang en er is ook al veel gewijzigd.

Daarom even nog wat toevoegingen op jouw lijstje

De kaart in QgisCloud is beschikbaar als webmap maar ook als WMS. Om de WMS te gebruiken in JOSM gebruik je

https://wms.qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

en kies je zelf welke laag je wilt tonen. Mijn advies nu is om te beginnen met Cat1 en de laag ‘weg samen te voegen’. Mijn ervaring is dat het samenvoegen het best werkt als je de lagen in JOSM geladen hebt en daar vandaan de punten lang loopt.

Helaas houdt JOSM de cache vast en zie je ook nadat ik de kaart ververst heb nog de oude gegevens. Bij mij werkt het verwijderen van de cache goed als ik de betreffende map ook echt leeg gooi. Op mijn Windows machine staat de cache in de (verborgen) map C:\Users{USER-ID}\AppData\Local\JOSM\cache

Ik zal proberen de kaart regelmatig te verversen maar dat lukt mij niet elke ochtend. Als je ziet dat de webmap bijgewerkt is maar de WMS in JOSM niet dan weet je dat het door dit cache probleem komt.

Is het mogelijk de “productiedatum” van de kaart ergens te vermelden?

Goeie vraag. Ik heb daar ook over nagedacht maar heel eenvoudig is dat volgens mij niet. Je kunt het wel afleiden uit de webmap door (alleen) de laag ‘deleted sinds last checkdate’ (lekker handig dat NL en ENG door elkaar :wink: ) te kiezen en daarna zo’n verwijderde weg te selecteren. In de info over die weg zie je de Checkdatum. Als je dat vandaag doet zie je 5/9/2022 staan en weet je dat ik vandaag iets heb ge-update. Dat kan 's ochtends gebeurd zijn maar ik doe het ook wel eens 's avonds als ik 's ochtends geen tijd heb gehad.

[edit] Ik maak gebruik van de downloads van Geofabrik en die worden zo te zien eind van de avond gemaakt. Als je dus 's nachts wegen samenvoegt en ik update de kaart 's ochtends dan mis je ook die edits op de kaart en zie je nog punten/wegen waar jij al hebt samengevoegd.

@PeeWee32 is het een idee om de PRIO5 wegen standaard uit te zetten in de filter ? Dit zijn in principe alleen de tracks, paden, ook nog eens zonder naam… Zo wordt de kaart weer wat rustiger en komt de focus te liggen op de wegen&fietspaden.

Ik neem aan dat je die bedoelt die nu in cat1/cat 3 zitten toch? Goed plan. Ik heb ze net uit gezet. Ik denk ook dat de meesten nu met de andere categorien bezig zijn. Ik kan ze later weer aan zetten als er behoefte is. Ik laat nog wel de lijntjes zien van deze categorie maar niet meer de samenvoeg punten. Overigens zit in CAT1 geen check meer op het aanwezig zijn van een naam en dat scheelt dus nog meer van die punten.

ik heb nu ergens in de noordzee de laatste update datum neer gezet. De OSM data is dan van 's avonds een dag eerder wanneer geofabrik het NL bestand maakt.

Gaat bij mij niet helemaal goed als ik de kaart open met de standaard filter, volgens mij.
“Wegen Samen Te Voegen” staat nu standaard uit (?)
En ik zat zelf te denken om “Prio5 2 wegen” standaard uit te zetten, zodat de focus op de belangrijke wegen komt te liggen in plaats van naamloze tracks/paden. Als je wat verder bent met samenvoegen kun je deze filter altijd zelf aanzetten.
Of standaard die filter Cat1…3 aanzetten zoals je beschrijft, dat is nog beter. Maar dat gebeurt bij mij niet ? Geen cache probleem.

Screenshot zoals ik de kaart nu te zien krijg;

Reden om die grijze standaard uit te zetten, zie hieronder, de samenvoegen die er toe doen (orange) worden ondergesneeuwd door de grijze. Focus ligt verkeerd.

OK dank voor feedback. Deels mijn schuld want ik had per ongeluk die wegen uit gezet maar deels ook misverstand. Ik dacht dat jij met de WMS werkte en dat je in JOSM onder CAT1 liever niet de prio5 wegen wilde zien. Ik had dat aangepast ipv de losse laag uit vinken. En als je na aanpassen de url opslaat dan staan ook daar de selectie keuzes is. Zou je kunnen opslaan als favoriet bv. Ik heb nu hopelijk staan wat jij wilde hebben en als mensen nog anders willen dan kunnen ze zelf de selectie weer aanpassen. Onder CAT1 t/m cat drie heb ik nu weer alle prio1t/m 5 staan. Ik begrijp niet dat dit bij jou niet werk. OK … heel snel werkt die kaart niet maar als je alleen bv CAT1 aanvinkt dan zie je toch hopelijk wel prio1 t/5 wegen van de wegen die slechts op 2 punten samenkomen hoop ik.

Ik heb dus een nieuwe versie geplaatst die hopelijk meer naar wens is.

Weer eens tijd voor een nieuwe tussenstand:

De gestippelde lijnen zijn op basis van de gegevens die ik uit een netherlands.pbf trek, de doorgetrokken lijnen op basis van Ohsome data.

Als ik zo de kaart van Ohsome bekijk waar je de gebieden kan selecteren dan worden de overzeese gebiedsdelen niet meegenomen dus waar dat verschil van ~22.000 wegen (bijna 1%) vandaan komt weet ik niet. Ik zal eens Ohsome proberen met de .poly van Geofabrik.

Ik heb wel nog een klein probleempje gevonden:

De twee fietspaden omhoog naar de Voordijk hebben precies dezelfde tags inc. incline=up maar samenvoegen is geen goed idee dan krijg je een soort Escheriaans plaatje.

Mooi plaatje weer Emvee. Nog steeds leuk te zien dat het aantal highway in NL afneemt en de gemiddelde lengte toeneemt.

Dit is herkenbaar. Ik zou eigenlijk nog iets moeten proberen of ik ook deze false positives er uit kan halen. Het zelfde speelt met andere wegcombinaties die een tegengestelde richting hebben en bv een =left hebben. Gelukkig signaleert JOSM ook die en komt dan met een nieuw schermpje waar je het voorstel kunt accepteren of afwijzen. Bij deze incline moet je dat uiteraard afwijzen maar is het wel zaak daar scherp op te zijn.