Highways defragmenteren, een analyse

Inderdaad ja, vanmorgen begonnen met het herstellen van de routerelatie van bus 5.
Had geen idee dat hij met zoveel wijzigingen aan de gang was. Ik word een beetje slordig op mijn oude dag en had het niet gecontroleerd :smiley:

Zijn laatste changeset is nu reverted.

Oke Leo… Ik kijk even of het slim op te lossen is… wordt vervolgd…

edit

Ik heb wat van nieuw naar oud gereverd, maar van deze changeset in Heerlen krijg ik conflicten

edit 2 De Grünroute hersteld,… de mtb routes niet.

Ja, jammer dat de bewuste mapper (nog) niet reageert hoewel wat betreft de laatste changeset iets meer tijd goed zou zijn.

Ik breek ook wel eens eens busroute en Leo is me dan vaak voor voordat ik het zelf het opgelost, ik kan wel even naar de MTB routes kijken.

Edit: MTB-route Parkstad Lus 2 hersteld, er waren twee wegen ten onrechte samengevoegd, ik zie geen andere MTB routes in het gebied.

Ahh mooi … lus 2 ook weer af.
Mapper heeft net gereageerd en zal nog even kijken naar de MTB route delen die nog niet gesorteerd zijn.

Sorry dat ik niet meteen reageerde. Ik heb lus 4 nu weer gerepareerd

Niet helemaal met je eens Eggie. Als je netjes de kaart van PeeWee aanhoudt is er niets aan de hand. De tool is een hulpmiddel en moet als zodanig gebruikt worden. Als je daarbuiten wegen doorvebindt waar relaties over lopen dan kunnen er problemen ontstaan, zeker als je geen JOSM gebruikt.

Ik zeg ook niet dat ik het er niet mee eens ben, maar ik vind het een bezwaar als onervaren mappers wegen gaan samenvoegen zonder kennis van routerelaties. De schade is dan al snel heel erg groot.
Die ‘tool’ van Peter is natuurlijk prachtig en heb ik ook aanbevolen bij ‘mapper’.

Voor de volledigheid in deze thread, toch even als een mini-tutorial voor de (onervaren?) mappers die iD gebruiken:

Stel: Tempellaan Eindhoven, beide oost/west delen hebben dezelfde tags, dit zie je als beiden geselecteerd zijn - immers, als er een verschil is, staan er item gemarkeerd met een *****.

Als je wegen wilt samen voegen lukt dat toch niet - de + is grijs:

Waarom?
Het oostelijk deel van de Tempellaan heeft een relation, dit is in iD te zien onder de tags lijst, met handige uitlichting:

Conclusie: deze wegen niet samenvoegen!
Als je verdere edits wilt doen, leer eerst hoe relations werken in iD of zelfs misschien beter, probeer JOSM.

Ik was vandaag een mooie wandeling aan het maken en keek ff op mijn telefoon en las toen dit

en ik dacht … shit… zit er toch een fout in de kaart. Das vreemd …gisteren nog meer dan 1000 fietspaden samengevoegd en nergens problemen gehad. Dus toen maar even de pas er in om thuis te reageren. Daar las ik dit…

Ah … gelukkig … dus niet een foute suggestie van de kaart. Wel vreemd dat het dan hier gepost wordt …. maar goed …. levert wel weer extra aandacht op . :wink:

En gisteren heb ik mijn script eens losgelaten op OSM Duitsland. Dat duurde uiteraard wel wat langer maar het resultaat was er niet minder verrassend om. Duitsland had ongeveer het zelfde aantal aan potentieel samen te voegen wegen als NL maar het aantal wegen in Duitsland is wel bijna 6x zoveel. Hoe kan dat? Zijn die Duitsers dan toch veel “grundlicher” dan wij Nederlanders?

Het antwoord vond ik later in dit draadje. Was al langer geleden dus was ik allemaal weer vergeten :wink: Samengevat … bij de AND import werden niet hele wegen geimporteerd maar weg segmenten. Daar waar een aftakking was naar een andere weg begon een nieuw segment. En al die segmenten hadden hun eigen AND identifier. Doordat deze verwijderd zijn is het samenvoegen van die segmenten een stuk makkelijker geworden zoals Baggeraar hier al aangeeft. Want als we het met dan hand hadden ingevoerd hadden we echt niet alles in stukken opgeknipt.

In middels ben ik weer iets verder met mijn analyse en zal tzt de kaart weer iets aanpassen. Mijn doel is om te beginnen met de makkelijkste varianten waarbij je zo min mogelijk hoeft na te denken… daarna zien we wel verder.

Obv wat ik gisteren heb samengevoegd is mijn voorzichtige conclusie dat de eerste 5 opties op de kaart … zo goed als blind kunnen worden uitgevoerd. (prio1 tm prio2 2wegen) Dat zijn samenvoegingen halverwege een highway zonder dat er ook maar andere wegen aan vast zitten.

Bedankt voor de aandacht zover. ik ga weer verder met de analyse. :wink:

Ik was benieuwd wat de impact is en het is “duidelijk” te zien.

Data verkregen m.b.v. Ohsome dashboard (autosnelwegen niet meegenomen) en helaas loopt dat wat dagen achter maar het effect is duidelijk zichtbaar. Schaal voor het aantal wegen is in miljoenen; de rode lijn is het start van dit topic.

Wat betreft de rechte lijnen:

  • Van 1 mei tot 1 aug zijn er gemiddeld 473 weg-segmenten per dag toegevoegd

  • In diezelfde periode is de lengte gegroeid met 26,5 km per dag

  • Op 1 Mei was de gemiddelde weg 129 meter lang

  • Als van 1 mei tot 1 aug wegen toegevoegd zouden zijn van 129 meter zouden er maar 206 weg-segment per dag zijn toegevoegd

  • Het verschil kan verklaard worden door aan te nemen dat per dag 267 wegen gesplitst werden in die periode

Dan hoop ik dat PeeWee toch nog ontspannen verder gewandeld heeft :slight_smile:
Het vreemde is dat hier iemand juist met josm aan de slag was en vertrouwde op de validator van josm. Tja die gaat niet af als er sorteerfouten veroorzaakt worden.
Maar dit soort acties zien we dus doorlopend.
Meestal is het een eenmalig actie, maar hier toevallig een hele serie. Dan is het niet meer bij te houden. … Vandaar mijn opmerkingen hier… Gelukkig heeft mapper gereageerd en gaat hopelijk met Peters app aan de slag.
Lus 4 zou nu ook hersteld zijn.

Echt al duizenden highways samengevoegd, met en zonder relatie. Dat gaat helemaal prima in JOSM. Netjes met beleid. Zodra er ook maar één verschil tussen 2 highways inzit deze niet samenvoegen, maar daarvoor is de tool van peewee32 zo handig, want die geeft alleen aan welke je highways je wél kan samenvoegen. En ook nog eens van “makkelijk naar moeilijk”. Het juiste gebruik van de tools & software is wel noodzakelijk. :wink:

@emvee leuk grafiekje!

1 Like

Leuke inzichten Emvee. Mooi dat dit soort data beschikbaar is zonder dat je een hele OSM NL inclusief historie beschikbaar hoeft te hebben. Ik hou de verwijderde wegen bij op mijn locale machine maar als daar iets mis gaat ben ik het kwijt. Niet echt belangrijk natuurlijk maar wel leuk om de voortgang inzichtelijk te maken. Wat me wel opvalt is dat bij mij de gemiddelde lengte van een highway 209 meter is en bij jou behoorlijk lager. Ook als ik de motorway uitsluit is ie nog veel hoger dan bij jou . Maakt voor de grafiek niet uit want die laat het verloop zien. Gemiddeldelengte highway in Duitsland is overigens 293 meter.

Hieronder het lijstje van aantallen verwijderde wegen (zeer waarschijnlijk door samenvoegen). Hier ontbreken dus nog de Roeloeboelie wegen van vóór die datum :wink:

“checkdatum” Aantal
“2022-08-17” 161
“2022-08-18” 194
“2022-08-19” 24
“2022-08-20” 333
“2022-08-21” 913
“2022-08-22” 917
“2022-08-23” 234
“2022-08-24” 245
“2022-08-25” 254
“2022-08-26” 426
“2022-08-27” 1794
“2022-08-28” 606

Ja hoor … nog steeds lekker gewandeld maar wel meteen de laptop opengeklapt bij thuiskomst.

In JOSM selecteer ik eerst de ene weg en kijk dan wat er gebeurt in het tags overzicht als ik de 2e weg aanklik. In de tags zelf zie je als het goed is niets veranderen en in het ‘lid van’ overzicht daaronder ook niet behalve dat de positie kolom nu de oplopende posities in de relatie laat zien (als het goed is). Als dat er goed uitziet op C klikken en dan zijn de wegen samengevoegd.

Ja, Ohsome is een mooi stuk OSM-gereedschap. Ik wordt altijd wel blij van dit soort grafiekjes, het is fijn te zien als ze de “goede” richting in bewegen en ik denk dat het mensen kan aanmoedigen.

Dat is vreemd, die 129 meter is gebaseerd op 288.502.400 meter en 2.236.794 wegen op 1 Mei. Het aantal wegen komt goed overeen met taginfo dus dan zou het probleem moeten zitten in de afstand.

Mijn nummers zijn gebaseerd op de highway way values > 1%:

footway,residential,service,unclassified,cycleway,path,track,tertiary,secondary,primary,pedestrian,living_street

Ik heb een netherlands.pbf van gisteren en met osmium-tags-filter kan ik dit soort wegen er snel uit halen. Even geëxporteerd naar een .opl file en die weer met python ingelezen en toen van alle wegen de lengte berekend en die geeft:

2260464 wegen, gemiddeld 127.7 meter

Wilde ook een histogram maken maar dat gaf maar een verwarrend plaatje tot ik uitvond dat de langste weg 24540.2 meter was, dus maar een print toegevoegd:

w6540187 is 10412.7 meter – fietspad op Ameland
w6552392 is 13646.7 meter – Oostvaardersdijk
w27780355 is 24540.2 meter – Markerwaarddijk
w46609197 is 10049.9 meter – fietspad deel Afsluitdijk
w233097180 is 10705.6 meter – fietspad Oostvaardersdijk
w239360218 is 11359.8 meter – dijkweg Waddenzee Noord Groningen
w239748983 is 13130.9 meter – voetpad over de dijk behorende bij w239360218

Na wat experimenteren gevonden dat de enige manier om de data enigszins overzichtelijk te plotten is twee logaritmische assen:

De top van de grafiek komt overeen met 73 meter, de mediaan is 59.6 meter, de kortste weg was 2.6 cm.

Lang verhaal om te zeggen dat ik denk dat de ~128 meter wat mij betreft klopt, is die 209 misschien na alles is opgeruimd? :wink:

Ik ben er uit en je hebt helemaal gelijk. Ik had de fout gemaakt om in postgis ST_Length functie verkeerd te gebruiken. Inmiddels kom ik op een gemiddelde lengte van 129,17 meter.

Ook obv de PBF van gisteren kom ik op 2.331.569 highways met een gemiddelde van 129.17meter. Weer net een fractie anders dan wat jij hebt maar niet zoveel dat ik me daar druk om maak :wink:

Er lijkt nog flink gecombineerd te worden:

Ohsome gaat op dit moment maar tot 28 Aug dus het laatste punt is gebaseerd op een netherlands.pbf die vanmorgen is bijgewerkt. Of de laatste vijf dagen (vallende deel van de blauwe lijn) is er flink vooruitgang gemaakt of er is iets anders in de telmethode van Ohsome versus mijn script, wat betreft gemiddelde lengte lijkt er geen afwijking te zijn.

NB: De getallen zijn iets anders dan voor de vorige plot, nu motorway,motorway_link,trunk,trunk_link,primary_link,motorway_junction,secondary_link meegenomen.

Mooi om te zien dat er zo enthousiast word gedefragmenteerd :smiley: Voor de gene die een steentje bij willen dragen, hun regio wat willen opschonen en het topic niet geheel gevolgd hebben:

Open deze kaart op de computer, de standaard filter is goed.
https://qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

Elke stip op de kaart (node) geeft aan waar wegen kunnen worden samengevoegd. 
    De kleuren van de stippen geven aan om wat voor highway het gaat en prioritering. 
    Blauw is bijvoorbeeld fietspaden. Rood is snelwegen. Grijs is lage prio (tracks bijvoorbeeld).
    Focus op groen/oranje/blauw of wat je zelf fijn vindt.
De stippel lijntjes op de kaart geven visueel aan welke wegen het exact zijn (handig in woonwijken vooral).
    De rode stippel lijntjes zitten relaties achter de highway. 
    De zwarte stippel lijntjes zijn "kale highways" zonder relaties. 
    Beide gaan prima met combineren in JOSM, weet wel wat je doet! Zo niet, vraag het.
Voorkeur alles met het programma JOSM combineren.
    Selecteer de 2 highways en druk op de knop [c] op je toetsenbord. 
    Ga zo door tot alle stippen op de kaart verdwenen zijn.  ;-) (Peewee32 ververst de kaart regelmatig, elke dag op dit moment!)
Klaar.

Om te filteren qua stippen, lijntjes en om te zien wat er allemaal al samengevoegd is, druk rechtsboven in “Map&Tools” → “Layers&Legends” → vink aan/uit wat je wilt zien.

Voordelen;

  • je komt op vergeten plekjes in OSM, met achterstallig onderhoud, dat betekent dus;
  • direct de omliggende wegen uitlijnen met BGT.
  • de omliggende wegen actualiseren naar de huidige situatie.
  • straatnaam correcties
  • Landuse correcties
  • Highway types correcties
  • Snelheid correcties.
  • Nieuwe highways! Vervallen Highways!
  • En zo veel meer.

Probeer het !

De Geofabrik data-extract bevat niet de data uit de overzeese gebiedsdelen, zou het kunnen dat Ohsome die wel meetelt?

Mooi grafiekje weer Emvee. Als ik het goed begrijp zouden er al 20.000 wegen verdwenen zijn. Das best veel en ik ga er maar vanuit dat dit vnl door het samenvoegen gebeurd is. Als ik kijk naar wat ik bij hou kom ik op 9000 maar Roeliboelie was al bezig voordat ik het bijhield dus ga ik er maar van uit dat het verschil voor een groot deel aan hem toe te rekenen is :wink:

Ik heb tot op heden niet vernomen dat er echt fouten in de kaart zitten. En als er al zoveel is samengevoegd, is dat best bemoedigd. Wel is het zaak goed op te letten want er kan in OSM veel gebeuren tussen het maken van de kaart en het moment dat je wil samenvoegen. Zo wilde ik gisteren wegen samenvoegen die net door een ander waren samengevoegd :wink:

Nomenatim werkt gelukig ook alles snel bij. Waar eerst tig hits waren op een straatnaam zijn er vrij snel na het samenvoegen al een groot aantal verdwenen. Wat me ook opviel is dat Nomentim een postcode terug geeft als je een straat zoekt. Dat zijn postcodes met een spatie tussen cijfers en letters. Iemand een idee waar dat vandaan komt? Met de BAG hebben we postcode zonder spaties nl.

Ik heb net een nieuwe versie van de kaart/WMS gemaakt. Reden is dat ik nog meer potentiele samenvoegcombinaties zie en daar al mee geexperimenterd heb. Een belangrijk verschil in de data is het aantal graden tussen de samen te voegen wegen. Ik hanteerde een minimum hoek van 90 graden maar bij nader inzien vind ik dat geen goed idee. Minder dan 90 graden zie ik vaak bij hofjes maar er zijn veel meer situaties waarbij ik het logisch vind samen te voegen. Bovendien was die hoek gebaseerd op de begin en eindpunten van wegen en dat is lang niet altijd logisch.

Ik heb de huidige lagen intact gelaten (dus wel minimaal 90 graden) maar heb 3 extra lagen toegevoegd waar de 90 graden veelal is losgelaten. Cat1 t/m Cat3. Cat 1 zijn de wegen waar alleen de samen te voegen wegen samen komen. Deze lijken haast blind samengevoegd te kunnen worden. Cat2 zijn situaties waarvan ik denk dat samenvoegen zeer waarschijnlijk zonder problemen kan maar waar je af en toe een keuze moet maken of en zo ja welke van de opties je samenvoegt.
Cat3 is een restcategorie waarbij het samenvoegen nog minder waarschijnlijk is. Voor Cat1 t/m 3 geldt dat de wegtypes o.b.v. kleurtjes zijn uitgesplits net zoals dat voor de andere lagen geldt.
Het voordeel hiervan is dat je maar 1 WMS laag in JOSM hoeft toe te voegen om toch een hele categorie te zien.

Goed initiatief want het draadje is inmiddels best lang en er is ook al veel gewijzigd.

Daarom even nog wat toevoegingen op jouw lijstje

De kaart in QgisCloud is beschikbaar als webmap maar ook als WMS. Om de WMS te gebruiken in JOSM gebruik je

https://wms.qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

en kies je zelf welke laag je wilt tonen. Mijn advies nu is om te beginnen met Cat1 en de laag ‘weg samen te voegen’. Mijn ervaring is dat het samenvoegen het best werkt als je de lagen in JOSM geladen hebt en daar vandaan de punten lang loopt.

Helaas houdt JOSM de cache vast en zie je ook nadat ik de kaart ververst heb nog de oude gegevens. Bij mij werkt het verwijderen van de cache goed als ik de betreffende map ook echt leeg gooi. Op mijn Windows machine staat de cache in de (verborgen) map C:\Users{USER-ID}\AppData\Local\JOSM\cache

Ik zal proberen de kaart regelmatig te verversen maar dat lukt mij niet elke ochtend. Als je ziet dat de webmap bijgewerkt is maar de WMS in JOSM niet dan weet je dat het door dit cache probleem komt.

Is het mogelijk de “productiedatum” van de kaart ergens te vermelden?