Highways defragmenteren, een analyse

Ik heb weer wat aangepast. Omdat het aantal potetiele samen te voegen wegen zo groot is beperk ik het tot wat meer voor de hand liggende wegen. Dat betekent dat de hoek tussen de samen te voegen wegen meer moet zijn dan 90 graden en dat er een name tag is (geldt niet voor cycleway). Dat scheelt al heel veel opties en maakt het overzichtelijker.
Ook heb ik de samenvoegpunten opgesplitst in wegcategorien. Dit zowel qua kleur als dat je ze zelf kunt aan/uitvinken (Zie uitklapmenu rechtsboven om je selectie te wijzigen).
Standaard selectie zijn de punten waar alleen de 2 samen te voegen wegen samenkomen dus zonder dat er nog een derde, vierde etc. weg op dat punt eindigt. Dat lijken de meest voor de hand liggende samen te voegen wegen te zijn. Dat zijn ruim 20.000 punten. Wil je ook de andere punten zien dan moet je dat aanvinken en krijg je er 10x zo veel te zien

Aan de kleur van de weglijntjes kun je nog steeds zien of er relaties over lopen (rood) of niet (zwart). Mijn ervaring tot nu toe is dat het samenvoegen van de wegen met relaties geen problemen opleveren.
Ik heb ook gezien dat het samenvoegen van wegsegmenten een positieve invloed heeft op Nomenatim. Als je daar zoekt op een straatnaam krijg je minder hits. Het lijkt nu alsof veel van de wegsegmenten als zoekresultaat getoond worden.
Voor de liefhebber worden ook de wegen getoond die zijn verwijderd en eerder gezien werden als potentieel samen te voegen weg. D.w.z. als ze verwijderd zijn na 16/8. Zo kun je zien waar er wegen samengevoegd zijn.

Verder is het goed te weten dat het kaartje ook als WMS te laden is in bv JOSM.

https://wms.qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

Naar het kaartje.

Feedback is nog steeds welkom.

Wat is de update freqeuntie van de kaart ? Gaat dit automatisch na het samenvoegen van een weg, of draai jij handmatig om de x-tijd een update? dan kan ik hier hier rekening mee houden

Ik zie op de kaart dat je al flink wat wegen hebt samengevoegd. Lekker bezig. Met zo’n tempo snap ik deze vraag

Ik heb het meeste geautomatiseerd waaronder het downloaden van de NL OSM data bij geofabrik, inlezen in een postgis database en het uitvoeren van een sql script om tot het resultaat te komen. Helaas moet ik nog wel handmatig de data naar Qgiscloud pushen. Omdat ik zie dat jij en nog een aantal andere mappers hier mee bezig zijn heb ik het de afgelopen dagen (en ook vandaag) ververst maar ik denk dat dit niet zo door blijft gaan. Kortom… ik doe mijn best maar het zal niet dagelijks zijn. Tenzij ik alles kan automatiseren maar zover is het dus nog niet.

Er zijn nog zo’n 20.000 punten waar alleen de 2 samen te voegen wegen samenkomen dus dan heb je voorlopig voldoende te doen. . Maar ik kan me ook voorstellen dat als je een specifiek gebied onder handen wilt nemen je wel snel wilt zien wat er nog te doen is.

Ik gebruik de WMS in JOSM om snel te zien waar ik kan samenvoegen. Dat werkt best fijn maar ik heb gemerkt dat JOSM WMS cache vasthoudt. Dan kan het dus lijken dat de kaart niet bijgewerkt is maar dat is dus niet het issue. Ook het legen van de cache in JOSM lijkt het niet op te lossen. Ik heb nu handmatig de cache (met filemanager) verwijderd en dan werkt het wel goed bij mij.

Op mijn Windows machine staat de cache in de (verborgen) map C:\Users{USER-ID}\AppData\Local\JOSM\cache

Ah… ik had al ruzie met die WMS laag, maar na het schoonmaken van de cache en het selecteren van de juiste lagen wordt deze geladen.

Jammer dat je geen stats van vóór 16-aug hebt, ik denk dat je dan geschrokken zou zijn qua samenvoegen :rolleyes:

20.000 punten ik zeg één avondje arm chair mappen met ze alle.

Elke dag verversen van de kaart hoeft zeer zeker niet, is voor nu wel even tof. Misschien straks naar 1x p/w, 1x p/m, 1x in de zoveel tijd. Zou wel zonde zijn als dit na een paar weken verwaterd want het is een prima bezigheid om een steentje bij te dragen aan OSM op een laagdrempelige manier.

Mijn regio is ongeveer stip- en streepvrij. Dus op naar de volgende…

Verder weinig op aan te merken, het doet wat het moet doen. Kaart is duidelijk. Filter en kleurtjes ook.

Mooi dat jij ook verbeteringen merkt bij gebruik van jou programma’s.

Ja … had ik ook wel willen zien maar dat lukt mij niet meer. Ik bedacht later pas dat het wel leuk zou zijn als we kunnen zien waar wegen inmiddels zijn samengevoegd. Dat kan ik doen door de lijst met samen te voegen wegen te vergelijken met de lijst die ik de volgende dag aanmaak met de nieuwe afslag van OSM NL. Als zo’n weg daar niet meer voorkomt dan is ie verwijderd. Had ik eerder kunnen bedenken maar nu vertouw ik je maar dat je al duizenden wegen extra hebt samengevoegd

Haha …ik denk dat niet iedereen dit zo belangrijk vindt en er tijd in wil steken. Er is nog zoveel te doen. Maar dan blijft er wel meer voor jou over

Ik denk dat ik de komende periode wel een paar keer per week zal verversen maar of dat zo blijft hangt uiteraard ook af van de voortgang. Als ik op een gegeven moment zie dat er niet veel meer gebeurt zal het wel minder worden. En wat ook kan is dat de kaart tzt verdwijnt omdat ik ook rekening moet houden met mijn beschikbare diskspace bij Qgiscloud. Als ik straks weer een leuker project heb kan het zo maar sneuvelen.

Peter… en dit is precies waarom ik toch wel bezwaren heb om wegen door te verbinden en/of het te stimuleren.
Niet iedereen is zich bewust van die relaties en zelfs met josm krijg je schade.
https://www.openstreetmap.org/user/whturner/history#map=14/50.8875/6.0157&layers=Y

https://resultmaps.neis-one.org/osm-discussion-comments?uid=3667103

Er is geen beginnen aan om het allemaal te gaan sorteren. … reverten gaat helaas ook niet meer. EEn berg conflicten.
Voordat mapper reageert ga ik er ook niet aan beginnen.

Een reactie komt er helaas ook niet van bewuste mapper.

Hij is wel gewezen nu op jouw ‘tool’ en door Leo op dit draadje.

Ziet iemand kans om dit wel te reverten?

*( edit Ik heb Leo even gevraagd te kijken, want die zal vermoedelijk wel busroutes hebben hersteld.

Inderdaad ja, vanmorgen begonnen met het herstellen van de routerelatie van bus 5.
Had geen idee dat hij met zoveel wijzigingen aan de gang was. Ik word een beetje slordig op mijn oude dag en had het niet gecontroleerd

Zijn laatste changeset is nu reverted.

Oke Leo… Ik kijk even of het slim op te lossen is… wordt vervolgd…

edit

Ik heb wat van nieuw naar oud gereverd, maar van deze changeset in Heerlen krijg ik conflicten

edit 2 De Grünroute hersteld,… de mtb routes niet.

Ja, jammer dat de bewuste mapper (nog) niet reageert hoewel wat betreft de laatste changeset iets meer tijd goed zou zijn.

Ik breek ook wel eens eens busroute en Leo is me dan vaak voor voordat ik het zelf het opgelost, ik kan wel even naar de MTB routes kijken.

Edit: MTB-route Parkstad Lus 2 hersteld, er waren twee wegen ten onrechte samengevoegd, ik zie geen andere MTB routes in het gebied.

Ahh mooi … lus 2 ook weer af.
Mapper heeft net gereageerd en zal nog even kijken naar de MTB route delen die nog niet gesorteerd zijn.

Sorry dat ik niet meteen reageerde. Ik heb lus 4 nu weer gerepareerd

Niet helemaal met je eens Eggie. Als je netjes de kaart van PeeWee aanhoudt is er niets aan de hand. De tool is een hulpmiddel en moet als zodanig gebruikt worden. Als je daarbuiten wegen doorvebindt waar relaties over lopen dan kunnen er problemen ontstaan, zeker als je geen JOSM gebruikt.

Ik zeg ook niet dat ik het er niet mee eens ben, maar ik vind het een bezwaar als onervaren mappers wegen gaan samenvoegen zonder kennis van routerelaties. De schade is dan al snel heel erg groot.
Die ‘tool’ van Peter is natuurlijk prachtig en heb ik ook aanbevolen bij ‘mapper’.

Voor de volledigheid in deze thread, toch even als een mini-tutorial voor de (onervaren?) mappers die iD gebruiken:

Stel: Tempellaan Eindhoven, beide oost/west delen hebben dezelfde tags, dit zie je als beiden geselecteerd zijn - immers, als er een verschil is, staan er item gemarkeerd met een *****.

Als je wegen wilt samen voegen lukt dat toch niet - de + is grijs:

Waarom?
Het oostelijk deel van de Tempellaan heeft een relation, dit is in iD te zien onder de tags lijst, met handige uitlichting:

Conclusie: deze wegen niet samenvoegen!
Als je verdere edits wilt doen, leer eerst hoe relations werken in iD of zelfs misschien beter, probeer JOSM.

Ik was vandaag een mooie wandeling aan het maken en keek ff op mijn telefoon en las toen dit

en ik dacht … shit… zit er toch een fout in de kaart. Das vreemd …gisteren nog meer dan 1000 fietspaden samengevoegd en nergens problemen gehad. Dus toen maar even de pas er in om thuis te reageren. Daar las ik dit…

Ah … gelukkig … dus niet een foute suggestie van de kaart. Wel vreemd dat het dan hier gepost wordt …. maar goed …. levert wel weer extra aandacht op .

En gisteren heb ik mijn script eens losgelaten op OSM Duitsland. Dat duurde uiteraard wel wat langer maar het resultaat was er niet minder verrassend om. Duitsland had ongeveer het zelfde aantal aan potentieel samen te voegen wegen als NL maar het aantal wegen in Duitsland is wel bijna 6x zoveel. Hoe kan dat? Zijn die Duitsers dan toch veel “grundlicher” dan wij Nederlanders?

Het antwoord vond ik later in dit draadje. Was al langer geleden dus was ik allemaal weer vergeten Samengevat … bij de AND import werden niet hele wegen geimporteerd maar weg segmenten. Daar waar een aftakking was naar een andere weg begon een nieuw segment. En al die segmenten hadden hun eigen AND identifier. Doordat deze verwijderd zijn is het samenvoegen van die segmenten een stuk makkelijker geworden zoals Baggeraar hier al aangeeft. Want als we het met dan hand hadden ingevoerd hadden we echt niet alles in stukken opgeknipt.

In middels ben ik weer iets verder met mijn analyse en zal tzt de kaart weer iets aanpassen. Mijn doel is om te beginnen met de makkelijkste varianten waarbij je zo min mogelijk hoeft na te denken… daarna zien we wel verder.

Obv wat ik gisteren heb samengevoegd is mijn voorzichtige conclusie dat de eerste 5 opties op de kaart … zo goed als blind kunnen worden uitgevoerd. (prio1 tm prio2 2wegen) Dat zijn samenvoegingen halverwege een highway zonder dat er ook maar andere wegen aan vast zitten.

Bedankt voor de aandacht zover. ik ga weer verder met de analyse.

Ik was benieuwd wat de impact is en het is “duidelijk” te zien.

Data verkregen m.b.v. Ohsome dashboard (autosnelwegen niet meegenomen) en helaas loopt dat wat dagen achter maar het effect is duidelijk zichtbaar. Schaal voor het aantal wegen is in miljoenen; de rode lijn is het start van dit topic.

Wat betreft de rechte lijnen:

• Van 1 mei tot 1 aug zijn er gemiddeld 473 weg-segmenten per dag toegevoegd

• In diezelfde periode is de lengte gegroeid met 26,5 km per dag

• Op 1 Mei was de gemiddelde weg 129 meter lang

• Als van 1 mei tot 1 aug wegen toegevoegd zouden zijn van 129 meter zouden er maar 206 weg-segment per dag zijn toegevoegd

• Het verschil kan verklaard worden door aan te nemen dat per dag 267 wegen gesplitst werden in die periode

Dan hoop ik dat PeeWee toch nog ontspannen verder gewandeld heeft
Het vreemde is dat hier iemand juist met josm aan de slag was en vertrouwde op de validator van josm. Tja die gaat niet af als er sorteerfouten veroorzaakt worden.
Maar dit soort acties zien we dus doorlopend.
Meestal is het een eenmalig actie, maar hier toevallig een hele serie. Dan is het niet meer bij te houden. … Vandaar mijn opmerkingen hier… Gelukkig heeft mapper gereageerd en gaat hopelijk met Peters app aan de slag.
Lus 4 zou nu ook hersteld zijn.

Echt al duizenden highways samengevoegd, met en zonder relatie. Dat gaat helemaal prima in JOSM. Netjes met beleid. Zodra er ook maar één verschil tussen 2 highways inzit deze niet samenvoegen, maar daarvoor is de tool van peewee32 zo handig, want die geeft alleen aan welke je highways je wél kan samenvoegen. En ook nog eens van “makkelijk naar moeilijk”. Het juiste gebruik van de tools & software is wel noodzakelijk.

@emvee leuk grafiekje!

Leuke inzichten Emvee. Mooi dat dit soort data beschikbaar is zonder dat je een hele OSM NL inclusief historie beschikbaar hoeft te hebben. Ik hou de verwijderde wegen bij op mijn locale machine maar als daar iets mis gaat ben ik het kwijt. Niet echt belangrijk natuurlijk maar wel leuk om de voortgang inzichtelijk te maken. Wat me wel opvalt is dat bij mij de gemiddelde lengte van een highway 209 meter is en bij jou behoorlijk lager. Ook als ik de motorway uitsluit is ie nog veel hoger dan bij jou . Maakt voor de grafiek niet uit want die laat het verloop zien. Gemiddeldelengte highway in Duitsland is overigens 293 meter.

Hieronder het lijstje van aantallen verwijderde wegen (zeer waarschijnlijk door samenvoegen). Hier ontbreken dus nog de Roeloeboelie wegen van vóór die datum

“checkdatum” Aantal
“2022-08-17” 161
“2022-08-18” 194
“2022-08-19” 24
“2022-08-20” 333
“2022-08-21” 913
“2022-08-22” 917
“2022-08-23” 234
“2022-08-24” 245
“2022-08-25” 254
“2022-08-26” 426
“2022-08-27” 1794
“2022-08-28” 606

Ja hoor … nog steeds lekker gewandeld maar wel meteen de laptop opengeklapt bij thuiskomst.

In JOSM selecteer ik eerst de ene weg en kijk dan wat er gebeurt in het tags overzicht als ik de 2e weg aanklik. In de tags zelf zie je als het goed is niets veranderen en in het ‘lid van’ overzicht daaronder ook niet behalve dat de positie kolom nu de oplopende posities in de relatie laat zien (als het goed is). Als dat er goed uitziet op C klikken en dan zijn de wegen samengevoegd.

Ja, Ohsome is een mooi stuk OSM-gereedschap. Ik wordt altijd wel blij van dit soort grafiekjes, het is fijn te zien als ze de “goede” richting in bewegen en ik denk dat het mensen kan aanmoedigen.

Dat is vreemd, die 129 meter is gebaseerd op 288.502.400 meter en 2.236.794 wegen op 1 Mei. Het aantal wegen komt goed overeen met taginfo dus dan zou het probleem moeten zitten in de afstand.

Mijn nummers zijn gebaseerd op de highway way values > 1%:

footway,residential,service,unclassified,cycleway,path,track,tertiary,secondary,primary,pedestrian,living_street

Ik heb een netherlands.pbf van gisteren en met osmium-tags-filter kan ik dit soort wegen er snel uit halen. Even geëxporteerd naar een .opl file en die weer met python ingelezen en toen van alle wegen de lengte berekend en die geeft:

2260464 wegen, gemiddeld 127.7 meter

Wilde ook een histogram maken maar dat gaf maar een verwarrend plaatje tot ik uitvond dat de langste weg 24540.2 meter was, dus maar een print toegevoegd:

w6540187 is 10412.7 meter – fietspad op Ameland
w6552392 is 13646.7 meter – Oostvaardersdijk
w27780355 is 24540.2 meter – Markerwaarddijk
w46609197 is 10049.9 meter – fietspad deel Afsluitdijk
w233097180 is 10705.6 meter – fietspad Oostvaardersdijk
w239360218 is 11359.8 meter – dijkweg Waddenzee Noord Groningen
w239748983 is 13130.9 meter – voetpad over de dijk behorende bij w239360218

Na wat experimenteren gevonden dat de enige manier om de data enigszins overzichtelijk te plotten is twee logaritmische assen:

De top van de grafiek komt overeen met 73 meter, de mediaan is 59.6 meter, de kortste weg was 2.6 cm.

Lang verhaal om te zeggen dat ik denk dat de ~128 meter wat mij betreft klopt, is die 209 misschien na alles is opgeruimd?