Highways defragmenteren, een analyse

Ik ben er uit en je hebt helemaal gelijk. Ik had de fout gemaakt om in postgis ST_Length functie verkeerd te gebruiken. Inmiddels kom ik op een gemiddelde lengte van 129,17 meter.

Ook obv de PBF van gisteren kom ik op 2.331.569 highways met een gemiddelde van 129.17meter. Weer net een fractie anders dan wat jij hebt maar niet zoveel dat ik me daar druk om maak :wink:

Er lijkt nog flink gecombineerd te worden:

Ohsome gaat op dit moment maar tot 28 Aug dus het laatste punt is gebaseerd op een netherlands.pbf die vanmorgen is bijgewerkt. Of de laatste vijf dagen (vallende deel van de blauwe lijn) is er flink vooruitgang gemaakt of er is iets anders in de telmethode van Ohsome versus mijn script, wat betreft gemiddelde lengte lijkt er geen afwijking te zijn.

NB: De getallen zijn iets anders dan voor de vorige plot, nu motorway,motorway_link,trunk,trunk_link,primary_link,motorway_junction,secondary_link meegenomen.

Mooi om te zien dat er zo enthousiast word gedefragmenteerd :smiley: Voor de gene die een steentje bij willen dragen, hun regio wat willen opschonen en het topic niet geheel gevolgd hebben:

Open deze kaart op de computer, de standaard filter is goed.
https://qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

Elke stip op de kaart (node) geeft aan waar wegen kunnen worden samengevoegd. 
    De kleuren van de stippen geven aan om wat voor highway het gaat en prioritering. 
    Blauw is bijvoorbeeld fietspaden. Rood is snelwegen. Grijs is lage prio (tracks bijvoorbeeld).
    Focus op groen/oranje/blauw of wat je zelf fijn vindt.
De stippel lijntjes op de kaart geven visueel aan welke wegen het exact zijn (handig in woonwijken vooral).
    De rode stippel lijntjes zitten relaties achter de highway. 
    De zwarte stippel lijntjes zijn "kale highways" zonder relaties. 
    Beide gaan prima met combineren in JOSM, weet wel wat je doet! Zo niet, vraag het.
Voorkeur alles met het programma JOSM combineren.
    Selecteer de 2 highways en druk op de knop [c] op je toetsenbord. 
    Ga zo door tot alle stippen op de kaart verdwenen zijn.  ;-) (Peewee32 ververst de kaart regelmatig, elke dag op dit moment!)
Klaar.

Om te filteren qua stippen, lijntjes en om te zien wat er allemaal al samengevoegd is, druk rechtsboven in “Map&Tools” → “Layers&Legends” → vink aan/uit wat je wilt zien.

Voordelen;

  • je komt op vergeten plekjes in OSM, met achterstallig onderhoud, dat betekent dus;
  • direct de omliggende wegen uitlijnen met BGT.
  • de omliggende wegen actualiseren naar de huidige situatie.
  • straatnaam correcties
  • Landuse correcties
  • Highway types correcties
  • Snelheid correcties.
  • Nieuwe highways! Vervallen Highways!
  • En zo veel meer.

Probeer het !

De Geofabrik data-extract bevat niet de data uit de overzeese gebiedsdelen, zou het kunnen dat Ohsome die wel meetelt?

Mooi grafiekje weer Emvee. Als ik het goed begrijp zouden er al 20.000 wegen verdwenen zijn. Das best veel en ik ga er maar vanuit dat dit vnl door het samenvoegen gebeurd is. Als ik kijk naar wat ik bij hou kom ik op 9000 maar Roeliboelie was al bezig voordat ik het bijhield dus ga ik er maar van uit dat het verschil voor een groot deel aan hem toe te rekenen is :wink:

Ik heb tot op heden niet vernomen dat er echt fouten in de kaart zitten. En als er al zoveel is samengevoegd, is dat best bemoedigd. Wel is het zaak goed op te letten want er kan in OSM veel gebeuren tussen het maken van de kaart en het moment dat je wil samenvoegen. Zo wilde ik gisteren wegen samenvoegen die net door een ander waren samengevoegd :wink:

Nomenatim werkt gelukig ook alles snel bij. Waar eerst tig hits waren op een straatnaam zijn er vrij snel na het samenvoegen al een groot aantal verdwenen. Wat me ook opviel is dat Nomentim een postcode terug geeft als je een straat zoekt. Dat zijn postcodes met een spatie tussen cijfers en letters. Iemand een idee waar dat vandaan komt? Met de BAG hebben we postcode zonder spaties nl.

Ik heb net een nieuwe versie van de kaart/WMS gemaakt. Reden is dat ik nog meer potentiele samenvoegcombinaties zie en daar al mee geexperimenterd heb. Een belangrijk verschil in de data is het aantal graden tussen de samen te voegen wegen. Ik hanteerde een minimum hoek van 90 graden maar bij nader inzien vind ik dat geen goed idee. Minder dan 90 graden zie ik vaak bij hofjes maar er zijn veel meer situaties waarbij ik het logisch vind samen te voegen. Bovendien was die hoek gebaseerd op de begin en eindpunten van wegen en dat is lang niet altijd logisch.

Ik heb de huidige lagen intact gelaten (dus wel minimaal 90 graden) maar heb 3 extra lagen toegevoegd waar de 90 graden veelal is losgelaten. Cat1 t/m Cat3. Cat 1 zijn de wegen waar alleen de samen te voegen wegen samen komen. Deze lijken haast blind samengevoegd te kunnen worden. Cat2 zijn situaties waarvan ik denk dat samenvoegen zeer waarschijnlijk zonder problemen kan maar waar je af en toe een keuze moet maken of en zo ja welke van de opties je samenvoegt.
Cat3 is een restcategorie waarbij het samenvoegen nog minder waarschijnlijk is. Voor Cat1 t/m 3 geldt dat de wegtypes o.b.v. kleurtjes zijn uitgesplits net zoals dat voor de andere lagen geldt.
Het voordeel hiervan is dat je maar 1 WMS laag in JOSM hoeft toe te voegen om toch een hele categorie te zien.

Goed initiatief want het draadje is inmiddels best lang en er is ook al veel gewijzigd.

Daarom even nog wat toevoegingen op jouw lijstje

De kaart in QgisCloud is beschikbaar als webmap maar ook als WMS. Om de WMS te gebruiken in JOSM gebruik je

https://wms.qgiscloud.com/PeeWee32/OSM_defrag_highway_QGC/

en kies je zelf welke laag je wilt tonen. Mijn advies nu is om te beginnen met Cat1 en de laag ‘weg samen te voegen’. Mijn ervaring is dat het samenvoegen het best werkt als je de lagen in JOSM geladen hebt en daar vandaan de punten lang loopt.

Helaas houdt JOSM de cache vast en zie je ook nadat ik de kaart ververst heb nog de oude gegevens. Bij mij werkt het verwijderen van de cache goed als ik de betreffende map ook echt leeg gooi. Op mijn Windows machine staat de cache in de (verborgen) map C:\Users{USER-ID}\AppData\Local\JOSM\cache

Ik zal proberen de kaart regelmatig te verversen maar dat lukt mij niet elke ochtend. Als je ziet dat de webmap bijgewerkt is maar de WMS in JOSM niet dan weet je dat het door dit cache probleem komt.

Is het mogelijk de “productiedatum” van de kaart ergens te vermelden?

Goeie vraag. Ik heb daar ook over nagedacht maar heel eenvoudig is dat volgens mij niet. Je kunt het wel afleiden uit de webmap door (alleen) de laag ‘deleted sinds last checkdate’ (lekker handig dat NL en ENG door elkaar :wink: ) te kiezen en daarna zo’n verwijderde weg te selecteren. In de info over die weg zie je de Checkdatum. Als je dat vandaag doet zie je 5/9/2022 staan en weet je dat ik vandaag iets heb ge-update. Dat kan 's ochtends gebeurd zijn maar ik doe het ook wel eens 's avonds als ik 's ochtends geen tijd heb gehad.

[edit] Ik maak gebruik van de downloads van Geofabrik en die worden zo te zien eind van de avond gemaakt. Als je dus 's nachts wegen samenvoegt en ik update de kaart 's ochtends dan mis je ook die edits op de kaart en zie je nog punten/wegen waar jij al hebt samengevoegd.

@PeeWee32 is het een idee om de PRIO5 wegen standaard uit te zetten in de filter ? Dit zijn in principe alleen de tracks, paden, ook nog eens zonder naam… Zo wordt de kaart weer wat rustiger en komt de focus te liggen op de wegen&fietspaden.

Ik neem aan dat je die bedoelt die nu in cat1/cat 3 zitten toch? Goed plan. Ik heb ze net uit gezet. Ik denk ook dat de meesten nu met de andere categorien bezig zijn. Ik kan ze later weer aan zetten als er behoefte is. Ik laat nog wel de lijntjes zien van deze categorie maar niet meer de samenvoeg punten. Overigens zit in CAT1 geen check meer op het aanwezig zijn van een naam en dat scheelt dus nog meer van die punten.

ik heb nu ergens in de noordzee de laatste update datum neer gezet. De OSM data is dan van 's avonds een dag eerder wanneer geofabrik het NL bestand maakt.

Gaat bij mij niet helemaal goed als ik de kaart open met de standaard filter, volgens mij.
“Wegen Samen Te Voegen” staat nu standaard uit (?)
En ik zat zelf te denken om “Prio5 2 wegen” standaard uit te zetten, zodat de focus op de belangrijke wegen komt te liggen in plaats van naamloze tracks/paden. Als je wat verder bent met samenvoegen kun je deze filter altijd zelf aanzetten.
Of standaard die filter Cat1…3 aanzetten zoals je beschrijft, dat is nog beter. Maar dat gebeurt bij mij niet ? Geen cache probleem.

Screenshot zoals ik de kaart nu te zien krijg;

Reden om die grijze standaard uit te zetten, zie hieronder, de samenvoegen die er toe doen (orange) worden ondergesneeuwd door de grijze. Focus ligt verkeerd.

OK dank voor feedback. Deels mijn schuld want ik had per ongeluk die wegen uit gezet maar deels ook misverstand. Ik dacht dat jij met de WMS werkte en dat je in JOSM onder CAT1 liever niet de prio5 wegen wilde zien. Ik had dat aangepast ipv de losse laag uit vinken. En als je na aanpassen de url opslaat dan staan ook daar de selectie keuzes is. Zou je kunnen opslaan als favoriet bv. Ik heb nu hopelijk staan wat jij wilde hebben en als mensen nog anders willen dan kunnen ze zelf de selectie weer aanpassen. Onder CAT1 t/m cat drie heb ik nu weer alle prio1t/m 5 staan. Ik begrijp niet dat dit bij jou niet werk. OK … heel snel werkt die kaart niet maar als je alleen bv CAT1 aanvinkt dan zie je toch hopelijk wel prio1 t/5 wegen van de wegen die slechts op 2 punten samenkomen hoop ik.

Ik heb dus een nieuwe versie geplaatst die hopelijk meer naar wens is.

Weer eens tijd voor een nieuwe tussenstand:

De gestippelde lijnen zijn op basis van de gegevens die ik uit een netherlands.pbf trek, de doorgetrokken lijnen op basis van Ohsome data.

Als ik zo de kaart van Ohsome bekijk waar je de gebieden kan selecteren dan worden de overzeese gebiedsdelen niet meegenomen dus waar dat verschil van ~22.000 wegen (bijna 1%) vandaan komt weet ik niet. Ik zal eens Ohsome proberen met de .poly van Geofabrik.

Ik heb wel nog een klein probleempje gevonden:

De twee fietspaden omhoog naar de Voordijk hebben precies dezelfde tags inc. incline=up maar samenvoegen is geen goed idee dan krijg je een soort Escheriaans plaatje.

Mooi plaatje weer Emvee. Nog steeds leuk te zien dat het aantal highway in NL afneemt en de gemiddelde lengte toeneemt.

Dit is herkenbaar. Ik zou eigenlijk nog iets moeten proberen of ik ook deze false positives er uit kan halen. Het zelfde speelt met andere wegcombinaties die een tegengestelde richting hebben en bv een =left hebben. Gelukkig signaleert JOSM ook die en komt dan met een nieuw schermpje waar je het voorstel kunt accepteren of afwijzen. Bij deze incline moet je dat uiteraard afwijzen maar is het wel zaak daar scherp op te zijn.

Er zijn inmiddels al meer dan 20.000 wegen verdwenen door het samenvoegen. Ruim een derde zijn wegen waar relaties over liepen dus dat maakt het onderhoud ook weer wat overzichtelijker. Omdat de meeste mappers toch in hun eigen omgeving (en soms ook ver daar buiten) aan de gang gaan zie je al echt gaten ontstaan in de kaart.

De meest voor de hand liggende wegen om samen te voegen hebben o.a. als kenmerk dat er niet nog andere wegen op een punt samenkomen. Dus bv zoals deze.

Dit zijn ook de wegen waar de meeste nu mee bezig zijn schat ik in. Ik schat dat 99% van deze wegen zonder problemen zijn samen te voegen. Echte grote issues hebben we volgens mij nog niet gehad. Mijn bevinden daarover zijn de volgende:

meta data
Of wegen wel/niet samen te voegen zijn hangt af van de tags en de relaties van de wegen. Die moeten gelijk zijn. Voor de tags worden er een aantal uitgezonderd. Bv Source en Note wordt niet op gefilterd. Dat betekent dat je soms kunt samenvoegen maar dat deze tags niet gelijk zijn of maar bij 1 van de 2 wegen aanwezig is. Als ze er beiden zijn laat JOSM je kiezen welke je wilt hebben en als er maar 1 van beide wegen zo’n tag heeft dan zul je op moeten letten wat je daar mee wilt doen. Mijn ervaring is dat veel van de tags erg oud zijn en vaak niets toevoegen. De mooiste note vind ik een hele oude die zei “niet verplaatsen want ik heb deze 3x met een etrex nagelopen” oid. Ook source tags zijn veelal niets zeggend. Soms heeft de ene weg source=gps of source=bing en de ander niets. Ook die zijn veelal erg oud. Tegenwoordig zetten we de source tags ook op de changeset en dus is het niet zo gek dat het vaak oude tags betreft. Of wat te denken van een 14 jaar oude note “Please be careful when using potlatch, there are relations on it ”. Wat mij betreft gewoon verwijderen dit soort notes.

left/right/forward/backward/up/down
Soms zijn er 2 wegen die beide de tag sidewalk=left hebben maar in tegen gestelde richting lopen. Als je die wilt samenvoegen moet 1 van beide wegen eerst omgedraaid worden. JOSM geeft dat ook aan en komt daarna met een voorstel voor de samengevoegde weg. Dat voorstel kan nooit goed zijn en dus moet je dat niet accepteren uiteraard. En als je wegen met halverwege een node met tag traffic_signals:direction=forward wil omdraaien geeft JOSM keurig aan dat dit dan een traffic_signals:direction=backward word en kun je gewoon verder. Ik werk niet met andere editors dan JOSM maar hoop wel dat die ook zo slim zijn als JOSM. Eigenlijk zou ik eens moeten kijken of ik de false positive uit de kaart kan filteren.

Selfintersecting way
Soms lukt het niet om wegen samen te voegen omdat je dan een zgn selfintersecting way krijgt. Ik vraag me wel af of het dan momenteel goed is ingetekend in OSM maar laat het even voor wat het is.

Rendering Carto
Met name de samengevoegde wegen in woongebieden levert wel een andere rendering op na samenvoegen. Daar waar eerst alle/de meeste wegsegmenten een straatlabel hadden zie je na samenvoegen dat het aantal labels duidelijk minder wordt. Of je het mooi/beter vindt hangt uiteraard van je smaak af maar je ziet wel dat samenvoegen consequenties kan hebben voor rendering.

Oude rendering

Nieuwe rendering

Nominatim
Daar waar Nomination voorheen alle/de meeste straatsegementen als zoekresultaat terug gaf als je op een straatnaam zocht, zie je nu een duidelijke vermindering van het aantal de resultaten. Das ook een mooi pluspunt.

Unclassified/residential
Tijdens het mappen vroeg ik me af en toe wel af waarom er niet werd voorgesteld andere wegen samen te voegen omdat ze er het zelfde uit zagen en ook nog eens de zelfde naam hadden. Bij nadere beschouwing bleek dat de ene weg een residential was en de ander een unclassified
Of een weg unclassified of residential zou moeten zijn is al diverse keren besproken op het forum. Wat goed of fout is laat ik even in het midden maar ik heb wel even gekeken naar de plekken waar zich deze situatie voordoet (dus de een unclassified en de ander residential). Welke definitie je ook gebruikt … toch zien we inconsistentie in de kaart. Ik heb deze wegen nu ook op de kaart getoond maar ze zitten niet in de standaard selectie. Die moet je dus aan vinken (zowel punt als weg)

To do
Ik ben aan het kijken of ik de analyse nog iets scherper kan krijgen zodat we zo min mogelijk false positives op de kaart krijgen. Daarvoor zal ik waarschijnlijk het aantal hits binnenkort gaan beperken tot “de meest waarschijnlijke om samen te voegen” maar vrees niet… er blijft nog voldoende over :wink:

Ik ben ook benieuwd naar de ervaringen van de andere mappers die hier mee bezig zijn.

Ik heb het script aangepast. Zou je eens kunnen kijken of deze nu verdwenen is. Zo niet dan graag ff way-id doorgeven dan ga ik nog eens kijken.

Bedankt, na het leeggooien van de JOSM cache voor OSM_defrag_highway_QGC, wordt de situatie met twee opgaande wegen niet meer aangemerkt om samen te voegen.

Wat mij betreft is de data zo goed als foutvrij, behalve die twee opgaande wegen heb ik eigenlijk nog geen fout kunnen ontdekken,

Bij voetpaden zie ik wel eens suggesties worden gedaan die wel kloppen maar die vaak niet wenselijk zijn wat mij betreft. Bijvoorbeeld een kruising van twee voetpaden waarbij het vier verschillende wegen zijn. Wanneer je Noord-Zuid en/of Oost-West kan samenvoegen prima maar soms is de suggestie om Noord-West en/of Zuid-Oost samen te voegen en dat vindt ik meestal geen goed idee.

Ja, dat wegen/paden niet samengevoegd kunnen verschillen in residential/unclassified ben ik ook tegen gekomen maar ook regelmatig omdat een stuk van het weg verder was bijgewerkt dan het andere terwijl in praktijk ze dezelfde eigenschappen hebben. Dat is ook de reden dat samenvoegen naar mijn idee ook een goed idee is, zo wordt ik de toekomst het gehele pad/de gehele weg onderhouden.

Ik vraag me wel af hoe jullie werken wat betreft het downloaden van OSM data. Bij het samenvoegen wil JOSM dat de het knooppunt hebt binnengeladen, als je het al het via een vorige download of met een Overpass query dan moet je alsnog het gebied van het knooppunt downloaden.

Ik werk standaard met een OSM achtergrond en zoom dan ver in op elk punt (schaalverdeling rechtsboven in JOSM <= 10 m), vervolgens “Download in current view” en zo elk punt langs. Voor “Download in current view” heb ik maar een shortcut key gemaakt, zo gaat dat sneller als met de muis. Ik gebruik ik de Alt- toetsen vaak om een laag tijdelijk uit te zetten, soms is het handig zelfs de datalaag uit te zetten om te zien welke punten op de rand van het downloadgebied je nog niet hebt gehad.

Ik kan me vinden in de opmerkingen van peewee32 en Emvee. Kaart schoont lekker op zo.

Waar ik wel een beetje me vraagtekens bij heb zijn de talloze naamloze samenvoegingen highway=service op parkeerplaatsen. Ik vraag me af of die wel moeten worden samengevoegd. Zie het nut hier niet van in (?). Je krijgt van die hele gekke figuurtjes, het is net kunst :stuck_out_tongue: :wink:

Wat downloaden betreft, ik gebruik al jaren de plugin Continous Download. Die download automatisch bij het scrollen. Niet te ver uitzoomen, dan loopt het vast, maar ik ben er heel tevreden over.

Dank voor de feedback Emvee

Ik zoom met de muis redelijk in op de samenvoegpunt (of een een bosje punten). Dan met toetscombinatie CTRL-SHIFT_PAGEDOWN wordt het gebiedje zeer snel ingeladen. Dan de 2 wegen selecteren en op C klikken. En dan zo weer verder.

Goed punt. Ik heb nu CAT1 en CAT2 zo gemaakt dat er nu alleen punten verschijnen als de wegen een name tag hebben. Dat scheelt al heel veel van dit soort wegen. ER komen nu ook wel een aantal path etc bij maar dat zijn er maar weinig omdat de meeste (vooral in het buitengebied) geen name tag hebben. Hopelijk werkt dit wat beter.

Dank voor de tip. Moet ik ook eens induiken en kijken of dat lekker werkt.