Highways defragmenteren, een analyse

Is het mogelijk de “productiedatum” van de kaart ergens te vermelden?

Goeie vraag. Ik heb daar ook over nagedacht maar heel eenvoudig is dat volgens mij niet. Je kunt het wel afleiden uit de webmap door (alleen) de laag ‘deleted sinds last checkdate’ (lekker handig dat NL en ENG door elkaar :wink: ) te kiezen en daarna zo’n verwijderde weg te selecteren. In de info over die weg zie je de Checkdatum. Als je dat vandaag doet zie je 5/9/2022 staan en weet je dat ik vandaag iets heb ge-update. Dat kan 's ochtends gebeurd zijn maar ik doe het ook wel eens 's avonds als ik 's ochtends geen tijd heb gehad.

[edit] Ik maak gebruik van de downloads van Geofabrik en die worden zo te zien eind van de avond gemaakt. Als je dus 's nachts wegen samenvoegt en ik update de kaart 's ochtends dan mis je ook die edits op de kaart en zie je nog punten/wegen waar jij al hebt samengevoegd.

@PeeWee32 is het een idee om de PRIO5 wegen standaard uit te zetten in de filter ? Dit zijn in principe alleen de tracks, paden, ook nog eens zonder naam… Zo wordt de kaart weer wat rustiger en komt de focus te liggen op de wegen&fietspaden.

Ik neem aan dat je die bedoelt die nu in cat1/cat 3 zitten toch? Goed plan. Ik heb ze net uit gezet. Ik denk ook dat de meesten nu met de andere categorien bezig zijn. Ik kan ze later weer aan zetten als er behoefte is. Ik laat nog wel de lijntjes zien van deze categorie maar niet meer de samenvoeg punten. Overigens zit in CAT1 geen check meer op het aanwezig zijn van een naam en dat scheelt dus nog meer van die punten.

ik heb nu ergens in de noordzee de laatste update datum neer gezet. De OSM data is dan van 's avonds een dag eerder wanneer geofabrik het NL bestand maakt.

Gaat bij mij niet helemaal goed als ik de kaart open met de standaard filter, volgens mij.
“Wegen Samen Te Voegen” staat nu standaard uit (?)
En ik zat zelf te denken om “Prio5 2 wegen” standaard uit te zetten, zodat de focus op de belangrijke wegen komt te liggen in plaats van naamloze tracks/paden. Als je wat verder bent met samenvoegen kun je deze filter altijd zelf aanzetten.
Of standaard die filter Cat1…3 aanzetten zoals je beschrijft, dat is nog beter. Maar dat gebeurt bij mij niet ? Geen cache probleem.

Screenshot zoals ik de kaart nu te zien krijg;

Reden om die grijze standaard uit te zetten, zie hieronder, de samenvoegen die er toe doen (orange) worden ondergesneeuwd door de grijze. Focus ligt verkeerd.

OK dank voor feedback. Deels mijn schuld want ik had per ongeluk die wegen uit gezet maar deels ook misverstand. Ik dacht dat jij met de WMS werkte en dat je in JOSM onder CAT1 liever niet de prio5 wegen wilde zien. Ik had dat aangepast ipv de losse laag uit vinken. En als je na aanpassen de url opslaat dan staan ook daar de selectie keuzes is. Zou je kunnen opslaan als favoriet bv. Ik heb nu hopelijk staan wat jij wilde hebben en als mensen nog anders willen dan kunnen ze zelf de selectie weer aanpassen. Onder CAT1 t/m cat drie heb ik nu weer alle prio1t/m 5 staan. Ik begrijp niet dat dit bij jou niet werk. OK … heel snel werkt die kaart niet maar als je alleen bv CAT1 aanvinkt dan zie je toch hopelijk wel prio1 t/5 wegen van de wegen die slechts op 2 punten samenkomen hoop ik.

Ik heb dus een nieuwe versie geplaatst die hopelijk meer naar wens is.

Weer eens tijd voor een nieuwe tussenstand:

De gestippelde lijnen zijn op basis van de gegevens die ik uit een netherlands.pbf trek, de doorgetrokken lijnen op basis van Ohsome data.

Als ik zo de kaart van Ohsome bekijk waar je de gebieden kan selecteren dan worden de overzeese gebiedsdelen niet meegenomen dus waar dat verschil van ~22.000 wegen (bijna 1%) vandaan komt weet ik niet. Ik zal eens Ohsome proberen met de .poly van Geofabrik.

Ik heb wel nog een klein probleempje gevonden:

De twee fietspaden omhoog naar de Voordijk hebben precies dezelfde tags inc. incline=up maar samenvoegen is geen goed idee dan krijg je een soort Escheriaans plaatje.

Mooi plaatje weer Emvee. Nog steeds leuk te zien dat het aantal highway in NL afneemt en de gemiddelde lengte toeneemt.

Dit is herkenbaar. Ik zou eigenlijk nog iets moeten proberen of ik ook deze false positives er uit kan halen. Het zelfde speelt met andere wegcombinaties die een tegengestelde richting hebben en bv een =left hebben. Gelukkig signaleert JOSM ook die en komt dan met een nieuw schermpje waar je het voorstel kunt accepteren of afwijzen. Bij deze incline moet je dat uiteraard afwijzen maar is het wel zaak daar scherp op te zijn.

Er zijn inmiddels al meer dan 20.000 wegen verdwenen door het samenvoegen. Ruim een derde zijn wegen waar relaties over liepen dus dat maakt het onderhoud ook weer wat overzichtelijker. Omdat de meeste mappers toch in hun eigen omgeving (en soms ook ver daar buiten) aan de gang gaan zie je al echt gaten ontstaan in de kaart.

De meest voor de hand liggende wegen om samen te voegen hebben o.a. als kenmerk dat er niet nog andere wegen op een punt samenkomen. Dus bv zoals deze.

Dit zijn ook de wegen waar de meeste nu mee bezig zijn schat ik in. Ik schat dat 99% van deze wegen zonder problemen zijn samen te voegen. Echte grote issues hebben we volgens mij nog niet gehad. Mijn bevinden daarover zijn de volgende:

meta data
Of wegen wel/niet samen te voegen zijn hangt af van de tags en de relaties van de wegen. Die moeten gelijk zijn. Voor de tags worden er een aantal uitgezonderd. Bv Source en Note wordt niet op gefilterd. Dat betekent dat je soms kunt samenvoegen maar dat deze tags niet gelijk zijn of maar bij 1 van de 2 wegen aanwezig is. Als ze er beiden zijn laat JOSM je kiezen welke je wilt hebben en als er maar 1 van beide wegen zo’n tag heeft dan zul je op moeten letten wat je daar mee wilt doen. Mijn ervaring is dat veel van de tags erg oud zijn en vaak niets toevoegen. De mooiste note vind ik een hele oude die zei “niet verplaatsen want ik heb deze 3x met een etrex nagelopen” oid. Ook source tags zijn veelal niets zeggend. Soms heeft de ene weg source=gps of source=bing en de ander niets. Ook die zijn veelal erg oud. Tegenwoordig zetten we de source tags ook op de changeset en dus is het niet zo gek dat het vaak oude tags betreft. Of wat te denken van een 14 jaar oude note “Please be careful when using potlatch, there are relations on it ”. Wat mij betreft gewoon verwijderen dit soort notes.

left/right/forward/backward/up/down
Soms zijn er 2 wegen die beide de tag sidewalk=left hebben maar in tegen gestelde richting lopen. Als je die wilt samenvoegen moet 1 van beide wegen eerst omgedraaid worden. JOSM geeft dat ook aan en komt daarna met een voorstel voor de samengevoegde weg. Dat voorstel kan nooit goed zijn en dus moet je dat niet accepteren uiteraard. En als je wegen met halverwege een node met tag traffic_signals:direction=forward wil omdraaien geeft JOSM keurig aan dat dit dan een traffic_signals:direction=backward word en kun je gewoon verder. Ik werk niet met andere editors dan JOSM maar hoop wel dat die ook zo slim zijn als JOSM. Eigenlijk zou ik eens moeten kijken of ik de false positive uit de kaart kan filteren.

Selfintersecting way
Soms lukt het niet om wegen samen te voegen omdat je dan een zgn selfintersecting way krijgt. Ik vraag me wel af of het dan momenteel goed is ingetekend in OSM maar laat het even voor wat het is.

Rendering Carto
Met name de samengevoegde wegen in woongebieden levert wel een andere rendering op na samenvoegen. Daar waar eerst alle/de meeste wegsegmenten een straatlabel hadden zie je na samenvoegen dat het aantal labels duidelijk minder wordt. Of je het mooi/beter vindt hangt uiteraard van je smaak af maar je ziet wel dat samenvoegen consequenties kan hebben voor rendering.

Oude rendering

Nieuwe rendering

Nominatim
Daar waar Nomination voorheen alle/de meeste straatsegementen als zoekresultaat terug gaf als je op een straatnaam zocht, zie je nu een duidelijke vermindering van het aantal de resultaten. Das ook een mooi pluspunt.

Unclassified/residential
Tijdens het mappen vroeg ik me af en toe wel af waarom er niet werd voorgesteld andere wegen samen te voegen omdat ze er het zelfde uit zagen en ook nog eens de zelfde naam hadden. Bij nadere beschouwing bleek dat de ene weg een residential was en de ander een unclassified
Of een weg unclassified of residential zou moeten zijn is al diverse keren besproken op het forum. Wat goed of fout is laat ik even in het midden maar ik heb wel even gekeken naar de plekken waar zich deze situatie voordoet (dus de een unclassified en de ander residential). Welke definitie je ook gebruikt … toch zien we inconsistentie in de kaart. Ik heb deze wegen nu ook op de kaart getoond maar ze zitten niet in de standaard selectie. Die moet je dus aan vinken (zowel punt als weg)

To do
Ik ben aan het kijken of ik de analyse nog iets scherper kan krijgen zodat we zo min mogelijk false positives op de kaart krijgen. Daarvoor zal ik waarschijnlijk het aantal hits binnenkort gaan beperken tot “de meest waarschijnlijke om samen te voegen” maar vrees niet… er blijft nog voldoende over :wink:

Ik ben ook benieuwd naar de ervaringen van de andere mappers die hier mee bezig zijn.

Ik heb het script aangepast. Zou je eens kunnen kijken of deze nu verdwenen is. Zo niet dan graag ff way-id doorgeven dan ga ik nog eens kijken.

Bedankt, na het leeggooien van de JOSM cache voor OSM_defrag_highway_QGC, wordt de situatie met twee opgaande wegen niet meer aangemerkt om samen te voegen.

Wat mij betreft is de data zo goed als foutvrij, behalve die twee opgaande wegen heb ik eigenlijk nog geen fout kunnen ontdekken,

Bij voetpaden zie ik wel eens suggesties worden gedaan die wel kloppen maar die vaak niet wenselijk zijn wat mij betreft. Bijvoorbeeld een kruising van twee voetpaden waarbij het vier verschillende wegen zijn. Wanneer je Noord-Zuid en/of Oost-West kan samenvoegen prima maar soms is de suggestie om Noord-West en/of Zuid-Oost samen te voegen en dat vindt ik meestal geen goed idee.

Ja, dat wegen/paden niet samengevoegd kunnen verschillen in residential/unclassified ben ik ook tegen gekomen maar ook regelmatig omdat een stuk van het weg verder was bijgewerkt dan het andere terwijl in praktijk ze dezelfde eigenschappen hebben. Dat is ook de reden dat samenvoegen naar mijn idee ook een goed idee is, zo wordt ik de toekomst het gehele pad/de gehele weg onderhouden.

Ik vraag me wel af hoe jullie werken wat betreft het downloaden van OSM data. Bij het samenvoegen wil JOSM dat de het knooppunt hebt binnengeladen, als je het al het via een vorige download of met een Overpass query dan moet je alsnog het gebied van het knooppunt downloaden.

Ik werk standaard met een OSM achtergrond en zoom dan ver in op elk punt (schaalverdeling rechtsboven in JOSM <= 10 m), vervolgens “Download in current view” en zo elk punt langs. Voor “Download in current view” heb ik maar een shortcut key gemaakt, zo gaat dat sneller als met de muis. Ik gebruik ik de Alt- toetsen vaak om een laag tijdelijk uit te zetten, soms is het handig zelfs de datalaag uit te zetten om te zien welke punten op de rand van het downloadgebied je nog niet hebt gehad.

Ik kan me vinden in de opmerkingen van peewee32 en Emvee. Kaart schoont lekker op zo.

Waar ik wel een beetje me vraagtekens bij heb zijn de talloze naamloze samenvoegingen highway=service op parkeerplaatsen. Ik vraag me af of die wel moeten worden samengevoegd. Zie het nut hier niet van in (?). Je krijgt van die hele gekke figuurtjes, het is net kunst :stuck_out_tongue: :wink:

Wat downloaden betreft, ik gebruik al jaren de plugin Continous Download. Die download automatisch bij het scrollen. Niet te ver uitzoomen, dan loopt het vast, maar ik ben er heel tevreden over.

Dank voor de feedback Emvee

Ik zoom met de muis redelijk in op de samenvoegpunt (of een een bosje punten). Dan met toetscombinatie CTRL-SHIFT_PAGEDOWN wordt het gebiedje zeer snel ingeladen. Dan de 2 wegen selecteren en op C klikken. En dan zo weer verder.

Goed punt. Ik heb nu CAT1 en CAT2 zo gemaakt dat er nu alleen punten verschijnen als de wegen een name tag hebben. Dat scheelt al heel veel van dit soort wegen. ER komen nu ook wel een aantal path etc bij maar dat zijn er maar weinig omdat de meeste (vooral in het buitengebied) geen name tag hebben. Hopelijk werkt dit wat beter.

Dank voor de tip. Moet ik ook eens induiken en kijken of dat lekker werkt.

Een week verder en vanmorgen het grafiekje bijgewerkt maar ik zie de lijn van vorige weken doorgetrokken worden, er wordt dus nog het nodige samengevoegd, zoverre significant lijkt afgelopen vrijdag/zaterdag nog wat meer gecombineerd te zijn. Ik zal later weer eens een grafiekje posten.

Wel nog één probleem tegengekomen, de OSM Inspector Public transport module vindt het niet leuk als het begin/eind van een busroute een “rotonde” is. Hoewel eigenlijk naar mijn idee the Public Transport views of OpenStreetMap Inspector gefixt zou moeten worden is het denk ik beter het voorlopig zou te laten, zie deze changset.

Verder zie ik dat de kaart regelmatig wordt bijgewerkt; bedankt daarvoor. Het kost toch vaak twee slagen om alle wegen die logischerwijs samengevoegd kunnen worden ook samen te voegen deels omdat ik ook soms meer dingen bijwerk (unclassified → residential, maxspeed, classificatie fietspad, naam fietspaden)

Als ik het goed begrijp is het samenvoegen niet fout gegaan maar geeft de inspector een onterechte foutmelding. Dat levert weer werk op voor o.a. Leo maar zou opgelost moeten worden door de inspector hier geen fout op te laten genereren? Als dat zo is dan lijkt mij het terecht om daar een issue voor aan te laten maken. Ik zou het ook niet erg vinden om dit soort uitzondering niet op de defrag kaart te laten zien maar ik zie nu ff niet hoe ik dat er uit zou kunnen filteren. Het enige wat we nu kunnen doen is er bij het samenvoegen goed op letten dat de wegen niet rond gaan lopen als er ook een relatie over heen loopt. Zal niet heel vaak gebeuren denk ik maar toch… opletten is altijd verstandig.

Ik heb het script nu zo aangepast dat (als het mee zit) de kaart nu iedere dag rond 9 uur automatisch bijgewerkt wordt. Was even wat puzzelen maar scheelt mij voor de toekomst best wat werk. Ik zie ook dat een klein clubje vrij fanatiek aan het samenvoegen is en dan is het wel lekker als er dagelijks een update van de kaart komt.

Bij nader inzien was het toch niet zo moeilijk om dit soort wegen er uit te filteren. Het zijn er een paar honderd maar t.o.v. het totaal aantal samenvoeg mogelijkheden valt het in het niet. Als het goed is krijgt Leo dit soort meldingen nu niet meer te zien.

Ik heb ook nog een nieuw optie toegevoegd (weg samen te voegen2) met de samen te voegen wegen. Dat zijn dan niet de rechte lijnen tussen begin en eindpunt maar de echte lijngeometrie. Opmaak is per highway-type verschillend. Deze rendert iets minder snel maar zou bij werken in JOSM wel toegevoegde waarde kunnen hebben. Standaard is deze uitgeschakeld.

Het defragmenteren lijkt in ongeveer hetzelfde tempo door te gaan:

Ik heb het verschil gevonden tussen de Ohsome data en die zelf uit een netherlands.pbf haal (blauw doorgetrokken lijn versus blauwe gestippelde lijn): Als ik Ohsome vraag om de lengte van de wegen op basis van de .poly van geofabrik dan komen de nummers overeen. Conclusie: De poly van Ohsome neemt ongeveer 23000 ways meer mee.

Ik zag in de Noordzee:

Wat beteken die laatste twee nummers?

Ik dacht al…gaat iemand dat een keer vragen… ja dus :wink: Dat eerste cijfer geeft aan hoeveel wegen er verdwenen zijn door (zeer waarschijnlijk) het samenvoegen van wegen sinds de vorige update. Dus meestal het aantal verdwenen wegen per dag (zolang het lukt dagelijks te updaten). Het 2e cijfer geeft het totaal aantal verwijderde wegen door (zeer waarschijnlijk) samenvoegen.

Ik was benieuwd of ik nog kon reageren op dit forum… ja dus.