Organised Editing/Activities/resolve linting issues in Germany

Hello from the Mapbox Team!

(First we’re sorry but we don’t speak German. Here is a deepl translation of this message https://tinyurl.com/y3ye7cpa)

As part of on-going work to improve the quality of OpenStreetMap data, we recently used osmlint-osmium (https://github.com/osmlab/osmlint-osmium) and osmlint (https://github.com/osmlab/osmlint) for detecting issues related to road network data in Germany. In total, there were 25,473 issues detected across 11 types of linters.

As a next step, our team (https://wiki.openstreetmap.org/wiki/Mapbox#Current_Data_Team_members) is planning to manually review a subset of the detections to better understand the type of issues, and also manually fix any valid data issues directly in the OSM. You can read more about our plan here (https://github.com/mapbox/mapping/issues/364).

Our aim is to start reviewing before the end of next week. We would really appreciate your feedback, any questions you have about this project, as well as local insights that you think will help us better understand the data.

Cheers,

Member of Mapbox team, Vlada

Bei so einem wichtigem Thema sollte die deutsche Übersetzung nicht nur über einen Link verfügbar sein; schon gar nicht über eine tinyurl.

Die Ansicht, dass jeder Mensch auf der Welt Englisch können sollte, um sich mit anderen zu verständigen, schließt viele OSM-Mitwirkende chon von vornherein von der Diskussion aus, die damit diskriminiert werden.

Das wäre der richtige Beitrag im deutschen Forum - nicht einen versteckter Link.

Zum Problem:
Schön wäre zu erfahren, was und wo welches Problem auftritt. Dann könnte vor Ort sicher einiges geklärt werden. Vielleicht ist es kein Problem, vielleicht nur ein “kleiner Fehler”…

Hallo Vlada,
danke für die Info. Zunächst solltet ihr eine Wikiseite zu dem Projekt erstellen. Das ist wohl die auf der von dir genannten Seite verlinkte: https://wiki.openstreetmap.org/wiki/Organised_Editing/Activities/resolve_linting_issues_in_Germany Zur Diskussion ist das Tab “Diskussion” dort gedacht oder eben hier im Forum. Das dann weiter auf Github auszulagern wie dort beschrieben, finde ich nicht gut. Man braucht wohl eine extra Anmeldung dafür.
Könntest du noch erläutern, was mit “linter” gemeint ist? DeepL übersetzt es nicht und auf leo.org finde ich nichts passendes. Irgendeine Kategorie von Fehlern, nehme ich an.
Wie ist die Arbeitsweise? Wie kann man den Inhalt der zip-Archive im Editor (vorzugsweise JOSM) geladen bekommen? Das ist pro Kategorie deutschlandweit, also recht unhandlich.
Was passiert mit Fehlern wie zwei gegenläufigen verknüpften Einbahnstraßen? Recherchiert ihr das vor Ort?
Und bzgl. aeonesas Anmerkung: einfügen der DeepL-Übersetzung hier im Forum macht es für alle leichter, scheu dich nicht Strg+C/Strg+V zu benutzen.


Hello Vlada,
thanks for the info. First you should create a wiki page for the project. This is probably the one linked on the page you mentioned: https://wiki.openstreetmap.org/wiki/Organised_Editing/Activities/resolve_linting_issues_in_Germany For discussion purposes you should use the tab “discussion” there or here in the forum. I don’t like the idea of outsourcing the discussion to Github as described there. You’ll probably need an extra registration for it.
Could you also explain what is meant by “linter”? DeepL doesn’t translate it and on leo.org I can’t find anything suitable. Some category of errors, I suppose.
How does it work? How can you get the content of the zip-archives loaded in the editor (preferably JOSM)? This is per category Germany-wide, so it is rather inconvenient.
What will happen with errors like two opposite linked one-way streets? Do you investigate this on site?
And regarding aeonesa’s note: inserting the DeepL translation here in the forum makes it easier for everyone, don’t be afraid to use Ctrl+C/Ctrl+V.

Translated with www.DeepL.com/Translator (free version)

Viele Grüße,
Rainer

‘linter’ … in der Software-Entwicklung ein Programm zur Prüfung des Sourcecodes. Der Sourcecode ist zwar syntaktisch korrekt und compilierfähig, ‘lint’ weist jedoch zusätzlich auf potentielle Probleme oder stilistische Unschönheiten hin.

Keine Ahnung ob’s was besseres gibt.
Das sind geojson-Dateien, wo jede Text-Zeile ein geojson-Dokument enthält.

Ich hab mir mal eine Datei in ein einzelnes riesiges geojson konvertiert: https://osm.wulf.eu.org/crossinghighways.geojson


#!/usr/bin/python3

import json

features = []

with open("crossinghighways.json", "rt") as fp:
    for line in fp:
        features.extend(json.loads(line)["features"])

with open("crossinghighways.geojson", "wt") as fp:
    json.dump({"type": "FeatureCollection", "features": features}, fp, indent=4, sort_keys=True, ensure_ascii=False)
    fp.write("\n")

Wohl eher nicht, außer es gibt da Mapillary o.ä.
Wegen mir kann Mapbox gerne alle “einfachen” Sachen beheben, für die man nicht vor Ort sein braucht.
Sowas wie https://osm.org/way/91258890 vs. https://osm.org/way/91258894 aber bitte nicht :wink:

Hallo,

Die Organised Editing Guideline sagt klipp und klar, dass die Kommunikation mit der Community über das Forum/die Mailingliste zu erfolgen hat und Kommunikationsplattformen, die eine Anmeldung bei Drittanbietern (hier GitHub) erfordern unzulässig sind! Zudem ist GitHub nur in englischer Sprache verfügbar, was des Englischen nicht oder nur eingeschränkt Mächtigte von der Teilnahme an der Diskussion ausschließt. Daher weise ich darauf hin, dass die Diskussion auf GitHub die Diskussion hier nicht ersetzt.

Außerdem sagt die Organised Editing Guideline, dass die Dokumention im Wiki zu erfolgen hat. Bitte übertragt daher die Dokumentation von GitHub nach https://wiki.openstreetmap.org/wiki/Organised_Editing/Activities/resolve_linting_issues_in_Germany Sollte das nicht erfolgen, werde ich wegen des Richtlinienverstoßes einen Revert aller Änderungen erwägen.

Zum Thema deutsche Sprache: Mapbox hat mindestens einen Mitarbeiter, der der deutschen Sprache auf Muttersprachler-Niveau mächtig ist. Die Erwartung, dass eh jeder deutsche Mapper gute Englischkenntnisse hat, geht an der Realität bei älteren und ostdeutschen Mappern vorbei.

Viele Grüße

Michael

offtopic
Leute, Leute, Leute

Das ist ja schon die nächste Diskriminierung. Und die ist in IMHO noch oberflächlicher und vor allem überheblicher als die des Threaderöffners. :-{

Woraus schließt Du, dass man in “Ostdeutschland” (der DDR) außer Russisch keine Fremdsprachen gelernt hat? In der DDR war ab der 7. Klasse eine zweite Fremdsprache fakultativ. Fakultativ deshalb, weil Schülern, die in der deutschen Orthographie und Grammatik und auch anderen Fächern Probleme hatten, die Möglichkeit gegeben wurde, die zweite Fremdsprache abzuwählen und sich stattdessen voll und ganz auf die Verbesserung ihrer anderen schulischen Leistungen zu konzentrieren. Die am häufigsten angebotene Fremdsprache war dabei Englisch. Ich hatte z.B. Französisch und später in einem Intensivlehrgang Englisch. Viele ehemalige Kollegen, die jetzt schon in Rente sind und amit älter als ich sind, haben und hatten nie ein Problem sich im Englischen zu verständigen.

Du gehst an der Realität vorbei, weil Du, aus welchem Grund auch immer, Dich damit gar nicht beschäftigt hast und immer noch die alten Vorurteile bedienst.

Zum Thema: Trotzdem ich des Englischen mächtig bin, habe ich wegen der vielen Verlinkungen, die teilweise zu anmeldepflichtigen Plattformen gehen, und der schwammigen Formulierung des Posts, Probleme überhaupt nachzuvollziehen, was die Absicht der Theraderöffner ist. Deshalb auch mein erster Post.

[Mod Mütze auf]
Bevor das jetzt eskaliert: Laßt uns davon ausgehen daß Nakaners Aussage zu Englischkenntnissen lediglich unglücklich formuliert war und kein bosartiger Angriff auf Personengruppen oder Diskriminierung.

Von daher bitte keine weiteren Stellungnahmen dazu. Falls eine offtopic-Diskussion aufkommt, müßte ich sie wegmoderieren.

Die Kernaussage war, daß der OP nicht davon ausgehen kann, daß hier jeder Englisch versteht - warum auch immer. Bleiben wir also beim Topic.
[Mod Mütze ab]

Vielen Dank an alle für Ihre Fragen und Nachrichten. Wir haben alle Ihre Kommentare berücksichtigt, und jetzt werden wir die deutsche Übersetzung in unseren Nachrichten und danach das englische Original veröffentlichen.

Wir haben für diese Aktivität eine Wiki-Seite mit allen Informationen erstellt: https://wiki.openstreetmap.org/wiki/Organised_Editing/Activities/resolve_linting_issues_in_Germany.
Hier werden wir uns an der Diskussion im Forum und auf der Diskussionsseite im OSM-Wiki beteiligen: https://wiki.openstreetmap.org/wiki/Talk:Organised_Editing/Activities/resolve_linting_issues_in_Germany.

Was die Methode zur Lösung dieser Fragen betrifft, so werden die Redakteure jeden Fall individuell untersuchen und beschließen, ob wir ihn bearbeiten können, ob wir genügend zuverlässige OSM-Quellen dafür haben, und wenn nicht, können wir immer eine Notiz hinzufügen und die Einheimische bitten, zu prüfen, was getan werden kann.

Ihre Fragen sind willkommen!

Viele Grüße,

Mitglied des Mapbox-Teams, Vlada


Thanks everyone for your questions and messages. We took into account all of your comments, and now we will post the German translation in our messages, and after it the English original.

We did set up a wiki page for this activity with all the information at https://wiki.openstreetmap.org/wiki/Organised_Editing/Activities/resolve_linting_issues_in_Germany. We will participate in discussion here on the forum and in the talk page in OSM Wiki https://wiki.openstreetmap.org/wiki/Talk:Organised_Editing/Activities/resolve_linting_issues_in_Germany.

On the method of resolving these issues, editors will investigate each case separately and decide whether we can edit it, do we have enough OSM ground truth sources to do it and if not we can always add a note and ask locals to check what can be done.

Your questions are welcome!

Cheers,

Member of Mapbox team, Vlada

Das sieht gut aus, finde ich. Nützliche QA, soweit ich das überschauen kann. Bin froh, dass das jemand macht. Und jetzt verstehe ich den Workflow auch halbwegs.
Was ich gern noch wüsste: Was für Inkonsistenzen sollen die einzelnen linters jetzt genau finden? Die Namen sind nicht 100% selbsterklärend. Z.B.: welcher linter findet die ‘unconnected roads’, die als Beispiel aufgeführt werden?

Looking good! This is useful QA work as far as I can tell. I’m happy someone’s picking this up. Also, I think I understand your work flow reasonably well now.
What I’d like to understand better: just what inconsistency is which linter supposed to find? They do have telling names, but those aren’t 100% self-explanatory. E.g.: which linter found the ‘unconnected roads’ you gave as an example?

Das dürfte “islandshighways” sein. Hab das mal auf umap geladen: https://umap.openstreetmap.de/en/map/anonymous-edit/6201:4kkjvh36XjMXpGC1IbFnu1fX2eM

interessant. Da sind Wege dabei, die u verbunden sind, wei dazwischen entweder ein Parkplatz liegt (ohne Wege) oder ein highway=service mit area=yes. Auch Wege, die einzelne Teile eines Golfplatzes verbinden. Aber auch echte Fehler, wie Hausdurchfahrten die zum Parkplatz hinterm Haus führen, aber vor dem Haus nicht mit der Straße verbunden sind.

Danke für die Informationen so weit.

Mich würde interessieren wieweit die “lints” sich von den bereits existierenden Analysen wie z.B. osmosis unterscheiden.

Leider habe ich entdeckt, dass MapBox auch keine #Hashtags für die jeweiligen Projekte verwendet und bitte doch darum, diese einzuführen. Danke.

Es gibt viele verschiedene Tools zur Überprüfung der Datenqualität, die von der Community rund um OSM erstellt wurden. Osmose ist eines davon. Leider verwenden wir es nicht, sondern verwenden OSMLint und OSMLint-Osmose, die in Mapbox entwickelt und dann an die Community weitergegeben wurden. Da OSMLint besser in unsere Pipelines integriert ist, bevorzugen wir es.
Zu Beginn der Bearbeitung könnte es einige Änderungen ohne Hashtag geben. Tut mir leid, jetzt hat jede Bearbeitung diese.

Viele Grüße,

Mitglied des Mapbox-Teams, Vlada


There are many different data quality checking tools created by the community around OSM, osmose is one of them. Unfortunately, we do not use it, but use OSMLint and OSMLint-osmosis, which were developed in Mapbox and then passed on to the community. Since OSMLint is better integrated into our pipelines, we prefer it.
In the very beginning of editing there could be some edits without hashtag, sorry for that, now each edit will have it.

Cheers,

Member of Mapbox team, Vlada

Hi Vlada

First of all, I find it very cool that MapBox and you guys are doing this. Doing map maintenance and QA for the OpenStreetMap, unraveling broken relations and complex intersections and whatnot - all that is part of resolving such linting issues - is certainly one of the less rewarding but at the same time, more demanding activities in OpenStreetMap. It makes sense to focus paid mapping activities on these things even though more training may be required for your mappers.

I wonder, is there a public web map instance of OSMLint accessible somewhere for everyone to use and browse through? I googled a bit, but only found a page that displays an empty map.

Feel free to not answer this in case you think this peeks too deep into your organization, but out of interest, do you measure the performance of the mappers in your mapping team quantitatively in any way?

Hallo westnordost,

auch für Dich würde dann das gleiche gelten: bitte schreib gleich Deine deutsche Ersetzung dazu, dürfte Dir ja nicht schwer fallen.

@Mammi71: Nein. Ich preferiere, eine Nachricht die an jemanden gerichtet ist der nicht deutsch spricht, auf Englisch zu schreiben. Die einschlägigen automatischen Übersetzer sollten bekannt sein und sind für jeden verfügbar. Es gab auch ein Firefox Plugin mit dem man markierten Text direkt im Kontextmenü übersetzen kann, ich habe den Namen aber leider vergessen.

Edit: Ich habe nicht vor, damit jetzt eine Diskussion zu provozieren. Wer findet dass das diskussionswürdig ist und die Forumregeln geändert werden sollten, bitte ein extra-Thread aufmachen oder Moderator kontaktieren oder so, lass uns in diesem Thread beim Thema bleiben.

Es gibt auch Mitleser / Interessierte bei diesem Thema, die nur sehr wenig Englisch sprechen, so wie z.B. ich. Zur Not nutze ich DeepL. Die Übersetzungen sind aber teilweise einfach nur grotenschlecht. Ich würde es daher sehr begrüßen, wenn Du Deine Beitäge in Englisch **und ** Deutsch formulieren würdest. Vlada macht es (jetzt) ja auch so.
Grüße