You are not logged in.

#1 2012-11-28 23:01:51

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Automatische Reparaturen: Ersatz für xybot

Hallo zusammen,

die älteren unter uns werden sich noch an xybot erinnern, der einst regelmäßig eine Reihe von Fehlern beseitigt hat. Wie es aussieht, ist xybot endgültig außer Betrieb, und auch sein Betreiber scheint bei OSM nicht mehr allzu aktiv zu sein. Ich möchte einmal die Diskussion anstoßen, ob und welche dieser Korrekturen zukünftig wieder automatisiert durchgeführt werden sollen. Einige der vormals von xybot automatisch behobenen Fehler werden derzeit von Mappern manuell korrigiert. Diese Arbeitszeit könnten wir uns ggf. zum Teil sparen.
Geographisch geht es mir dabei erst einmal ausschließlich um Deutschland, daher die Diskussion hier (obwohl einige der Fehlertypen auch den Rest der Welt betreffen).

In diesem Faden möchte ich zunächst nur ein Meinungsbild gewinnen, um eine Vorauswahl zu treffen; wenn sich abzeichnet, welche Korrekturen grundsätzlich Unterstützung finden, kann man die Details in einem zweiten Schritt diskutieren, insbesondere die genaue Vorgehensweise und nach welchen Kriterien die Korrektur beschränkt werden soll - und nicht zuletzt ob sich für die einzelnen Aufgaben (Entwicklung, Ausführung/Betrieb) dann auch Freiwillige finden. Erst diese zweite, detaillierte Diskussion wäre dann jene, die auch von den einschlägigen Spielregeln für automatische Edits verlangt wird.

Ggf. könnte man auch über weitere automatische Korrekturen nachdenken; hier stelle ich erst einmal nur jene zur Diskussion, die xybot bisher durchgeführt hat.

Die Frage lautet also: Haltet ihr es grundsätzlich für sinnvoll, die genannten Korrekturen zu automatisieren?
Zur Erleichterung der Übersicht ein "Formular": (+) dafür, (-) dagegen, ( ) unschlüssig

( ) Schreibweise Straßennamen an highways
( ) Fehler in addr:*
( ) leere Tags
( ) Whitespace
( ) Knoten mehrfach hintereinander in Wegen
( ) Wege mit nur einem Knoten

Noch einmal deutlich: bei allen Korrekturen wird zu klären sein, an welchen Objekten und unter welchen Bedingungen sie angebracht werden sollen. Zustimmung zu einem der Punkte hier soll also ausdrücklich keinen Freibrief für irgendjemanden bedeuten, jetzt ohne weitere Abstimmung einen Bot loszulassen.

Kurze Erläuterung der genannten Korrekturen:
Schreibweise Straßennamen an highways: Str. -> Straße, Strasse -> Straße in den name-Tags von highway-Wegen
Fehler in addr:*: Soweit ich es überblicke, hat xybot folgende Korrekturen vorgenommen: 1) Korrekturen in addr:street wie bei den Straßennamen, 2) addr:country=de -> DE etc.; ggf. könnte man weitere Korrekturen über jene von xybot hinaus ergänzen.
leere Tags: Tags ohne Schlüssel oder Wert (ggf. bis auf Leerzeichen). Aktion: Tag löschen.
Whitespace: Leerzeichen am Anfang oder Ende von Tags entfernen (ggf. müßte man zwischen Freitext- und definierten Tags unterscheiden)
Knoten mehrfach in Wegen/Wege aus einem Knoten: zwei altbekannte Potlatch-Fehler. Potlatch (gleichermaßen in Version 1 und 2) erzeugt regelmäßig Wege, die nur aus einem Knoten bestehen (Aktion von xybot: löschen), oder baut denselben Knoten mehrfach hintereinander in Wege ein (etwa A-B-B-C, Lösung: Reduktion zu A-B-C).

Ich fange dann mal an:

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
( ) Whitespace
(+) Knoten mehrfach hintereinander in Wegen
( ) Wege mit nur einem Knoten

Last edited by Oli-Wan (2012-11-29 14:38:33)


No animals were harmed in the writing of this posting.

Offline

#2 2012-11-28 23:18:58

user_5359
Member
From: Königswinter
Registered: 2008-12-25
Posts: 295
Website

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach hinterander im Weg
(+) Wege mit nur einem Knoten

Offline

#3 2012-11-28 23:23:44

Geogast
Member
Registered: 2008-08-02
Posts: 802
Website

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
( ) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten

Bitte nur solche technischen Reparaturen als bot. Nicht so was (ganz unten).

Last edited by Geogast (2012-11-28 23:24:20)

Offline

#4 2012-11-28 23:27:05

poppei82
Member
From: Germany
Registered: 2011-07-29
Posts: 456

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten


Hilf mit bei der Qualitätssicherung! Lasse dir mit dem QAT-Skript Fehler direkt in JOSM anzeigen!
Im Keepright Users Guide findest du Hilfe.

Offline

#5 2012-11-29 09:38:00

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,829

Re: Automatische Reparaturen: Ersatz für xybot

(-) Schreibweise Straßennamen an highways
(-) Fehler in addr:* (de->DE ist ok)
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten

Mapper aus dem Münsterland.

Offline

#6 2012-11-29 10:19:08

geri-oc
Member
From: Sachsen
Registered: 2011-03-21
Posts: 5,011
Website

Re: Automatische Reparaturen: Ersatz für xybot

( +) Schreibweise Straßennamen an highways
( +) Fehler in addr:*
( +) leere Tags
( +) Whitespace
( +) Knoten mehrfach in Wegen
( +) Wege mit nur einem Knoten

Offline

#7 2012-11-29 10:37:09

maxbe
Member
Registered: 2010-01-19
Posts: 3,151
Website

Re: Automatische Reparaturen: Ersatz für xybot

( +) Schreibweise Straßennamen an highways
(  ) Fehler in addr:*
( +) leere Tags
( +) Whitespace
( +) Knoten mehrfach in Wegen
( +) Wege mit nur einem Knoten

und bei den Straßen immer schön auf die Grenze zu ß-losen Staaten achten...

Offline

#8 2012-11-29 10:38:58

S-Man42
Member
Registered: 2009-10-19
Posts: 302

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten

Offline

#9 2012-11-29 10:43:30

BFX
Member
Registered: 2012-02-03
Posts: 123

Re: Automatische Reparaturen: Ersatz für xybot

( -) Schreibweise Straßennamen an highways
( -) Fehler in addr:street
( +) Fehler in addr:country
( +) leere Tags
( +) Whitespace
( +) Knoten mehrfach in Wegen
( +) Wege mit nur einem Knoten

Darüber hinaus unverknüpfte ungetaggte Knoten, die nach September 2012 erstellt oder verschoben wurden.
Bei identischen Geometrien mit gleichen Tags die übereinander liegen, bis auf eine alle Löschen (Wenn es ein Element gibt, dass mehr Tags hat und neuer ist, können die anderen auch gelöscht werden).

Offline

#10 2012-11-29 11:12:20

efred
Member
From: Düdingen
Registered: 2010-01-17
Posts: 1,855
Website

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways [1]
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten


[1] Schreibweise bei Strassennamen: Achtung beim "ß": in der Schweiz wird dieser Buchstabe nicht verwendet. Hier gibt's nur "ss"


My Profiles in OSM and in OSM-Wiki | my G+

Offline

#11 2012-11-29 11:17:57

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,268
Website

Re: Automatische Reparaturen: Ersatz für xybot

Also wenn so ein Bot laufen sollte, dann sollte er diesmal Änderungen die länderspezifisch sind nicht nach Geofabrik-Extrakt machen sondern nach Grenzrelation. Wenn das zu aufwändig ist, dann kann der Bot eben nur allgemeine Dinge ändern, die in allen Teilen des Geofabrik-Extrakts gültig sind.

(+) Schreibweise Straßennamen an highways, wenn obiges sichergestellt ist
(+) Fehler in addr:*, wenn obiges sichergestellt ist
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten

Last edited by aighes (2012-11-29 11:18:35)


Viele Grüße
Henning, developer of RadReiseKarte

Offline

#12 2012-11-29 11:58:54

mueschel
Member
Registered: 2012-06-11
Posts: 1,061
Website

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways (nur in absolut eindeutigen Fällen, wie oben schon gesagt wurde)
(+) Fehler in addr:* (nur in absolut eindeutigen Fällen, wie oben schon gesagt wurde)
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten
(+) unverknüpfte ungetaggte Knoten, die nach dem redaction bot erstellt wurden (siehe Beitrag von BFX)

Offline

#13 2012-11-29 12:18:17

Mondschein
Member
Registered: 2011-01-29
Posts: 1,831

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten

Offline

#14 2012-11-29 12:20:58

SammysHP
Member
From: Celle, Germany
Registered: 2012-02-27
Posts: 1,592
Website

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten *

* Solange der Weg ungetaggt ist.

Offline

#15 2012-11-29 12:45:35

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: Automatische Reparaturen: Ersatz für xybot

aighes wrote:

Also wenn so ein Bot laufen sollte, dann sollte er diesmal Änderungen die länderspezifisch sind nicht nach Geofabrik-Extrakt machen sondern nach Grenzrelation. Wenn das zu aufwändig ist, dann kann der Bot eben nur allgemeine Dinge ändern, die in allen Teilen des Geofabrik-Extrakts gültig sind.

Falls sich kein anderer Interessent findet (und immer vorausgesetzt, daß den bestehenden Einwänden - siehe "(-)" und diverse Anmerkungen - hinreichend Rechnung getragen werden kann), würde ich mich um die "Strassen" etc. kümmern (ein Werkzeug für diesen Zweck ist fast startklar). Mein Ansatz für die geographische Beschränkung wäre, zuerst den (etwas zu großen) Geofabrik-Extrakt nach Kandidaten zu filtern und dann in einem zweiten Schritt zu prüfen, ob die gefundenen Objekte tatsächlich in DE liegen. Da dann nicht der gesamte Datenbestand gegen die Grenzrelation abgeglichen werden müßte, sondern schlimmstenfalls einige hundert Knoten, wäre der Aufwand überschaubar.
Ich denke dabei in die Richtung, die Relation bzw. ihren größten Ring in ein Polygon umzuwandeln und dann per osmosis --bp zu filtern. Gab es nicht sogar schon einmal irgendwo "grenzgenaue" Schneidepolygone für genau diesen Zweck?

PS. Falls jemand Lust hat, sich mit dem Problem "Knoten mehrfach hintereinander im Weg" zu beschäftigen, hier ist ein möglicher Startpunkt ohne Postgresqlgis etc.: Wenn man einen <osm>-Stream durch

egrep '<nd|<way' | uniq -d | egrep -o '[0-9]+'

schiebt, erhält man eine Liste von Knoten (IDs), die an solchen Problemen beteiligt sind. Dann muß man die API nur noch nach ihren Elternwegen fragen und schon hat man seine Kandidaten (und natürlich auch alle anderen Wege, in denen der Knoten vorkommt). Ein Blick auf OSMI zeigt allerdings, daß dieses Problem doch nicht allzu akut ist bzw. in DE derzeit offenbar (manuell) erfolgreich in Schach gehalten wird - ganze 2 Fehler. Aber vielleicht ist der Hinweis auch gerade für die Kollegen von Interesse, die diese manuellen Korrekturen durchführen: Die erhaltene Liste kann man schließlich auch direkt in JOSM füttern.


No animals were harmed in the writing of this posting.

Offline

#16 2012-11-29 13:23:18

EvanE
Member
Registered: 2009-11-30
Posts: 5,716

Re: Automatische Reparaturen: Ersatz für xybot

BFX wrote:

Bei identischen Geometrien mit gleichen Tags die übereinander liegen, bis auf eine alle Löschen (Wenn es ein Element gibt, dass mehr Tags hat und neuer ist, können die anderen auch gelöscht werden).

Damit wäre ich vorsichtig.
Die Kollegen in Frankreich markieren hohe Gebäude oft mit zwei übereinander liegenden Messpunkten mit jeweils verschiedener Höhe. So etwas sollte man sicher nicht per Bot entfernen.
Man kann natürlich über die Sinnhaftigkeit dieser Einträge streiten, aber die Katasterdaten geben das eben her und die französische Community hat sich entschieden, das auch so zu übernehmen.

Edbert (EvanE)

Offline

#17 2012-11-29 13:34:40

rayquaza
Member
From: DE-BW
Registered: 2012-11-18
Posts: 2,007

Re: Automatische Reparaturen: Ersatz für xybot

Ich habe mir mal erlaubt, die Vorschläge von BFX mitaufzunehmen.

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach in Wegen
(+) Wege mit nur einem Knoten
(+) unverknüpfte ungetaggte Knoten
(-) identischen Geometrien mit gleichen Tags

Zur Schreibweise von Strassennamen: Ich schreibe generell kein 'ß' (das habe ich mir eben von oben kopiert ;-) ), aber es ist mir egal, wie entsprechende Strassennamen in der Datenbank stehen - es sollte nur einheitlich sein. Die Alternative für mich wäre halt, diese Strassennamen nicht einzutragen, da ich auch nicht möchte, dass ein anderer User hinterher "aufräumen" müsste. Selbiges gilt für addr:street.

Zu den mehrfachen Knoten: Das gilt nur, wenn ein Knoten zweimal direkt hintereinander in einem Way vorkommt?

Zu den identischen Geometrien mit gleichen Tags: Das ist imo ausser leeren Tags das Seltenste und könnte (wie auch "Whitespace") möglicherweise beabsichtigt sein.

Last edited by rayquaza (2012-11-29 16:53:01)

Offline

#18 2012-11-29 14:29:23

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,268
Website

Re: Automatische Reparaturen: Ersatz für xybot

Oli-Wan wrote:
aighes wrote:

Also wenn so ein Bot laufen sollte, dann sollte er diesmal Änderungen die länderspezifisch sind nicht nach Geofabrik-Extrakt machen sondern nach Grenzrelation. Wenn das zu aufwändig ist, dann kann der Bot eben nur allgemeine Dinge ändern, die in allen Teilen des Geofabrik-Extrakts gültig sind.

Falls sich kein anderer Interessent findet (und immer vorausgesetzt, daß den bestehenden Einwänden - siehe "(-)" und diverse Anmerkungen - hinreichend Rechnung getragen werden kann), würde ich mich um die "Strassen" etc. kümmern (ein Werkzeug für diesen Zweck ist fast startklar). Mein Ansatz für die geographische Beschränkung wäre, zuerst den (etwas zu großen) Geofabrik-Extrakt nach Kandidaten zu filtern und dann in einem zweiten Schritt zu prüfen, ob die gefundenen Objekte tatsächlich in DE liegen. Da dann nicht der gesamte Datenbestand gegen die Grenzrelation abgeglichen werden müßte, sondern schlimmstenfalls einige hundert Knoten, wäre der Aufwand überschaubar.
Ich denke dabei in die Richtung, die Relation bzw. ihren größten Ring in ein Polygon umzuwandeln und dann per osmosis --bp zu filtern. Gab es nicht sogar schon einmal irgendwo "grenzgenaue" Schneidepolygone für genau diesen Zweck?

Ja, in diese Richtung habe ich auch gedacht. Polygone kann ich dir erstellen.


Viele Grüße
Henning, developer of RadReiseKarte

Offline

#19 2012-11-29 14:35:41

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: Automatische Reparaturen: Ersatz für xybot

rayquaza wrote:

Zu den mehrfachen Knoten: Das gilt nur, wenn ein Knoten zweimal direkt hintereinander in einem Way vorkommt?

Ja, genau. In den Erläuterungen hatte ich das geschrieben, im "Fragebogen" habe ich diese Präzisierung vergessen.
Edit: oben soeben geändert.

Last edited by Oli-Wan (2012-11-29 14:38:53)


No animals were harmed in the writing of this posting.

Offline

#20 2012-11-29 14:55:15

Thomas8122
Member
From: Sachsen
Registered: 2012-04-15
Posts: 1,057

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways nur in DE
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach hintereinander in Wegen
(+) Wege mit nur einem Knoten

Thomas

Offline

#21 2012-11-29 16:55:28

rayquaza
Member
From: DE-BW
Registered: 2012-11-18
Posts: 2,007

Re: Automatische Reparaturen: Ersatz für xybot

Oli-Wan wrote:

Ja, genau. In den Erläuterungen hatte ich das geschrieben, im "Fragebogen" habe ich diese Präzisierung vergessen.
Edit: oben soeben geändert.

Dann hatte ich es wohl einfach vergessen, bis ich mich durchgelesen hatte wink
Ich habe meine Abstimmung oben entsprechend angepasst.

mfg~ray

Offline

#22 2012-11-29 17:17:20

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,268
Website

Re: Automatische Reparaturen: Ersatz für xybot

Die Polygone findest du hier: http://www.aighes.de/data/DACHLI.7z

Mit dem PlugIn poly kannst du sie dir in josm anschauen. Ein Problem sind wahrscheinlich die ganzen Exklaven. Da müsste man dann mal schauen, ob man daraus ein Polygon basteln kann mit ganz feinen Stegen.


Viele Grüße
Henning, developer of RadReiseKarte

Offline

#23 2012-11-29 17:34:39

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: Automatische Reparaturen: Ersatz für xybot

aighes wrote:

Mit dem PlugIn poly kannst du sie dir in josm anschauen. Ein Problem sind wahrscheinlich die ganzen Exklaven. Da müsste man dann mal schauen, ob man daraus ein Polygon basteln kann mit ganz feinen Stegen.

Danke - im Gegensatz zu den Polyfiles, die ich mir eben gebastelt habe, kann ich mir Deine tatsächlich in JOSM ansehen. wink
Ich bin fast geneigt, die Exklaven einfach zu verwerfen, sollte es damit irgendwelche Probleme geben. (Es geht dabei um 0,03 % der Fläche Deutschlands, die dann nicht in den Genuß automatischer Korrekturen kämen.) Ich muß erst einmal ein bißchen mit osmosis herumspielen; das Programm habe ich bisher nur eine Handvoll Male benutzt, und das vor langer Zeit.
Kann man mit einem Polygon dieser Größe (~80 000 Knoten) noch sinnvoll filtern oder sollte man das vorher noch vereinfachen?

Edit: Zahl korrigiert.

Last edited by Oli-Wan (2012-11-29 17:41:45)


No animals were harmed in the writing of this posting.

Offline

#24 2012-11-29 17:48:18

stephan75
Member
Registered: 2008-05-28
Posts: 2,802

Re: Automatische Reparaturen: Ersatz für xybot

(+) Schreibweise Straßennamen an highways
(+) Fehler in addr:*
(+) leere Tags
(+) Whitespace
(+) Knoten mehrfach hintereinander in Wegen
(+) Wege mit nur einem Knoten

Offline

#25 2012-11-29 17:52:39

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,268
Website

Re: Automatische Reparaturen: Ersatz für xybot

Schau dir am besten osmconvert bzw. osmfilter an. Die sollten schneller sein als osmosis.

osmconvert.exe input.osm.pbf -B=deutschland.poly -o=output.osm.pbf

Last edited by aighes (2012-11-29 18:06:14)


Viele Grüße
Henning, developer of RadReiseKarte

Offline

Board footer

Powered by FluxBB