Vorschlag für autom. Edit: Schreibweise Straßennamen

aighes · 2012-12-05 12:15:27

Du kannst das ganze auch mit osm-xml machen. Dauert dann halt nur länger. Zu dem mehrfachen Filtern: Ich hab es bisher noch nicht geschafft, osmfilter zu sagen er soll highway=... AND name=... filtern. Ich vermute mal, dass es klappt, wenn man es ihm explizit sagt. Dann könnte man sich einiges sparen. Der letzte Aufruf von osmconvert läuft nur, weil nochmal gegen das exakte Polygon geprüft wird.

Wenn du also ein germany.osm auf der Platte hast und wir das mit der Filtersyntax hinbekommen, dann brauchst du lediglich einen Aufruf von osmfilter zum Filtern der Daten und einen Aufruf von osmconvert zum Prüfen gegen das exakte Polygon. Das was dabei geschrieben wird ist aber aktuell bei mir im hohen kb-Bereich, wenn man es als xml ausgibt. Von daher eher nicht so tragisch.

Oli-Wan · 2012-12-05 12:41:12

aighes wrote:

Du kannst das ganze auch mit osm-xml machen. Dauert dann halt nur länger. Zu dem mehrfachen Filtern: Ich hab es bisher noch nicht geschafft, osmfilter zu sagen er soll highway=... AND name=... filtern.

Daran bin ich auch gescheitert. Ist aber kein Beinbruch, der zweite Waschgang bearbeitet ja schon eine gegenüber der ersten Stufe drastisch reduzierte Datenmenge. Und wie gesagt, die Gesamtlaufzeit des Programms ist für mich auch sonst eher nachrangig. Das Endergebnis brauche ich ohnehin in XML.

aighes wrote:

Wenn du also ein germany.osm auf der Platte hast und wir das mit der Filtersyntax hinbekommen, dann brauchst du lediglich einen Aufruf von osmfilter zum Filtern der Daten und einen Aufruf von osmconvert zum Prüfen gegen das exakte Polygon. Das was dabei geschrieben wird ist aber aktuell bei mir im hohen kb-Bereich, wenn man es als xml ausgibt. Von daher eher nicht so tragisch.

Ich habe ein .osm.bz2 herumliegen und möchte es nicht entpacken. Mit dem .osm.bz2 kann aber osmfilter nicht umgehen - also muß ich ihm einen FIFO hinstellen, der von bzcat gefüllt wird. Dann kann osmfilter diese "Datei" aber nur einmal lesen, was nur mit --ignore-dependencies funktioniert, und dann fehlen natürlich die Knoten für das Polygon-Schneiden. Um diese aus dem .osm.bz2 (statt wie zuvor bei den ersten Tests von der API) nachzuladen, habe ich mir ein Skript gebastelt, das den Wegen die Knoten hintendranhängt. Sortieren mit osmosis, anschließend Ausschneiden. Für letzteres habe ich jetzt auch wieder osmosis genommen, weil ich hoffe, daß die Option clipIncompleteEntities=true das konservative Abschneiden an der Grenze (mindestens ein Punkt außerhalb -> Weg verwerfen) sicherstellt. Edit: falsch gelesen, löst das Problem nicht. Also müssen unvollständige Objekte doch noch einmal im Nachgang aussortiert werden. Erst an dieser Stelle kommt wieder die Festplatte zum Einsatz, mit der fertigen Kandidatendatei (<700 kB).

Das Skript zum Nachladen der Knoten ist im Moment die Spaßbremse. Ist auf die Schnelle in AWK geschrieben, was natürlich eher nicht so flott ist (derzeit Faktor drei langsamer als bzcat). Edit: dank Regex-Vereinfachung mittlerweile "nur noch" ein Faktor zwei. Daher die Frage oben, ob osmfilter (o.a.) effizient nach einer Liste von IDs filtern kann. Ansonsten muß ich mir da irgendwann selbst was schnelleres schreiben.

Der ganze Vorgang ist damit ein Dreizeiler (Aktualisieren des Extrakts, Einrichten der FIFOs und abschließendes Aufräumen mal außen vor)

bzcat /tmp/germany.osm.bz2 > "$fifofile-1" &
../osmfilter32 $fifofile-1 --ignore-dependencies --keep="name=*strasse =*str =*str. =*Strasse =*Str =*Str. =*Strasse\ * =*Str.\ * =*\Str\ * =*strasse\ * =*str.\ * =*str\ *" > $fifofile-2 &
../osmfilter32 $fifofile-2 --ignore-dependencies --keep="highway=path =cycleway =footway =bridleway =steps =road =track =service =pedestrian =living_street =residential =unclassified =tertiary =tertiary_link =secondary =secondary_link =primary =primary_link =trunk =trunk_link =motorway =motorway_link" | awk -v BZ2FILE=/tmp/germany.osm.bz2 -f reread-missing-nodes.awk | ~/osm/osmosis-0.41/bin/osmosis --rx file=- --sort --wx file=- | ~/osm/osmosis-0.41/bin/osmosis --rx file=- --bp file=~/osm/wall-e/Deutschland.poly clipIncompleteEntities=true --wx file=~/osm/wall-e/candidates.osm

Könnte man natürlich auch noch einen Einzeiler draus machen.

Last edited by Oli-Wan (2012-12-06 14:10:00)

S-Man42 · 2012-12-05 14:23:38

Genauer anschauen würde ich noch "Friedenstrasse". Da ist beides durchaus denkbar Frieden-Straße oder Friedens-Trasse.

Ein wenig OffTopic, aber Süesslerstrasse kommt mir auch reichlich komisch vor. üe... statt ü oder ue und dann noch kurz gesprochenes ss dahinter...

wambacher · 2012-12-05 14:37:10

S-Man42 wrote:

Ein wenig OffTopic, aber Süesslerstrasse kommt mir auch reichlich komisch vor. üe... statt ü oder ue und dann noch kurz gesprochenes ss dahinter...

Ist in der Schweiz wohl nicht unüblich: http://www.bdn.ch/accessions/38613/view/ und http://www.idiotikon.ch/Register/faksim … palte=1411

Sollte sich aber ein Orts- oder Landeskundiger dazu äussern.

Gruss
walter

Oli-Wan · 2012-12-05 14:42:05

S-Man42 wrote:

Genauer anschauen würde ich noch "Friedenstrasse". Da ist beides durchaus denkbar Frieden-Straße oder Friedens-Trasse.

Grundsätzlich möglich, konkret aber sehr unwahrscheinlich. Es handelt sich um den Weg 87630958, welcher umgeben ist von "Birkenstasse" (sic!), "Obere Ringstrasse" und "Untere Ringstrasse" sowie "Lindenstrasse". Alle Namen stammen von demselben Mapper und sogar aus demselben Änderungssatz.

S-Man42 wrote:

Ein wenig OffTopic, aber Süesslerstrasse kommt mir auch reichlich komisch vor. üe... statt ü oder ue und dann noch kurz gesprochenes ss dahinter...

Komisch kommt mir bei den Straßennamen insgesamt so einiges vor. "Th.-Mü.-Str.", "Strasse ohne Namen", " Obere Dorfstr." (mit zehn Leerzeichen) seien als Beispiele genannt.

Auch OT: Eine Friedenstraße (fälschlicherweise oft als Friedensstraße bzeichnet) gibt es bei uns auch. Tarnung à la Bundeswehr: dort liegt ein NATO-Tanklager.

Last edited by Oli-Wan (2012-12-05 14:43:51)

Oli-Wan · 2012-12-06 14:02:20

Oli-Wan wrote:

falsch gelesen, löst das Problem nicht. Also müssen unvollständige Objekte doch noch einmal im Nachgang aussortiert werden.

Nachtrag hierzu: das Schneideverhalten von osmosis ist in diesem Punkt für meine Zwecke vorteilhaft: Wege, die nur teilweise innerhalb des Polygons liegen, sind nach dem Schneiden unvollständig, weil die Knoten außerhalb des Polygons fehlen. Solche Wege verwerfe ich anschließend mit einem zusätzlichen Skript, 18 von derzeit 443 fliegen auf diese Weise heraus. Übrig bleiben nur solche, deren Knoten sämtlich innerhalb des Polygons liegen.

Leider scheint mein User Agent neuerdings blockiert zu werden. Auf die Spielzeug-API kann ich zugreifen, auf die echte nicht mehr. Mit JOSM geht es tadellos.

@BFX: Ist Deinen Bedenken mit der Durchsicht der "-strassen"-Liste und dem Aussparen von (vorerst nur) /[Gg]astrasse/ und /[Gg]leistrasse/ abgeholfen, oder siehst Du weiterhin Probleme?

Last edited by Oli-Wan (2012-12-06 14:50:43)

BFX · 2012-12-06 15:14:46

Die Liste ist ja doch recht überschaubar und wenn was falsch umbenannt wird, wird sich über kurz oder lang schon jemand melden oder es zurückändern und du hast den way beim nächsten mal wieder drin. Das könnte man eventuell noch abfragen.

Also meinetwegen leg los.

Oli-Wan · 2012-12-06 15:29:28

BFX wrote:

Die Liste ist ja doch recht überschaubar und wenn was falsch umbenannt wird, wird sich über kurz oder lang schon jemand melden oder es zurückändern und du hast den way beim nächsten mal wieder drin. Das könnte man eventuell noch abfragen.

Ja, das hatte ich mir auch schon überlegt: einmal angefaßte Objekte auf eine Veto-Liste zu setzen und gegen eine erneute Korrektur des gleichen (vermeintlichen) Fehlers zu verhindern. Ist aber noch nicht implementiert.

BFX wrote:

Also meinetwegen leg los.

Danke, aber wenn das so einfach wäre... Eigentlich wollte ich heute einen ersten Demolauf starten, aber die API redet nicht mehr mit Emacs.

aighes · 2012-12-06 15:46:12

Ich könnte mir Vorstellen, dass wegen der vielen Nodes dicht gemacht hat.

Oli-Wan · 2012-12-06 15:59:57

aighes wrote:

Ich könnte mir Vorstellen, dass wegen der vielen Nodes dicht gemacht hat.

Ich nicht. Ich habe gestern vier Änderungssätze erstellt und dabei fünf Objekte bearbeitet. Heruntergeladen habe ich zuvor genau diese Objekte; in einer ähnlichen Größenordnung bewegen sich die anderen Zugriffe in den letzten paar Wochen, seit ich Emacs erstmals auf die echte API losgelassen habe.
Die Knoten-Abfrage ist überflüssig geworden und davor nur vor etwa einer Woche eine Handvoll Male mit je <150 Stück gelaufen (aufgeteilt auf je drei nodes?nodes=...-Abfragen).

Bei den Zugriffen gestern gab es noch einen Fehler mit der UTF-8-Kodierung (die ich in einer Abfrage schlicht vergessen hatte), welchen der Server übel genommen haben könnte. Merkwürdig ist auch, daß ich selbst mit einem - nur versuchsweise! - gefälschten User Agent nicht mehr an die API drankomme. Mit der dev-API funktioniert es weiterhin problemlos. Naja, nachher mal auf dem anderen Rechner mit der aktuellen Version des OSM-Pakets versuchen.

Oli-Wan · 2012-12-06 22:53:56

So, auf dem anderen Rechner klappt es wieder. Warum es vorhin nicht ging, ist mir ein Rätsel.

Es gibt zwei erste Demo-Änderungssätze, mit der Bitte um Kontrolle und ggf. Kritik/Anmerkungen.
http://www.openstreetmap.org/browse/changeset/14180769
http://www.openstreetmap.org/browse/changeset/14180833

Ich habe die Kandidatenliste räumlich beschnitten (grob mit JOSM, "Bereinigen"), um nicht gleich ganz Deutschland mit fast leeren Änderungssätzen zu überziehen; daher die regionale Verteilung. (Außerdem gibt es eine ganze Reihe leerer Änderungssätze, die wurden versehentlich bei eigentlich trockenen Läufen erzeugt. Da saß das Problem allerdings vor dem Rechner.)

Der Korrekturvorgang ist nun vollständig automatisiert und könnte in einem Aufwasch alle derzeit vorhandenen "Strassen" etc. umbenennen; dies wird derzeit durch eine Beschränkung auf fünf bearbeitete Objekte unterbunden. Sofern es keinen neuen Widerspruch gibt, würde ich nächste Woche den Probebetrieb starten mit täglich etwa einem Änderungssatz à 10 Objekte.

Die Erkennung der bisher bekannten Spezialfälle "Gastrasse" und "Gleistrasse" ist eingebaut.

BFX · 2012-12-07 12:22:55

Als Testgebiet wäre der Süden BaWüs noch interessant.

Oli-Wan · 2012-12-07 12:37:20

BFX wrote:

Als Testgebiet wäre der Süden BaWüs noch interessant.

Du meinst wegen der Grenze zur Schweiz? Die ist fürs Filtern der Kandidaten interessant, aber für die Ausführung der Korrekturen nicht interessanter als andere Regionen. Oder gibt es in BaWü noch andere beachtenswerte Besonderheiten, die mir nicht bewußt sind? Wenn der Filterprozeß korrekt funktioniert (wovon ich nach aktuellem Stand ausgehe), ist hauptsächlich noch der eigentliche Korrekturvorgang zu prüfen.

Hier sind die Kandidaten, die es durch den Tagfilter und das Filterpolygon schaffen: http://osmac.bplaced.net/candidates.osm (Datenstand von vorgestern oder so, aber das ist ja Nebensache.) Einige Wege, deren Knoten teilweise außerhalb des Polygons liegen, treten hier als unvollständige Wege auf.
In dieser Datei: http://osmac.bplaced.net/candidates_strict.osm sind solche unvollständigen Wege entfernt, d.h. es sollten nur noch Wege übrig sein, die vollständig (d.h. mit ihren sämtlichen Knoten) innerhalb DE liegen. Diese Datei dient als Input für das Korrekturprogramm (als Kandidatenquelle, d.h. vor tatsächlichen Bearbeitungen wird jeweils der aktuelle Stand geladen).

Folgende "Strassen" werden zwischen beiden Versionen entfernt:
< Rheinhaldenstrasse
< Schulstrasse
< Grenzacherstrasse
< Grenzstrasse
< Freiburgerstrasse
< Thayngerstrasse
< Judenstrasse
< Weilstrasse
< Büsingerstrasse
< Konstanzerstrasse
< Lörracherstrasse
< Hauptstrasse
< Süesslerstrasse
< Konstanzerstrasse
< Oehningerstrasse
< Ebringerstrasse
< Kreuzlinger Strasse
< Hiltalingerstrasse

Soweit ich sehe, tragen diese Straßen alle ein is_in="... Schweiz ...", wohl um sie vor xybot zu schützen. Solche Schutzmaßnahmen sollten zukünftig hoffentlich nicht mehr nötig sein.

Last edited by Oli-Wan (2012-12-07 12:51:03)

BFX · 2012-12-07 13:20:53

Dann ist gut, ich dachte du wolltest den gesamtprozess nochmal testen.

SennaHB · 2012-12-07 19:58:25

Oli-Wan wrote:

Die Erkennung der bisher bekannten Spezialfälle "Gastrasse" und "Gleistrasse" ist eingebaut.

Wie schaut es mit den Fällen aus, bei denen "Straße" Präfix und nicht Suffix im Straßennamen ist - sind die auch berücksichtigt ?

In Halle (Saale) gibt es viele "Straße der ...":
Straße der Handwerke,
Straße der Opfer des Faschismus,
Straße der Einheit,
Straße der Waggonbauer,
Straße der Befreiung,
...

Timmo · 2012-12-07 20:44:41

Ich muss zugeben, dass ich so Bot-Attacken ziemlich bedenklich finde. Da kann einiges falsches geändert werden. Wir sollten uns doch noch selber vertrauen können. Wie wäre es mit einer Liste, die wir uns aufteilen und so kann jeder eigenmächtig entscheiden, ob es richtig ist. Der Bot hat kein Gewissen.

Denkt mal darüber nach...

viw · 2012-12-07 20:47:51

Timmo wrote:

Ich muss zugeben, dass ich so Bot-Attacken ziemlich bedenklich finde. Da kann einiges falsches geändert werden. Wir sollten uns doch noch selber vertrauen können. Wie wäre es mit einer Liste, die wir uns aufteilen und so kann jeder eigenmächtig entscheiden, ob es richtig ist. Der Bot hat kein Gewissen.
Denkt mal darüber nach...

Ja das ist richtig. Aber hast du jede Woche Lust so eine Liste abzuarbeiten?

Timmo · 2012-12-07 21:06:12

Gibt es denn bspw. in JOSM schon so eine Fehler-Vorlage für den Typ?

Also entweder ich habe es überlesen, oder es wurden noch keine richtigen Zahlen genannt, wie oft das Problem auftritt. Wenn es eine gewisse Menge überschreitet würde ich vielleicht dann doch nichts dagegen sagen...

aighes · 2012-12-07 22:48:19

Aktuell sind's rund 450-500 und die stammen aus den letzten 3 Monaten. Da lief der xybot zum letzten Mal.

Last edited by aighes (2012-12-07 22:49:22)

Timmo · 2012-12-08 12:19:16

Also ich dachte, wenn es um die 10.000 geht, dann hätte ich unter Bauchschmerzen so einen Durchlauf für gut befunden, aber dass können wir doch selber oder nicht?

maxbe · 2012-12-08 12:54:41

Timmo wrote:

Also ich dachte, wenn es um die 10.000 geht, dann hätte ich unter Bauchschmerzen so einen Durchlauf für gut befunden, aber dass können wir doch selber oder nicht?

Jo, aber wer will schon jede Woche über die Liste der Tipfehler schauen?

Wenn ich eine Liste von vermutlich falschen "Strassen" habe (z.B sowas wie "192398191, 144162419, 193405927, 130546766, 124159991, 115513952, 177851184, 186786406, 194740256, 180440109, 180256701 sind ß-ss-Fehler"), könnte ich die in JOSM laden und korrigieren. Allerdings wäre spätestens beim 5. Mal meine Prüftätigkeit nicht besser als die jedes Bots. Dann solls doch lieber der Bot gleich selber machen.

Grüße, Max

aighes · 2012-12-08 13:10:52

Neben der Tatsache, dass bei den meisten die Bereitschaft, dauerhaft stupide Fehler zu beheben recht gering ist, ist die Auffassungsgabe das Problem.

Ich habe durch mehr oder weniger Zufall die Gleistrasse gefunden und darauf hin alle *strasse* separat gefiltert und speziell nach weiteren Fehlern gesucht. Trotz zweimaliger Durchsicht hab ich die Gastrasse nicht gefunden. Irgendwann schaltet der Kopf einfach ab.

Timmo · 2012-12-08 13:21:16

Hallo Max,

ich weiß ja nicht wie die anderen das sehen, aber ich könnte mir vorstellen, dass wir uns einmal im Quartal dransetzen. Und dann machen wa das

Gruß,
Tim

viw · 2012-12-08 13:53:14

Timmo wrote:

Hallo Max,
ich weiß ja nicht wie die anderen das sehen, aber ich könnte mir vorstellen, dass wir uns einmal im Quartal dransetzen. Und dann machen wa das
Gruß,
Tim

Ich denke das Problem ist viel größer. Es ist eben nicht damit getan einmal im Quartal 500 Rechtschreibfehler zu beseitigen. Es gibt noch zahlreiche weitere Fehler, welche beseitigt werden möchten und das kann dann kein Bot machen.
Vielleicht kann der Bot ja eine Liste mit all seinen Änderungen erzeugen, damit Mapper wie Tim nochmal drüberschauen können ob falsch positive Werte dabei waren. Und dann die Ausnahmeliste erweitern. Aber ansonsten sollte der Bot das alleine tun. Ich würde jedenfalls nicht mehr machen als der Bot und kann mich max nur anschließen.

Wolfgang B · 2012-12-08 18:14:32

Um Fehler darzustellen, brauche ich allerdings keinen Bot. Da reichen auch unsere Qualitätstools wie keepright oder OSMI. Vernünftige Erweiterungen für diese Tools werden sich ja machen lassen.
Zu bemerken ist, dass im Falle der Änderung der Schreibweise Straßennamen ein Bot durchaus Sinn macht. So bleibt die menschliche Schaffenskraft dem Projekt OSM für Edits erhalten, die kein Bot machen kann.

Announcement

#26 2012-12-05 12:15:27

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#27 2012-12-05 12:41:12

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#28 2012-12-05 14:23:38

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#29 2012-12-05 14:37:10

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#30 2012-12-05 14:42:05

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#31 2012-12-06 14:02:20

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#32 2012-12-06 15:14:46

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#33 2012-12-06 15:29:28

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#34 2012-12-06 15:46:12

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#35 2012-12-06 15:59:57

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#36 2012-12-06 22:53:56

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#37 2012-12-07 12:22:55

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#38 2012-12-07 12:37:20

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#39 2012-12-07 13:20:53

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#40 2012-12-07 19:58:25

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#41 2012-12-07 20:44:41

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#42 2012-12-07 20:47:51

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#43 2012-12-07 21:06:12

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#44 2012-12-07 22:48:19

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#45 2012-12-08 12:19:16

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#46 2012-12-08 12:54:41

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#47 2012-12-08 13:10:52

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#48 2012-12-08 13:21:16

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#49 2012-12-08 13:53:14

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

#50 2012-12-08 18:14:32

Re: Vorschlag für autom. Edit: Schreibweise Straßennamen

Board footer