You are not logged in.

#26 2012-01-10 18:47:09

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

user_5359 wrote:

Der Ruleset von xybot, der das Thema Broken Street behandelt, ist wieder aktiviert worden. Die Anzahl müsste eigentlich in den nächsten Tag deutlich sinken.

Die Zahl ist schon am 04.01. deutlich zurückgegangen (−256). Der xybot korrigiert jetzt übrigens auch addr:postcode-Werte der Form "D-12345" und "DE 12345".

Offline

#27 2012-01-14 17:02:51

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Es ist jetzt eine Version für ganz Deutschland verfügbar: http://gulp21.bplaced.net/osm/housenumbervalidator/

Bitte beachten, dass max. 1800 Probleme auf einmal angezeigt werden (wenn nötig, reinzoomen).

Durch die Umstellung auf die Datenbank gibt es jetzt leider wieder ein Encoding-Problem. An der Datenbank selbst kann es eigentlich nicht liegen, da in der Ausgabe die Umlaute in Ordnung sind. Ich vermute, dass ich OpenLayers noch irgendwie den Codec mitteilen muss. Es wäre schön, wenn mir jemand sagen könnte, wie ich das Problem lösen kann.

Offline

#28 2012-01-14 17:46:11

errt
Member
Registered: 2009-12-01
Posts: 1,068

Re: housenumbervalidator

Vielen Dank, konnte gleich ein paar Fehler ausbessern, die mir vor einiger Zeit unterlaufen waren.

Offline

#29 2012-01-14 18:18:35

hurdygurdyman
Member
Registered: 2009-12-10
Posts: 2,850

Re: housenumbervalidator

gulp21 wrote:

Es ist jetzt eine Version für ganz Deutschland verfügbar: http://gulp21.bplaced.net/osm/housenumbervalidator/
...

Tolle Sache, "meine" Daten sind sauber cool
kann also getrost weiter ODBL-remappen smile


Gruß Michael (hurdygurdyman)
Ich mappe für Menschen, die Karten verwenden, welche aus OSM-Daten gerendert wurden tongue http://de.wikipedia.org/wiki/KISS-Prinzip cool

Offline

#30 2012-02-20 15:14:17

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Jetzt werden auch Probleme in Österreich angezeigt: http://gulp21.bplaced.net/osm/housenumb … yers=BTTTT

Und mit dem OSMAddressCorrector gibt jetzt noch ein weiteres Tool zum Aufspüren fehlerhafter Hausnummern.

Offline

#31 2012-02-20 16:06:03

Basstoelpel
Member
Registered: 2008-11-02
Posts: 1,072

Re: housenumbervalidator

Es gibt eine größere Zahl false positives, wo eine Präposition im Straßennamen steht, und die klein geschrieben ist. Zum Beispiel von-Links-Straße, an der Mauer. Der Name kann dann tatsächlich so korrekt sein. Ist es möglich, das abzufangen?

Baßtölpel

Offline

#32 2012-02-20 16:13:18

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Basstoelpel wrote:

Es gibt eine größere Zahl false positives, wo eine Präposition im Straßennamen steht, und die klein geschrieben ist. Zum Beispiel von-Links-Straße, an der Mauer. Der Name kann dann tatsächlich so korrekt sein. Ist es möglich, das abzufangen?

Ich kann natürlich sämtliche Straßennamen, die mit van|von|an|am beginnen ignorieren lassen. Ich war mir nur mangels solcher Straßennamen in meiner Umgebung nie richtig sicher, ob die Straßennamen auch auf den Straßenschildern mit kleinem Anfangsbuchstaben geschrieben werden.

Offline

#33 2012-02-20 17:37:30

Basstoelpel
Member
Registered: 2008-11-02
Posts: 1,072

Re: housenumbervalidator

Dort, wo es mir aufgefallen ist, hatte die die zugehörige Straße die gleiche Schreibweise.

Was wird bei den Straßennamen denn überhaupt getestet?

Baßtölpel

Offline

#34 2012-02-20 19:04:44

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Basstoelpel wrote:

Was wird bei den Straßennamen denn überhaupt getestet?

Ein Straßenname wird als problematisch angesehen, wenn eine der folgenden Bedingungen erfüllt ist:
- endet auf "Str" oder "str"
- enthält "Str." oder "str."
- erstes Zeichen ist kein Großbuchstabe (Ausnahmen: enthält eine Zahl, auf die ein "e" folgt (z.B. "55er-Straße"), oder (neu) beginnt mit "an", "am", "van" oder "von")

Update 21.02.12: Ab heute werden Straßennamen, die mit einem kleingeschriebenen "an", "am", "van" oder "von" beginnen, nicht mehr als "problematisch" eingestuft. (Diese Änderung hat für einen sehr deutlichen Rückgang der Fehlerzahlen gesorgt.)

Last edited by gulp21 (2012-02-21 18:51:26)

Offline

#35 2012-03-16 21:38:20

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Zur Vollständigkeit halber sei es auch hier erwähnt:

Es gibt jetzt die Möglichkeit, sich bei einem Art Newsletter anzumelden, bei dem man (fast) täglich eine E-Mail mit einer fehlerhaften Adresse und einem Duplikat bekommt. (Idee von poppei82). Registrierung über "Ein korrigierter Fehler am Tag" unter http://gulp21.bplaced.net/osm/housenumbervalidator/.

Offline

#36 2012-03-24 12:10:22

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

In den letzten Tagen habe ich den housenumbervalidator von osmosis auf osmconvert und osmfilter (zum vorfiltern der Dateien) umgestellt. Dank der --all-to-nodes konnte ich den Code des housenumbervalidators vereinfachen (keine Sonderbehandlung der ways mehr), wodurch sich insgesamt eine Laufzeitverkürzung von ca. 75% ergibt.
Sollten sich bei der Umstellung irgendwelche Fehler eingeschlichen haben, bitte melden.

Offline

#37 2012-05-01 13:45:04

OliverG
Member
Registered: 2012-03-25
Posts: 21

Re: housenumbervalidator

Danke für den housenumbervalidator, das ist ein echt praktisches Tool! Hab gleich mal ein paar Fehler in der Gegend korrigiert und dabei auch einige Häuser bemerkt, die addr:housename statt addr:housenumber verwenden (aber mit einer Nummer als housename). Beispiel: http://www.openstreetmap.org/browse/node/808615479 (hab ich jetzt schon geändert). Das kommt wahrschl. durch die Autovervollständigung im Editor... Vielleicht kannst du sowas als Zusatzprüfung einbauen (also wenn addr:housename eine Hausnummer enthält) und als Warnung anzeigen?

Ach ja, wird die Prüfung eigentlich täglich gemacht?

Offline

#38 2012-05-01 15:47:29

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

OliverG wrote:

Vielleicht kannst du sowas als Zusatzprüfung einbauen (also wenn addr:housename eine Hausnummer enthält) und als Warnung anzeigen?

Danke für die Anregung. Leider ist eine solche Prüfung auf Grund der Programmstruktur nicht so schnell umzusetzen, aber vielleicht baue ich das in Zukunft mal ein.

OliverG wrote:

Ach ja, wird die Prüfung eigentlich täglich gemacht?

Die Datenbank wird (meistens) täglich aktualisiert.

Offline

#39 2012-05-01 15:50:52

slint
Member
Registered: 2008-12-22
Posts: 140

Re: housenumbervalidator

Sehr tolles tool, aber ein Feature gibt es das ich mir wünsche: abhaken von verbesserten Fehlern

Offline

#40 2012-05-01 15:56:59

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

slint wrote:

aber ein Feature gibt es das ich mir wünsche: abhaken von verbesserten Fehlern

Das wünsche ich mir auch. wink Ich habe aber momentan keine Idee, wie ich verhindern kann, dass die "Abgehakt"-Information bei einem Datenbank-Update (dabei wird der zunächst der Datenbankinhalt komplett gelöscht) verloren geht.

Last edited by gulp21 (2012-05-01 16:03:18)

Offline

#41 2012-05-02 14:19:21

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: housenumbervalidator

gulp21 wrote:
Basstoelpel wrote:

Es gibt eine größere Zahl false positives, wo eine Präposition im Straßennamen steht, und die klein geschrieben ist. Zum Beispiel von-Links-Straße, an der Mauer. Der Name kann dann tatsächlich so korrekt sein. Ist es möglich, das abzufangen?

Ich kann natürlich sämtliche Straßennamen, die mit van|von|an|am beginnen ignorieren lassen. Ich war mir nur mangels solcher Straßennamen in meiner Umgebung nie richtig sicher, ob die Straßennamen auch auf den Straßenschildern mit kleinem Anfangsbuchstaben geschrieben werden.

Das möchte ich noch einmal aufgreifen. Straßennamen mit "von" und "vom" am Anfang nicht als Fehler aufzufassen, halte ich für sinnvoll. Meistens handelt es sich um Straßen, die nach Adligen benannt wurden. Allerdings scheint das auch nicht immer zu klappen, etwa hier (liegt es am Bindestrich?).

Aber klein geschriebene Präpositionen "an" und "am" (sowie "in", "im", "auf", "zur") am Anfang wären bei den Straßen, die ich kenne, stets falsch. Ich weiß nicht, ob das regional unterschiedlich ist, aber hier beginnen auch Straßennamen mit solchen Präpositionen stets mit Großbuchstaben.

Gerade falsch geschriebene Straßennamen findet man allerdings auch zuverlässig(er) mit dem Adresslayer von OSMI. Wenn die Schreibweise einer Hausnummer vom eingetragenen Straßennamen abweicht (addr:street="im Eimer", aber name="Im Eimer" an einer nahegelegenen Straße), wird "street not found" gemeldet. Insofern muß man den housenumbervalidator in diesem Punkt nicht unbedingt bis ins letzte optimieren. Vielleicht wäre ein Link auf dieselbe Region im OSMI hilfreich. Kombiniert man beide Instrumente, kann man schon einen erheblichen Teil der Fehler erkennen und beseitigen.

Im übrigen denke ich, daß jene Fehler, die xybot automatisch berichtigt, nicht angezeigt werden brauchen, die verschwinden schließlich von selbst. Das wirklich wertvolle Merkmal des housenumbervalidator (was nämlich auch OSMI nicht bietet) ist aus meiner Sicht ohnehin die Erkennung von Duplikaten.
Allerdings hatte ich vor einiger Zeit den Eindruck, daß die Duplikaterkennung nur funktioniert, wenn zwei Adressen in allen Merkmalen übereinstimmen, aber nicht, wenn z.B. :street und :housenumber übereinstimmen, aber eines der beiden Objekte zusätzlich noch :city hat, das andere aber nicht. Hier wäre es m.E. sinnvoll, Abweichungen in :city, :postcode, :country zu ignorieren, wenn beide Objekte höchstens einen bestimmten Abstand voneinander aufweisen. (Bahnhofstraße 1 in 12345 Pusemuckel und Bahnhofstraße 1 ohne Ort und PLZ sind in Ordnung, wenn mindestens $(heuristischer Wert) auseinander.) Daß eine solche Kontrolle mit deutlichem Mehraufwand einhergeht, ist mir klar, aber ich halte sie für sinnvoll.

gulp21 wrote:
slint wrote:

aber ein Feature gibt es das ich mir wünsche: abhaken von verbesserten Fehlern

Das wünsche ich mir auch. wink Ich habe aber momentan keine Idee, wie ich verhindern kann, dass die "Abgehakt"-Information bei einem Datenbank-Update (dabei wird der zunächst der Datenbankinhalt komplett gelöscht) verloren geht.

Na, so schwierig kann das nicht sein. Andererseits sehe ich bei der gegebenen Aktualisierungsfrequenz nicht die Notwendigkeit. Ist ein Fehler erledigt, wird er nach zwei bis drei Tagen auch nicht mehr angezeigt. Bis dahin kann man sich ja einem anderen Stadtteil etc. zuwenden.
Aber wäre es möglich, das Koordinatensystem der Slippymap umzustellen? lat=6446066.23248&lon=890951.76387 im obigen Link ist ja schauderhaft ;-)

Last edited by Oli-Wan (2012-05-02 14:21:38)


No animals were harmed in the writing of this posting.

Offline

#42 2012-05-02 15:23:04

MoTaBi
Member
Registered: 2011-06-15
Posts: 424

Re: housenumbervalidator

Sehr gutes Tool.
Sofort in meine Linkliste. :top:

Als Anregung noch entsprechend zu der Überprüfung der Straßennamen.
Bei Gemeinden mit Ergänzungen im Namen fliegen in den Adressen und den Gemeinde-Nodes auch mehrere Schreibweisen rum.
Mein Beispiel hier ist "Reichenbach an der Fils", "Reichenbach/Fils", evtl. noch "Reichenbach a.d. F." oder alle weiteren Kombinationen mit und ohne Leerzeichen.
Das gleiche gilt natürlich auch für "an der Teck", "ob der Tauber" usw.
Vielleicht lässt sich's ja mit reinbasteln. smile

Offline

#43 2012-05-02 16:19:42

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Oli-Wan wrote:

Allerdings scheint das auch nicht immer zu klappen, etwa hier (liegt es am Bindestrich?).

Nein, das liegt daran, dass "vom" bisher nicht ignoriert wird.

Oli-Wan wrote:

Aber klein geschriebene Präpositionen "an" und "am" (sowie "in", "im", "auf", "zur") am Anfang wären bei den Straßen, die ich kenne, stets falsch. Ich weiß nicht, ob das regional unterschiedlich ist, aber hier beginnen auch Straßennamen mit solchen Präpositionen stets mit Großbuchstaben.

Es ist wirklich die Frage, ob das überall so ist. Gibt es zufälligerweise ein bundesweit einheitliches Regelwerk für die Schreibweise für Straßennamen? (wahrscheinlich nicht…)

Oli-Wan wrote:

Vielleicht wäre ein Link auf dieselbe Region im OSMI hilfreich.

Ist jetzt drin.

Oli-Wan wrote:

Im übrigen denke ich, daß jene Fehler, die xybot automatisch berichtigt, nicht angezeigt werden brauchen, die verschwinden schließlich von selbst.

Das sind ja hauptsächlich die addr:street=Musterstr. Sachen, deshalb werden Fehler bei addr:street auch in einer anderen Farbe angezeigt. Aber dass die Fehler angezeigt werden, erinnert vielleicht den ein oder anderen wieder daran, dass Abkürzungen vermieden werden sollten.

Oli-Wan wrote:

Allerdings hatte ich vor einiger Zeit den Eindruck, daß die Duplikaterkennung nur funktioniert, wenn zwei Adressen in allen Merkmalen übereinstimmen, aber nicht, wenn z.B. :street und :housenumber übereinstimmen, aber eines der beiden Objekte zusätzlich noch :city hat, das andere aber nicht. Hier wäre es m.E. sinnvoll, Abweichungen in :city, :postcode, :country zu ignorieren, wenn beide Objekte höchstens einen bestimmten Abstand voneinander aufweisen. (Bahnhofstraße 1 in 12345 Pusemuckel und Bahnhofstraße 1 ohne Ort und PLZ sind in Ordnung, wenn mindestens $(heuristischer Wert) auseinander.) Daß eine solche Kontrolle mit deutlichem Mehraufwand einhergeht, ist mir klar, aber ich halte sie für sinnvoll.

Ein Hausnummer wird nur denn in die Duplikat-Prüfung mit eingeschlossen, wenn alle addr:*-Werte (ausgenommen country; bei Bremen, Hamburg und Berlin auch ausgenommen city) angegeben sind. Wenn ich mal die Zeit finde, gucke ich mal, ob ich eine Entfernungs-basierte Duplikatsprüfung hinzufüge.

Oli-Wan wrote:
gulp21 wrote:
slint wrote:

aber ein Feature gibt es das ich mir wünsche: abhaken von verbesserten Fehlern

Das wünsche ich mir auch. wink Ich habe aber momentan keine Idee, wie ich verhindern kann, dass die "Abgehakt"-Information bei einem Datenbank-Update (dabei wird der zunächst der Datenbankinhalt komplett gelöscht) verloren geht.

Na, so schwierig kann das nicht sein.

Inzwischen habe ich mir ein paar Gedanken dazu gemacht, und es scheint doch recht einfach zu sein.

Oli-Wan wrote:

Andererseits sehe ich bei der gegebenen Aktualisierungsfrequenz nicht die Notwendigkeit. Ist ein Fehler erledigt, wird er nach zwei bis drei Tagen auch nicht mehr angezeigt. Bis dahin kann man sich ja einem anderen Stadtteil etc. zuwenden.

Deshalb habe ich mir dazu bisher auch keine Gedanken gemacht.

Oli-Wan wrote:

Aber wäre es möglich, das Koordinatensystem der Slippymap umzustellen? lat=6446066.23248&lon=890951.76387 im obigen Link ist ja schauderhaft ;-)

Erledigt.

Offline

#44 2012-05-02 16:56:35

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: housenumbervalidator

gulp21 wrote:
Oli-Wan wrote:

Im übrigen denke ich, daß jene Fehler, die xybot automatisch berichtigt, nicht angezeigt werden brauchen, die verschwinden schließlich von selbst.

Das sind ja hauptsächlich die addr:street=Musterstr. Sachen, deshalb werden Fehler bei addr:street auch in einer anderen Farbe angezeigt. Aber dass die Fehler angezeigt werden, erinnert vielleicht den ein oder anderen wieder daran, dass Abkürzungen vermieden werden sollten.

Da ist wiederum auch was dran.

gulp21 wrote:

Ein Hausnummer wird nur denn in die Duplikat-Prüfung mit eingeschlossen, wenn alle addr:*-Werte (ausgenommen country; bei Bremen, Hamburg und Berlin auch ausgenommen city) angegeben sind. Wenn ich mal die Zeit finde, gucke ich mal, ob ich eine Entfernungs-basierte Duplikatsprüfung hinzufüge.

Dem sich wundernden Mitleser sollte zu HB, HH, B vielleicht gesagt werden, daß Du das Programm bundeslandweise laufen läßt und zwei Adressen in den jeweiligen Geofabrik-Extrakten der genannten Stadtstaaten - Randbereiche ausgenommen - keine verschiedenen Werte von addr:city haben können ;-)
Danke für die Erklärung. Vielleicht steige ich mit dem Hinweis besser durch den Quellcode durch.

Randnotiz: In Deinem Skript "filter" meinst Du übrigens vermutlich power=sub_station (nicht substation).


No animals were harmed in the writing of this posting.

Offline

#45 2012-05-02 17:01:34

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

Oli-Wan wrote:

Randnotiz: In Deinem Skript "filter" meinst Du übrigens vermutlich power=sub_station (nicht substation).

Danke für den Hinweis.

Offline

#46 2012-05-03 10:26:40

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: housenumbervalidator

gulp21 wrote:

Ein Hausnummer wird nur denn in die Duplikat-Prüfung mit eingeschlossen, wenn alle addr:*-Werte (ausgenommen country; bei Bremen, Hamburg und Berlin auch ausgenommen city) angegeben sind.

Vielleicht könntest Du zumindest auf die Postleitzahl verzichten (also auch vergleichen, wenn diese fehlt). Ich habe durch bloßen Zufall gesehen, daß ich kürzlich eine Adresse doppelt vergeben habe (in diesem Fall ganz klar einmal falsch) - jedoch ohne addr:postcode. Der housenumbervalidator findet diese nicht.
Eine solche Änderung generiert natürlich auch Falschmeldungen, denn wie viele verschiedene Bahnhofstraßen gibt es etwa in Berlin? Andererseits ist das nicht wirklich eine Falschmeldung, denn die Straßen sollten sich dann tatsächlich in der PLZ unterscheiden - bzw. bei kleineren (zusammengelegten) Gemeinden im Ortsteil.
Die entfernungsabhängige Prüfung wäre aber natürlich der Königsweg ;-)
Kannst Du bitte einmal folgendes ausprobieren: wenn addr:postcode an beiden Adressen vorhanden ist, dieses in den Vergleich einbeziehen; ansonsten nur die übrigen Tags vergleichen und auch dann ein Duplikat melden, wenn nur diese übereinstimmen.


No animals were harmed in the writing of this posting.

Offline

#47 2012-06-08 13:53:32

gulp21
Member
Registered: 2010-03-13
Posts: 65
Website

Re: housenumbervalidator

slint wrote:

aber ein Feature gibt es das ich mir wünsche: abhaken von verbesserten Fehlern

OliverG wrote:

Vielleicht kannst du sowas als Zusatzprüfung einbauen (also wenn addr:housename eine Hausnummer enthält) und als Warnung anzeigen?

Beide Wünsche sind jetzt erfüllt: http://gulp21.bplaced.net/osm/housenumbervalidator

Die von Oli-Wan vorgeschlagene Entfernungs-basierte Duplikatsprüfung bei unvollständigen Adressen ist noch nicht implementiert, da ich noch nicht weiß, wie ich die Bedingungen effizient überprüfen kann (aber die Funktion wir noch kommen).

Offline

#48 2012-06-08 15:20:10

Lübeck
Member
Registered: 2009-02-17
Posts: 2,837

Re: housenumbervalidator

Hi !

Könntest du das mal für Lübeck laufen lassen ?

Jan


Redmi Note 9 Pro  mit Android 11, Tablet Android 8.1, PC: Win10

Offline

#49 2012-06-08 15:30:15

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: housenumbervalidator

Lübeck wrote:

Hi !

Könntest du das mal für Lübeck laufen lassen ?

Jan

Bundesweit reicht nicht?
http://gulp21.bplaced.net/osm/housenumb … ers=B0TTTT
Vorsicht: Kein schöner Anblick.


No animals were harmed in the writing of this posting.

Offline

#50 2012-06-08 15:41:53

wmann
Member
Registered: 2010-02-25
Posts: 9

Re: housenumbervalidator

Tolle Arbeit. Vor allem das mit dem Abhaken hat echt gefehlt. Hab jetzt schon mal einiges gemacht und mir ist aufgefallen wenn man nochmal auf den Haken klickt kommt ein SQL Fehler. Ich fände es besser und schneller wenn man auf den Haken klickt das kein Popup kommt und der vorhandene Dialog gleich geschlossen wird. Ein anschließender Refresh der Karte ist bestimmt nicht so einfach damit der Fehler gleich ohne etwas zu tun verschwunden wäre.

Ich fände es auch toll wenn man wie bei keep right sagen könnte welche Fehler ich sehen will, da ich mir momentan primär die Probleme anschaue. Für die Duplikate fehlt mir noch irgendwie die richtige Herangehensweise. Hast du da evtl. eine Quelle?

Gruß
wmann

Offline

Board footer

Powered by FluxBB