HILF MIT! OpenStreetBugs schließen bzw. zu OSM-Notes übertragen

Hallo Christian

Zwar ist auf den beiden Online-Seiten (schokokeks, osmbugs), auf denen man Bugs eintragen konnte, das Eintragen deaktiviert worden. Allerdings gibt es noch die zugehörige API und die wird von etlichen APPs verwendet. Es dauerte eine Weile, bis die APP-Entwickler überzeugt wurden, von OSM-Bugs auf OSM-Notes umzustellen.

Trotzdem ist erfreulicherweise festzustellen, dass seit August 2013 die Zahl der geschlossenen Bugs deutlich die der neuen Bugs übertrifft. Im November 2013 war das Verhältnis rund 1:10 (609 neue zu 7217 geschlossene), während es im Oktober 2013 noch bei rund 1:2 (3329 zu 7304) mit vergleichbar vielen geschlossenen Bugs war. Der Kontakt zu den APP-Entwicklern wirkt sich mittlerweile also deutlich bei der Zahl neuer Bugs aus. 609 neue Bugs im November gegenüber noch 3329 im Oktober sind nur noch grob ein Fünftel.

Edbert (EvanE)

Ein Ausschnitt “rund um Deutschland”:

[Werbung]Quelle: http://osm.mueschelsoft.de[/Werbung]

Wirklich interessante Seite.
Da kann man auch für kleinere Ausschnitte eine Statistik bekommen.

Hast du vor, in Zukunft so eine Seite auch für OSM-Notes zu machen?
Nach dem Auslaufen von OSM-Bugs wäre das ein logischer Schritt.

Edbert (EvanE)

Jan(?) , du nutzt die API doch auch, bei Dir konnte ich gerade noch einen Task aufmachen, aber eine coole Seite.

Da hast du wohl recht - der Code für die Karte ist einfach ein älterer clone von osmbugs.org. Jetzt habe ich den Zugriff auf die API zum Erstellen von Bugs rausgenommen.

Vielleicht… Gibt es eigentlich irgendwo einen full-history dump der Notes zum Download?

Um es mal mit Monty Python zu sagen: “And Now for Something Complete Different” :slight_smile:

Ich habe mich mal um eine Statistik der Notes bemüht und 2 Charts erstellt, die die aktuelle Situation anzeigen. Beide Charts werden mit allen Notes des Planeten erstellt und 5x im Laufe eines Tages automatisch durch einen cron-Job aktualisiert. (0/8/12/16 und 20:00 Uhr)

Beim ersten Chart mit allen Notes bin ich mir absolut sicher, daß er stimmt; beim 2. mit der OSB-Auswertung bitte ich um Hinweise, falls ich komplett daneben liegen sollte.

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/notes.png

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/osbnotes2.png

Da ich da Daten jetzt endlich in meiner DB habe, sind andere Auswertungen wohl auch machbar. Ruhig melden.

@mueschel: Nein, es gibt keinen Dump der Notes - zumindest hab ich keinen gefunden. Ich hab mir die Notes in einem Java-Programm runtergeladen, xml geparsed und die Daten in zwei Postgresql-Tabellen gestellt. Sehr kritisch war der Update der Daten, da die Entwickler eine so chaotische Api auf die Beine gestellt haben, die dafür nicht geeignet ist sowas nicht gerade einfach macht. Wenn du selber Postgresql im Einsatz haben solltest, hätte ich eine Lösung für dich.

Gruß
walter

Ich dachte, man kann bei OSB keine mehr hinzufügen?

Sie Post #56 von EvanE

das sind keine neuen Meldungen im OSB-System sondern alte, nicht erledigte OSB-Meldungen, die als Note importiert wurden.

Und wenn meine Auswertung der Notes einigermaßen stimmt, bleiben das weiterhin “Karteileichen” :frowning:

gruss
walter

Bei OSB sind’s aber trotzdem ~250 neue diesen Monat. Gibt es z.B. einen RSS-Feed “neue OSB-Bugs weltweit”? Sind die UserAgent-Strings brauchbar?

Dabei wäre es für den Admin der API (nicht der APPs) ein leichtes, die dicht zu machen.

Nun denn
Walter

Ich glaube (!) dass eins der kleineren Probleme des Admins ist, das dicht zu machen.
Eins der grösseren Probleme ist m.E. - soweit ich keine Informationen zum Thema übersehen habe - dass er nie gefragt oder konsultiert wurde, was er davon hält die Geschichte nach OSM zu übernehmen.

jo, das passt! Genauso wie hier im Forum verzweifelt nach eine Möglichkeit gesucht wird, eine bestimmte Software kaufen zu können aber der Verkäufer (mit Webseite) wohl noch nie gefragt wurde :frowning:

Gruss
walter

ps: mein “Motz des Tages”

Hier mal eine neue OSB-Notes-Auswertung. Es werden einige OSB-Notes mehr gefunden als bei der alten Auswertung aber am Trend ändert das leider nichts.

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/osbnotes2.png

Gruß
walter

ps: Dazu steht auch was bei Talk-DE. (sorry - nabble only)

Das sind die, die von OSB nach OSMN verschoben wurden, verstehe ich das richtig? Nachtrag: In der Grafik steht’s, aus dem Text hier im Thread war es (mir) nicht so ersichtlich.

Da hätte ich einen (spontanen, bestimmt nicht umsetzbaren) Vorschlag, wie man das etwas sanfter machen könnte: Die API immer in der Mitte des abgefragten Gebiets eine Fake-Meldung mit einem Hinweis, dass man doch bitte aktualisieren möge, ausliefern lassen.

genau, das sind die nach OSM-Notes verschobenen OSB-Daten. Wurde aber in diesem Thread bereits hier genau erklärt.

Gruss
walter

Dann ist nur noch die Frage, ob die Quellen dieser Neueinträge (altes Osmand, Geovelo, …) überhaupt vorher bestehende OSBs abfragen und anzeigen oder nur per “Fehler melden” die Erstellung eines OSB ermöglichen. In letzterem Fall bringt die Fake-Meldung gar nichts.
Notes steht inzwischen seit acht Monaten zur Verfügung. Seitdem hatten Entwickler Zeit, ihre Anwendungen anzupassen - m.E. “sanft” genug. (Und gegen aktualisierungsunwillige Nutzer, wie hier bei Osmand, hilft sowieso nichts.)

Ich denke, ein Urteil über den “Trend” ist hier verfrüht. Die nun verschobenen OSBs leiden unter mehreren Auswahleffekten (Bias):
Erstens handelt es sich bevorzugt um solche, die nur durch Recherche vor Ort und nicht einfach per Blick aufs Luftbild gelöst werden können - sonst wären sie nämlich inzwischen geschlossen, spätestens im Zuge der aktuellen Putzaktionen, wo manch einer recht “vertrauensvoll” vorgeht.
Zweitens liegen sie bevorzugt in Regionen, wo es wenige bis keine Mapper gibt oder diese sich nicht für Fehlerkorrekturen interessieren.
Drittens sind solche mit unklarer bis völlig unverständlicher Beschreibung darunter. Solche sollte man m.E. nach /dev/null schicken; die beiden vorgenannten Punkte sind allein noch kein Grund dafür.
“Komplexe” Meldungen in mapperarmen Regionen bleiben auch dann, wenn sie frisch erstellt werden, länger liegen als solche in einer mapperreichen Stadt, die noch dazu vom warmen Sofa aus gelöst werden können. Insofern ist es noch zu früh, sich über die auf den ersten Blick bescheidene Schließungsquote (~12%) zu ärgern.

Übrigens mal ein Lichtblick: vor einigen Monaten habe ich bekanntlich einige dutzend OSBs verschoben, welche inhaltlich sinnvoll und plausibel waren, die ich aber nicht selbst verifizieren konnte. Vor einigen Tagen hat ein gelegentlicher Mapper viele davon - sorgfältig - bearbeitet und geschlossen.

Hallo zusammen,

ich fange mal mit ein paar Links an.
Die Beschreibung zu OpenStreetbugs im Wiki ist hier:
https://wiki.openstreetmap.org/wiki/Openstreetbug

Die Seite zur Organisation der OSB-Ablösung ist hier:
https://wiki.openstreetmap.org/wiki/OpenStreetBugs/Phase_Out

Aktuelle Statistiken zu den noch offenen Bugs in OSB findet ihr hier:
http://www.h-renrew.de/h/osm/osmchecks/09_osb_phaseout/

Zum Thema anlegen neuer Bugs in OSB:
Es wurde bewusst nur das Frontend abgeschaltet, da von der Abschaltung der API auch andere Programme, Apps und Webseiten betroffen sind.
Die Abschaltung der homepage habe ich zusammen mit Emka durchgeführt.
Details s. github:
https://github.com/emka/openstreetbugs/issues/50
und entsprechende Commits in seinem Repo:
https://github.com/emka/openstreetbugs/commits/master

Wir versuchen die Webseitenbetreiber und App-Entwickler zu erreichen und auf einen Umstieg zu Notes zu bewegen. Einige haben bereits das Anlegen neuer Bugs abgeschaltet oder sind komplett auf Notes umgestiegen.
https://wiki.openstreetmap.org/wiki/Openstreetbug#Tools_for_Using_and_Exporting_Data
In der Tabelle sind die Apps / Webseiten aufgelistet, mit denen noch Bugs angelegt werden können.

Die meisten neuen Bugs werden derzeit in Moskau angelegt, wahrscheinlich nur von einem user mit einer alten osmand-Version.
Ich versuche derzeit den User zu erreichen und auf den Umstieg zu Notes zu bewegen.
s. auch dieser ältere Blogpost (der Inhalt stimmt noch):
http://www.openstreetmap.org/user/werner2101/diary

Zum Thema Bugs von OSB nach Notes verschieben:
Derzeit kann man die OSBs halbautomatisch mit OSB2Notes (Oli-Wans tool) und osb_fixing (mein tool) verschieben.
Die Anzahl der mit den Tools verschobenen Bugs ist auf meiner Statistikseite ganz am Ende geplottet.
In der Graphik von oben (von Wambacher) fehlen die mit OSB2Notes verschobenen Bugs, aufgrund eines anderen Filters sind in dem Plot auch manuell verschobenen Bugs enthalten.

Den verschobenen Bugs (ca 2000) stehen mittlerweile 17000 geschlossene Bugs in OSB gegenüber. Die Verschiebung von Bugs erfolgt hoffentlich nicht willkürlich, sondern nach einem Review.

In meinem ersten Blogpost zum Thema habe ich die Fehler folgendermaßen eingeteilt:

10% useless descriptions
30% already fixed in the map, but the OSB have not been closed
10% can be fixed with the bug description
20% can be fixed with aerial images (Bing)
30% local knowledge required (can not be fixed)

Da viele offenen Fehler sehr alt sind (durchschnittlich ca. 2 Jahre), können sicherlich mehr als die 20% mit Bing gelöst werden.
Einige Fehlerarten hatte ich bei meinem Blogpost Mitte Oktober noch nicht im Blick.
Fehlermeldungen, die auch von Keepright entdeckt werden:

  • “Bücke oder Tunnel?” (bei Kreuzung von Wasserwegen mit Straßen
  • “Name der Schule fehlt” … natürlich ohne Angabe des Names
  • “Name fehlt” … z.B. bei Straßen
    Dies Bugs kann man meiner Meinung nach schließen, da in der Beschreibung keine Information enthalten ist.

Fehlermeldungen die von anderen Systemen kopiert wurden:

  • “Weg unvollständig”, zusätzlich ist aber ein FIXME-Tag in OSM vorhanden
  • Kopieen von Mapdust reports

    Diese Bugs ann man meiner Meinung nach auch schließen. Doppelt Datenpflege macht nur doppelten aufwand.

Oli-Wan schreibt:

Ich hatte kürzlich das gleiche Erlebnis. Mit fast schlechtem Gewissen habe ich einen größeren Anteil von OSB-Bugs in Tunesien nach OSNotes verschoben. Die OSBs wurden 2009 angelegt und waren seither unbearbeitet. In OSNotes wurden die meisten Fehler dann innerhalb eines Tages gelöst.

Zur API-Abschaltung:

Oli-Wan schreibt:

Das mag richtig sein. Bis vor zwei Monaten wurden die User im wiki noch auf OpenStreetBugs als Tracker-Plattform verwiesen. Prominent auf jeder Portalseite und in allen Sprachen. Ende Oktober bin ich die OSB-Seiten im Wiki durchgegangen und habe die Seiten von OSB auf Notes umgestellt.

Da nur noch wenige Bugs (außer Moskau) in OSB eingetragen werden, ist für mich die Abschaltung der API nicht so dringend. Ich diskutiere das mal mit emka.

Natürlich möchte ich hier nochmal alle einladen, die Bugs in eurer Umgebung zu bearbeiten.
Für diejenigen, die sich für größere Gebiete interessieren, hier nochmal der link zur entsprechenen Wiki-Seite.
https://wiki.openstreetmap.org/wiki/OpenStreetBugs/Phase_Out

@ Mueschel:
Zum Thema bugs auf http://osm.mueschelsoft.de/ anlegen:

Auf der OSB-Seite wurde einfach die Erzeugung des Dialogs beim Klick abgeschaltet:
https://github.com/emka/openstreetbugs/commit/1b2f439d507dd2fcb83792a9090723612e424dbf
Ohne den Cursor-Code nur ein Einzeiler. (ab Zeile 540)

Ich habe mal deine Seite wieder unter den Bug-Erzeugern gelistet:
https://wiki.openstreetmap.org/wiki/Openstreetbug#Tools_for_Using_and_Exporting_Data

“Unsere” OSM-API läßt sich für Wartungsarbeiten einfach auf Read-Only schalten.

Das war mir nicht bewusst, aber ich hallte es für sinnvoll, alle von OSMB auch wie immer verschobenen Bugs anzuzeigen. Sie waren in OSMB gemeldet, sind noch nicht erledigt und jetzt in Notes drin. Und da zählen für mich die manuell in Notes geschriebenen auch dazu.

Wie man hier sieht, bestand ein dringender Bedarf nach einer motivierenden Grafik, und dem bin ich nachgekommen. That’s all.
Ist eh nur ein Abfallprodukt der Notes-Grafik.

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/notes.png

Live-Grafik, alle Notes des Planeten, SQL-Dump verfügbar, lokale Analysen/Darstellungen sind möglich wenn Bedarf besteht.

sehe ich genau so.

Gruß
walter