Gebäude verschwunden

Da habe ich wohl etwas übersehen. Ich hatte den Link aus Post # 1 übernommen und nicht darauf geachtet, daß bei Grundkarte Mapnik markiert war. Klicke ich auf OSM deutscher Stil sind die Gebäude auch bei mir weg.
Da lag ich mit meiner Aussage falsch. Sorry.

Grüße
Peter

@PT-53: In Deinen Screenshots ist im rechten, grauen Kasten noch der Mapnik-Stil (vierte Auswahl) aktiv und nicht der deutsche Stil (erste Auswahl). Der deutsche Stil zeichnet den Neuheikendorfer Weg oben links in gelb statt wie bei Mapnik in weiß.

Ich habe eine andere Gegend gefunden, in der ein anderes Gebäude, das zur selben Zeit (in CS 42244492 - 7 höher, als der von Heikendorf) ein Update bekam, im deutschen Stil verschwunden ist. Wenn man hier im aufgeklappten grauen Kasten rechts zwischen deutschem Stil und Mapnik umschaltet, sieht man ein Haus in Bildmitte abwechselnd vorhanden und nicht vorhanden. Also hat der deutsche Stil dieses Update mit dem fraglichen CS=42244485 und weiteren davor und dahinter nicht richtig verarbeitet.

Franz

Um den Anfang der fehlenden Gebäude zu finden bin ich die Changesets in größeren Schritten zurückgegangen und habe auf diesem Kartenauschnitt Gebäude gefunden, die kurz vor und kurz nach dem Weglassen von Gebäuden im deutschen Kartenstil hochgeladen wurden.

Ein Gebäude, das noch angezeigt wird hat folgende Meta-Daten (JOSM: Strg-I):
Linie: 442839483
Datensatz: 1da4f0a
Geändert: 2016-09-16T20:35:17Z
Geändert von: Charles Asafo-Adjei (4577451)
Version: 1
Im Änderungssatz: 42213517

Ein Gebäude, das fehlt, folgende:
Linie: 442839965
Datensatz: 1da4f0a
Geändert: 2016-09-16T20:39:46Z
Geändert von: Charles Asafo-Adjei (4577451)
Version: 1
Im Änderungssatz: 42213633

Zwischen diesen Änderungssätzen sind nur wenige Minuten vergangen. Stichproben bis zu den fehlenden Gebäuden in Heikendorf zeigen, dass im ganzen Zeitraum keine Gebäude gezeichnet wurden.

Metadaten aus Heikendorf:
Linie: 185757776
Datensatz: 1da4f0a
Geändert: 2016-09-18T10:57:44Z
Geändert von: radosm (56602)
Version: 2
Im Änderungssatz: 42244485

Der Zeitraum der fehlenden Gebäude ist länger als ein Tag.

Franz

Lustigerweise betrifft das wirklich nur Buildings auf OSM-DE. Bäume oder Straßen im gleichen Zeitraum sind dagegen vorhanden, auch in v1. Es kann also nicht sein, dass komplette Changesets überhaupt nicht verarbeitet wurden.

Zum selbst ausprobieren:

http://overpass-turbo.eu/s/jIS

Für den entsprechenden OSM DE Hintergrund unter Einstellungen → Karte folgende URL eintragen:
//{s}.tile.openstreetmap.de/tiles/osmde/{z}/{x}/{y}.png

Ich sehe gerade, dass das schon anderen Leuten vor einiger Zeit aufgefallen ist, und dafür sogar ein Ticket aufgemacht wurde:

https://github.com/giggls/openstreetmap-carto-de/issues/16

“Looks like fore some reason, these houses are missing from my database. […] As this is not a bug in the stile [sic!] though I will close this now.”.

Keine Ahnung, was das nun bedeutet, oder wann die Datenbank nochmal geladen wird. Auf jeden Fall ist Github nicht der richtige Platz für derartige Meldungen.

Hallo,

Da wurde vergessen, ein oder mehrere minütliche Diffs von etwa zu importieren. Änderungen aus diesen Diffs fehlen jetzt dauerhaft in der Renderingdatenbank, bis sie eines Tages wieder neu importiert werden wird. Ein Reimport ist nicht geplant und wird vsl. wegen solcher Kleinigkeiten nicht durchgeführt werden. Der Arbeitsmehraufwand und die Ausfallzeit (etwa eine Woche!) rechtfertigt das schlicht und einfach nicht. Es handelt sich um ein Freiwilligenprojekt, d.h. die menschlichen und finanziellen Ressourcen sind begrenzt.

Bitte akzeptiert das.

Viele Grüße

Michael

Wenn ich ganz dumm fragen darf: Wisst Ihr denn, ob es sich nur um einen Zufallsfehler handelt („Da wurde vergessen …“), der kaum je wieder vorkommen wird, oder ob es sich um einen systematischen Fehler handelt, der unter irgendwelchen Umständen immer mal wieder auftreten wird? Im letzteren Fall wäre die Sache doch nicht ganz sooo unwichtig, denn auf diese Weise würden dann immer wieder und auf lange Sicht immer mehr Objekte fehlen … :wink:

Hallo,

erstmal vielen Dank für Eure Beiträge.

Kurze Zusammenfassung:

  • In der OSM Datenbank sind offensichtlich alle Tags etc. korrekt, ist nur ein Darstellungsproblem.
  • Der Zeitraum von ca. einem Tag an dem Datenbank diffs nicht korrekt importiert worden ist bekannt.
  • Laut Nakaner gibt es keine regelmässigen Komplettimports der Datenbank, durch die sich solche Problemchen nach Zeit wieder korrigieren würden.

Da nach wie vor ca. 40 Familien obdachlos sind, und der betroffene Bereich/Changeset bekannt ist, würde ich gern einen workaround finden.

Würde eine erneute Änderung an allen betroffenen Gebäuden diese wieder herstellen?

Wenn noch jemand eine bessere Idee für einen workaround hat, bitte her damit.

Lars

Es ist ein von Menschen verursachter Fehler. Nach dem Import des Planets hat man die ersten paar Diffs, die man hätte importieren sollen vergessen.

Es ist ein einziger Tileserver, der davon betroffen ist, weil beim Import ein kleiner Bedienfehler unterlaufen ist. Es ist ein Freiwilligenprojekt und daher musst du dich damit abfinden, dass es nicht perfekt ist. Wenn du die Betreuung eines Tileservers gekauft hättest, könntest du dich bei deinem Vertragspartner beschweren.

Bitte seht davon ab, sie erneut hochzuladen. Das wäre Mapping für den Renderer. Ich hoffe, dass ihr eure Zeit besser zu verwenden wisst, als allen anderen Datennutzern unnötige Arbeit aufzubürden, denn diese müssen deine Änderungen auch verarbeiten.

Viele Grüße

Michael

Hallo Nakaner,

Ich verstehe das die Ursache ein manueller Fehler ist.
Ich verstehe auch, das ich keinen Anspruch habe, das alles perfekt läuft.

Ich möchte aber trotzdem gern die Gebäude ‘wieder haben’.

Bitte nicht bös verstehen, ich finde es ja toll , das so viele sich nicht nur um die Kartendaten kümmern, sondern auch um die ganze Infrastruktur im Hintergrund.

Lars

Meine Theorie ist eher, dass beim Aktualisieren der DB via osm2pgsql irgendetwas mit der planet_osm_polygon-Tabelle schiefgelaufen ist. Also eher kein Bedienfehler im Sinn, dass komplette minutely diffs einfach nicht verarbeitet wurden.

Vom Changeset 42234532 sind ja wie gesagt alle Bäume und Straßen drin, und auch das komplette Changeset liegt in einem einzigen Minutely diff. Wäre das komplette Diff-File übersprungen worden, würden wir auch die Bäume nicht sehen (die sind alle in v1, also erst in diesem Changeset erzeugt).

Wenn es vom osm2pgsql-Lauf noch Logfiles gibt, würde es sich anbieten etwas genauer hinzusehen. Vielleicht ist da irgendein Problem, was möglicherweise später nochmal auftreten kann.

Sven hat mir gesagt, dass er einfach ein paar Diffs nicht importiert hat, weil er den falschen Pfad angegeben hat.

Die Ursache ist schon bekannt und wir wissen auch, wo man das nächste Mal genauer aufpassen muss. Zudem wird man sogar ein paar Diffs mehr importieren als notwendig (das Erzeugen des Planetfiles dauert ja auch eine Weile, während derer neue Diffs veröffentlicht werden). Wenn man das erste Diff wissen möchte, das man auf die Datenbank anwenden muss, kann man mit dem osmium-tool mit

osmium fileinfo planet.osm.pbf -eg data.maxid.nodes

erfahren, welches die höchste Node-ID im Planet ist und dann das Diff suchen, in dem die nächsthöhere ID im -Block enthalten ist.

https://www.openstreetmap.org/#map=18/54.37388/10.22861

Den Rest behalte ich mal lieber für mich, er wäre nicht allzu freundlich.

Ich hatte es mit Humor versucht.
Ok, kommt nicht gut an.

Lars

Das mag sein, erklärt aber nicht die Sache mit den Bäumen. Die dürften dann nicht auf der Karte auftauchen :sunglasses:

Aber gut, letztlich muss Sven das selbst entscheiden. Wir können hier nur Hinweise geben.

Ich bin nicht sicher, ob es relevant ist: (Evtl. die gleiche Sache wie mit den Bäumen, wie es mmd beschrieben hat.)
Wie schon im Eingangspost beschrieben, tauchen zwei der Nodes aus dem betroffenene CS in der Karte auf.
Dies sind neu hinzugefügte Nodes mit Addressinformationen zu denen noch kein building existiert.

Lars

Das mit den Diffs klingt ja einleuchtend, erklärt aber nicht alles, s.o.
Nur als Kuriosum oder falls es Bugfixern irgendwas hilft, hier noch ein anderer Fall, kürzlich im Help-Forum:
Ein Wald mit großem Campinggelände in Holland, in großem Stil umgebaut seit ca. April 2015. Waldteile in Wiesen verwandelt, Seen angelegt, alte Wege gelöscht und neue woanders angelegt, aber abgesehen von den Seen tauchte der Umbau auf der osm-Hauptkarte nie auf:
http://mc.bbbike.org/mc/?lat=52.286108&lon=5.528789&zoom=16&num=2&mt0=mapnik&mt1=osmfr
https://help.openstreetmap.org/questions/46414/multipolygon-not-working-as-expected

Hier ist das Problem, dass nicht nur neue Sachen fehlen, was ja einfach zu fixen wäre, sondern uralte Landuses und Wege noch rumgeistern, die man nicht mehr zu fassen kriegt.
Irgendwann nach längerer Zeit hatte ich einfach einen nagelneuen testway großflächig drübergezeichnet, anschließend erschienen die eingefrorenen Uralt-Tiles KOMPLETT wieder richtig. Waldrand upgedated, alle Wege auf aktuellem Stand. Nach wenigen Minuten den Hilfsway wieder gelöscht, Tiles updated: alles wunderbar.
Das lässt mich an der Fehlenden-Diff Theorie etwas zweifeln.

Es kam aber noch viel kurioser: Paar Monate später zufällig gemerkt - die Uralt-Geister-Tiles sind wieder zurück! Nachdem sie bereits aktualisiert waren, also wieder zurückgesprungen, was ich nun absolut nicht kapiere.
Seitdem hat scai im Helpforum den “Geisterwald” und einen “Geisterpfad” gelöscht gekriegt, immerhin, aber der ganze Rest ist immer noch auf altem Stand. DAS würde nun wiederum zur Diff-Theorie passen! Bin sicher, der neue “kleinere” Wald und neuen Wege würden auftauchen, wenn man sie einfach nochmal hochlädt, aber ob diesmal auch die Geister wieder automatisch verschwinden würden? Mal tun sie’s, mal nicht - nur gut, dass ich das nicht kapieren muss :wink:

Ich habe nochmal etwas die Visualisierung in turbo mit MapCSS verfeinert, so dass man die fehlenden Häuser besser erkennen kann. Ein wahllos herausgegriffener Ausschnitt im südlichen Schwarzwald und Umgebung liefert für den Zeitraum 7.-21. September immerhin > 10.000 fehlende Häuser. Der problematische Zeitraum scheint übrigens auch länger zu sein, als in den vorangehenden Posts genannt.

Ich weiß nicht, wie die Zahl für ganz DE (oder sogar global) aussieht, aber im Worst Case könnte das schnell in den 6-stelligen Bereich laufen. :expressionless:

Vielleicht kann sich Sven vor diesem Hintergrund nochmal überlegen, ob er irgendwann nicht doch mal die Seite für eine Woche einfriert und nochmal neu lädt. Muss ja nicht dieses Jahr sein. Es wäre bestimmt gut investierte Zeit.

Großer Ausschnitt: http://overpass-turbo.eu/s/jLJ
Kleinerer Ausschnitt: http://overpass-turbo.eu/s/jLH

Es sind nicht nur CS um den 16.9.2016 betroffen, sondern auch, wie hier heute geschrieben, um den 9.9.2016.

Nach meinen Nachforschungen sind nicht nur Gebäude betroffen, sondern z.B. auch das Parkhaus aus dem Nachbar-Faden, das nicht als Gebäude, sondern nur als Parkplatz und parking=multi-storey eingetragen ist. Die neuen Wege zum Parkplatz wurden gerendert. Daher bin ich der Meinung, dass alle geschlossenen Ringe betroffen sind und habe Beispiele gefunden:

In der Mitte des Kartenausschnitts fehlt der Springdale-Park
https://www.openstreetmap.de/karte.html?zoom=17&lat=30.27817&lon=-97.68285&layers=B000TF

2 Fehlende Parkplätze in Krakau
https://www.openstreetmap.de/karte.html?zoom=18&lat=50.09104&lon=19.91824&layers=B000TF

Hier fehlen zwei Wohngebiet-Flächen einschließlich der Gebäude
https://www.openstreetmap.de/karte.html?zoom=14&lat=35.48889&lon=50.91742&layers=B000TF

Hier fehlt ein Teich
https://www.openstreetmap.de/karte.html?zoom=18&lat=30.27907&lon=-97.66854&layers=B000TF

Hier fehlen Wohngebiet, Kleingärten und ein Golfplatz
https://www.openstreetmap.de/karte.html?zoom=16&lat=54.7008&lon=-5.95709&layers=B000TF

landuse=farmland fehlt auch
https://www.openstreetmap.de/karte.html?zoom=18&lat=41.77509&lon=-1.20548&layers=B000TF

Hier, nördlich Belgrad sind viele nicht gerenderte Gebäude (alle, die an diesem Tag Hausnummern bekamen). Ebenso fehlen hier die Grünanlagen westlich der Hauptstraße.
https://www.openstreetmap.de/karte.html?zoom=15&lat=44.8762&lon=20.45314&layers=B000TF

Einen merkwürdigen Fall habe ich hier noch:
Herauszoomen um zwei Stufen lässt einige Gebäude, Parkplätze, Parkplatzwege und den Allen Park verschwinden:
https://www.openstreetmap.de/karte.html?zoom=18&lat=40.60251&lon=-75.46651&layers=B000TF
Als ob der Renderer abgebrochen wurde.

Franz

+1 Ich finde, die verlustigen Tiles, welchen Zeitabschnitt auch immer, beschädigen den Anerkennungswert der DE-Karte enorm. Durch diese Problematik stimme ich dem Beitrag von User mmd voll zu. Müßig wäre es dann allerdings, jedweiden Verlust nachzurechechieren und hier zu posten. Also vielleicht erstmal eine Antwort von Sven abwarten.

Es ist relativ einfach, die ganze Sache wieder in Ordnung zu bringen. Da ja wohl die fehlenden Diffs bekannt sind, kann man für den Import das state.txt auf einen Wert vor dem ersten fehlenden Diff zurücksetzen, wobei es auf eine Stunde früher auch nicht ankommt. Hauptsache vor dem ersten fehlenden Diff. Danach den normalen Updateprozess starten und osm2pgsql rollt die ganze Chausse auf. Kann “ein wenig” dauern aber der Betrieb geht ganz gewohnt weiter.

Gruss
walter