Wie augenblicklichen Stand von osm.org abrufen?

Moin,

wenn ich früher neue Wege nach OSM hochgeladen habe, waren diese nach wenigen Minuten auf osm.org gerendert. So konnten Edits nahezu umgehend überprüft werden. Neuerdings zeigt osm.org ein seltsames Verhalten, was das sichere Überprüfen erschwert bis verunmöglicht. Ich möchte das Problem anhand der zu errichtenden Eisenbahnstrecke im Fehmarnbelttunnel zwischen Deutschland und Dänemark erläutern, dessen Bau auf dänischer Seite am 1 Januar 2021 begonnen wurde.
https://www.openstreetmap.org/way/304926269#map=11/54.5697/11.4155&layers=D
https://de.wikipedia.org/wiki/Fehmarnbelttunnel

Hierzu schaut man sich diesen Kartenausschnitt auf osm.org an:
https://www.openstreetmap.org/#map=12/54.6226/11.3269

Mit STRG-F5 bekomme ich auf Firefox und Opera und auf verschiedenen Computern immer wieder einen anderen Teil der Strecke angezeigt. Das passiert auch in anderen Zoomstufen auf diesem Abschnitt. Wie bekommt man nun heraus, wie der tatsächliche Stand des Renderns auf osm.org ist und warum wird der nicht nach jeder Tippen der Tastenkombination angezeigt?

Stand des Renderns: Schwierig. Stand der Datenbank: Rechts “Ebenen” öffnen und “Kartendaten” anhaken.

Das hängt auch davon ab, welche Kacheln noch in deinem Browsercache oder deinem Provider hängen und für aktuell gehalten werden. Und von der momentanen Serverlast, die es dem Server eventuell unmöglich macht, dir sämtliche Kacheln frisch zu liefern. Lässt sich unmöglich voraussagen.

Wenn das tatsächlich so wäre, muss man den kompletten angezeigten Karteninhalt in Frage stellen.
In meiner Erinnerung war das früher anders. Da sind bereits zuvor angezeigte Wegstücke niemals wieder verschwunden, insbesondere nicht nach vielen Tagen. Da war alles nach wenigen Minuten gerendert und stabil.

evtl. hängt es damit zusammen, dass die tiles von unterschiedlichen Servern kommen? AFAIK (aber könnte mich auch täuschen), gibt es zwar nur einen Renderserver aber mehrere tile-Spiegelserver fürs Verteilen der tiles.

Richtig. Es gibt Tile-Cache Server und bei jedem Update kann eine Kachel von einem anderen Server angezogen werden. Lastverteilung ist ja gerade der Sinn eines solchen Systems. Dein Browsercache spielt auch noch mit rein, aber den kannst Du ja selbst löschen.

Solange wie die Tilecaches von OSM inkonsistent sind, kannst Du Dir eigentlich nur eine andere Karte ohne komplizierte Infrastruktur suchen und es dort prüfen, vielleicht osm.de?

Es gibt keine produktiven Tile-Cache “Server” mehr, die von OSMF betrieben werden. Die alten Tile Caches wurden alle im Dezember 2020 außer Betrieb gesetzt und durch ein CDN (Content Delivery Network) von Fastly ersetzt. Das Prinzip ist natürlich ähnlich, nur sieht man von außen nichts mehr von den einzelnen Servern.

Es gibt auch mehrere Tile Server, einfach mal unter https://hardware.openstreetmap.org/ nachschauen.

Teilweise dauert das neu rendern wirklich extrem lange. https://www.openstreetmap.org/way/254314609 zum Korrigieren eines osm2pgsql Bugs hat bestimmt 1-2 Monate gebraucht, bis die admin Boundary auf allen Zoomstufen wieder ok war.

Es gab Zeiten, da waren die Kacheln nach 5 Minuten in allen Zoomstufen aktualisiert.

Im Moment sind nach einigen Minuten die erstens mal aktualsiert, aber es dauert…

Die Frage ob es am Render-Server oder am CDN liegt kann man von außen nicht gut beurteilen. Letztendlich müssen wir wohl oder übel damit leben.

HTTP/2 304 Not Modified
date: Fri, 10 Sep 2021 13:04:57 GMT
via: 1.1 varnish
cache-control: max-age=3016, stale-while-revalidate=604800, stale-if-error=604800
etag: "5c4ba46c0b80e34e09fe0168457639b5"
expires: Fri, 10 Sep 2021 13:55:12 GMT
age: 1
x-served-by: cache-hhn4055-HHN
x-cache: HIT
x-cache-hits: 1
x-timer: S1631279098.871110,VS0,VE0
X-Firefox-Spdy: h2

Vorher Stand bei “X-Server-by” noch “cache-muc****”

Früher als es noch die Tile-Cache Server gab konnte man wenigstens sehen welcher Server es genau ist und prüfen ob der ev. Mukken macht (über Munin).

HTTP Header ist eine gute Idee, ich sehe dort entweder x-tilerender: odin.openstreetmap.org oder x-tilerender: ysera.openstreetmap.org. Ich glaube, der Traffic aus Europa landet auf einem der beiden Server.

In dem im Eingangsposting genannten Beispiel sind es inzwischen 17 Tage. Bei der ebenfalls im Tunnel verlaufenden benachbarten Eisenbahnstrecke, gibt es vier Monate nach der Umstellung von “proposed” auf “construction” noch keine stabile Anzeige auf osm.org.

Und wer kann es von “innen” sehen? Wenn es niemand gibt, der das kann, stellt sich die Frage, warum man solch einen Zustand herstellt?

Könntest Du mir erklären, warum man nicht zu den ursprünglichen fünf Minuten zurückkehren möchte?

Es heißt immer, dass osm.org nicht für externe Benutzer optimiert werden soll, sondern auf Otto Normalmapper ausgerichtet sein soll, damit er die bestmögliche Rückkopplung für die gebräuchlichsten Edits bekommt. Wenn aber Änderungen nach Monaten noch nicht stabil angezeigt werden, so kann man bei der gesamten Karte nicht mehr sicher sein, ob sie den aktuellen Stand widergibt. Man bekommt somit für überhaupt keinen Edit eine verlässliche Rückmeldung.

Von daher frage ich mich, warum dieses wichtige Instrument osm.org nicht mit allerhöchster Priorität vor allem anderen funktionstüchtig gehalten wird? Erst haben wir Ewigkeiten lang das Problem mit den grauen Kacheln und jetzt das hier. Insgesamt ist das Ganze seit einundeinhalb Jahren nur begrenzt funktionstüchtig. So kann man sich das wichtigste Element von OSM, nämlich die schweigende Mehrheit der Mapper vergraulen. Außerdem kann man neu einzuwerbenden Mappern einfach nicht mehr versprechen, dass das Editieren von OSM einfacher sei, als man denkt. Angesichts dessen, dass die wichtigsten Dinge nicht funktionieren, würde das an eine Lüge grenzen.

Wenn es auf freiwilliger Basis nicht funktioniert, könnte man vielleicht darüber nachdenken, jemanden dafür zu bezahlen, dass osm.org vernünftig läuft.

Dafür dürften die meisten Mapper inzwischen OsmAnd Live verwenden :slight_smile: kommt jede Stunde neu raus und zeigt dir garantiert den aktuellen Status (Achtung, an Ländergrenzen kann es zu Überlappungen unterschiedlicher Stände kommen, dann ist ein verbesserter Weg plötzlich zweimal drin, bis zur nächsten monatlichen Hauptausgabe).

Das hängt auch vom Zoomlevel ab, von welchem sprechen wir? ZL 13 bis 16 werden schnell neu gerendert, ZL bis 12 AFAIK nur bei Upgrades des Kartenstils, wenn sowieso der Planet neu gerendert werden muss – das kann Monate dauern. ZL über 16 nur wenns gebraucht wird.

Effektiv füttern wir mit unseren tun nur eine Geo-Datenbank und osm.org ist nur eine von vielen möglichen Darstellungen und teilweise sehr willkürlich.
Dazu kommt, daß es für 99,9% der Betrachter vom Kartenausschintt (Kachel) unerheblich ist ob der 1 Woche, 2 oder 4 alt ist.

@Tirkon: Ich verstehe dich teilweise ganz gnau.
Ich schau mir nämlich auch gerne meine Änderungen nach getaner Arbeit an.
osm.org ist eine/die Instanz seine Änderungen zu kontrollieren und wenn das nicht mehr klappt ist das doof.
Aber es geht um mehr: Nach getaner Arbeit sein Werk zu betrachen; Der Lohn für seine Mühen.
Zeugs in eine Geo-Datenbank hochzuladen erfordert halt recht abstraktes Freudempfinden :slight_smile:

Der Foundation ist das mit den Tile-Server einfach über den Kopf gewachsen. Es wurden ja bereits IP-Filter wegen traffic eingebaut. Und immer mehr wollen OSM nutzen. Finden wir ja auch gut so.
Letztes Jahr haben wir mit grauen Kacheln gekämpft - einfach weil Tile-Cache-Server überlastet waren oder ausgefallen sind.
Im Moment ist daher Stabilität denke ich wichtiger wie Aktualität.

Gute Idee :slight_smile:

da stehen in der Tat diverse tile-server auf der Liste, was die genau machen ist aber nicht erklärt (welchen Stil, ob es ggf. backups sind, etc.)

Und da stehen auch diverse Tile-Caches die es wohl so seit fast einem Jahr nicht mehr gibt?

vermutlich würde man gerne 5 Sekunden haben, das Problem ist, dass immer mehr Leute unsere tiles nutzen und ein einzelner Server das nicht mehr schafft

Deshalb hatte ich auch von produktiven Servern gesprochen, d.h. ein kleiner Teil der gespendeten Tile caches ist noch da, allerdings werden die nicht mehr produktiv genutzt.

Woher weißt Du, dass die meisten Mapper das tun? Osmand-Live ist noch nicht einmal im OSM-Wiki beschrieben - oder doch? Wieso sollte man das gerade für Mapping-Anwendungen zu fummelige, winzige Smartphone benutzen wollen, wenn man mit osm.org einem großen Bildschirm hat? Zudem spricht für manche die schlechte Privacy des Smartphones gegen jegliche Nutzung, die man stattdessen auf einem PC mit freiem Betriebssystem ausführen kann.

Ich gehe nach meinen Erfahrungen mit den Besuchern der OSM Stände eher davon aus, dass die meisten osm.org benutzen, das ja auch dafür gedacht ist: Die von OSM betriebene Darstellung für die eigenen Mapper. Die letzte diesbezügliche Erfahrung liegt allerdings wegen der Pandemie mehr als einundeinhalb Jahre zurück.

Wenn man die nach vier Monaten im Zoomlevel 16 noch nicht umgesetzte bzw. instabile Darstellung dieser Eisenbahnstrecke auf osm.org als “schnell” bezeichnet, hast Du recht:
https://www.openstreetmap.org/#map=16/54.5638/11.2943

Generell betrifft das Problem alle Zoomlevel 13 und größer. Entweder wird eine Änderung nach Monaten nicht umgesetzt. Oder sie ist heute zu sehen und morgen wieder verschwunden usw. Zwei verschiedene Mapper sehen unterschiedliche Karten und einer versteht daher das Problem des anderen nicht. Ein stabile, nicht wieder verschwindende Darstellung ist teilweise nach Monaten noch nicht gegeben. Vielleicht werden noch Jahre daraus.

Dass angezeigte Objekte wieder verschwinden, hat es vor der Zeit der grauen Kacheln nie gegeben. Bei jedem Aufruf bekommt man noch nach Monaten eine andere Karte präsentiert. Das ist nicht nur für Mapper blöde, sondern auch eine Blamage. So laufen uns die Mapper weg und folglich wird die jetzt schon gegenüber Google schlechte Qualität weiter abnehmen.

Für eine Straße bzw. Bahnlinie, die frühestens in 7-9 Jahren in Betrieb geht, sind wir noch voll im Plan. Alles gut. Kein Grund zur Panik.

Was ich eigentlich sagen wollte, natürlich kann man sich hier im dt. Forum über die Kartendarstellung beschweren, nur hat das genau gar keinen Effekt. Eher angebracht wäre eine sachlich formulierte Fehlerbeschreibung unter https://github.com/openstreetmap/operations zu posten, bitte auf englisch und möglichst auf den Punkt formuliert.

Letztendlich macht es keinen Unterschied, ob es sich um inkonsistente, von der OSMF selbst betriebene Tileserver handelt oder um ein CDN.

Ich vermute das Grundproblem ist einfach, daß ein CDN für die möglichst effektive Auslieferung großer und unveränderlicher Dateninhalte gedacht ist (wie z.B. Youtube Videos). Bei jeder Anfrage werden die Daten von dem Cache Server geholt, der gerade frei ist und sie am schnellsten schicken kann. Die Daten bei OSM können sich alle paar Minuten ändern und je nachdem welchen Updatestand der Server hat, werden zufällig ältere oder neuere Daten geschickt. Nachdem die Anfrage des Nutzers gar nicht bis zum Renderserver kommt, sondern von einem Cache Server beantwortet wird, kann man auch nicht bei Bedarf neu rendern.

Die Unterschiede sieht man auch, wenn man sich die Kacheln direkt von unterschiedlichen Tile Servern (=Renderer, nicht der Cache) anfordert. Durch CDN kommen evtl. noch weitere Effekte dazu, das Problem hier lässt sich aber komplett auf Ebene der Tile Server betrachten.

Macht also am besten so ein GitHub Issue auf und lasst die Experten ran. Wildes Spekulieren hilft hier wirklich nicht weiter.

Da hast du mich gerade auf eine Idee gebracht… :slight_smile:

Der offizielle Tile-Server (das CDN) ist https://tile.openstreetmap.org, und eine Beispiel-Kachel: https://tile.openstreetmap.org/13/4249/2735.png

Wenn man das Gefühl hat, daß dort etwas nicht stimmt kann man das gegen die offiziellen Tile-Render-Server prüfen.

Die beiden Tile-Render-Server der OSMF: https://ysera.openstreetmap.org, https://odin.openstreetmap.org

Man nimmt die URL der Kachel und tauscht “tile” durch “ysera” oder /“odin” aus.

Dann weiß man zumindestens wo man suchen muß.

Frage in die Runde:
Funktioniert der /dirty /render-new (oder wie hieß der Parameter noch gleich?) noch? Und wie wäre die URL exakt?

Wäre es eine Option, daß über die Webseite (www.osm.org) angemeldete Benutzer sich optional Kacheln direkt von den Render-Server anzeigen lassen können?

mit dirty kann oder konnte man das Rendern anstoßen, mit /status sieht man wie das tile steht:

https://ysera.openstreetmap.org/0/0/0.png/status

die Zeiten sind natürlich UTC also derzeit +2h