Wie augenblicklichen Stand von osm.org abrufen?

Communities Deutschland (Germany)
41

Die Server sind bestimmten Regionen zugeteilt, die vier genannten speziell Europa.

Beim schwächeren Necrosan kann man das noch ganz gut sehen:

Länge Warteschlangen (Munin), Live-Diagramm, Zeiten in Universalzeit (UTC)
https://munin.openstreetmap.org/openstreetmap.org/necrosan.openstreetmap.org/renderd_queue.html

Zum Vergleich Pyrene in Oregon, USA (zuständig für Amerika?):

https://munin.openstreetmap.org/openstreetmap.org/pyrene.openstreetmap.org/renderd_queue.html

Die anderen haben das inzwischen schon gut weggesteckt (Prometheus):
https://prometheus.openstreetmap.org/d/wyyzhZKMk/tile-rendering?orgId=1&refresh=1m&viewPanel=28&var-instance=necrosan&var-instance=odin&var-instance=rhaegal&var-instance=ysera&from=1632493148410&to=1632838748410

Die Probleme traten meist nur in Zusammenhang mit Carto Releases auf. Neu gerendert wird erst, wenn Tiles aufgerufen werden, nicht auf einmal (z13+). Durch die Aufteilung auf Regionen werden eben hauptsächlich die dortigen Tiles aufgerufen.

Zudem wird die Routinearbeit über höher priorisierte Warteschlangen (grün und blau) abgearbeitet, das Neurendering bei Aktualisierung des Carto Stils über eine niedriger priorisierte Warteschlange (orange):

Renderd Warteschlangen Durchsatz für Odin (Munin), Live-Diagramm
https://munin.openstreetmap.org/openstreetmap.org/odin.openstreetmap.org/renderd_processed.html

Es sind zwar gerade Server an einem neuen Standort in Dublin eingebaut worden:

FATo-ZcWUAM_XE2.jpeg675×900 130 KB

https://twitter.com/OSM_Tech/status/1442533956822261765

Und ich sehe zwar einen neuen “Culebre” in der Statistik-Übersicht, aber der scheint noch nicht so richtig aktiv zu sein:
https://prometheus.openstreetmap.org/d/wyyzhZKMk/tile-rendering

Edit: Pyrene Standort und Zuständigkeit

42

Mal wieder ein seltsames Verhalten… https://www.openstreetmap.org/#map=17/51.25363/6.84436
Ich betrachte einen Ausschnitt in den Zoomstufen 19/18/17.
Es haben nicht alle Kacheln den selben Hintergrund - der Flächenstil ist anders. Das betrifft alle 3 Zoomstufen. Ich habe mir den Bereich angeschaut.
Letzte Änderung am Golfplatz (https://www.openstreetmap.org/way/30925179) vor 3 Jahren.
Letzte Änderung am Station (https://www.openstreetmap.org/relation/75806) vor 4 Jahren.

Wenn ich das richtig verstanden habe, dann wird ja einmal im Monat sowieso alles durchgerendert.
Wie kann das also sein?
Nach dem ich mehrfach den Browser-Cache gelöscht haben und mit F5 aktualisiert habe wird es besser. Nach dem ich das Spiel ca. 3 mal wiederholt habe, habe ich jetzt einen einheitlichen Stand.
Brower ist Firefox und ich lösche nach beenden immer automatisch den Browercache.

Was bedeutet das?
Es gibt wohl irgendwelche Tile-Caches die “den Schuß” nicht hören und erst händisch dazu ermutigt werden müssen sich die Daten frisch zu holen.
Oder?

43

Das liegt an der Aktualisierung des Carto Stils, da gab es einige Neuerungen beim Rendering von Golfplätzen:

https://www.openstreetmap.org/user/pnorman/diary/397703

Beispiel z17 alt|neu:

115795484-9f1f1100-a395-11eb-905a-b45e61f0a4e8.png901×450 53.3 KB

https://github.com/gravitystorm/openstreetmap-carto/pull/4381#issuecomment-825242340

Nur z0-12.

44

OK, aber was hat denn bitte veranlaßt, die Bereiche gerendert wurden? Sie wurden ja nicht angefaßt/geändert.
…aber wenn Sie gerendert werden… Dann wenigstens von allen Renderserver? Das wäre ja Grundvoraussetzung für eine durchgängige Darstellung.
… und was ist mit den Tile-Caches? a) unterschiedliche Akualisierungs-Logiken? b) greifen auf verschiedene Renderserver zu?

Auf unterschiedlichen Ebenen und von Kachel zu Kachel erhät man völlig verschiedene Ergebnisse. Per Zufallsgenerator wird bestimmt was man bekommt. Einfach nur völlig banane!
Die Änderung der Darstellung vom Flächenstil zeigt die Problematik sehr deutlich. Nimmt man kleine Änderungen vor dann fällt das ganze halt nicht sofort auf. Und wenn es blöd läuft bekommt man nach 2 Wochen auf irgend einer Ebene immer noch Kacheln mit dem alten Stand geliefert.

…und das hat es früher nicht gegeben! Woran liegt’s?

45

Ich würde vermuten, dass einzelne Tiles einfach nicht (mehr) im Cache waren und deswegen neugeladen wurde; so kann es zu “Flecken” kommen.

Subjektive oder objektive Meinung?

46

Die Aktualisierung des Carto-Stils selbst, siehe #39.

Unterschiedliche Stände zwischen Metatiles und auf verschiedenen Zoomstufen hat es immer schon geben.

Neu ist die Lastverteilung für jedes einzelne Tile im Normalbetrieb und da fallen unterschiedliche Stände halt besonders auf.

Meiner Einschätzung nach daran, dass unter hoher Last nicht immer sofort gerendert werden kann und man deshalb vom einen Server noch alte, vom anderen schon neu gerenderte Tiles bekommt und diese durch die Lastverteilung bunt gemischt werden.

Dazu muss man betonen, dass Tiles auf den hohen Zoomstufen z13-19 nicht vorab gerendert werden. Nach einer Datenänderung oder einem Carto-Release werden die Metatiles nur als veraltet/abgelaufen markiert, aber nicht sofort neu gerendert. Das Rendering eines markierten Tiles wird erst beim nächsten Aufruf durch einen Benutzer angestoßen.

Unter hoher Last, besonders nach einem Carto-Release, können nicht alle Anfragen sofort “on-the-fly” gerendert werden, sondern manche landen in der Warteschlange für später (Dirty Queue) oder fallen ganz hinten runter. Dann wird erst mal noch ein altes Tile ausgeliefert.

Ich denke, das hängt von der aktuellen Auslastung und der Leistungsfähigkeit eines Servers ab. Zum Beispiel waren bei der Lastverteilung der stärkere Ysera mit dem schwächeren Necrosan kombiniert. Das wurde zwar durch eine ungleiche Verteilung berücksichtigt. Trotzdem war Necrosan mit dem aktuellen Carto-Release höher und länger ausgelastet und hat deshalb vermutlich auch öfters alte Tiles ausgeliefert als Ysera. Den Unterschied kann man gut an der Statistik der Dirty Queue (Gelb) sehen:

Necrosan, Warteschlangen-Länge (Monat), Live-Diagramm

Ysera, Warteschlangen-Länge (Monat), Live-Diagramm

Wie man in den Diagrammen auch sieht, ist größte Last durch das Carto-Release inzwischen verarbeitet, im weiteren normalen Betrieb sollten solche Mischungen von neuen und alten Tiles eher selten vorkommen.

Warum die Lastverteilung auf der Ebene einzelner Tiles statt z.B. auf Session-Ebene gemacht wird, weiß ich nicht. Ich bin zwar kein Admin, aber für mich sieht das kurzfristig eher nach Multiplikation der Last als nach Verteilung aus, da das gleiche Metatile auf zwei Servern gleichzeitig gerendert wird, statt nur einmal.

Aber da sich gerade bei den Servern was tut und es voraussichtlich bald auch einen bezahlten Admin gibt, würde ich auch hier erst mal abwarten.