Tile-Caches für Deutschland

ikonor · 2020-07-08 16:59:06

Seit letzter Woche scheint es ein verschärftes Problem mit den Tile-Caches für Deutschland zu geben, teilweise scheinen Anfragen gar nicht mehr durchzukommen.

aus Tile-Usage #3:

Nakaner wrote:

neulich gab es im IRC (#osm-dev auf OFTC) eine Diskussion über die überlasteten Tile-Caches in Deutschland (bei uns ist es
besonders schlimm, weil unsere Caches meist billige, gespendete Kisten sind, die nichts mehr taugen).

@Nakaner da ich die Diskussion im IRC nicht verfolgt habe:
- gibt es einen Grund für die erhöhte Last auf den Caches?
- konqi ist schon vorher aufgefallen und wurde jetzt rausgenommen, gibt es noch weitere geplante Maßnahmen (z.B. gackelchen scheint noch Probleme zu haben)?

EinKonstanzer · 2020-07-08 17:56:09

Aufgrund von...

... billige, gespendete Kisten, ...

Frage vom Leihen an die Profis:
Wie sieht denn der Wunsch Tile-Cache-Server aus?
Was für Bandbreite wird benötigt?
Gibt es vielleicht schon ein brauchbares Angebot?

Was kostet der Spaß?

Wäre gut wenn das mal jemand skizzieren könnte wie Hardware und (auch im Verhältnis) zur Bandbreite aussehen müßte

Schon eher ernüchternd, die Deutschen Tile-Server: https://hardware.openstreetmap.org/

ikonor · 2020-07-08 19:16:23

EinKonstanzer wrote:

Wie sieht denn der Wunsch Tile-Cache-Server aus?

Ich vermute das hier sind die Anforderungen an einen Cache:
https://wiki.openstreetmap.org/wiki/Ser … y_CDN_node

EinKonstanzer · 2020-07-08 22:01:16

ikonor wrote:

EinKonstanzer wrote:
Wie sieht denn der Wunsch Tile-Cache-Server aus?
Ich vermute das hier sind die Anforderungen an einen Cache:
https://wiki.openstreetmap.org/wiki/Ser … y_CDN_node

Die günstigsten "dedicated" bei Hetzner kosten 40 Euro im Monat, haben 1 GBit Anbindung (ohne Begrenzung!) und sind deutlich besser als das was wir haben.

Die bei Hetzner dürften ja vermutlich unter "Colocation" laufen...

Was kostet uns eigentlich das ganze im Monat?

ikonor · 2020-07-09 08:15:58

Ich habe ein erstes spezielles Issue aufgemacht, da mir aufgefallen ist, dass der Server Kalessin seit ca. drei Wochen nicht mehr beschäftigt ist:
Kalessin idle? · Issue #437 · openstreetmap/operations

ikonor · 2020-07-09 08:21:36

EinKonstanzer wrote:

Was kostet uns eigentlich das ganze im Monat?

Die Cache-Server werden von den Sponsoren gestellt, die dürften die OSMF daher nichts kosten.

Die gesamten Infrastruktur-Kosten müsstest Du im Finanzbericht nachschlagen, vermutlich irgendwo auf http://osmfoundation.org.

Nakaner · 2020-07-09 08:54:53

Hallo,

ikonor wrote:

@Nakaner da ich die Diskussion im IRC nicht verfolgt habe:
- gibt es einen Grund für die erhöhte Last auf den Caches?
- konqi ist schon vorher aufgefallen und wurde jetzt rausgenommen, gibt es noch weitere geplante Maßnahmen (z.B. gackelchen scheint noch Probleme zu haben)?

Die für Deutschland (bislang) verwendeten Cache-Server sind, wie beschrieben, zu schwach für die Last. Vielleicht sind in den letzten Monaten auch noch mehr Nutzer aus Deutschland auf die OSMF-Tileserver gewechselt (wie datenschützend Deutsche ticken, wissen wir ja). Weil die Server zu schwach waren, bedient der luxemburgische Cache mittlerweile zusätzlich Deutschland (zusätzlich zu anderen Caches).

EinKonstanzer wrote:

ikonor wrote:
EinKonstanzer wrote:
Wie sieht denn der Wunsch Tile-Cache-Server aus?
Ich vermute das hier sind die Anforderungen an einen Cache:
https://wiki.openstreetmap.org/wiki/Ser … y_CDN_node
Die günstigsten "dedicated" bei Hetzner kosten 40 Euro im Monat, haben 1 GBit Anbindung (ohne Begrenzung!) und sind deutlich besser als das was wir haben.
Die bei Hetzner dürften ja vermutlich unter "Colocation" laufen...

Colocation heißt, dass man Rack-Platz anmietet und Hardware im Eigentum des Kunden dort läuft. Was für uns geschickter ist, sind "dedicated Server", also Server, die Hetzner gehören und deren Nutzung der Kunde anmietet. Hier sind eigentlich die EX- und AX-Reihe interessant.

Ich habe im IRC nachgefragt, ob die Hardware-Anforderungen im Wiki noch aktuell sind (bei so Wiki-Seite zu Admin-Kram muss man sehr vorsichtig sein; dass da etwas im Wiki steht, heißt nicht, dass die Admins das da mal reingeschrieben haben oder dort noch gepflegt wird). Die Antwort war:

(09:34:59) Nakaner: TomH, Firefishy: Are the hardware requirements on https://wiki.openstreetmap.org/wiki/Ser … y_CDN_node still more or less up to date? What about CPU cores for a cache serving our hungry German tile users? (I ask because the wiki page has been mentioned at https://forum.openstreetmap.org/viewtopic.php?id=69967
(09:50:32) TomH: well I mean the more the better when it comes to memory (and cpu so long as the I/O can keep up) especially for a traffic heavy region like germany

Übersetzt: Naja, ich meine, je mehr desto besser, wenn es um RAM geht (und CPU solange, wie der I/O hinterherkommt) insbesondere für Regionen mit viel Traffic wie Deutschland.

Das klingt danach, als wäre ein Hetzner EX42 oder AX42 mit NVMe-SSDs (keine Festplatten) eine recht brauchbare Maschine.

Viele Grüße

Michael

Wulf4096 · 2020-07-09 09:42:19

D.h. wenn man sich einen dicken Rechner zusammenklickt (AX161, 256GiB RAM, 2x192TB NVME (daten), 2x240G SATA (system), zahlt man Netto 224€/Monat. Keine Ahnung, was wirklich benötigt wird, vielleicht kommt man auch mit 50€/Monat hin.
Privat würde ich mir das nicht leisten wollen, aber im Prinzip ist das nicht viel Geld. Muss doch möglich sein, Sponsoren für sowas zu finden?!

ikonor · 2020-07-09 10:23:48

Meine Idee für ein weiteres Vorgehen wäre:

1. herausfinden, was eigentlich das aktuelle Problem ist. Könnte ja gut sein, dass die deutlich angestiegene Überlastung mancher Caches z.B. einfach am Ausfall des Kalessin Servers liegt und dessen Reaktivierung erst mal schon Abhilfe schafft.
2. die bestehenden Sponsoren fragen, ob sie nicht ihren Server upgraden wollen/können
3. neue Sponsoren finden, z.B. per Spendenaufruf offiziell über den Fossgis (Blog/Tweet/Mail)

Ein Problem scheint auch die sehr unterschiedliche Kapazität der Server zu sein, da jeder im DNS Round-Robin die gleiche Last abkriegt, mit der die schwächeren dann Probleme haben:

tomhughes wrote:

Germany is always a problem due to the massive load and fact that the "cache" is actually four machines of rather different capabilities being round robined via DNS.

https://github.com/openstreetmap/operat … -490058157

Das heißt, eine konkretere Vorgabe zur benötigten Hardware wäre schon hilfreich, um einheitliche Kapazitäten zu bekommen.

Wulf4096 · 2020-07-09 10:37:59

ikonor wrote:

neue Sponsoren finden, z.B. per Spendenaufruf offiziell über den Fossgis

Vielleicht kann der Fossgis selbst einen oder mehrere Server anmieten und das Geld über (abzugfähige) Spenden wieder reinholen?

ikonor wrote:

da jeder im DNS Round-Robin die gleiche Last abkriegt

DNS Round-Robin funktioniert nicht unbedingt, wie man's erwartet. Ich hatte mal unter Linux das Phänomen, dass der Resolver Adressen bevorzugt, die einen möglichst großen Präfix mit meiner eigenen teilen. K.a. ob das noch so ist.
Ansonsten könnte man stärkeren Servern mehrere IP-Adressen geben und so tricksen. Oder schauen, dass man das DNS-RR gewichten kann. Load Balancing ist eine Wissenschaft für sich selbst.

ikonor · 2020-07-09 10:54:00

Wulf4096 wrote:

Ansonsten könnte man stärkeren Servern mehrere IP-Adressen geben und so tricksen.

Das wäre auch noch meine Frage, ob man nicht auch den Konqi wieder under halber Last reaktivieren kann, indem man z.B. die anderen Server doppelt ins Round-Robin nimmt, hab selbst aber keine Ahnung davon.

EinKonstanzer · 2020-07-09 12:48:16

Nakaner wrote:

...Das klingt danach, als wäre ein Hetzner EX42 oder AX42 mit NVMe-SSDs (keine Festplatten) eine recht brauchbare Maschine...

@Michael: Sehe ich auch so. Und danke für das Nachfragen!

Connections through firewall, Spitzenwert:

1. Juli, 6. Juli
konqi: 34 k, xxx
keizer: 40 k, 75 k
katie: 30 k, 50 k
kalessin: nix, nix
gackelchen: 34 k, 36 k

1. keizer und katie haben wohl den Ausfall von konqi kompensiert…?

2. Die Hardware von keizer und katie ist soweit OK, liegt im unteren Bereich der „Spezifikation“.

3. gackelchen und konqi passen von der Leistung her auch ins Bild

4. kalessin läuft zwar, tut aber nix. Bis dahin war der Output vergleichbar mit katie, also auch OK.

Zusammengefaßt: Seit Mitte Juni bis heute ist die hälfte der Kapazität flöten gegangen.

Fragen:
Was ist mit kalessin? Wird das wieder?
Und konqi? Ist der einfach abgeraucht? Gibts da von EUserv vielleicht Ersatz?

ikonor wrote:

Wulf4096 wrote:
Ansonsten könnte man stärkeren Servern mehrere IP-Adressen geben und so tricksen.
Das wäre auch noch meine Frage, ob man nicht auch den Konqi wieder under halber Last reaktivieren kann, indem man z.B. die anderen Server doppelt ins Round-Robin nimmt, hab selbst aber keine Ahnung davon.

Ich denke nicht, dass wir mit halb… weiter kommen.

ikonor wrote:

...
2. die bestehenden Sponsoren fragen, ob sie nicht ihren Server upgraden wollen/können
3. neue Sponsoren finden, z.B. per Spendenaufruf offiziell über den Fossgis (Blog/Tweet/Mail)

Zu 2. katie und keizer stehen bei Hetzner. Die sollten wir wahrscheinlich nicht nochmals fragen…
Zu 3. Volle Zustimmung!

PS: Eine Aktueller EX/AX – Rechner von Hetzner (40 Euro im Monat) wäre wahrscheinlich schneller als alles was wir bisher haben (mehr RAM, mehr CPU und SSDs).

Spiekerooger · 2020-07-09 14:05:24

Kalessin ist nun dank FireFishy wieder im Betrieb. Damit dürfte die Lage wieder besser werden.

Wer trotzdem der überlasteten OSM Infrastruktur einen Gefallen tun will bzw. deren Schwankungen weniger ausgesetzt sein will: ich kann für interessante nicht-kommerzielle OSM-Community Projekte (z.B. brouter-web) oder rein private Hobby-Webseiten auch einen Tilezugang anbieten, bei dem die allerdings nicht ggf. minütlich aktualisiert werden wie bei osm.org. Letzteres ist aber auch nur für die Mapper-Tätigkeit wichtig, um Bearbeitungen am OSM Datenbestand zu überprüfen.
Schreibt mir dazu einfach eine Mail an osmap (at) osmap.info mit Infos zum Projekt/Webseite/App und ob Eure Zugriffe/Benutzer eher aus dem D-A-CH Raum oder weltweit kommen (für beides ist ein System bereit).

Last edited by Spiekerooger (2020-07-09 14:50:14)

ikonor · 2020-07-09 19:08:33

Spiekerooger wrote:

Und konqi? Ist der einfach abgeraucht?

Ich dachte das wäre Absicht, aber der ist wohl nach einem Reboot nicht wieder aufgetaucht und der Provider hat noch nicht geantwortet [1]:

tomhughes wrote:

No, it failed to come back after a reboot and my mail to the provider has not yet been answered.

Rogehm · 2020-07-14 21:49:27

Kann es aktuell sein, das die Tile-Server momentan der massen schlecht liefern, so das man auch nach mind. 2 h über STRG F5 keine Aktualität der Grundkarte erreicht? Früher war das innerhalb 2 Min. möglich!
P.S. Kann das jemand bestätigen?
P.P.S: Immer noch keinen Kontakt zum Hauptserver nach 4h und damit keine Aktualität. Was ist passiert?

Last edited by Rogehm (2020-07-14 22:46:16)

SOKO GC · 2020-07-14 23:31:10

Rogehm wrote:

Kann es aktuell sein, das die Tile-Server momentan der massen schlecht liefern, so das man auch nach mind. 2 h über STRG F5 keine Aktualität der Grundkarte erreicht? Früher war das innerhalb 2 Min. möglich!
P.S. Kann das jemand bestätigen?
P.P.S: Immer noch keinen Kontakt zum Hauptserver nach 4h und damit keine Aktualität. Was ist passiert?

Kann ich bestätigen. Auch Änderungen, die ich vor 4 Tagen gemacht habe, sind bisher nicht in Carto enthalten. Zudem lieferte mir der Server seit ca. 20 Minuten nur noch folgendes:

osm.org wrote:

This website is under heavy load (queue full)
We're sorry, too many people are accessing this website at the same time. We're working on this problem. Please try again later.

TheBlackMan · 2020-07-15 05:45:11

EinKonstanzer wrote:

PS: Eine Aktueller EX/AX – Rechner von Hetzner (40 Euro im Monat) wäre wahrscheinlich schneller als alles was wir bisher haben (mehr RAM, mehr CPU und SSDs).

Also grundsätzlich wäre ich bereit 40 EUR/Monat in den Ring zu schmeißen um einen Server zu sponsorn. An wen muss ich mich denn für die Spende wenden und wer übernimmt dann die Servereinrichtung/Wartung?

ikonor · 2020-07-15 09:42:13

Rogehm wrote:

Kann es aktuell sein, das die Tile-Server momentan der massen schlecht liefern, so das man auch nach mind. 2 h über STRG F5 keine Aktualität der Grundkarte erreicht? Früher war das innerhalb 2 Min. möglich!
P.S. Kann das jemand bestätigen?

Gestern Abend gab es eine Pause bei der Aktualisierung der Rendering-Datenbank, keine Ahnung warum:

Live-Statistik Data import lag - Odin

Vielleicht war das die Ursache, das aktuelle Cache-Problem äußert sich eher in langsam ladenden oder grauen Tiles. Seit Kalessin wieder aktiv ist, scheint es gefühlt etwas besser zu sein aber noch nicht gut, Konqi ist immer noch nicht wieder da.

Rogehm wrote:

P.P.S: Immer noch keinen Kontakt zum Hauptserver nach 4h und damit keine Aktualität. Was ist passiert?

Was heißt "Kontakt zum Hauptserver"? Separates Problem?

ikonor · 2020-07-15 09:59:40

TheBlackMan wrote:

Also grundsätzlich wäre ich bereit 40 EUR/Monat in den Ring zu schmeißen um einen Server zu sponsorn. An wen muss ich mich denn für die Spende wenden und wer übernimmt dann die Servereinrichtung/Wartung?

Laut [1] kontaktiert man dazu zur Abstimmung die Operations Working Group per E-Mail an operations@osmfoundation.org:

If you are able and willing to provide such setup, please send an email to operations@osmfoundation.org.

So wie ich das verstehe, stellt bisher der Sponsor den Server (nicht das Geld), teilt also die Zugangsdaten mit und die Einrichtung erfolgt dann durch die Sysadmins (die haben Scripte dazu).

Ich will natürlich niemanden abhalten, aber meine persönliche Meinung wäre, dass Mapper nicht auch noch für die Server aufkommen sollten, sondern Firmen und andere Nutzer von OSM, die sonst nichts beitragen.

TheBlackMan · 2020-07-15 12:01:04

ikonor wrote:

So wie ich das verstehe, stellt bisher der Sponsor den Server (nicht das Geld), teilt also die Zugangsdaten mit und die Einrichtung erfolgt dann durch die Sysadmins (die haben Scripte dazu).

Ich bin wie gesagt bereit, die Betriebskosten von ca. 500 EUR/Jahr gegen Spendenquittung zu übernehmen, aber ich habe überhaupt keine Lust irgendwelche Verträge mit Serveranbietern zu schließen und dann die Zugangsdaten zu dem Servern an Dritte weiterzureichen - der Server soll auf mich laufen/registriert sein, ohne das ich kontrolliere was darauf läuft?! Never trust an admin Ich will weder kaufmännische noch technische Verantwortung für einen Server übernehmen.

ikonor wrote:

Ich will natürlich niemanden abhalten, aber meine persönliche Meinung wäre, dass Mapper nicht auch noch für die Server aufkommen sollten, sondern Firmen und andere Nutzer von OSM, die sonst nichts beitragen.

Da müsste dann der FOSSGISS vielleicht mal in Deutschland Werbung bei einschlägigen Firmen/Institutionen machen. Warum gibt's eigentlich keine Server an den Unis, die Geographie, GIS u.ä. als Studienfächer anbieten?

EinKonstanzer · 2020-07-15 17:16:52

Rogehm wrote:

Kann es aktuell sein, das die Tile-Server momentan der massen schlecht liefern, so das man auch nach mind. 2 h über STRG F5 keine Aktualität der Grundkarte erreicht? Früher war das innerhalb 2 Min. möglich!
P.S. Kann das jemand bestätigen?
P.P.S: Immer noch keinen Kontakt zum Hauptserver nach 4h und damit keine Aktualität. Was ist passiert?

Der Tile-Server hat ein massives Problem seit Samstag.
https://munin.openstreetmap.org/openstr … index.html
Die Werte im Bereich Festplatten/IO sind alle eingebrochen
Drastisch ist der Temperatur-Anstieg der beiden NVME-Festplatten, vermutlich die Platten auf denen die Tiles liegen.
Ich tippe darauf, daß Lüfter ausgefallen sind.

Wer will, wer mag darf die OWG kontaktieren...

ikonor · 2020-07-15 19:43:22

EinKonstanzer wrote:

Die Werte im Bereich Festplatten/IO sind alle eingebrochen

Auf welchen Graph genau beziehst Du Dich (Link)?

EinKonstanzer wrote:

Drastisch ist der Temperatur-Anstieg der beiden NVME-Festplatten, vermutlich die Platten auf denen die Tiles liegen.

Die werden wohl auch erst seit kurzem überhaupt richtig genutzt?
https://munin.openstreetmap.org/openstr … me0n1.html

ikonor · 2020-07-15 19:53:55

Also für mich sieht auf dem Tile-Server Odin alles normal aus.

Sowohl Rendering-Aktivität renderd processed, als auch Aktualität der Tiles in mod tile fresh (freshness of served tiles).

Kann jemand ein Beispiel verlinken, wo Tiles nicht aktuell sind?

ikonor · 2020-07-15 20:18:04

SOKO GC wrote:

Zudem lieferte mir der Server seit ca. 20 Minuten nur noch folgendes:
osm.org wrote:
This website is under heavy load (queue full)
We're sorry, too many people are accessing this website at the same time. We're working on this problem. Please try again later.

Wenn ich auf OSMF Server Info nach "server for www.openstreetmap.org" schaue, sehe ich dort Lastspitzen gestern, z.B. bei load (spike-06) und load (thorn-01).

Daher vermute ich temporäre Überlastung, sollte das öfters vorkommen, bitte neuen Faden aufmachen.

SOKO GC · 2020-07-15 20:19:56

ikonor wrote:

[...]
Kann jemand ein Beispiel verlinken, wo Tiles nicht aktuell sind?

Ja, hier z.B.: https://www.openstreetmap.org/#map=17/53.32404/7.31138 Dort sind Änderungen, die ich vor 5 Tagen gemacht habe, nicht sichtbar. An anderen Stellen scheint es aber zu funktionieren, meine Änderungen in der Nordeifel von gestern Abend hingegen werden bereits angezeigt.

Announcement

#1 2020-07-08 16:59:06

Tile-Caches für Deutschland

#2 2020-07-08 17:56:09

Re: Tile-Caches für Deutschland

#3 2020-07-08 19:16:23

Re: Tile-Caches für Deutschland

#4 2020-07-08 22:01:16

Re: Tile-Caches für Deutschland

#5 2020-07-09 08:15:58

Re: Tile-Caches für Deutschland

#6 2020-07-09 08:21:36

Re: Tile-Caches für Deutschland

#7 2020-07-09 08:54:53

Re: Tile-Caches für Deutschland

#8 2020-07-09 09:42:19

Re: Tile-Caches für Deutschland

#9 2020-07-09 10:23:48

Re: Tile-Caches für Deutschland

#10 2020-07-09 10:37:59

Re: Tile-Caches für Deutschland

#11 2020-07-09 10:54:00

Re: Tile-Caches für Deutschland

#12 2020-07-09 12:48:16

Re: Tile-Caches für Deutschland

#13 2020-07-09 14:05:24

Re: Tile-Caches für Deutschland

#14 2020-07-09 19:08:33

Re: Tile-Caches für Deutschland

#15 2020-07-14 21:49:27

Re: Tile-Caches für Deutschland

#16 2020-07-14 23:31:10

Re: Tile-Caches für Deutschland

#17 2020-07-15 05:45:11

Re: Tile-Caches für Deutschland

#18 2020-07-15 09:42:13

Re: Tile-Caches für Deutschland

#19 2020-07-15 09:59:40

Re: Tile-Caches für Deutschland

#20 2020-07-15 12:01:04

Re: Tile-Caches für Deutschland

#21 2020-07-15 17:16:52

Re: Tile-Caches für Deutschland

#22 2020-07-15 19:43:22

Re: Tile-Caches für Deutschland

#23 2020-07-15 19:53:55

Re: Tile-Caches für Deutschland

#24 2020-07-15 20:18:04

Re: Tile-Caches für Deutschland

#25 2020-07-15 20:19:56

Re: Tile-Caches für Deutschland

Board footer