Tiles Downloader bremsen Server aus

Auch wenn es ein weltweites Projekt ist, ist did Popularitaet in Europa wesentlich groesser als im Rest der Welt. Insofern ist das Traffic verhalten stark durch Europa gepraegt und somit gibt es derzeit durchaus stark und schwachlastzeiten. http://munin.openstreetmap.org/openstreetmap/konqi.openstreetmap/if_eth0.html zeigt das Trafic verhalten des tile-proxy servers.

Das war frueher der Fall, das hat sich aber in letzter Zeit wohl etwas geaendert.

Das on the fly rendering ist nicht mehr so sehr das Problem. Zum einen hat das Hardwareupdate (verwendung einer SSD fuer die DB) die Rendering performance deutlich gesteigert, zum anderen haben diverse mechanismen dafuer gesorgt das die rendering requests etwas ausgebremst wurden. Somit kommt es zur Zeit nur noch selten vor das der Renderingteil des Servers ueberlastet ist.

Andererseits, haben wohl die beiden Hoster von OSM (University College London und Imperial College), vor kurzem OSM freundlich darauf hingewiesen das OSM inzwischen so viel traffic verursacht das es nicht mehr so einfach im akademischen Netz der Unis nebenher laufen kann und OSM aufgefordert dafuer zu sorgen das der Traffic zurueckgeht, oder zu mindestens nicht weiter waechst. (Was genau die Bedingungen waren weis ich nicht).

Desshalb haben die Sysadmins in den letzten Wochen verschiedene Massnahmen ergriffen um den Traffic einzudaemen um sicherzustellen das OSM nicht irgendwann das Hosting wegen ueberbenutzung verliert. Was genau gemacht wurde, weis ich nicht. Eine Massnahme war unter anderem einige wohl bekannte tile scraper Programme wie MOBAC, OpenMaps oder NaviComputer zublocken. Anstelle der normalen OSM Kacheln bekommen diese Programme die folgenden Fehlerkachel ( http://wiki.openstreetmap.org/w/images/d/df/Tile_Abuse.png ), es wurde auch eine Wiki Seite angelegt um die Sache den veraergerten Nutzer zu erklaeren ( http://wiki.openstreetmap.org/wiki/Blocked_applications ). Ausserdem wurden die per IP Limits fuer Traffic herabgesetzt.

Wie weit das hilft und ob noch weitere Massnahmen ergriffen werden muessen muss man noch sehen.

Als regelmäßiger Mobac Benutzer würde ich es sehr schade finden, wenn Mobac geblockt wird.

Nach meiner Erfahrung hat Mobac einen sehr effektiven “Tilestore”.
Wenn man Mobac länger benutzt bemerkt man, das immer weniger gedownloadet(denglish) wird.

Vielleicht ist es ja möglich auf dem Server die Bandbreite per User zu begrenzen.
Und für Poweruser dann die Lösung von Wanderreitkarte:
http://www.wanderreitkarte.de/shop_abo_de.php

Optimal wäre die weiter oben genannte Lösung von “quasilotte”, ist aber sicher nicht einfach umzusetzen.

Happy Mapping,
Thomas

Hmm ein Abo halte ich zum einen schwierig umzusetzen, auf der anderen Seite auch eine sehr sehr fragwürdiges Vorgehen für ein Open* Projekt :wink: Dann doch eher den Spenden-Ansatz. Da müssten wir aber mit den Admins reden, das ist ja sehr schwierig, wenn wir das Hosting bisher gratis bekommen und dann das auf einmal komplett bezahlen müssten. Aus Erfahrung weiß ich auch, dass Bonuszahlungen an Universitäten auch nicht hilfreich sind, da mit enorm viel Bürokratie verbunden.

Kann ich gut verstehen.
Es ist hier halt wie im übrigen Leben:
Wenn sich einige partout nicht an die Spielregeln halten wollen, müssen auch diejenigen drunter leiden, die sich dran gehalten haben.

@ !i!
Ich glaube nicht, daß der Spenden-Ansatz zum Ziel führen wird.

@ morob
Ist es möglich, in die neue MOBAC-Version eine Art Identifikation einzubauen, mit der das Programm von den OSM-Servern von den alten Versionen unterschieden werden kann?
Vielleicht läßt sich die Download-Sperre dann gezielt auf die alten “Sauger-Versionen” beschränken und die Recourcen schonende Version könnte bis zu einem bestimmten Limit Tiles laden.
Solange sich die “Guten” nicht von den “Bösen” unterscheiden lassen, müssen die “Guten” für die Fehler anderer zahlen. Das ist zwar unfair. Man kann aber auch nicht von OSM verlangen, eine Zeche zu bezahlen, die andere bestellt haben.

AFAIK geben sich die alten Versionen als normaler Browser (FF) aus und neuere als Mobac.

Des einen Freud - des andern Leid … irgendwie gibt’s da so ein Sprichwort …

Soeben wollte ich mal eben schnell etwas bei GPSies.com nachsehen.
Ein Absurfen der OSM-Karte ist auch in höheren Zoomstufen nicht mehr möglich.
Die Tiles erscheinen massiv zeitverzögert oder längere Zeit gar nicht.
Dieser durch die Tile-Sauger provozierte Effekt betrifft alle Online-Dienste, die OSM-Karten vom OSM-Tile-Server beziehen.
Tourenportale, Sporttracks etc. müssen dadurch wieder mit anderen Kartenanbietern genutzt werden.

Das Blocken von Tile-Saugern sorgt also letztlich dafür, daß diese Tile-Sauger aufhören, andere, früher problemlos funktionierende OSM-Karten zeigende Anwendungen blockieren.
Das ist nicht mehr als gerecht.

Gruß
tt

Ich erlaube mir mal kurz aus dem Forum und TALK-DE zusammen zu fassen:

Tiles Server werden langsam zum Problem weil:
-Anzahl der Verbindungen wird für Unis zu hoch (aktuelles Problem)
-Traffic und Rechenlast steigt immer weiter (schon länger)

deshalb musste Auslieferung der Tiles gedrosselt werden (Erkennung von Scrapern nicht zuverlässig möglich), damit gerade für uns Mapper noch genügend Performance übrig bleibt. Dadurch sind natürlich auch teilweise Dienste anderer Webseiten betroffen. Andernfalls wäre allerdings bereits jetzt das Hosting von OSM gefährdet.

Lösungsvorschläge sind:
-Nutzung alternativer Tiles-Services durch Apps (Mapquest, Cloudmade, …)
-Aufbau von eigenen Tiles-Servern durch App-Betreiber, oder einkaufen von Diensten
–dafür wird vorgeschlagen die Wiki Doku von Mapnik, PostGIS, … zu verbessern
–Kai baut schon an out-of-the-box Paketen für Ubuntu Server
-Spenden durch Apps-Anbieter
–Problem der überlasteten Hardware der Unis ist damit auch nicht lösbar
–einige (z.B. Frederik, Firefishy,…) sehen OSM nicht als “Dienstleister”, sondern nur für die Aufgabe des Projektes zuständig, nämlich eine freie Weltkarte zu erstellen. Karten zeichnen und diese performant zu deployen können/sollten wir auch mit Spenden nicht übernehmen
–möglich wäre auch ein “Premium” Abo für das Anbieter zahlen müssten, damit diese den heavy load verkraften
-Apps sollen auf Offline-Rendering von Vektordaten umstellen
–dafür gibt es von uns noch keine ähnlich einfache Technik, wie fertige Tiles zu nutzen.

Hat denn jemand von euch schon Kontakt zu den Autoren der weiteren Tools aufgenommen? Wer wäre so nett das mal anzugehen?

Wenn das hantieren mit OSM Rohdaten nicht so unsäglich kompliziert wäre, würden wohl viel mehr Leute lokal rendern.

Wyo

Schick wäre m.E. auch ein gutes Konzept, in Openlayer-Karten die standardmäßig angezeigten Kacheln (also die in der Ausgangs-Zoomstufe, die jeder Besucher lädt, auch ohne sich in der Karte zu bewegen) lokal zu cachen. Hat da jemand gute Ideen, wie das umzusetzen wäre?

.htaccess …könnte in etwa so aussehen


<IfModule mod_expires.c>
  # Enable expirations.
  ExpiresActive On

  # Cache all files for 2 weeks after access (A).
  ExpiresDefault A1209600

  # Archdiocese-specific performance additions
  ExpiresByType text/html "access plus 4 weeks"
  ExpiresByType application/x-javascript "access plus 4 weeks"
  ExpiresByType application/javascript "access plus 4 weeks"
  ExpiresByType text/javascript "access plus 4 weeks"
  ExpiresByType text/css "access plus 4 weeks"
  ExpiresByType image/gif "access plus 4 weeks"
  ExpiresByType image/jpeg "access plus 4 weeks"
  ExpiresByType image/jpg "access plus 4 weeks"
  ExpiresByType image/png "access plus 4 weeks"

  </IfModule>

Dann müsste man Openlayers ja noch dazu bringen, die Kacheln lokal zu suchen (was vermutlich einfach ist), und noch eine Weiterleitung für nicht existierende Kacheln konfigurieren (müsste auch machbar sein, denke ich?). Ich meine mich zu erinnern, etwas ähnlichem auch mal in der Mailingliste begegnet zu sein. Muss ich mal suchen, und dann einfach ausprobieren, ob ich alles zusammen umgesetzt und evtl. “wikifähig” bekomme.

Nuja…sicherlich bringt das etwas, dürfte aber letztlich nicht viel mehr als der berühmte Tropfen auf den heißen Stein sein. Das Problem sind ja nicht die normalen Besucher.

Vorsicht, wenn Du beim Testen Deines Caches für die ersten paar Kacheln an einem Proxy denkst…

Ich hab das auch schon mal gemacht und wurde prompt vom Tileserver für einen Tag ausgesperrt. Statt dass 100 Homepagebesucher mit ihrem Browser und ihrer IP die Tiles abholen, holt dann nämlich mein Server mit seiner IP-Adresse und (je nach Cache) seiner User Agent-Kennung alle Karten ab. Entlastet zwar langfristig, sieht aber kurzzeitig aus wie ein Massendownload. Und im Moment dürften die Serveradmins vielleicht ein wenig sensibel reagieren.

Ausserdem glaube ich auch, dass die durchschnittliche Openlayers-Seite eher wenig zum Gesamtverbrauch beiträgt…

viele Grüße, Max

Frisch von der ML:

Hi

@chriss66 was ist ML? Wo kann man da mehr Infos finden. Ich habe nur Windows und möchte irgenwie auch lokal meine Tiles generieren.

MfG
Achim

Ps: Mein Ziel wäre sowas wie die Hike&Bike Karte aus pbf Files lokal zu generieren…

Damit ist die MailingListe gemeint: http://www.mail-archive.com/talk-de@openstreetmap.org/msg88041.html

oder auch ein wenig gui-freundlicher: http://gis.638310.n2.nabble.com/Tiles-Downloader-bremsen-Server-aus-td6859453.html

gruss
walter

Wie sieht das denn mit 10.04 LTS aus? Gibts damit dann Probleme oder wieso der Hinweis auf 11.04?

hab es gerade ausgetestet: nö, bis jetzt sieht es nicht so aus, als ob es unter Lucid läuft:

Dann schau mal meine Anleitungen hier:
http://wiki.openstreetmap.org/wiki/User:Ajoessen

Kosmos, Mapnik, Mapserver zur freien Auswahl. Aktuell rendere ich mit Mapnik in einem leicht modifizierten Stil.

Hike und Bike gibts als zuschaltbare Layer.

Und, ganz wichtig: funktioniert alles unter Windows XP.

Gruß,
ajoessen