Tiles Downloader bremsen Server aus

AFAIK geben sich die alten Versionen als normaler Browser (FF) aus und neuere als Mobac.

Des einen Freud - des andern Leid … irgendwie gibt’s da so ein Sprichwort …

Soeben wollte ich mal eben schnell etwas bei GPSies.com nachsehen.
Ein Absurfen der OSM-Karte ist auch in höheren Zoomstufen nicht mehr möglich.
Die Tiles erscheinen massiv zeitverzögert oder längere Zeit gar nicht.
Dieser durch die Tile-Sauger provozierte Effekt betrifft alle Online-Dienste, die OSM-Karten vom OSM-Tile-Server beziehen.
Tourenportale, Sporttracks etc. müssen dadurch wieder mit anderen Kartenanbietern genutzt werden.

Das Blocken von Tile-Saugern sorgt also letztlich dafür, daß diese Tile-Sauger aufhören, andere, früher problemlos funktionierende OSM-Karten zeigende Anwendungen blockieren.
Das ist nicht mehr als gerecht.

Gruß
tt

Ich erlaube mir mal kurz aus dem Forum und TALK-DE zusammen zu fassen:

Tiles Server werden langsam zum Problem weil:
-Anzahl der Verbindungen wird für Unis zu hoch (aktuelles Problem)
-Traffic und Rechenlast steigt immer weiter (schon länger)

deshalb musste Auslieferung der Tiles gedrosselt werden (Erkennung von Scrapern nicht zuverlässig möglich), damit gerade für uns Mapper noch genügend Performance übrig bleibt. Dadurch sind natürlich auch teilweise Dienste anderer Webseiten betroffen. Andernfalls wäre allerdings bereits jetzt das Hosting von OSM gefährdet.

Lösungsvorschläge sind:
-Nutzung alternativer Tiles-Services durch Apps (Mapquest, Cloudmade, …)
-Aufbau von eigenen Tiles-Servern durch App-Betreiber, oder einkaufen von Diensten
–dafür wird vorgeschlagen die Wiki Doku von Mapnik, PostGIS, … zu verbessern
–Kai baut schon an out-of-the-box Paketen für Ubuntu Server
-Spenden durch Apps-Anbieter
–Problem der überlasteten Hardware der Unis ist damit auch nicht lösbar
–einige (z.B. Frederik, Firefishy,…) sehen OSM nicht als “Dienstleister”, sondern nur für die Aufgabe des Projektes zuständig, nämlich eine freie Weltkarte zu erstellen. Karten zeichnen und diese performant zu deployen können/sollten wir auch mit Spenden nicht übernehmen
–möglich wäre auch ein “Premium” Abo für das Anbieter zahlen müssten, damit diese den heavy load verkraften
-Apps sollen auf Offline-Rendering von Vektordaten umstellen
–dafür gibt es von uns noch keine ähnlich einfache Technik, wie fertige Tiles zu nutzen.

Hat denn jemand von euch schon Kontakt zu den Autoren der weiteren Tools aufgenommen? Wer wäre so nett das mal anzugehen?

Wenn das hantieren mit OSM Rohdaten nicht so unsäglich kompliziert wäre, würden wohl viel mehr Leute lokal rendern.

Wyo

Schick wäre m.E. auch ein gutes Konzept, in Openlayer-Karten die standardmäßig angezeigten Kacheln (also die in der Ausgangs-Zoomstufe, die jeder Besucher lädt, auch ohne sich in der Karte zu bewegen) lokal zu cachen. Hat da jemand gute Ideen, wie das umzusetzen wäre?

.htaccess …könnte in etwa so aussehen


<IfModule mod_expires.c>
  # Enable expirations.
  ExpiresActive On

  # Cache all files for 2 weeks after access (A).
  ExpiresDefault A1209600

  # Archdiocese-specific performance additions
  ExpiresByType text/html "access plus 4 weeks"
  ExpiresByType application/x-javascript "access plus 4 weeks"
  ExpiresByType application/javascript "access plus 4 weeks"
  ExpiresByType text/javascript "access plus 4 weeks"
  ExpiresByType text/css "access plus 4 weeks"
  ExpiresByType image/gif "access plus 4 weeks"
  ExpiresByType image/jpeg "access plus 4 weeks"
  ExpiresByType image/jpg "access plus 4 weeks"
  ExpiresByType image/png "access plus 4 weeks"

  </IfModule>

Dann müsste man Openlayers ja noch dazu bringen, die Kacheln lokal zu suchen (was vermutlich einfach ist), und noch eine Weiterleitung für nicht existierende Kacheln konfigurieren (müsste auch machbar sein, denke ich?). Ich meine mich zu erinnern, etwas ähnlichem auch mal in der Mailingliste begegnet zu sein. Muss ich mal suchen, und dann einfach ausprobieren, ob ich alles zusammen umgesetzt und evtl. “wikifähig” bekomme.

Nuja…sicherlich bringt das etwas, dürfte aber letztlich nicht viel mehr als der berühmte Tropfen auf den heißen Stein sein. Das Problem sind ja nicht die normalen Besucher.

Vorsicht, wenn Du beim Testen Deines Caches für die ersten paar Kacheln an einem Proxy denkst…

Ich hab das auch schon mal gemacht und wurde prompt vom Tileserver für einen Tag ausgesperrt. Statt dass 100 Homepagebesucher mit ihrem Browser und ihrer IP die Tiles abholen, holt dann nämlich mein Server mit seiner IP-Adresse und (je nach Cache) seiner User Agent-Kennung alle Karten ab. Entlastet zwar langfristig, sieht aber kurzzeitig aus wie ein Massendownload. Und im Moment dürften die Serveradmins vielleicht ein wenig sensibel reagieren.

Ausserdem glaube ich auch, dass die durchschnittliche Openlayers-Seite eher wenig zum Gesamtverbrauch beiträgt…

viele Grüße, Max

Frisch von der ML:

Hi

@chriss66 was ist ML? Wo kann man da mehr Infos finden. Ich habe nur Windows und möchte irgenwie auch lokal meine Tiles generieren.

MfG
Achim

Ps: Mein Ziel wäre sowas wie die Hike&Bike Karte aus pbf Files lokal zu generieren…

Damit ist die MailingListe gemeint: http://www.mail-archive.com/talk-de@openstreetmap.org/msg88041.html

oder auch ein wenig gui-freundlicher: http://gis.638310.n2.nabble.com/Tiles-Downloader-bremsen-Server-aus-td6859453.html

gruss
walter

Wie sieht das denn mit 10.04 LTS aus? Gibts damit dann Probleme oder wieso der Hinweis auf 11.04?

hab es gerade ausgetestet: nö, bis jetzt sieht es nicht so aus, als ob es unter Lucid läuft:

Dann schau mal meine Anleitungen hier:
http://wiki.openstreetmap.org/wiki/User:Ajoessen

Kosmos, Mapnik, Mapserver zur freien Auswahl. Aktuell rendere ich mit Mapnik in einem leicht modifizierten Stil.

Hike und Bike gibts als zuschaltbare Layer.

Und, ganz wichtig: funktioniert alles unter Windows XP.

Gruß,
ajoessen

Bei mir funktioniert es aber auch unter 11.04 nicht. Weder 32 noch 64 Bit:

Und an der stelle bleibt er hängen. Sowohl grafisch als auch wenn man es im Terminal ausführt. Es fehlt auch noch der Befehl sudo apt-get update, um die Paketlisten zu aktualsieren.

Hi

Lokales MapRendering …

verschoben ==> http://forum.openstreetmap.org/viewtopic.php?id=13981
MfG
Achim

Ich würde vorschlagen, für die einzelnen Fragen bzgl. Mapsforge oder den Ubuntu Paketen neue Threads aufzumachen. Ich denke sonst findet man das nicht mehr unbedingt.

Die Version von osm2pgsql und die setup scripts benoetigen postgresql-8.4. Ich dachte eigentlich das 10.04 nur postgresql-8.3 hat. Wenn das nicht der Fall ist, sollte es dann auch in 10.04 funktionieren, wobei man vermutlich einen zweiten Satz Packete neu bauen muss direkt fuer 10.04.

Es sieht so aus als haette sich in das mod_tile post install skript ein Fehler in der letzten Version eingeschlichen, sodas aus irgendeinem Grund das neustarten von Apache haengt. Moeglciherweise kann man das Problem beheben wenn man in einem zweiten Fenster waerend das install script haengt Apache manuell mit “/etc/init.d/apache2 restart” neu startet. Da muss ich aber noch das tatsaechliche Problem finden und beheben.