You are not logged in.

#26 2011-10-05 17:08:14

telemaxx
Member
Registered: 2011-05-07
Posts: 12

Re: Tiles Downloader bremsen Server aus

Als regelmäßiger Mobac Benutzer würde ich es sehr schade finden, wenn Mobac geblockt wird.

Nach meiner Erfahrung hat Mobac einen sehr effektiven "Tilestore".
Wenn man Mobac länger benutzt bemerkt man, das immer weniger gedownloadet(denglish) wird.

Vielleicht ist es ja möglich auf dem Server die Bandbreite per User zu begrenzen.
Und für Poweruser dann die Lösung von Wanderreitkarte:
http://www.wanderreitkarte.de/shop_abo_de.php


Optimal wäre die weiter oben genannte Lösung von "quasilotte", ist aber sicher nicht einfach umzusetzen.


Happy Mapping,
Thomas

Offline

#27 2011-10-05 19:04:56

!i!
Member
Registered: 2009-11-28
Posts: 3,313
Website

Re: Tiles Downloader bremsen Server aus

Hmm ein Abo halte ich zum einen schwierig umzusetzen, auf der anderen Seite auch eine sehr sehr fragwürdiges Vorgehen für ein Open* Projekt wink Dann doch eher den Spenden-Ansatz. Da müssten wir aber mit den Admins reden, das ist ja sehr schwierig, wenn wir das Hosting bisher gratis bekommen und dann das auf einmal komplett bezahlen müssten. Aus Erfahrung weiß ich auch, dass Bonuszahlungen an Universitäten auch nicht hilfreich sind, da mit enorm viel Bürokratie verbunden.


privater Account von KVLA-HRO-Mei

Offline

#28 2011-10-05 20:19:04

tippeltappel
Member
Registered: 2009-06-24
Posts: 861

Re: Tiles Downloader bremsen Server aus

telemaxx wrote:

Als regelmäßiger Mobac Benutzer würde ich es sehr schade finden, wenn Mobac geblockt wird.
...

Kann ich gut verstehen.
Es ist hier halt wie im übrigen Leben:
Wenn sich einige partout nicht an die Spielregeln halten wollen, müssen auch diejenigen drunter leiden, die sich dran gehalten haben.

@ !i!
Ich glaube nicht, daß der Spenden-Ansatz zum Ziel führen wird.

@ morob
Ist es möglich, in die neue MOBAC-Version eine Art Identifikation einzubauen, mit der das Programm von den OSM-Servern von den alten Versionen unterschieden werden kann?
Vielleicht läßt sich die Download-Sperre dann gezielt auf die alten "Sauger-Versionen"  beschränken und die Recourcen schonende Version könnte bis zu einem bestimmten Limit Tiles laden.
Solange sich die "Guten" nicht von den "Bösen" unterscheiden lassen, müssen die "Guten" für die Fehler anderer zahlen. Das ist zwar unfair. Man kann aber auch nicht von OSM verlangen, eine Zeche zu bezahlen, die andere bestellt haben.

Offline

#29 2011-10-05 20:58:49

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,367
Website

Re: Tiles Downloader bremsen Server aus

AFAIK geben sich die alten Versionen als normaler Browser (FF) aus und neuere als Mobac.


Viele Grüße
Henning, developer of RadReiseKarte

Offline

#30 2011-10-06 06:34:42

tippeltappel
Member
Registered: 2009-06-24
Posts: 861

Re: Tiles Downloader bremsen Server aus

Des einen Freud - des andern Leid .... irgendwie gibt's da so ein Sprichwort ....

Soeben wollte ich mal eben schnell etwas bei GPSies.com nachsehen.
Ein Absurfen der OSM-Karte ist auch in höheren Zoomstufen nicht mehr möglich.
Die Tiles erscheinen massiv zeitverzögert oder längere Zeit gar nicht.
Dieser durch die Tile-Sauger provozierte Effekt betrifft alle Online-Dienste, die OSM-Karten vom OSM-Tile-Server beziehen.
Tourenportale, Sporttracks etc. müssen dadurch wieder mit anderen Kartenanbietern genutzt werden.

Das Blocken von Tile-Saugern sorgt also letztlich dafür, daß diese Tile-Sauger aufhören, andere, früher problemlos funktionierende OSM-Karten zeigende Anwendungen blockieren.
Das ist nicht mehr als gerecht.

Gruß
tt

Offline

#31 2011-10-06 11:05:53

!i!
Member
Registered: 2009-11-28
Posts: 3,313
Website

Re: Tiles Downloader bremsen Server aus

Ich erlaube mir mal kurz aus dem Forum und TALK-DE zusammen zu fassen:

Tiles Server werden langsam zum Problem weil:
-Anzahl der Verbindungen wird für Unis zu hoch (aktuelles Problem)
-Traffic und Rechenlast steigt immer weiter (schon länger)

deshalb musste Auslieferung der Tiles gedrosselt werden (Erkennung von Scrapern nicht zuverlässig möglich), damit gerade für uns Mapper noch genügend Performance übrig bleibt. Dadurch sind natürlich auch teilweise Dienste anderer Webseiten betroffen. Andernfalls wäre allerdings bereits jetzt das Hosting von OSM gefährdet.

Lösungsvorschläge sind:
-Nutzung alternativer Tiles-Services durch Apps (Mapquest, Cloudmade, ...)
-Aufbau von eigenen Tiles-Servern durch App-Betreiber, oder einkaufen von Diensten
--dafür wird vorgeschlagen die Wiki Doku von Mapnik, PostGIS, ... zu verbessern
--Kai baut schon an out-of-the-box Paketen für Ubuntu Server
-Spenden durch Apps-Anbieter
--Problem der überlasteten Hardware der Unis ist damit auch nicht lösbar
--einige (z.B. Frederik, Firefishy,...) sehen OSM nicht als "Dienstleister", sondern nur für die Aufgabe des Projektes zuständig, nämlich eine freie Weltkarte zu erstellen. Karten zeichnen und diese performant zu deployen können/sollten wir auch mit Spenden nicht übernehmen
--möglich wäre auch ein "Premium" Abo für das Anbieter zahlen müssten, damit diese den heavy load verkraften
-Apps sollen auf Offline-Rendering von Vektordaten umstellen
--dafür gibt es von uns noch keine ähnlich einfache Technik, wie fertige Tiles zu nutzen.


Hat denn jemand von euch schon Kontakt zu den Autoren der weiteren Tools aufgenommen? Wer wäre so nett das mal anzugehen?

Last edited by !i! (2011-10-06 14:00:31)


privater Account von KVLA-HRO-Mei

Offline

#32 2011-10-06 15:48:01

wyo
Member
From: Thalwil
Registered: 2010-08-04
Posts: 667
Website

Re: Tiles Downloader bremsen Server aus

womisa wrote:

... pbf Files runterläd und lokal rendert...

Wenn das hantieren mit OSM Rohdaten nicht so unsäglich kompliziert wäre, würden wohl viel mehr Leute lokal rendern.

Wyo

Offline

#33 2011-10-06 16:03:52

g0ldfish
Member
Registered: 2009-04-27
Posts: 293

Re: Tiles Downloader bremsen Server aus

Schick wäre m.E. auch ein gutes Konzept, in Openlayer-Karten die standardmäßig angezeigten Kacheln (also die in der Ausgangs-Zoomstufe, die jeder Besucher lädt, auch ohne sich in der Karte zu bewegen) lokal zu cachen. Hat da jemand gute Ideen, wie das umzusetzen wäre?

Offline

#34 2011-10-06 16:11:47

SunCobalt
Member
From: Eislingen
Registered: 2010-01-09
Posts: 3,810

Re: Tiles Downloader bremsen Server aus

g0ldfish wrote:

Schick wäre m.E. auch ein gutes Konzept, in Openlayer-Karten die standardmäßig angezeigten Kacheln (also die in der Ausgangs-Zoomstufe, die jeder Besucher lädt, auch ohne sich in der Karte zu bewegen) lokal zu cachen. Hat da jemand gute Ideen, wie das umzusetzen wäre?

.htaccess ....könnte in etwa so aussehen

<IfModule mod_expires.c>
  # Enable expirations.
  ExpiresActive On

  # Cache all files for 2 weeks after access (A).
  ExpiresDefault A1209600

  # Archdiocese-specific performance additions
  ExpiresByType text/html "access plus 4 weeks"
  ExpiresByType application/x-javascript "access plus 4 weeks"
  ExpiresByType application/javascript "access plus 4 weeks"
  ExpiresByType text/javascript "access plus 4 weeks"
  ExpiresByType text/css "access plus 4 weeks"
  ExpiresByType image/gif "access plus 4 weeks"
  ExpiresByType image/jpeg "access plus 4 weeks"
  ExpiresByType image/jpg "access plus 4 weeks"
  ExpiresByType image/png "access plus 4 weeks"

  </IfModule>

Thomas

Offline

#35 2011-10-06 16:47:17

g0ldfish
Member
Registered: 2009-04-27
Posts: 293

Re: Tiles Downloader bremsen Server aus

Dann müsste man Openlayers ja noch dazu bringen, die Kacheln lokal zu suchen (was vermutlich einfach ist), und noch eine Weiterleitung für nicht existierende Kacheln konfigurieren (müsste auch machbar sein, denke ich?). Ich meine mich zu erinnern, etwas ähnlichem auch mal in der Mailingliste begegnet zu sein. Muss ich mal suchen, und dann einfach ausprobieren, ob ich alles zusammen umgesetzt und evtl. "wikifähig" bekomme.

Offline

#36 2011-10-06 17:06:20

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,367
Website

Re: Tiles Downloader bremsen Server aus

Nuja...sicherlich bringt das etwas, dürfte aber letztlich nicht viel mehr als der berühmte Tropfen auf den heißen Stein sein. Das Problem sind ja nicht die normalen Besucher.


Viele Grüße
Henning, developer of RadReiseKarte

Offline

#37 2011-10-06 20:24:09

maxbe
Member
Registered: 2010-01-19
Posts: 3,246
Website

Re: Tiles Downloader bremsen Server aus

Vorsicht, wenn Du beim Testen Deines Caches für die ersten paar Kacheln an einem Proxy denkst...

Ich hab das auch schon mal gemacht und wurde prompt vom Tileserver für einen Tag ausgesperrt. Statt dass 100 Homepagebesucher mit ihrem Browser und ihrer IP die Tiles abholen, holt dann nämlich mein Server mit seiner IP-Adresse und (je nach Cache) seiner User Agent-Kennung alle Karten ab. Entlastet zwar langfristig, sieht aber kurzzeitig aus wie ein Massendownload. Und im Moment dürften die Serveradmins vielleicht ein wenig sensibel reagieren.

Ausserdem glaube ich auch, dass die durchschnittliche Openlayers-Seite eher wenig zum Gesamtverbrauch beiträgt...

viele Grüße, Max

Last edited by maxbe (2011-10-06 20:25:07)

Offline

#38 2011-10-07 10:35:39

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,930

Re: Tiles Downloader bremsen Server aus

Frisch von der ML:

kai wrote:

Mal sehen ob wir dem ein Schritt naeher kommen koennen. Die erste Version
der Ubuntu tile-server packete ist nun glaube ich fertig. Vorausgesetzt man
hat Ubuntu 11.04 (Natty) sollten die folgenden 5 Befehle zu einem
lauffaehigen tile server fueheren:

sudo add-apt-repository ppa:kakrueger/openstreetmap
sudo apt-get install libapache2-mod-tile
wget http://download.geofabrik.de/osm/europe … lz.osm.pbf
osm2pgsql -C 1500 rheinland-pfalz.osm.pbf
sudo /etc/init.d/renderd restart

Wenn alles glatt gelaufen ist, sollte man darauf hin seinen tile-server
haben, von dem man unter http://localhost/osm/0/0/0.png Kacheln gerendert
bekommt.

Als naechstes werde ich versuchen den update Prozess inklusive tile expiry
in das System mit einzubauen. Dazu muss ich aber erst einmal osmosis
verpackt bekommen.

Falls ansonsten jemand noch Ideen hat wie man das ganze weiter vereinfachen
kann oder verbessern und ob es generell so funktioniert, lasst es mich
wissen.

Kai


Mapper aus dem Münsterland.

Online

#39 2011-10-07 12:12:24

womisa
Member
Registered: 2009-06-30
Posts: 445

Re: Tiles Downloader bremsen Server aus

Hi

@chriss66 was ist ML? Wo kann man da mehr Infos finden. Ich habe nur Windows und möchte irgenwie auch lokal meine Tiles generieren.

MfG
Achim

Ps: Mein Ziel wäre sowas wie die Hike&Bike Karte aus pbf Files lokal zu generieren...

Last edited by womisa (2011-10-07 12:14:56)

Offline

#40 2011-10-07 12:16:30

OPerivar
Member
Registered: 2008-07-20
Posts: 351
Website

Re: Tiles Downloader bremsen Server aus

womisa wrote:

was ist ML? Wo kann man da mehr Infos finden.

Damit ist die MailingListe gemeint: http://www.mail-archive.com/talk-de@ope … 88041.html

Offline

#41 2011-10-07 12:18:45

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,742
Website

Re: Tiles Downloader bremsen Server aus

oder auch ein wenig gui-freundlicher: http://gis.638310.n2.nabble.com/Tiles-D … 59453.html

gruss
walter

Offline

#42 2011-10-07 12:21:10

aighes
Member
From: Shanghai
Registered: 2009-03-29
Posts: 5,367
Website

Re: Tiles Downloader bremsen Server aus

Wie sieht das denn mit 10.04 LTS aus? Gibts damit dann Probleme oder wieso der Hinweis auf 11.04?


Viele Grüße
Henning, developer of RadReiseKarte

Offline

#43 2011-10-07 12:41:47

efred
Member
From: Düdingen
Registered: 2010-01-17
Posts: 1,856
Website

Re: Tiles Downloader bremsen Server aus

aighes wrote:

Wie sieht das denn mit 10.04 LTS aus? Gibts damit dann Probleme oder wieso der Hinweis auf 11.04?

hab es gerade ausgetestet: nö, bis jetzt sieht es nicht so aus, als ob es unter Lucid läuft:

Richte libapache2-mod-tile ein (0.4-4) ...
Enabling module tile.
Run '/etc/init.d/apache2 restart' to activate new configuration!
Enabling site tileserver_site.
Run '/etc/init.d/apache2 reload' to activate new configuration!
Site default disabled.
Run '/etc/init.d/apache2 reload' to activate new configuration!
* Restarting web server apache2                                                [Fri Oct 07 13:31:13 2011] [notice] Loading tile config default at /osm/ for zooms 0 - 18 from tile directory /var/lib/mod_tile
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
... waiting [Fri Oct 07 13:31:15 2011] [notice] Loading tile config default at /osm/ for zooms 0 - 18 from tile directory /var/lib/mod_tile
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
                                                                         [fail]
invoke-rc.d: initscript apache2, action "restart" failed.
dpkg: Fehler beim Bearbeiten von libapache2-mod-tile (--configure):
Unterprozess installiertes post-installation-Skript gab den Fehlerwert 1 zurück


My Profiles in OSM and in OSM-Wiki | my G+

Offline

#44 2011-10-07 12:59:51

ajoessen
Member
Registered: 2009-09-16
Posts: 2,074

Re: Tiles Downloader bremsen Server aus

womisa wrote:

Ich habe nur Windows und möchte irgenwie auch lokal meine Tiles generieren.

MfG
Achim

Ps: Mein Ziel wäre sowas wie die Hike&Bike Karte aus pbf Files lokal zu generieren...

Dann schau mal meine Anleitungen hier:
http://wiki.openstreetmap.org/wiki/User:Ajoessen

Kosmos, Mapnik, Mapserver zur freien Auswahl. Aktuell rendere ich mit Mapnik in einem leicht modifizierten Stil.

Hike und Bike gibts als zuschaltbare Layer.

Und, ganz wichtig: funktioniert alles unter Windows XP.

Gruß,
ajoessen

Last edited by ajoessen (2011-10-07 13:00:27)

Offline

#45 2011-10-07 13:11:36

viw
Member
Registered: 2010-05-15
Posts: 2,623

Re: Tiles Downloader bremsen Server aus

Bei mir funktioniert es aber auch unter 11.04 nicht. Weder 32 noch 64 Bit:

* Starting Mapnik rendering daemon renderd                              [ OK ]
libapache2-mod-tile (0.4-4) wird eingerichtet ...
Enabling module tile.
Run '/etc/init.d/apache2 restart' to activate new configuration!
Enabling site tileserver_site.
Run '/etc/init.d/apache2 reload' to activate new configuration!
Site default disabled.
Run '/etc/init.d/apache2 reload' to activate new configuration!
* Restarting web server apache2                                                [Fri Oct 07 14:06:15 2011] [notice] Loading tile config default at /osm/ for zooms 0 - 18 from tile directory /var/lib/mod_tile
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
... waiting [Fri Oct 07 14:06:17 2011] [notice] Loading tile config default at /osm/ for zooms 0 - 18 from tile directory /var/lib/mod_tile
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName

Und an der stelle bleibt er hängen. Sowohl grafisch als auch wenn man es im Terminal ausführt. Es fehlt auch noch der Befehl sudo apt-get update, um die Paketlisten zu aktualsieren.

Last edited by viw (2011-10-07 13:13:21)

Offline

#46 2011-10-07 13:21:29

womisa
Member
Registered: 2009-06-30
Posts: 445

Re: Tiles Downloader bremsen Server aus

Hi

Lokales MapRendering .....

verschoben ==> http://forum.openstreetmap.org/viewtopic.php?id=13981
MfG
Achim

Last edited by womisa (2011-10-07 14:37:56)

Offline

#47 2011-10-07 14:08:36

!i!
Member
Registered: 2009-11-28
Posts: 3,313
Website

Re: Tiles Downloader bremsen Server aus

Ich würde vorschlagen, für die einzelnen Fragen bzgl. Mapsforge oder den Ubuntu Paketen neue Threads aufzumachen. Ich denke sonst findet man das nicht mehr unbedingt.


privater Account von KVLA-HRO-Mei

Offline

#48 2011-10-07 16:09:20

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Tiles Downloader bremsen Server aus

efred wrote:
aighes wrote:

Wie sieht das denn mit 10.04 LTS aus? Gibts damit dann Probleme oder wieso der Hinweis auf 11.04?

hab es gerade ausgetestet: nö, bis jetzt sieht es nicht so aus, als ob es unter Lucid läuft:

Die Version von osm2pgsql und die setup scripts benoetigen postgresql-8.4. Ich dachte eigentlich das 10.04 nur postgresql-8.3 hat. Wenn das nicht der Fall ist, sollte es dann auch in 10.04 funktionieren, wobei man vermutlich einen zweiten Satz Packete neu bauen muss direkt fuer 10.04.

efred wrote:

Richte libapache2-mod-tile ein (0.4-4) ...
Enabling module tile.
Run '/etc/init.d/apache2 restart' to activate new configuration!
Enabling site tileserver_site.
Run '/etc/init.d/apache2 reload' to activate new configuration!
Site default disabled.
Run '/etc/init.d/apache2 reload' to activate new configuration!
* Restarting web server apache2                                                [Fri Oct 07 13:31:13 2011] [notice] Loading tile config default at /osm/ for zooms 0 - 18 from tile directory /var/lib/mod_tile
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
... waiting [Fri Oct 07 13:31:15 2011] [notice] Loading tile config default at /osm/ for zooms 0 - 18 from tile directory /var/lib/mod_tile
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
                                                                         [fail]
invoke-rc.d: initscript apache2, action "restart" failed.
dpkg: Fehler beim Bearbeiten von libapache2-mod-tile (--configure):
Unterprozess installiertes post-installation-Skript gab den Fehlerwert 1 zurück

Es sieht so aus als haette sich in das mod_tile post install skript ein Fehler in der letzten Version eingeschlichen, sodas aus irgendeinem Grund das neustarten von Apache haengt. Moeglciherweise kann man das Problem beheben wenn man in einem zweiten Fenster waerend das install script haengt Apache manuell mit "/etc/init.d/apache2 restart" neu startet. Da muss ich aber noch das tatsaechliche Problem finden und beheben.

Offline

#49 2011-10-07 16:56:27

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,930

Re: Tiles Downloader bremsen Server aus

Zum Ubuntu-Tile-Server bitte hier weiter:

http://forum.openstreetmap.org/viewtopic.php?id=13983


Mapper aus dem Münsterland.

Online

#50 2011-10-07 18:33:46

mobrob
Member
Registered: 2011-03-22
Posts: 23
Website

Re: Tiles Downloader bremsen Server aus

Wegen der möglichen Sperrung der alten Versionen von MOBAC habe ich noch mal in meinem Archiv gekramt und die alten Versionen mal analysiert.

Diese alten Versionen verwendet als User-Agent normalerweise eine der beiden folgenden Varianten (und zwar exakt Zeichen für Zeichen):
User-agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en; rv:1.9.0.11) Gecko/2009060215 Firefox/3.0.11
User-agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5

Beide gehören zu Firefox-Versionen, die mehr als nur ein paar Monate nicht mehr aktuell sind und auch von Mozilla nicht mehr unterstützt werden (unterstützt werden AFAIR nur der 3.6er Zweig und der jeweils neuste).
Wenn man also exakt diese beiden User-Agents blockieren würde hätte man mindestens 90% des MOBAC-Traffics der problematischen Versionen. Der Kollateralschaden bei normalen Nutzern sollte minimal sein.

Offline

Board footer

Powered by FluxBB