Tiles Downloader bremsen Server aus

Hallo

der Trend geht doch dahin, dass man sich zB. von der Geofabrik pbf Files runterläd und lokal rendert. Oder liege ich da falsch. Ich habe mich mal mit Android und GPS beschäftigt wobei OSMAND schonmal eine gute Mapnik ahnliche (?) Darstellung hat. Das Projekt Mapsforge bietet ja ähnliches. Leider kann man da aber (noch) nicht den Kartenstil ändern und man kann die untergeordneten Wanderwege schlecht von Hauptstrassen unterscheiden.
Also OSMAND macht das schon mal ganz gut. Mich wundert nur, dass es keine PC Version zum lokalen rendern gibt, wie das die Android GPS machen. Oder habe ich da was übersehen?
Bei Mapsforge ist glaube ich so einePC Version am entstehen. Das lokale Rendern würde doch das Problem der Tiles Downloader drastisch verbessern…oder sehe ich das falsch?
Also OSMAND hat so ne gute Karte, dass ich da keine Tiles mehr downlode…und braucht weniger Platz…

Sollte man diese Schiene nicht verstärkt publizieren???

MfG
Achim

Das ist ja der Umkehrschluss aus Matthias Forderung, Tile-Sauger nicht zu nutzen und vor allem nicht mehr zu empfehlen.

Genau Achim. Nur ist es leider so, dass es für jemand der eine App bauen will (z.B. einen Gastronomieführer, wo die Karte eigentlich nur Beiwerk ist), dass es 1000x einfacher ist, einfach irgendwie die Kacheln zu nutzen. Und wie das immer so ist, wird dann die Offline-Funktionalität dadurch umgesetzt, dass “mal ebend” eine Massen-Download-Funktion hinzugestrickt wird und damti ist der Entwickler aus dem Schneider und unser Ärger geht los.
Eine vergleichsweise einfache Vektor-Karten-Einbindung gibt es IMHO noch nicht zur Einbindung in eigene Apps
http://wiki.openstreetmap.org/wiki/Develop/Frameworks

Wenn das mal irgendwo “offiziell” announced werden würde, könnte man ja vielleicht auch eine Pressemeldung herausgeben und die Situation auch Unbeteiligten schildern. Dann wäre das Problem vielleicht für die meisten leichter einzusehen, weil es nicht darum geht, ihrer Lieblings-App die Karten “auszubauen” :wink:

Ist hier schonmal die frage gestellt worden warum solche Tools genutzt werden ?

Sicher !

Aber auch gefragt wie man das abstellen kann und trotzdem die Nutzer von Karten glücklich!

Ich selbst verwende MOBAC weil es eine geniales Programm ist das in viele Kartenformate zu konvertieren!

Aber ich lade keine Karten aus dem Netz sondern verwende selbstgerenderte Karten.

Apps/Programme die nur Online Karten nutzten sollte man schon einen Riegel vorschieben.

Apps/Programme die auch Offline Karten verwenden können sollte man es aber dem User möglichst leicht machen!

Mein Vorschlag ist das alle Tile-Server-Betreiber die hier losschreien das ihr Server raucht, sich mit den Programmieren der unten erwähnten Programme zusammen setzten und was Endnutzerfreundlicher kreieren.

Eine Kombinartion von JOSM / Maperative und MOBAC

  1. Ich wähle wie in JOSM den gewünschten Bereich aus und das Programm holt sich von der geofabrik oder Co die nötigen pbf’s bzw. Upadatet vorhandene und liefert die Rohdaten des Bereichs.
  2. Ich wähle wie in Maperative den entsprechenden Kartenstil
  3. Ich sage in welchem Format ich es gespeichert haben will
    Klick auf OK und das muß laufen ohne das ich viele GB Hauptspeicher brauch usw…

Die einzel Lösungen sind ja schon vorhanden - Es müsste eigentlich nur noch zusammengebracht weden was zusammen gehört.

Alle anderen Lösungen mit installiere das und richte das so ein / passe das dann an …

Da werden 90% der User/Nutzer der Programme/Apps darauf einen “großen Haufen” setzten und trotzdem versuschen an irgdewelche Online Karten zu kommen.

Sorry - MOBAC ist ein gutes Programm - Es sind die Nutzer und die hürden zum richtigen nutzen die das Problem sind.
Wie beim Autofahren. Vile wünschen demjenigen der ihn mit deutlich überhöhter Geschwindigkeit Überholt nenn Blitzer and den Hals.
Aber keiner will alle 100 m einen Blitzer oder auf jeder 2.ten Brücke nee Abstandskontrolle!

Vorschlag: Der Tileserver sollte bei Überlast den Überlast-Proggys ab und zu eine “Überlast-Kachel” anbieten, die dann nur “Please read overload.osm.org” als Text beinhaltet. Man kann das ganze ja auch Last-Abhängig machen. Zur Hauptzeit wird das z.B. vermehrt gemacht und auf der Page wird dann der Grund dafür genannt und auch der Hinweis, daß man Nachts weniger Probleme hat, und die Aufforderung, den Programmierer um eine Lösung zu bitten.

Der User, der gar nicht merkt, was lost ist, wird sicher schnell mal die URL eingeben und dann gleich lesen, daß er gerade Schaden anrichtet. Entweder er macht nachts weiter oder er wendet sich an den Anbieter seiner Software. Das führt dann zu dem Ergebnis, daß die am stärksten verbreiteten Anbieter auch am stärksten von den Usern kontaktiert werden.

Man sollte nur öffentlich zeigen, wie berechnet wird, wer dann beschränkt wird. Z.b. könnte man sagen, daß bei halb-viel-Überlast die Anbieter, welche 25% vom Traffic ausmachen angeschrieben werden. Am Ende werden die 50% der Top-Traffic-Anwendungen ausgewählt.

Die Frage ist, was man unter “wirklich nutzen” versteht.
OSM ist nun mal eben kein Kartenanbieter, sondern eine Geodatenbank, aus der sich viele verschiedene Karten rendern lassen.
Wer Apps zur Verfügung stellt oder gar verkauft, hat die moralische Pflicht, die User über die Sachlage zu informieren.

Und dafür trägt der Apps-Anbieter die Verantwortung!

Und genau das darf nicht sein, bzw. muß dadurch unterbunden werden, daß OSM-Server vor Massendownloads geschützt werden.

Quasilottes vorbildliches Verhalten, sich die Kartenkacheln selbst zu rendern und dann mit Mobac vom eigenen Rechner zu ziehen, in allen Ehren. Aber solange 1. die Nutzer (anscheinend) nicht ausreichend informiert werden und es 2. leichtere Wege gibt, an das Kartenmaterial zu kommen, wird sich an der Überlastung der OSM-Server nichts ändern. Im Gegenteil!

Apelle, solche Programme nicht für Massendownloads und somit Trafficklau und Überlastung der OSM-Server zu nutzen werden im www verhallen.
Solange die Downloads funktionieren, werden sie gemacht.
Also muß man sie drosseln.
Aber der Nutzer sollte auf jeden Fall den Grund der Drosselung erfahren.
Ganz egal, wie das umgesetzt wird.

Wenn die Download-Reduzierung obendrein dazu führt, daß Anbieter in Zugzwang gebracht werden, um so besser.

Mobac mag ein noch so tolles Programm sein. Wenn damit Schaden angerichtet wird, dann muß dafür gesorgt werden, daß das aufhört.

Gruß
tt

@quasilotte: Deine Logik verstehe ich nicht.
Jemand stellt einen Tile-Server online, den man unter bestimmten Bedingungen nutzen darf. Warum sollte der Betreiber nun mit Leuten eine Lösung suchen, die sich absichtlich diesen Bedingungen widersetzen?

Ebenso wird der Traffic ja nicht weniger, nur weil man ihn zu einer anderen Tageszeit erzeugt.

…wenn ich die Zielsetzung von MapsForge und den Viewer richtig verstanden erlaubt dieses Projekt genau das! Aber eben auf Android. Meine offene Frage war ja warum dass es das nicht für den PC gibt?

Ich finde MOBAC auch genial, da ich viele Ausgabeformate für die entsprechende Ziel-Hardware generieren kann. Was eben fehlt, wie oben erwähnt, dass man wie bei Maperative zB. von bpf Files eigene Kartenstile (lokal) als Input generieren kann.

MfG
Achim

Ps: Ich werde sowas mal im MOBAC Forum anregen…

Aber die Spitzenbelastung, welche die bereitzuhaltende Kapazität bestimmt, ist geringer.

Kurzes Beispiel:
Ein Bahnunternehmen fährt 20 Mal am Tag von A nach B (Rückfahrt wird hier nicht betrachtet) und befördert hierbei 10.000 Personen.
In einen Zug passen 500 Personen.
Wenn 95 Prozent der Personen zur gleichen Zeit von A nach B fahren und die restlichen 5 Prozent über den restlichen Betriebstag verteilt, dann muss das Bahnunternehmen hierfür 19 Züge (und bis zu 19 Gleise, falls sich die Züge nicht alle aneinander hängen lassen) bereithalten.
Wenn die Personen aber gleichmäßig über den Betriebstag verteilt von A nach B fahren, benötigt das Bahnunternehmen nur einen Zug (20 Fahrten) und ein Gleis.
Die Anzahl der beförderten Personen und die Anzahl der Fahrten ist gleich, die Kosten unterscheiden sich aber sehr stark.

Gruß,
Mondschein

Top! Es handelt sich also nicht um eine Gleichverteilung (“weißes Rauschen”). Da klingelts in Sachen Warteschlangentheorie, Erlang, dropped und refused…

Richtig! OSM ist ein weltweites Projekt. Wenn es bei uns spät nachts ist, ist in den USA grad Nachmittag oder Abend, also “Hauptverkehrszeit” in Sachen Downloads. Zudem geht es meines Wissens gar nicht in erster Linie um den Traffic, sondern um das so genannte Rendern-on-the-Fly.

Die Kacheln in den hohen Zoomstufen (mindestens 17 und 18) werden nicht schon gerendert vorgehalten, sondern erst dann erzeugt, wenn jemand sie anfordert. Die CPU-Last für den Server ist in diesem Fall sehr hoch. Wenn ich richtig gerechnet habe, gibt es allein in Zoomstufe 18 insgesamt 20 Milliarden Kacheln (ohne Meeresfläche). Diese komplett zu rendern und täglich aktuell zu halten, ist fast nicht möglich; so etwas könnte man höchstens für jeweils ausgewählte Regionen schaffen, also zum Beispiel einen Deutschland-Server aufstellen, der dann nur damit beschäftigt ist, Kacheln zu rendern…

Also ich finde das eine ganz ganz tolle Idee. Da du ja damit bereits Erfahrungen hast, wäre es doch ein leichtes das mal in ein Programm zu gießen und der Allgemeinheit zur Verfügung zu stellen, oder?
Wahrscheinlich hängt da einfach etwas mehr dran. Vor einigen Monaten konnte man bereits schon einmal über MOBAC lesen. Nach dem NOP die Reit und Wanderkarte gesperrt hat, hat sich auch der Autor hier blicken lassen. Immer wieder rief er ich will erstmal Statistiken. Ich glaube gar nicht das meine Anwendung und und und.
Ja dann hat ihm der Admin die gleiche Hausnummer wie eben genannt und er war leicht schockiert. Darauf hat er seine Anwendung offline genommen und sich daran gemacht eine Möglichkeit zu suchen offline rendering anzubieten. Was daraus geworden ist sehen wir ja deutlich. Auch die Argumente, dann laden sich die Nutzer eben Googlemaps runter statt OSM, scheinen nicht wirklich Realität geworden zu sein.
Im Übrigen sehe ich es wie Aighes. Warum soll sich der Serverbetreiber darum kümmern? Wenn du eine Website mit tollen Inhalten als Werbung machst, dann wirst du doch auch nicht hinnehmen, wenn ein anderer diese Seite ohne deine Werbung als Iframe einbindet. Dazu gibt es bereits Urteile. Aber bei OSM ist das anders?

Wir könnten ein Projekt starten das die Kapazitäten aller “Hobby” Renderer bündelt. Beispielsweise betreibe ich solch einen Renderer/Tileserver für eigenen Projekte der damit lange nicht ausgelastet, für massive öffentliche Zugriffe aber nicht leistungsfähig genug ist. Wenn nun jemand eine Art load-balancing-server anbieten würde der über eine einzige Adresse die Last über all diese kleinen server verteilt wären diese besser ausgelastet und die Allgemeinheit könnte mit Zugriff darauf die Hauptserver entlasten.

Leute, wir machen doch unsere Karte, gerade damit man sie nutzt, das steht doch außer Frage? Und da sollte (meiner Meinung nach) nicht wie in Politik und Wirtschaft der schwarze Peter hin und her geschoben werden, sondern zusammen eine Lösung erarbeitet werden.

MOBAC finde ich eigentlich auch ein sehr gutes Programm, da sich der Autor mal hingesetzt hat und die Sachen, die 90% aller Tools zur Nutzung von Online-Karten zusammengetragen hat. Aber leider tritt jetzt ebend besagtes Problem auf und dass muss zwingend mit der Hilfe des Autors gelöst werden. Ansätze wären:

  • Nutzung von Mapquest Tiles
  • eigenen MOBAC Tiles Server finanzieren
  • Integration von besagter Offline Rendering-Technologie

P.S. Habe die Leute mal aufmerksam gemacht: https://sourceforge.net/apps/phpbb/mobac/viewtopic.php?f=1&t=24

… oder Stefan Küste fragt mal bei Winzigweich nach, ob die noch ein paar Server rumstehen haben. Schliesslich haben die uns ihre Luftbilder zum abmalen überlassen, um von den Navteq-Lizenzverträgen weg zu kommen.

Gruß,
ajoessen

Genutzt ja, aber nicht missbraucht.

Theoretisch funktioniert das - in der Praxis ist diese Lösung nur für kleine Kartenausschnitte mit hohen Zoomstufen brauchbar. Der Grund dafür liegt wie du ja erwähnst in dem hohen Speicherverbrauch von Maperative. Was Maperative einfach fehlt ist eine integrierte Datenbank, damit nicht alles im RAM gehalten werden muss. Aktuell braucht man ohne 64Bit Betriebssystem und mindestens 4-8GB Hauptspeicher da gar nicht erst anzufangen, wenn man Übersichtskarten generieren will. Schon der Import von Hessen (~1GB als OSM-Datei) scheitert auf einem 32Bit Windows-System an der 2GB-RAM-Hürde.

Und MapQuest hat keine TileUsage-policy? Das würde das Problem IMHO nur verschieben.
Einen eigenen TileServer wäre eine Möglichkeit, jedoch habe ich keinerlei Erfahrung mit der Thematik und das MOBAC-Projekt verfügt über keinerlei Finanzen. Außerdem würde die Qualität und Aktualität nie den Stand der OSM-Server erreichen, was viele Nutzer wieder dazu bringen würde auf die OSM-Server umzuschalten. Da scheint es mir sinnvoller zu sein einen Spendenaufruf in MOBAC zu integrieren, so dass OSM noch irgendwo einen Mirror-Server hinstellen kann.

Die Offline Rendering-Technologie scheint mir langfristig die beste Lösung zu sein. Allerdings ist das Hauptproblem hier, dass der Hauptteil der MOBAC-Nutzer Windows verwendet und OSM Windows eher stiefmütterlich unterstützt. MapsForge ist ein Ansatz - leider bisher wie schon erwähnt ohne PC-Umsetzung (da scheint aber etwas in Arbeit zu sein - wann und wie es nutzbar wird steht aber in den Sternen).
Ich habe schon einige Versuche unternommen einen Offline-renderer in MOBAC zu integrieren, bin jedoch nie weit gekommen. Im Moment experimentiere ich mit der 2.4er Beta von SpatialLite nachdem ich gesehen habe, dass es ein SQLite Plugin für Mapnik gibt.

Ansonsten habe ich in den vergangenen Monaten schon einiges umgesetzt in MOBAC, um die OSM-Server vor zu gierigen Nutzern zu schützen. Das dazu geführt, dass die alten unbeschränkten Versionen (die es auf der Projektseite nicht mehr zum Download gibt) sich sehr großer Beliebtheit erfreuen.

mobrob/r-x - Autor von MOBAC.

Das Internet vergißt eben nichts. Auch keine alten Programmversionen.
Die moderne “Büchse der Pandora”.

Es wird nichts anderes übrig bleiben, als die OSM-Server vor Massendownloads zu schützen.

tt

Hi, doch, aber die erlaubt ausdrücklich die Nutzung durch Dritte (in deinem Fall würde ich sie allerdings vorher nochmal kontaktieren). Die haben auch ein ganzes Content-Delivery-Network hinter sich und nicht wie wir nur ein paar Server.
http://wiki.openstreetmap.org/wiki/MapQuest#MapQuest-hosted_map_tiles
http://wiki.openstreetmap.org/wiki/TMS

Das mit der Spende wäre sicherlich auch eine Möglichkeit, aber keine die mal ebend mittelfristig wirkt. Auch bei unserem Projekt braucht es ja Admins, die diese Server betreuen können. Das Aufsetzen eines eigenen Servers ist mittlerweile auch nicht mehr so schwer und kann wie viele unserer kleineren Projekte trotzdem minutengenau aktualisiert werden mit der Haupt-Datenbank.

Gäbe es eine Möglichkeit die alten MOBAC Versionen per Refferer oder User-Agent zu blocken und die neuen intakt zu lassen?

Auch wenn es ein weltweites Projekt ist, ist did Popularitaet in Europa wesentlich groesser als im Rest der Welt. Insofern ist das Traffic verhalten stark durch Europa gepraegt und somit gibt es derzeit durchaus stark und schwachlastzeiten. http://munin.openstreetmap.org/openstreetmap/konqi.openstreetmap/if_eth0.html zeigt das Trafic verhalten des tile-proxy servers.

Das war frueher der Fall, das hat sich aber in letzter Zeit wohl etwas geaendert.

Das on the fly rendering ist nicht mehr so sehr das Problem. Zum einen hat das Hardwareupdate (verwendung einer SSD fuer die DB) die Rendering performance deutlich gesteigert, zum anderen haben diverse mechanismen dafuer gesorgt das die rendering requests etwas ausgebremst wurden. Somit kommt es zur Zeit nur noch selten vor das der Renderingteil des Servers ueberlastet ist.

Andererseits, haben wohl die beiden Hoster von OSM (University College London und Imperial College), vor kurzem OSM freundlich darauf hingewiesen das OSM inzwischen so viel traffic verursacht das es nicht mehr so einfach im akademischen Netz der Unis nebenher laufen kann und OSM aufgefordert dafuer zu sorgen das der Traffic zurueckgeht, oder zu mindestens nicht weiter waechst. (Was genau die Bedingungen waren weis ich nicht).

Desshalb haben die Sysadmins in den letzten Wochen verschiedene Massnahmen ergriffen um den Traffic einzudaemen um sicherzustellen das OSM nicht irgendwann das Hosting wegen ueberbenutzung verliert. Was genau gemacht wurde, weis ich nicht. Eine Massnahme war unter anderem einige wohl bekannte tile scraper Programme wie MOBAC, OpenMaps oder NaviComputer zublocken. Anstelle der normalen OSM Kacheln bekommen diese Programme die folgenden Fehlerkachel ( http://wiki.openstreetmap.org/w/images/d/df/Tile_Abuse.png ), es wurde auch eine Wiki Seite angelegt um die Sache den veraergerten Nutzer zu erklaeren ( http://wiki.openstreetmap.org/wiki/Blocked_applications ). Ausserdem wurden die per IP Limits fuer Traffic herabgesetzt.

Wie weit das hilft und ob noch weitere Massnahmen ergriffen werden muessen muss man noch sehen.