Also ich nutze den MOBAC auch. Da ich aber im ländlichen Raum hinter einer dünnen Leitung hänge, habe ich mich vor allem bei den kleinen Zoomstufen auf die Regionen beschränkt, die ich wirklich in der Auflösung brauche.
Der Tilestore ist ja schon ein guter Ansatz, um die Downloads zu minimieren - ich würde es noch mehr begrüßen, wenn tatsächlich nur geänderte Tiles und nicht nur nach “Verfallsdatum” veraltete Files generell neu geladen werden. Ich denke, so eine Funktion ließe sich bei einem intensiven Dialog zwischen den OSM- und MOBAC-Entwicklern/-Freaks vereinbaren… Das wäre sicher für MOBAC/TrekBuddy und für die OSM-Serverlast ein echt hilfreiches Feature.
Allerdings hat bei all dem Unmut Trekbuddy und Mobac auch einen Vorteil für OSM: Die mit Trekbuddy generierten GPX-Trecks finden bei mir und wahrscheinlich auch bei vielen anderen Usern wieder den Weg in OSM zurück als neue Wege…
Von daher würde ich es sehr begrüßen, wenn man da zu einer fruchtbaren Zusammenarbeit zwischen beiden Welten kommen könnte - vor allem sehr Benutzerorientiert…
Und ein Hinweis auf die Lizenz sollte doch nun wahrlich kein Hindernis sein… einbauen und gut iss… und vielleicht als quick and dirty Lösung gegen Serverüberlast bei OSM einen Stealth-Mode mit Drossel als Default bei MOBAC einführen… und sei es nur um erst mal die Gemüter zu beruhigen und gute Grundlagen für Gespräche zu legen…
Als Benutzerin und nur in bescheidenen Umfang an OSM Mitarbeitende möchte ich hier mal meinen Dank an die Leute aussprechen, die all die Komponenten entwickeln und kostenlos zur Verfügung stellen, damit Leute wie ich vor allem mehr Spaß an der Freizeit haben mit Mappen und Geocachen und Phototagging und und und…
Frag den Entwickler mal, ob es schon den “If.modified-since:”-HTTP-Header kennt, weil der macht genau das was du oben schreibst, also die Daten nur bei Änderungen neu ausliefern.
Sicher eine gute Idee, das hilft aber nur, wenn der User schon eine (Voll-)Version der gewünschten Karte zur Verfügung hat. Theoretisch kommt man aber erst gar nicht in diese Situation, weil die erste Auslieferung der Vollversion schon gegen die “Terms of Use” verstoßen würde. Und wenn man ohnehin für ein Download zahlt, wird man sich den gewünschten Bereich sowieso komplett neu herunterladen, weil das dann einfacher ist.
Wann die Tiles gespeichert wurden wird eh schon im Tilestore mitgetrackt. Im einfachsten Fall prüft man dann “If.modified-since > last.storagedate” schon ist das auch gegessen.
Und nein, ich und sicher viele andere auch werden nicht Gigabytes um Gigabytes downloaden nur um die Oberfläche der Welt in allen Zoomstufen von 1-16 zu haben. Wozu soll ich mir alles mit Daten zumüllen, von denen ich nur einen winzigen Bruchteil brauche? Zum Autofahren brauche ich Zoom 10-14 wovon 14 auch nur für die Bereiche wo ich weiß dass ich da unterwegs bin. Zum Cachen und Mappen brauche ich für da wo ich hingehe auch schon mal die Zoomstufe 16 aber auch wieder nur da wo ich hin will…
Auf der anderen Seite frage ich mich allerdings: Ist das vielleicht ein typisches “German Problem”, über das wir hier diskutieren? Gibt es diese Diskussionen auch in anderen Ländern mit anderer Software oder ist es bloß mal wieder typisch deutsche Gartenzwerg-Knallerbsenstrauch-Maschendrahtzaun-Prinzipienreiterei, wo der eine dem anderen den Erfolg nicht gönnt? Ich hab da fast so ein wenig den Verdacht…
Da macht man eine freie Karte der Welt um sie dann wieder einzuäunen und mit Minenfelder zu umgeben? Das kann’s ja irgendwie ned sein. Es sollten alle darum bemüht sein, im Sinne von “Fair use” zusammen zu kommen. Ja, dauernde Massendownloads geht nicht. Aber nur die Benutzung am Bildschirm durch Browseroberflächen geht auch nicht. Vielleicht sollte man auch mal ein paar J2ME-Echtzeitrender-Freaks mit an Bord holen. So ein Mobiltelefon hat die Rechenkapazität eines ganzen Rechenzentrums as den 90ern… da sollte auch eine Live-Render-Lösung machbar sein…
Wir machen keine freie Karte, wir machen freie Geodaten. Diese Geodaten geben wir gerne ab, sodass jeder diese Nutzen kann und damit bspw. Kacheln für Mobilgeräte erzeugen kann. Von daher kann von “Fair Use” keine Rede sein.
Tut euch doch zusammen, mietet euch einen Server und dann könnt ihr diesen Server stressen, wie ihr wollt und Kacheln laden wie ihr wollt. Dei Server von OSM sollen zeigen, was möglich wäre und vorallem den Mappern zeigen, wo was fehlt.
Es geht außerdem auch nicht primär um das Downloadvolumen, was durch die Massendownloads verursacht wird, sondern darum, dass alte Kacheln neu gerendert werden müssen und das dies bei einem Massendownload zu Problemen führt.
Ich überlege auch schon, wie sinnvoll es ist “Alles” in einer Datenbank unterzubringen. Teilweise machen wir es uns schon selbst schwer.
Braucht die Welt eigentlich eine riesige Geodatenbank, die irgendwann nicht mehr zu handhaben ist? Ursprünglich hatte Steve wohl die Idee einer Straßenkarte. Heute werden Häuser gemalt und dazu vollständig Adressen, bei Geschäften noch die Telefonnumern, Webauftritte etc. zugefügt (auch von mir). Wenn ich mir die Karten am PC betrachte, denke ich, sieht doch gut aus, aber benötigt man diese Informationen wirklich, wenn man “draussen” im Wald entscheiden muß, links oder rechts? Wenn man die Karten in erster Linie für die Nutzung auf Garmins und Smartphones runterlädt (ala Mobac) eher nicht.
Alle Zusatzinformationen machen die Datenbank größer und das Bereitstellen von Karten immer schwieriger. Und ja es heißt doch immer noch OpenStreetMap.
M. a. W. würden wir uns auf das Wesentliche beschränken, gäbe es das hier angesprochene Problem nicht.
Ok, wenn man das weiß, ist das schon viel wert. Aber denk mal an die User, die sich ein Smartphone zulegen und sehen, was alles möglich ist.
Runterladen für den späteren offline Gebrauch. ==> Zoomlevel? Weiß nicht, am besten alle, kann ja nicht schaden. usw.
Also bist du dir sicher, dass du auf Bildern welche nur Straßen enthalten weniger Ressourcen verbrauchen würdest? Nun gut wenn das Bild einfarbig wäre vielleicht noch. Darum rendert ja auch keiner den Ozean. Aber sonst?
Die Dtaenbank wächst immer weiter. Das ist auch gut so- Denn wenn alle Informationen zusammen sind, können keine Zuordnungsfehler auftreten. Und OSM wird schon lange nicht mehr nur für Kartenerstellung benutzt. Gerade MoBac kann mit den Rasterkarten nämlich nicht auf die Stärken des Systems zurückgreifen und ein Routing anzubieten. Ok zugegeben die kommerziellen Anbieter sind uns noch überlegen, was die Zeiten der einzelnen Strecken angeht. Aber im großen und ganzen kommt man schon gut durch.
Des weiteren soll es Menschen geben, die früher auf eine Karte geschaut haben, um zu wissen an welchem Ende der Straße das Haus mit einer bestimmten Hausnummer steht. Also die sind auch gut.
Andere suchen einen Briefkasten oder ein Restaurant. Da gibt es auch Touristenkarten dafür, welche genau das anbieten. Warum also nicht aus OSM?
Es würde sich auch keiner beschweren, wenn die Menschen sich das betreffende Land herunterladen. Dafür sind die Extrakte ja da. Das viel größere Problem ist einfach die Rechenleistung, für Kacheln die noch nicht vorhanden sind. Und wenn diese dann auch noch sinnlos massenweise heruntergeladen werden, geht der eigentliche Zweck verloren, für welchen genau DIESER Server gedacht war. Aber jeder kann die Daten benutzen und auf seinen Ressourcen genau das machen was er braucht.
Im Übrigen machen die Navigationsprogramme nichts anderes. Alles was nicht gebraucht wird lassen sie weg um die Datenmenge gering zu halten und dann rechnen sie das Kartenbild in Echtzeit. Und das kann im Prinzip auch ein PC. bzw. wird er sogar für die Vorstufe benötigt um die Daten zu filtern.
Ich habe gerade mal einen Mobac Test gemacht. OutdoorActive-Karte
112640 Tiles ergaben eine Karte von 2,35 GB. Dauer der Kartenerstellung insgesamt 50 Minuten. Downloaded 113MB, Downloaded vom Tilestore 1,06GB, wobei ich nicht weiß wie lange der Download der Tiles gedauert hat.
Eine Stunde später: Dasselbe Gebiet, Kartenauschnit aber kleiner:
73728 Tiles = Karte ist 1,6 GB, Dauer der Kartenerstellung Dauer 31 Minuten (Downloaded 0 Bytes, Downloaded vom Tilestore 805 MB) Die tatsächliche Download Dauer lag 90! Sekunden. Hat also schon festgestellt, daß die Tiles schon “runtergeladen” waren. Anschließend “Creating Map”.
Wie funktioniert das denn genau, wird die Karte wirklich “online” gerechnet oder bereitet Mobac diese doch erst nach dem Download der Tiles auf dem lokalen Rechner (also zuhause) auf?
Wenn Mobac zunächst herunterlädt, warum sollte er dann Rechenleistung auf dem Remote in Anspruch nehmen?
Mobac berechnet überhaupt keine Karten, die gesamte Arbeit macht der Server.
Beim ersten Zugriff auf eine veraltete oder nicht vorhandene Kachel wird diese Kachel auf dem Server normalerweise neu berechnet. Von daher ist es nicht interessant, wie lange der Download für Dich gedauert hat, sondern wie hoch die Auslastung des Servers dadurch war und wie sich die Wartezeiten für andere Nutzer durch die massenhaften Neuberechnungen für Deinen Download verschlechtert haben.
Mobac lädt fertige Tiles und passt diese später an, so dass dein Programm damit etwas anfangen kann. Vielleicht macht er aus den einzelnen Kacheln ein großes Bild und schneidet es anders zu. Jedenfalls lädt er keine Rohdaten aus welchen er die Bilder berechnen würde.
Genau das könnte er aber machen, wenn er sowieso nachher rechnen muss.
GpsMid filtert die Daten direkt aus einer osm Datei und bereitet sich die Daten dann so auf. Später auf dem Mobiltelefon wird dann aus den Daten eine Anzeige berechnet. Dies hat mehrere Vorteile. Ich brauche nicht für jede Zoomstufe etwas herunterladen und ich kann nachher routen. Außerdem kann ich mit Stylefiles selbst festlegen was ich wie angezeigt bekommen möchte.
Alle Karten im Netz sind aber nur noch als Bilder verfügbar. Daher geht dieser Weg nur mit OSM Daten.
Bitte nochmal zur Klarstellung. Gilt die Auslastung zur Neuberechnung der Kacheln für jeden, der einen Download anstößt? Und es ist nicht so, daß der nächste User, der zufällig “meine” zuvor geladene Kacheln herunterlädt, davon profitiert. Wenn doch, wäre das Neuberechnen im Prinzip eigentlich sogar sinnvoll, weil der Server damit auf dem aktuellen Stand wäre.
a) wenn Rohdaten geändert wurden
b) wenn jemand Tiles abruft, die noch nie oder schon lange nicht mehr gerechnet wurden
c) wenn er sich “langweilt” und dann einfach altes Tiles ersetzt
d) wenn Styles verändert wurden
e) wenn er durch /dirty “gekitzelt” wird
f) ??? wird wohl noch andere Gründe geben
Das Ganze ist von den Admins durch verschiedene Parameter auf dem Server so einigermaßen aufeinander angepasst worden.
Was dieses nette Progrämmchen so macht: es lädt “auf Verdacht” riesige Bereiche in hoher Auflösung, stößt damit Rendern an für Bereiche, die sich der einzelne Anwender nie so ansehen wird. (B)
Das gilt natürlich auch für Wasserflächen oder sonstige “uninteressante” Areale.
Dadurch bringt es das Tuning für den Renderer total durcheinander und andere müssen dann mitunter stundenlang auf neue Kacheln warten.
Kurz: 2 Clicks at home, der Server qualmt einige Stunden, dann Download über Nacht und der eine Anwender ist so einigermaßen happy.
Fällt mir gerade noch als “Enhencement-Request” ein: alles Tiles mit /dirty holen, damit sie auch wirklich aktuell sind- “ich hab ja Zeit”. ;(
Theoretisch ja. In der Praxis gibt es solche Wiederverwendungseffekte nur so bis Zoomlevel 14. Ich hab vor eine Weile statistische Auswertungen darüber gefahren, welche Gegenden in welchem Zoom wie oft abgefragt werden. So bis z14 und in manchen Gegenden wie dem Ruhrgebiet auch 15 überlagern sich häufige Anfragen, so daß die Tiles dort immer aktuell sind. Bei dan ganz hohen Zoomleveln steigt die Anzahl der Tiles exponentiell an während es kaum noch Überlappungen oder Mehrfachaufrufe gibt, die Kacheln werden also für jede Anfrage erst neu berechnet.
Und genau da schlagen die Downloader gnadenlos rein. Wenn sich ein Browser-User meist auf z15 tummelt, und dort 2000 Tiles holt, schaut er sich manches noch genauer an und holt dazu vielleicht noch 500 Tiles von z16 und 200 Tiles von z17, die dann für ihn neu berechnet werden müssen.
Ein Downloader, der auf z15 2000 Tiles holt, verlangt dann auf z16 8000 Tiles und auf z17 32000 Tiles. Diese Tiles müssen alle neu berechnet werden und 99% wird sich nie ein Mensch anschauen. Damit ist die Belastung des Servers für dieses Beispiel da wo es am meisten weh tut so hoch wie für 66 Online-User gleichzeitig.
Ein anderes Problem ist, daß bei Zugriff über die normalen URLs, die Requests der Downloader mit der gleichen Priorität bearbeitet werden wie die von Browsern. Es macht aber einen Unterschied, ob im obigen Fall ein Downloadprogramm 1 Sekunde warten muß, wärend ein User bedient wird oder ob ein Mensch 66 Sekunden wartet, wärend der Downloader den Server beschäftigt. Da ein Browser normal “freundlich” ist und nur 2 Verbindungen pro URL aufmacht und viele Downloader (entgegen der Bedingungen) brutal mit vielen parallelen Threads gleichzeitig saugen, verschieben sich die Wartezeiten noch mehr zu Ungunsten der menschlichen Benutzer.
Ich erdreiste mich mal, an dieser Stelle anzumerken, dass die Begeisterung und vor allem die Mitarbeit für OSM ohne abrufbare Kartentiles sich auf ein paar einzelne Freaks beschränken würde und über Mittelengland wohl immer noch nicht hinaus gekommen wäre!
Ein Großteil der Begeisterung rührt ja doch gerade aus dem direkten Nutzen den man dadurch erzielen kann.
Aber ihr könnt ja gerne die Anbindung an die RAW-Geodaten per JBOSS/TOMCAT-Client machen, auf Browseroberflächen 1 Tile pro Sekunde ausliefern und dann mal schauen, wie lange es braucht bis OSM nur noch von kommerziellen Datenabgreifern heimgesucht wird und die Unterstützung der breiten Masse von Anwendern gegen Null geht.
Ich frage mich immer noch… nein ich bin mir fast sicher, dass diese Diskussion nur in Deutschland solche Wellen schlagen kann.
Aber wenn das die internationale OSM-Community auch so sieht, dann kann man OSM ja zu machen und nur noch für per persönliches Zertifikat authentifizierte Benutzer zulassen UND FÜR DEN DATENTRANSPORT GELD NEHMEN. Die Daten sind frei - aber sagt die Lizenz (egal ob alt oder neu) irgendwas darüber, dass man nicht den Aufwand für den Download in Rechnung stellen darf???
Man sollte diese Diskussion mal aus Sauerkraut- und Gartenzwergland in die internationale Community hieven.
ich habe die Vermutung, dass du hier etwas verdrehst. OSM ist ein Projekt von Freiwilligen. Von sehr vielen Freiwilligen sogar. Diese haben es sich zur Aufgabe gemacht freie Geodaten zu sammeln und allen zugänglich zu machen.
Da wie du richtig festgestellt hast die freien Daten alleine eben nicht gut zu betrachten sind, gab es findige Köpfe, welche das rendering dieser Daten zu Karten vorangetrieben haben. Dabei sind viele Programme entstanden. Allerdings geht eben nichts ohne ein schönes aussehen. Da gabs wieder Nutzer, welche sich wie Nop die Mühe gemacht haben aus den Rohdaten für seine Anwendungsbereiche das richtige auszuwählen und in Bildern darzustellen. Und da er meinte das nur für sich zu behalten wäre langweilig hat er es auf eigene Kosten auf einen Webserver für alle verfügbar gemacht.
Jetzt kommen Menschen daher, die gerne diese Karte anders verwenden wollen, als dies angedacht war. Sie schauen die nicht nur im Web an, sondern laden ganze Länder runter. Dies zwingt den Webserver in die Knie, so dass alle anderen Nutzer darunter leiden müssen. Damit ist der Besitzer des Servers (NOP) nicht einverstanden und sperrt so die Nutzer welche sich nicht an die Gepflogenheiten halten, welche für alle Gleich sind einfach aus.
Das führt dazu, dass Menschen bisher ohne nachzudenken, darauf kommen, dass es so nicht weitergeht und wenden sich an NOP. Er legt ihnen die Sache dar und sie kommen überein, sich an den Kosten der Infrastruktur zu beteiligen. Was ist daran verkehrt?
Aber es gibt auch Menschen die sehen darin einen Frevel. Bitteschön. Sollen sie. Aber anstatt hier rumzulamentieren und zu glauben das OSM ausstirbt, weil man nicht mehr Millionen Tiles auf einmal herunterladen kann, hättest du nach einer Lösung suchen können.
Eine mögliche Lösung bestünde in der Bereitstellung eines Servers. Genauso wie NOP es für alle tut. Wenn dann noch eine nette Frage nach einer Spiegelung von Tiles oder der Datenbank oder was auch immer gekommen wäre, hätte NOP wahrscheinlich gerne geholfen. So wie ich ihn verstehe will er gar nicht unbedingt Geld damit verdienen, sondern nur seine Kosten decken, welche ihm durch den massenhaften Download entstehen.
Solltest du aber in dem Glauben leben, dass du mit der Eintragung von wievielen Daten auch immer ein Recht darauf ableiten könntest jetzt alle Karten zu jeder Zeit zu nutzen, dann muss ich dich enttäuschen.
Es gab hier im Thread zahlreiche Vorschläge, wie man die Server schonen kann. Passiert ist leider nichts. Ich habe mir heute ein Bundesland heruntergeladen und das ganze zuhause mit GPSMid für das Telefon umgerechnet. Dauerte 20 Minuten.
Eine andere Lösung ist/war das Projekt tiles@home. Hier haben die User einen Clienten zu hause laufen, der immer dann rechnet, wenn der Computer gerade nicht gebraucht wird. Darum wurden viele viele Tiles berechnet. Wahrscheinlich auch welche die nicht gesehen werden. Aber damit wird der Server vom Rechenaufwand entlastet und muss “nur noch” Daten ausliefern und empfangen. Auch hier könnte sich MoBac abschauen, wie man Daten zuhause schnell rechnen kann.
Dein Beitrag an der ganzen Sache habe ich bisher aber noch nicht gesehen. Einzig ein Appell in diesem Forum und bei Mobac das sich beide Seiten einigen sollen. Konstruktives war bisher nicht zu sehen. Schade!
Nein, ich lebe nicht in dem Glauben, dass man durch Beitragen von Daten ein recht daran erwirbt, den Server zu verstopfen.
Und wie Du aus meinem Beitrag entnehmen kannst, habe ich selbst auch nix gegen Bezahlung für den Download von gerechneten Tiles… für die Updates von [hier bel. Navis-System einsetzen] sind Menschen ja auch bereit, mehrere hundert Euronen zu zahlen.
Ja, ich finde es gerechtfertigt, wenn sich der/ein Serverbetreiber über Massendownloads aufregt.
Was mich ein wenig stört ist dieses Fingerpointing wer denn nun der/die Böse ist und warum und überhaupt… Im Endeffekt ist dies der unbedarfte User, der niemalsnienicht hier ins Forum kommt und der alles nur nutzen will. Der wird von dieser Diskussion hier eh ned erreicht. Appelle an die Vernunft können nur von denen umgesetzt werden, die sie auch hören…
Deshalb einfach nur Maßnahmen ergreifen oder den Server halt auf dem Zahnfleisch laufen lassen, sofern der übermäßige Traffic nicht auch noch Geld obendrein kostet. Download von fertigen Tiles bezahlen lassen entweder nach MB/GB oder Flat fänd ich keine schlechte Idee.
Ich werd’ mich jedenfalls jetzt mal mit GpsMid befassen und… ach den Rest spar’ ich mir einfach…
Ich wünsche noch einen schönen Sonntag
Gruß
Ro
Nachtrag:
Nachdem ich jetzt schon geraume Zeit nur noch lokale Kartenteile heruntergeladen habe, hab ich jetzt mal wieder einen größeren Download gestartet (nein, nicht die Welt in z16 ) Der Traffic drosselt sich bei 4 Fetcher-Threads (default) nach einer Weile auf einen Mittelwert von 20kb/s herunter, Tendenz fallend. Wenn das so beabsichtigt ist, find ich das OK!
If modified since ist schon eingeführt. Deswegen wurde der Tilestore auf Datenbank umgestellt
Wenn ich in manchen Tiles in der History schaue, dann wundert es mich warum das Hinzufügen einer Einzelheit in Ägypten einen History-Eintrag in einem Tile in Europa erzeugt… da klemmt noch irgendwo was…
Leider funktioniert zumindest für mich userin GpsMid nicht für mein Android-Mobiltelefon. Da werd ich zum Fahren jetzt auf MapDroid umsteigen - der produziert aber keine GPX-Tracks mehr so werd ich auch weniger Daten vom Autofahren zu OSM beitragen.
Ich denke uns ist klar, dass die meisten Nutzer nichts ahnend sind. Aber sie werden gar nicht darüber aufgeklärt. Erst durch eine Sperrung des Servers kommen Anfragen an NOP. Warum weshalb wieso.
Wenn man sich die FAQ durchliest so wird darauf verwiesen, dass Google einfach die Adresse manchmal ändert. Weil eigentlich ist es auch bei Ihnen nicht gestattet usw.
Das Problem ist, dass der Autor des Programmes manches nicht einsieht und es deshalb nicht umsetzen mag.
Dies ist sehr löblich von dir. Dafür hat NOP bereits Möglichkeiten geschaffen. Wenn du dich also mit ihm in Verbindung setzt, gibt es keine weiteren Probleme.
Hier wird das Grundproblem deutlich. Das Programm täuscht dem Server VIER Nutzer vor. Obwohl eigentlich nur einer da ist. Würde sich MoBac ordentlich authentifizieren, könnte der Server Browser und Downloader voneinander unterscheiden.
If modified since ist schon eingeführt. Deswegen wurde der Tilestore auf Datenbank umgestellt
Wie kommst du auf diese Idee? Also in der kleinsten Zoomstufe ist die ganze Welt ein Tile. Warum aber gerade Änderungen in Ägypten Auswirkungen in Europa haben sollen, weiß ich nicht. Denkbar wäre aber das Änderungen dort und kleine Details (auch nicht sichtbare) dort in einem Changeset hochgeladen wurden. Das können Relationen sein etc. Der Renderer kann nicht unterscheiden ob die Änderung jetzt Auswirkung auf die Karte haben oder nicht. Er muss es neu berechnen.
Schade das auf deinem Android-Telefon das Programm nicht funktioniert. Ich dachte Google auch setzt auf Java. Aber für Android gibt es eine Reihe von Programmen: http://wiki.openstreetmap.org/wiki/Android
Wenn du willst probiere doch einmal das Platform übergreifende Navit aus.
Wenn ich das richtig verstanden habe, nimmt ein normaler browser (IE, Firefox. …) zwei threads.
Seit 1.9 preview 7 nimmt MOBAC nur noch 2 workerthreads und identifiziert sich auch als “mobac”,
aber nur fuer die mapnik@osm umd nur diese, nicht fuer RUW-karte etc.
