Deltaload möglich?

MotorKUH · 2012-08-22 11:24:46

Hallo OSM-Spezialisten,

aufgrund meiner langsamen DSL-Leitung (384 kbit/s) stellt sich mir die Frage, ob es möglich wäre nicht immer ganz Deutschland bei der Geofabrik zu laden, wofür ich fast 24h benötige.

Ich stelle mir eine Art Delta-Load vor, wo nur die Änderungen geladen und ins auf heimischer Platte befindliche Datenmaterial einzuspielen ist.

Gibt es Tools, die das können?
Falls ja, ich suche welche für Apple's Mac OS X (Lion).

Beste Grüße.
Scotti

wambacher · 2012-08-22 11:33:03

MotorKUH wrote:

Gibt es Tools, die das können?

Klar, sonst würde 90% von OSM nicht vernünftig rennen. Hast du dich mal gefragt, wieso die Zeit zwischen Hochladen einer Änderung im Editor und der Anzeige auf der Mapnikkarte nur ca 1-2 Minuten dauert?
Der Weg geht in etwa diese Richtung: http://wiki.openstreetmap.org/wiki/Planet.osm/diffs
Es hängt aber stark davon ab, wie du bisher deine Daten importierst. Gehen tut es auf jeden Fall!

Falls ja, ich suche welche für Apple's Mac OS X (Lion).

Sollte kein Problem sein, da ja nur Standard-Komponenten verwendet werden - nur das WIE ist neu für dich.

Gruss
Walter

p.s. du bekommst hier sicher nicht auf Anhieb eine 1/1-Beschreibung. Erst muss dein Umfeld klar sein.

Last edited by wambacher (2012-08-22 11:35:31)

MotorKUH · 2012-08-22 11:45:19

Hallo Walter,
Danke für die fixe Antwort. Den Link hab ich bisher nicht gefunden und gleich in meine Sammlung gepackt. Schon wieder viel zu lesen und zu lernen.

wambacher wrote:

Es hängt aber stark davon ab, wie du bisher deine Daten importierst. Gehen tut es auf jeden Fall!

Bisher von hier: http://download.geofabrik.de/osm/europe/germany.osm.bz2

wambacher wrote:

nur das WIE ist neu für dich.

So ist es. Und wer kann es mir sagen, zeigen, das "WIE"?

SunCobalt · 2012-08-22 11:52:22

so mach ichs..
https://wiki.openstreetmap.org/wiki/Use … le_updated

wambacher · 2012-08-22 12:08:24

MotorKUH wrote:

Bisher von hier: http://download.geofabrik.de/osm/europe/germany.osm.bz2

Das ist nur die Daten-QUELLE; wichtig ist das, was danach bei dir passiert. D.h wie du bisher deine Karten daraus erzeugst.
Da gibt es dutzende Wege und auch jeweils passende Update-Strategien.

Extremfall 1: jedes mal neuen Extrakt laden
Extremfall 2: der geammte Planet in einer Postgresql-Datenbank mit minütlichem automatischen Update

"Irgendwo dazwischen" befindet sich der für dich optimale Punkt. (*)

Gruss
walter

(*) Bei mir ist das z.B. 1x im Juni Extrakt von Germany in eine Postgresql-DB geladen und seit dem minütliche Updates. DB-Größe derzeit 100GB

p.s. geh bitte nicht davon aus, dass das in 1-2 Tagen rennt. Das dauert

Last edited by wambacher (2012-08-22 12:14:35)

MotorKUH · 2012-08-22 12:32:17

SunCobalt wrote:

so mach ichs..
https://wiki.openstreetmap.org/wiki/Use … le_updated

Danke für den Link. Kommt vorerst in die Sammlung.
Was dort geschrieben wird, ist mir derzeit noch zu hoch. Muss ich mir mal in Ruhe durchlesen und Step-by-Step ausprobieren.

MotorKUH · 2012-08-22 12:36:30

wambacher wrote:

Extremfall 1: jedes mal neuen Extrakt laden

So mach ich's. Weil ich das verstanden habe.

chris66 · 2012-08-22 12:37:01

Hi,
einfachere Möglichkeit geht mit osmconvert/osmupdate. Wird auch irgendwo in den Untiefen des Forums erläutert.
Chris

Edit: Linknachtrag: http://forum.openstreetmap.org/viewtopic.php?pid=246078

Last edited by chris66 (2012-08-22 12:39:47)

wambacher · 2012-08-22 12:44:04

MotorKUH wrote:

wambacher wrote:
Extremfall 1: jedes mal neuen Extrakt laden
So mach ich's. Weil ich das verstanden habe.

Klar, wir haben fast alle so angefangen - ich auch.
wenn du aber mal ganz knapp schreiben würdest, wie du deinen Karten erzeugst (zumindest die ersten Schritte) wäre das sehr hilfreich.
Nur einfach die Liste der Programme in der entsprechenden Reihenfolge wär schon was.
a) womit fasst du das pbf-File an?
b) wie legst du die Daten aus a ab?
c) womit renders du?

Das wäre vorerst genug.

Gruss
walter

MotorKUH · 2012-08-22 13:31:09

wambacher wrote:

a) womit fasst du das pbf-File an?
b) wie legst du die Daten aus a ab?
c) womit renders du?

Hallo Walter,

zu a) b) und c) Ich mach's nach diesem Schema: http://wiki.openstreetmap.org/wiki/DE:A … generation
Allerdings nur die Basemap. Und dann noch ein transparentes Layer oben drauf für die Anzeige der Motorrad-Streckensperrungen.
Statt dem kleineren pbf-File lade ich jedoch gleich das bz2-gepackte osm-Format, weil ich mich bisher nicht an die Konvertierungen getraut habe.

Also das übliche:
Deutschland bei der Geofabrik laden, splitter.jar, mkgmap.jar, eigene Style-Datei (hier jongliere ich gerade mit den Einstellungen für optimales Motorrad-Routing) mit eigenem Typfile und ich habe meine gmapi-Dateien für PC und gmapsupp.img für's Navi.

Reicht das vorerst? Die einzelnen Code-Befehle liegen nämlich zuhause auf dem iMac. Da komm ich grad nicht ran.

Cobra · 2012-08-22 13:43:39

Mit der Beschreibung kommt man natürlich schon wesentlich weiter.
Direkt helfen kann ich dir auch nicht, aber es gibt so viele Anwendungsszenarien, dass die Frage "was tust du überhaupt mit den Daten?" schon wichtig ist, um entsprechende Tipps zu geben. Wenn man eine Rendering-Datenbank für mapnik aktuell halten will, ist das eine vollständig andere Problemstellung wie dein Fall für mkgmap.

wambacher · 2012-08-22 14:33:20

MotorKUH wrote:

Reicht das vorerst? Die einzelnen Code-Befehle liegen nämlich zuhause auf dem iMac. Da komm ich grad nicht ran.

jo, das reicht (mir)

nach 1x

wget http://download.geofabrik.de/osm/europe/germany.osm.bz2
bunzip2 germany.osm.bz2

und vor

java -Xmx5000M -jar splitter.jar --mapid=63240345 --max-nodes=1000000 ../germany.osm

müsstest du die Daten regelmäßig updaten. Das könnte z.B. mit der Methode von Thomas (SunCobalt) gehen.
Das ist zumindest ein Schritt in die richtige Richtung, ohne dass du deine Toolchain gross ändern musst.

Ich würde das auf jeden Fall mit osmosis machen; allerdings gibt es da unterschiedliche Ansichten, die sich mMn auch darin begründen, dass osmosis am Anfang nicht leicht zu verstehen ist.

Gruss
walter

Last edited by wambacher (2012-08-22 14:34:03)

EvanE · 2012-08-22 14:59:00

Hallo Scotti

Für dich wäre eventuell die Freizeitkarte und die dazugehörige Entwicklungsumgebung für eigene Karten interessant.

In deinem Fall mit der schlappen Leitung würde ich den kleinsten Download (vermutlich *.pbf) auswählen. Auch wenn du dadurch einen zusätzlichen Schritt lokal ausführen musst. Gegenüber den Downloadzeiten sollte das allemal schneller sein.

Ob du für die Updates das Allzwecktool osmosis (entsprechend komplex) oder die überschaubarere Kombination aus osmconvert und osmupdate (ggfs. ergänzt um osmfilter) bevorzugst, musst du selber überlegen. Beide Tools können mit den Diff-Dateien umgehen.

Links: http://wiki.openstreetmap.org/wiki/DE:Osmconvert
http://wiki.openstreetmap.org/wiki/DE:Osmupdate
http://wiki.openstreetmap.org/wiki/DE:Osmfilter

Vielleicht macht es für dich auch Sinn, mit dem Autor der Freizeit-Karte (hier im Forum toc-rox) zu kommunizieren. In meinen Augen gehört ein Großteil des Themas Motorradfahren zu den Freizeitaktivitäten und wäre dort ggfs. gut aufgehoben.

Edit: Wenn du dich auf die daily-diffs beschränken kannst, sollte das nochmal etwas an Download-Zeit gegenüber hourly oder gar minutely diffs sparen. (Tipp aus der Beschreibung von osmupdate)

Edbert (EvanE)

Last edited by EvanE (2012-08-22 15:02:33)

MotorKUH · 2012-08-22 15:57:28

Besten Dank an alle für so qualtitativen Input. Jetzt habe ist erst mal wieder genug Lesestoff.

Aber eines wüsste ich noch gerne:
Gibt er hier User, die zum Laden eine Netzwerk-Festplatte, also eine NAS wie z.B. meine Synology DS-207+ verwenden?
Auf so einem Teil läuft Linux, es hat 128 MB und ist bei mir nahezu immer online (außer im Urlaub).
Von daher wäre es angebracht, solche Delta-Load-Dienste doch dort einzurichten und laufen zu lassen.
Wer hat sowas oder ähnliches im Einsatz?

Last edited by MotorKUH (2012-08-22 15:58:04)

Announcement

#1 2012-08-22 11:24:46

Deltaload möglich?

#2 2012-08-22 11:33:03

Re: Deltaload möglich?

#3 2012-08-22 11:45:19

Re: Deltaload möglich?

#4 2012-08-22 11:52:22

Re: Deltaload möglich?

#5 2012-08-22 12:08:24

Re: Deltaload möglich?

#6 2012-08-22 12:32:17

Re: Deltaload möglich?

#7 2012-08-22 12:36:30

Re: Deltaload möglich?

#8 2012-08-22 12:37:01

Re: Deltaload möglich?

#9 2012-08-22 12:44:04

Re: Deltaload möglich?

#10 2012-08-22 13:31:09

Re: Deltaload möglich?

#11 2012-08-22 13:43:39

Re: Deltaload möglich?

#12 2012-08-22 14:33:20

Re: Deltaload möglich?

#13 2012-08-22 14:59:00

Re: Deltaload möglich?

#14 2012-08-22 15:57:28

Re: Deltaload möglich?

Board footer