europe.osm.pbf File per täglichem Diff-Abgleich aktuell halten

Gerne doch, meine Batchdatei “update.bat” sieht wie folgt aus:

@echo off
set http_proxy=http://localhost:8888
osmupdate --daily --planet-url=http://planet.openstreetmap.org/redaction-period/ OSM-Data\germany+iceland.osm.pbf OSM-Data\germany+iceland-new.osm.pbf -B=germany+iceland.poly -v

Wobei die 2. Zeile nur bei mir nötig ist, da ich einen lokalen Proxy auf Port 8888 habe, über den wget ins Internet gelangt. Dazu muß die aktuelle Version von osmupdate UND osmconvert sowie wget im Pfad verfügbar sein. Die erste Datei (germany+iceland.osm.pbf) ist der vorhandene Datenbestand, die zweite Datei (germany+iceland-new.osm.pbf) ist dann die upgedatete Version.

Edit:
Ich vergaß: Ich habe noch eine Polygondatei (germany+iceland.poly), die den gewünschten Kartenausschnitt beschreibt.

Wo spare ich dabei den Traffic?
Es wird doch immer die komplette daily(s) meist so 40MB pro Tag) geladen
Einzig die einzupfelgenden daten werden doch dadurch reduziert!

Nun, für mich ist es schon ein gewaltiger Unterschied, ob ich die 40 MB Planet-Change-File oder die 7,9 GB des kompletten europe-Abzug TÄGLICH herunterlade, oder etwa nicht? :wink:

Das Stimmt.

Beim ersten lesen war ich der Meinung herausgelesen zu haben das du Traffic sparst durch Verwendung der Poly-Files und der kleineren osm.pbf.

Beim Zweiten (genaueren) lesen kommt man drauf das du die europe.osm.pbf mit der daily vergleichst.

Weil osmupdate ist ja nicht ganz neu (selbst Verende es schon seit ca. 6 Monaten) dachte ich das es eine noch effektivere Möglichlkeit gibt “uptodate” zu sein als osmupdate.

Das heisst wenn ich mir eine aktuelle europe.pbf von geofabrik ziehe muss ich die erst “downgraden” ?
Edit: Hat geklappt (Schritt 2 also nicht notwendig, wenn man eine aktuelle Datei als Basis nimmt).
Chris

Damit ist gemeint mit dem “ALTEN” osmupdate !

Aber wir nähern uns ja langsam der 100 Tagegrenze und da ist es je nach DSL-Leitung schon effektiver sich die neue europe.osm.pbf zu holen als die alte (Stand vor/bis 1.04) nochmal upzudaten.

Soll wirklich noch Leute geben die nur alle paar Monate updaten - die werden aber wahrscheinlich weniger osmupdate verwenden.

Hallo
Ich habe mal das vorgekramt.
Werde aber nicht ganz schlau.

Osmupdate ist die aktuelle Version
Ich nutze Ubuntu 13.04

Ich möchte die:
europe-latest.osm.pbf und planet-latest.osm.pbf mit osmupdate aktualisieren.

Zur Info: osmconvert ist zentral in “bin” und im Verzeichnis “mkgmap” drin

Wenn ich das starte kommt :


marko@marko-desktop:~$ cd Dokumente/mkgmap
marko@marko-desktop:~/Dokumente/mkgmap$ ./osmupdate europe-latest.osm.pbf europe-latest-new.osm.pbf
osmupdate Error: Please install program osmconvert first.
marko@marko-desktop:~/Dokumente/mkgmap$ 

Wie könnte ich das auch noch machen?
Beste Grüße

Das was dort steht. Osmupdate sucht die entsprechenden Updates benötigt aber OSMconvert um diese dann zusammenzuführen.

Hallo

Ja hat jemand drauf gestanden.

Nach der Anleitung osmconvert wurde es ja in osmconvert32 umbenannt.
Habe jetzt wieder osmconvert daraus gemacht.

Jetzt habe ich osmconvert32 und osmconvert.

Jetzt geht was in dem Verzeichnis “mkgmap”

Das läuft:


marko@marko-desktop:~$ cd Dokumente/mkgmap
marko@marko-desktop:~/Dokumente/mkgmap$ ./osmupdate europe-latest.osm.pbf europe-latest-new.osm.pbf --hour --day --keep-tempfiles

Ob das so richtig ist wird sich zeigen. :smiley:

Beste Grüße

Hallo

Etwas scheint nicht zu stimmen?

Der Download der Datei europe-latest.osm.pbf ca 12,9GB dauert ca. 1,5 Stunden.

Die vorhandene Datei europe-latest.osm.pbf ca 12,9GB ist einen Tag alt.

Osmupdate läuft schon ca 45 min die neue Datei ist aber erst 2,5 GB Groß? Da ist der Download schneller ? Wo ist da der Sinn?

Ist Osmupdate extrem Ressourcen Abhängig? (Ram/Prozessorleistung)
Beste Grüße

Warum beide? Wenn du nur den Planeten pflegst, hast du doch Europa mit drin.

Gruss
walter

Osmupdate (vielmehr osmconvert) läuft erst bei Dateien im O5M-Format richtig schnell, bei PBF eher nicht.

Vorteile beim lokalen Update (statt neuem Download) gibt es nur bei Usern, die eine schwache DSL-Leitung haben. Beispielsweise dauert der Download einer europe.osm.pbf bei DSL-2000 ca. 13 Stunden. Davon noch ein Ausschnitt (z.B nur DACH) gepflegt, so dauert das tägliche Update nur noch 10 Minuten.

Organisation, insbesondere bei der Verwendung der Tools, ist dabei ziemlich wichtig.

Mein PBF-Planet-File aktualisiere ich mit osmosis auf meiner alten Möhre (5 Jahre) innerhalb von 1,5 Stunden (inklusive Ausschneiden diverser Extrakte). *

Ich aktualisiere mein Planet-File mit osmosis und gleichzeitig schneide gleichzeitig mehrere Extrakte aus. Kostet auch nicht viel mehr Zeit.

Christian

  • Wobei da ein wenig Optimierungsaufwand hintersteckt. Meine Tests haben ergeben, daß es am schnellsten geht, wenn von einer Platte gelesen und auf eine andere geschrieben wird; dazu muß aber erst das alte Planet-File auf die andere Platte kopiert werden (dauert ca. 10 Minuten, spart aber viel mehr Zeit ein). Zusätzlich hat es was gebracht die Kompression bei PBF auszuschalten. Das Komprimieren dauerte länger als das zusätzliche Lesen und Schreiben. Die Diffs werden bei mir schon automatisch auf das NAS runtergeladen, so spar auch noch mal ein paar Minuten, bei langsamer DSL-Verbindung.

Mal abgesehen davon, dass ich beim erneuten Download meine eigene Leitung für die weitere Nutzung drossele:

Für mich ist das nicht nur ein abwägen von “wie habe ich das schneller”. Ein Aspekt ist auch wie man mit den Ressourcen Dritter umgeht, eben bei solchen Dateigrößen und Gratisbereitstellung. Und auch die Kalkulation meiner DSL-Flatrate basiert darauf, wie die Kunden diese Angebote nutzen…

Hallo
Denn macht es doch Sinn nur meine einalig ausgeschnittenen poly Dateien der jeweiligen Karten, aufzuheben und zu aktualisieren.
Das will ich mal testen. Soll wohl gehen mit dem poly am Ende vom Befehl.

Das mit der 2. Festplatte ist gut. Wo gibt man die bei osmupdate an im Befehl - das Wiki hat dürftige Beispiele?
Beste Grüße

Moin,

Schuss aus der Hüfte (Du arbeitest AFAIK unter Windows?):
Statt [new_file] den absoluten Pfad angeben (z.B. :<Verzeichnispfad><Dateiname>

Standardvorgehen für alle Fälle, wo die Dateien nicht im gleichen Verzeichnis liegen: Relative oder absolute Pfade müssen dann angegeben werden.

Gruß
Georg

Hallo

Danke für den Tip. :slight_smile:

Ich nutze Ubuntu 13.10

Erster Test mit einem neuen Poly, musste ein neues basteln da die Karte 2,3 GB wurde und nicht mehr unterstützt/erkannt wird von Garmin.


osmupdate deu-pol-cze-svk.osm.pbf --hour --day --keep-tempfiles deu-pol-cze-svk-new.osm.pbf -B=deu-pol-cze-svk.poly

Aktualisierung heute dauerte 25 min. Ohne den Download der europe Datei 1,5 Stunden gespart. Plus das erneute ausschneiden 45 min gespart.

Das ist wohl für mich die beste Variante nur die vorhandenen …osm.pbf Dateien zu aktualisieren.

osmupdate zeigt im Terminal an “Aging th timestamp by 4hours for seafty reasons”

Beste Grüße

Das geht gut

Die neuste Karte hat alles in allem nur ca 2 Stunden gedauert.
Adress Suche ist perfekt.
Beste Grüße

Hallo

Nach Upgrade auf 14.04 geht osmupdate und osmconvert nicht mehr ?

marko@marko-desktop:~$ cd ~/Dokumente/mkgmap
marko@marko-desktop:~/Dokumente/mkgmap$ ./osmconvert africa.osm.pbf --out-o5m >africa.o5m
bash: ./osmconvert: cannot execute binary file: Fehler im Format der Programmdatei
marko@marko-desktop:~/Dokumente/mkgmap$ 

osmupdate

marko@marko-desktop:~$ cd ~/Dokumente/mkgmap
marko@marko-desktop:~/Dokumente/mkgmap$ osmupdate -v deu-old.osm.pbf  --minutely --hour --day --keep-tempfiles deu.osm.pbf -B=deu.poly
osmupdate Parameter: deu-old.osm.pbf
osmupdate Parameter: --minutely
osmupdate Parameter: --hour
osmupdate Parameter: --day
osmupdate Parameter: --keep-tempfiles
osmupdate Parameter: deu.osm.pbf
osmupdate Parameter: -B=deu.poly
osmupdate Error: Please install program osmconvert first.
marko@marko-desktop:~/Dokumente/mkgmap$ 


Da mus ich wohl auf eine neue Version von Osmupdate und osmconvert warten?

Beste Grüße

Osmupdate und Osmconvert laufen auf etlichen Ubuntu-Versionen, da macht eine neue keinen Unterschied. Ist denn Osmconvert/Osmfilter selbst kompiliert?

Wenn die gedownloadete africa.osm.pbf einen Fehler hat, funktioniert osmconvert nicht. Und natürlich auch nicht osmupdate, weil es osmconvert aufruft (osmupdate sammelt lediglich die Update-Informationen und startet den Download mit wget, den Merge von Extrakt und Changefiles macht osmconvert).

Warum installierst du eine Beta kurz vor Erscheinen der endgültigen Version?