Bedarf in Extrakt DE + 50 km

Wenn du kein PBF benutzen kannst, würde ich bevor ich bzip2 nehme, inzwischen lieber xz (XZ Utils sollte aber bei allen neueren Linuxdistributionen inzwischen als Standard mit dabei sein und wer Windows hat, für den gibt es http://7-zip.org) auf niedriger Kompressionsrate nehmen. Ich hatte mal für mich einen Test gemacht, als sie noch lzma-utils hießen und da hatte er bei “lzma -2” schneller als bei bz2, von der Leistung her aber damit quasi identisch, gepackt. Für höhere Kompressionsraten steigen dann aber die RAM-Anforderungen, deshalb sollte man da mal die Manpage lesen, auch wenn die hier aus meiner Sicht nicht zur Debatte stehen.

Das wäre eher eine schlechte Idee. bz2, gz und pbf kann man direkt mit osmosis verarbeiten. Das dürfte wohl eine der Hauptanwendungen sein, die genutzt wird, um den Ausschnitt zurecht zu schneiden. Wenn man die Datei aber erst einmal entpacken muss, hat man einen Schritt mehr und muss die xml-Datei irgendwie auf der Platte unter bringen.

Nicht unbedingt. Du kannst die Daten ja vom xz direkt nach osmosis pipen und dort von stdin lesen. Das ist bei bz2 bedeutend schneller als die interne Java-Implementierung und verbraucht keinen Platz.

bye
Nop

PS: Heh, moment mal, jetzt fang ich als Windows-User schon an Linux-Tipps zu geben. Ganz klar zuviel Karten gebaut… :slight_smile:

Ich verwende allerdings nicht osmosis, sondern osmchange um die Updates einzuspielen. Und ich glaub das verträgt (noch?) kein pbf, von daher würde ich gerne bei plane .osm + irgendein Packer bleiben. Ich bin grade noch dabei die verschiedenen Packer da dran loszulassen, aber lzma -2 scheint recht flott und gut zu packen. Die Datei ist damit auf ca. 1,5GB geschrumpft und das in ca. 37 Minuten. Die anderen sind noch nicht fertig. Bei lzma -9 wird es wohl wirklich zu langsam, der wird wohl so um die 9 Stunden brauchen bis er fertig ist. Die beiden bzip2 die ich gestartet habe sind auch noch nicht fertig, bzip2 -2 wird ca. 90 Minuten brauchen, bzip2 -9 ca. 110 Minuten. Die sind aber momentan auch noch nicht fertig. Die Dateigrössen werde ich mir dann nachher nochmal ansehen, aber wenn sonst nichts dagegen spricht werde ich wohl auf lzma -2 umstellen, es sei denn jemanden würde ein .xz wesentlich höheren Aufwand machen als ein .bz2 oder .gz

Markus

Ja, das hat keine PBF-Unterstützung, gerade mal nachgesehen.

Noch als Hinweis: “lzma” war das alte Kommando der lzma-utils, da kann es sein das intern ein paar Bytes anders sind, weil soweit ich mich erinnere haben die da noch was am Dateiheader geändert. Jetzt wurde das von “xz” als Kommando abgelöst. Eigentlich kann DOS schon seit Urzeiten Pipes, wird höchstens nicht besonders effizient sein, aber da gibt’s dann auch wie bei den anderen Packern ein “xzcat”. “xz -2” ist ja nur ein Shortcut, wenn du möchtest, kannst du auch an den Detailparametern des Packers spielen, die stehen wie üblich in der Manpage. Lese da auch gerade das die schneller Presets bis “xz -3” gehen.

Edit:

Mittlerweile habe ich meine Images/Extrakte aus OSM in ein eigenes Verzeichnis zusammengefasst. Unter http://140.78.94.22/osm/ ist jetzt der taeglich aktualisierte Deutschlandextrakt mit xz komprimiert vorhanden. Weiters sind dort auch die Polygonzuege nach denen ich ausschneide und die All-In-One Kartenimages fuer Garmin Navis, sowie meine Wanderweg-Layer Erweiterung dazu.

Markus

Vielen Dank Markus. Kannst Du die Nutzung im Auge behalten? Ich empfand die Nachfrage als sehr gering, weswegen ich es gelassen habe. Es freut mich aber, dass Du die bereit stellst. Vor allem die AIO Karten sind ja momentan sonst schwer zu bekommen.

Hab eben ein bisserl im Logfile des webservers gestoebert. Die Nachfrage nach dem OSM-Extrakt duerfte, nach der Anzahl der Downloads, wirklich recht gering bis kaum vorhanden sein. Meiner Vermutung nach haben die wenigen, die solch einen Extrakt abweichend von den geofabrik Extrakten brauchen auch die Moeglichkeit diesen selber herzustellen.

Bei den AIO-Images gibt es so ca. eine Handvoll downloads pro Tag. Da bleibt von der Serverkapazitaet/Bandbreite noch jede Menge Spielraum nach oben.

Markus

+1

+1

Habe gerade versucht, mit germany+.osm (16GB) einen kleinen Kartenausschnitt zu erstellen. Map_Composer bringt mir einen OutOfMemory-Fehler. Vermute mal, die Datei ist für das Progamm zu groß.

softcake

Die ist nicht für den Composer zu groß, aber du musst den Composer halt mit mehr Arbeitsspeicher starten lassen.

In der start.bat ist folgendes angegeben: java -Xmx1600M -cp map_composer.jar;…

Bei mehr als 1600 kommt die Fehlermeldung “Could not reserve enough space for object heap”

Das Programm läuft auf XP Pro, 4GB RAM

softcake

Für mehr RAM braucht man ein 64bit-System :wink: Da wirst du dann wohl einen Bereich aus germany+ ausschneiden müssen…

Ok, damit wären wir bei meinem nächsten Problem. Habe vorhin schonmal versucht, mit Osmosis einen Bereich auszuschneiden. Ich bekomme jedoch das Programm aus dem Batch-File nicht zum laufen!

Im Moment verwende ich Osmosis v0.38 mit dem Map_Composer. Die Batch-Beispiele, welche man im Internet findet, funktionieren nicht. Hier der Aufruf:
*
SET java=C:\Programme\Java\jre6\bin\java.exe -Xmx1600M
SET osmosis_path=C:\works\Programme\Osmosis 0.38
SET osmosis=%java% -cp “%osmosis_path%\lib\default\osmosis-core-0.38.jar”
SET input_osm_file=C:\works\Programme\Map_Composer\Input\input.osm
SET output_osm_file=C:\works\Programme\Map_Composer\Input\output.osm*

*%osmosis% --rx file=%input_osm_file% --bounding-box left=12.1 bottom=50.1 right=12.2 top=50.2 --wx %output_osm_file%
*

Im Augenblick bekomme ich einen Error “Unrecognized Option --rx”

Eventuell kann hier ja mal jemand den Inhalt eines funktionierenden Batch-Files für die v0.38 posten? Mir wäre langsam mal nach einem Erfolgserlebnis…

Gruß, softcake

Was interessiert mich Norddeutschland, wenn ich da noch nie im Leben war?

Interessanter wäre ein Dienst, wo man mit einen Ausschneidewerkzeug ein Quadrat oder Kreis um seinen Wohnort ziehen kann, meinetwegen auch wie bei JOSM entlang eines Tracks mit xkm Umkreis das dann eine fix und fertige Garmin Mapsource fähige Karte ausspuckt, wo man davor auch noch definieren kann, was man dabei haben will und was nicht. z.B. keine Umrisse von Gebäude oder Flächen wie Wälder, keine POIs die mich nicht interessieren um den Kartenaufbau und die POI Suche zu verbessern. Ob Routenfährig oder nicht ,mit Höhenlinien usw. Nach dem absendeknopfdruck beginnt sofort der Download.

Lokal auf dem Computer dann noch ein Programm, mit dem man mit einem doppelklick seine Daten bei Mapsource aktualisieren kann.

Ich denke für sowas gäbe es Bedarf :smiley: und nicht nach extrakten wo man selbst stundenlang hand anlegen muss.

Da wären wir bei einem meiner Anliegen:

Könnte bitte einer der Windows-Profis das Programm pbftoosm für Windows übersetzen? Das würde vielen helfen, die Osmosis unter Windows nicht recht zum Fliegen kriegen. Außerdem läuft es für solche Spezialfälle (Bereich aus einer PBF-Datei ausschneiden) einiges schneller.

Ich hab schon probiert, pbftoosm mit MinGW zu compilieren, es aber nicht geschafft. :frowning: Es scheitert irgendwie an der Bibliothek für lzip.
http://wiki.openstreetmap.org/wiki/Pbftoosm

Hallo,
also ich nutze Osmosis 0,39 und schneide die europe.osm.pbf mit folgenden Befehl.

“F:\neuenOrdner\bin\osmosis.bat” --rb europe.osm.pbf --bb bottom=50.6 left=13.6 top=51.3 right=15.5 right=16.6 clipIncompleteEntities=yes idTrackerType=BitSet --wx grosser_ausschnitt.osm

@softcake
Also ganz einfach man entpackt Osmosis in einen “neuenOrdner” dorthin kopiert man dann die europe.osm.pbf
Jetzt erstellt man sich eine neue *.bat Datei in diesem “neuenOrdner” mit oben aufgeführter Zeile
Nun die *.bat Datei ausführen und man erhält einen Ausschnitt den man weiterverarbeiten kann.
Unbedingt Osmosis 0,39 verwenden die verarbeitet *.pbf meist ohne Fehler.
Ich nutze die Daten von der Geofabrik aber es klappt nicht immer jedes File, manchen Tag ist irgendwie der Wurm drin.

Gruß Jörg

Hallo softcake

Um JAVA mehr Speicher zu geben, muss du eventuell die Auslagerungsdatei vergrößern. Damit sollte JAVA dann mehr als 50% des realen Hauptspeichers erhalten können.
So war das zumindest bei meinem virtuellen WinXP mit 1,25 GB Speicher. Nach Vergrößerung der Auslagerungsdatei konnte ich JAVA/JOSM dann 800+MB zuteilen. (900MB ging nicht mehr)

Edbert (EvanE)

Hallo Marqqs,

Bei mir tut’s unter MinGW einfach ein:


gcc -c pbftoosm.c

und ein anschliessendes


gcc -o pbftoosm pbftoosm.o -lz

Ergebnis: pbftoosm.exe mit 114.358 Bytes.

Allerdings musste ich “pbftoosm.c” vorher noch folgendermassen patchen, damit es das pdf-File binär öffnet:


1042a1043,1045
> #ifdef _WIN32
>     read__fd= open(filename,O_RDONLY|O_BINARY);
> #else
1043a1047
> #endif
3243a3248,3251
> #ifdef _WIN32
>   setmode(fileno(stdout), O_BINARY);
>   setmode(fileno(stdin), O_BINARY);
> #endif

(Mail mit Patch an Autor geht gleich raus…)

Viel Erfolg und schöne Grüße

PA94

Hallo Markus

Bedarf hätte ich eher an einem fertigen AIO Germany+ Image.
Wobei mein Bedarf auch davon abhängt, was ich in absehbarer Zeit an Unternehmungen plane.

Mir selbst Garmin-Karten zu erstellen, überfordert meine derzeitigen Kenntnisse.
Von daher Dank an dich und alle anderen, die das können und ihre Ergebnisse anderen zur Verfügung stellen.

Edbert (EvanE)