Bedarf in Extrakt DE + 50 km

Hast du schonmal mit --generate-sea=polygons,extend-sea-sectors,close-gaps=6000 probiert. Das extend-sea-sectors ist für die Geofabrik-Extrakte, weil es ansonsten da zu Fehlern am Rand kommt. Alternativ wäre auch möglich die fehlerhafte Kachel in josm zu öffnen und die Küstenlinie bis zum Rand zu erweitern.

Das hätte den Vorteil, dass die Daten wieder an einer zentralen und schon fast “standardisierten” Quelle zu finden wären. Könnte auch interessant für Nutzer von Map Composer sein.

Würde es dann nicht Sinn ergeben bei geofabrik mal anzufragen, bevor SunCobalt sich in Arbeit stürzt? Das müsste halt jemand mit entsprechendem Hintergrundwissen übernehmen. Bei mir reichts noch nicht so ganz…

softcake

Mache ich schon immer, neuerdings mit close-gaps=2000. Macht aber für mich keinen feststellbaren keinen Unterschied. Letzteres müßte ich dann wohl nach jedem Download tun, oder?.
Deshalb nehme ich ja den Rechteckausschnitt. Da gibts damit kein Problem und da neuerdings auch die Landesgrenze nahezu lückenlos ist, bleibe ich dabei. Der große OSM Guru bin ich eh nicht.

Hatte auch mal eine fertige Deutschlandkarte von Computerteddy (bin mir aber nicht mehr sicher) geladen. Da bestand das Problem mit dem gefluteten Land westlich Bremen ebenfalls.

Gruß
Josef

So gehts mir auch.
Wegen des überschwemmten Landes hatte ich Geofabrik schon mal vergeblich angeschrieben. Wenn es da aber noch andere Gründe gibt, wäre das bestimmt von Vorteil.

Anonsten +1

Gruß
Josef

Hallo,

gibt’s von DE+50 schon was neues?

Gruß, softcake

Zum Thema Traffic: Was spricht gegen einen Transfer mittels Bit-Torrent? Der Browser Opera kann das von Haus aus, Firefox-User brauchen Microtorrent oder etwas ähnliches. Dir spart es Traffic, da vermutlich sehr schnell genügend Leute da wären die ein File verbreiten.

naja, bis jetzt haben nur 2-3 Leute Interesse.

Ich kann Sachen per osmosis schneiden und per ftp bei odbl.de hochladen. Wie ich einen Torrent seede, weiß ich nicht. Das Problem an einem Torrent bei OSM ist mMn die kurze Lebenszeit.

Vielleicht starte ich mal einen Versuch am Wochenende. Gibts Wunsch-BBoxes?

Ich habe vom Europaextrakt einen Deutschlandteil ausgeschnitten um daraus mein AIO-Karten zu generieren. Diese OSM-Daten auktualisiere ich nun automatisch taeglich mit den changefiles die ich mittels osmchange integriere. Als Boundingbox hab ich eine relativ grosszuegige BBox um Deutschland gezogen. Falls ich jemanden mit dieser OSM-Datei helfen kann, dann koennte ich diese auch leicht zum Webserver verlinken?

Markus

Ja, bitte. Wie groß ist die Datei etwa?

softcake

Die Datei ist ca. 2.4GB gross, da ich sie nur schwach komprimiert habe. War ja bisher auch nicht zum download gedacht, sondern nur zum taeglichen auspacken - updaten und wieder einpacken. Aber mal zum testen verlinke ich sie mal vorerst, germany+.osm.gz Ausgeschnitten ist sie nach dieser BBox als .osm Linienzug: germany+.osm

Waere aber auch nicht so tragisch den Prozess auf ein .bz2 umzustellen, wuerde nur das Einspielen des taeglichen Changefiles um ein gutes Stueck laenger dauern. Werde mal morgen testen wie stark sich damit die Dateigroesse reduzieren lassen wuerde und um wie viel laenger ein .bz2 wirklich dauert.

Markus

Spricht denn etwas gegen das pbf-Format? Ich kenne deine Toolchain nicht, aber der splitter frisst pbf und mit osmosis kannst du auch das pbf aktuell halten. Vorteil wäre, dass die Datei kleiner wird und die Verarbeitung deutlich schneller.

Wenn du kein PBF benutzen kannst, würde ich bevor ich bzip2 nehme, inzwischen lieber xz (XZ Utils sollte aber bei allen neueren Linuxdistributionen inzwischen als Standard mit dabei sein und wer Windows hat, für den gibt es http://7-zip.org) auf niedriger Kompressionsrate nehmen. Ich hatte mal für mich einen Test gemacht, als sie noch lzma-utils hießen und da hatte er bei “lzma -2” schneller als bei bz2, von der Leistung her aber damit quasi identisch, gepackt. Für höhere Kompressionsraten steigen dann aber die RAM-Anforderungen, deshalb sollte man da mal die Manpage lesen, auch wenn die hier aus meiner Sicht nicht zur Debatte stehen.

Das wäre eher eine schlechte Idee. bz2, gz und pbf kann man direkt mit osmosis verarbeiten. Das dürfte wohl eine der Hauptanwendungen sein, die genutzt wird, um den Ausschnitt zurecht zu schneiden. Wenn man die Datei aber erst einmal entpacken muss, hat man einen Schritt mehr und muss die xml-Datei irgendwie auf der Platte unter bringen.

Nicht unbedingt. Du kannst die Daten ja vom xz direkt nach osmosis pipen und dort von stdin lesen. Das ist bei bz2 bedeutend schneller als die interne Java-Implementierung und verbraucht keinen Platz.

bye
Nop

PS: Heh, moment mal, jetzt fang ich als Windows-User schon an Linux-Tipps zu geben. Ganz klar zuviel Karten gebaut… :slight_smile:

Ich verwende allerdings nicht osmosis, sondern osmchange um die Updates einzuspielen. Und ich glaub das verträgt (noch?) kein pbf, von daher würde ich gerne bei plane .osm + irgendein Packer bleiben. Ich bin grade noch dabei die verschiedenen Packer da dran loszulassen, aber lzma -2 scheint recht flott und gut zu packen. Die Datei ist damit auf ca. 1,5GB geschrumpft und das in ca. 37 Minuten. Die anderen sind noch nicht fertig. Bei lzma -9 wird es wohl wirklich zu langsam, der wird wohl so um die 9 Stunden brauchen bis er fertig ist. Die beiden bzip2 die ich gestartet habe sind auch noch nicht fertig, bzip2 -2 wird ca. 90 Minuten brauchen, bzip2 -9 ca. 110 Minuten. Die sind aber momentan auch noch nicht fertig. Die Dateigrössen werde ich mir dann nachher nochmal ansehen, aber wenn sonst nichts dagegen spricht werde ich wohl auf lzma -2 umstellen, es sei denn jemanden würde ein .xz wesentlich höheren Aufwand machen als ein .bz2 oder .gz

Markus

Ja, das hat keine PBF-Unterstützung, gerade mal nachgesehen.

Noch als Hinweis: “lzma” war das alte Kommando der lzma-utils, da kann es sein das intern ein paar Bytes anders sind, weil soweit ich mich erinnere haben die da noch was am Dateiheader geändert. Jetzt wurde das von “xz” als Kommando abgelöst. Eigentlich kann DOS schon seit Urzeiten Pipes, wird höchstens nicht besonders effizient sein, aber da gibt’s dann auch wie bei den anderen Packern ein “xzcat”. “xz -2” ist ja nur ein Shortcut, wenn du möchtest, kannst du auch an den Detailparametern des Packers spielen, die stehen wie üblich in der Manpage. Lese da auch gerade das die schneller Presets bis “xz -3” gehen.

Edit:

Mittlerweile habe ich meine Images/Extrakte aus OSM in ein eigenes Verzeichnis zusammengefasst. Unter http://140.78.94.22/osm/ ist jetzt der taeglich aktualisierte Deutschlandextrakt mit xz komprimiert vorhanden. Weiters sind dort auch die Polygonzuege nach denen ich ausschneide und die All-In-One Kartenimages fuer Garmin Navis, sowie meine Wanderweg-Layer Erweiterung dazu.

Markus

Vielen Dank Markus. Kannst Du die Nutzung im Auge behalten? Ich empfand die Nachfrage als sehr gering, weswegen ich es gelassen habe. Es freut mich aber, dass Du die bereit stellst. Vor allem die AIO Karten sind ja momentan sonst schwer zu bekommen.

Hab eben ein bisserl im Logfile des webservers gestoebert. Die Nachfrage nach dem OSM-Extrakt duerfte, nach der Anzahl der Downloads, wirklich recht gering bis kaum vorhanden sein. Meiner Vermutung nach haben die wenigen, die solch einen Extrakt abweichend von den geofabrik Extrakten brauchen auch die Moeglichkeit diesen selber herzustellen.

Bei den AIO-Images gibt es so ca. eine Handvoll downloads pro Tag. Da bleibt von der Serverkapazitaet/Bandbreite noch jede Menge Spielraum nach oben.

Markus

+1