kann mir jemand sagen wieviele ways und relationen das aktuelle germany.osm.bz2 hat?
Hintergrund ist, dass ich seit Tagen versuche, das Geofabrik Extrakt mit splitter.jar zu zerlegen. Die nodes von 67.500.000 sind schon durch und das hat schon 20 Stunden gedauert.
Derzeit bin ich bei 3.500.000 ways angelangt und meine 1GB Kiste arbeitet schon seit 50 Stunden.
Bitte um kurze Info, ob ich abbrechen soll oder es noch Tage dauern wird.
Vielleicht kann ja mal einer in seiner PostGis Datenbank schauen, der das aktuelle Germany Extrakt drin hat?
Dann hast du die Zahl der Nodes. Mit Ways und Relations gehts genauso ("<way ", "<relation ").
Seh ich genauso. Bin aber unsicher, ob das pbf-Format in diesem Fall hilft, weil die Anzahl der Nodes die gleiche bleibt. Wenigstens geht das Zählen der Nodes beim PBF-Format viiiel schneller:
Es geht ja nicht um das Zählen der Daten, sondern das verarbeiten von germany.osm.bz2 mit dem splitter. Und da sorgt pbf im vergleich zu bz2 für eine deutlich höhere Geschwindigkeit. Da hier aber das swappen das Hauptproblem ist, weiß ich nicht, wie viel es bringt.
Wenn Swappen das Problem ist, hilft es oft den Swap-Bereich auf eine eigene Platte auszulagern. Damit entkoppelt man die Zugriffe für Lesen/Schreiben der Daten und für die Auslagerung. Eventuell geht auch ein USB-Stick, wo dann zusätzlich die Zeiten für die Kopfbewegungen entfallen.
Erste und beste Maßnahme bleibt natürlich immer das Aufstocken des Hauptspeichers soweit möglich.
Was gilt denn genau als Wechseldatenträger?
Ein Kartenlesegerät sicher, auch eine externe Festplatte (USB/FireWire/eSATA/…)?
Letztere könnte man ja auch im laufenden Betrieb aus dem System entfernen. Wobei natürlich eine Anwendung (das Swap-Untersystem) diese Platte benutzt und damit zumindest das logische Entfernen verhindern würde.
Warum soll Windows das nicht können? SATAII Platten werden bei mir auch als Wechseldatenträger erkannt und darauf ist das System installiert. Einschließlich swap. Sie lassen sich aber nicht “abmelden”.
Die Auslagerungsdatei ist standardmäßig immer auf der aktiven Systemplatte.
Es erhebt sich nun die Frage, ob man Windows von einem USB-Stick starten kann?
Von einer CD-ROM kann man starten und das ist definitiv ein Wechseldatenträger (allerdings ohne Swap).
Auch das kann man machen. MS hatte einmal ein Programm dafür geschrieben, allerdings hatten sie damit Patente oder Opensource Lizenzen verletzt. Daher wurde das wohl wieder zurückgerufen. Gemacht wurde das ursprünglich um es auf Netbooks installieren zu können.
Vielen Dank für die vielen Antworten. Ich glaube ich brauche wirklich eine neue Kiste, leider läßt sich mein Laptop nur bis 2GB ausrüsten (das hab ich dann mal für 24Euronen gestern erledigt) und da kann ich nur maximal -Xmx1600m für Java (splitter/mkgmap) verwenden.
Mit dem pbf-Format habe ich noch meine Probleme. Der splitter-r171 funktioniert nicht. Soll wohl ab r161 funktionieren. Leider habe ich nur eine ältere Version vom splitter-r117 noch greifbar. Die alten Versionen kann man leider nicht mehr downloaden.
Kann mir einer bestätigen, das man mit 2GB Ram nur bis -Xmx1600m fahren kann?
Hallo,
darf ich davon ausgehen, dass du dir beim Splitter nur die splitter.jar aus dem Archiv entpackt hast? Dann frisst er auch kein pbf. Entpack mal das ganze Archiv. Dann gehts auch.
Mit einem 32bit-Windows ist generell irgendwo bei 1600M Schluss, unabhängig wie viel RAM du verbaut hast. Mit den 1600 sollte es aber spürbar schneller gehen.
ich bin mir nicht 100% sicher, aber das Problem gibt es nur mit 32-bit Windows, nicht mit 32-Bit Linux.
Ich kanns nicht testen, da ich “nur” einen 64-Bitter habe.
Dann steuer ich diese Info bei - ich bin nämlich ein 64-bit-Verweigerer.
In meiner Kiste stecken 4 GB RAM, es läuft 32-bit-Linux (Ubuntu).
Vom Betriebssystem direkt nutzbar sind 3 GB. Ein weiteres halbes GB wird vom Grafik-Chipset belegt. Das übrige halbe GB ist nicht verwendbar.
Alles in allem zwar eine Verschwendung von einem halben GB, aber dafür bessere Kompatibilität (weil 32 bit) und etwas kleinere Programme.
Letztlich natürlich Geschmacksache.
so endlich geschafft. Ich kann wieder das Germany Extrakt von Geofabrik verarbeiten. Ram auf 2GB aufgerüstet und pbf verwendet.
Eine guter Tipp war, dass ich auf das komplette Archiv des Splitters benötige und nicht nur die splitter.jar.
Das splitten (Version r171) dauert ca. 35min für 81 areas und ca. 90min für mkgmap (Version r1919). Ich denke, dass ist eine akzeptable Zeit, wenn man alle paar Wochen mal eine neue Deutschlandkarte haben will.
Weitere Optimierung kann eine schnellere+größere Platte bringen.
2.5" Platten (du schriebst von einem Notebook) mit 500 GB Kapazität, 7200 U/min + 16MB Cache sind heute Stand der Technik und mit 50-60 Euro durchaus bezahlbar. Zehn Euro für ein externes Gehäuse um die alte Platte weiter zu nutzen, wären auch nicht die Welt.
Die Hybrid-Festplatte Seagate Momentus XT mit 4 GB Flash-Speicher kann noch einmal weitere Geschwindigkeit bringen, verlangt aber nach dem Einsatz von 120 Euro für 500 GB Kapazität.
Ob sich eines davon lohnt hängt davon ab, ob dir der jetzige Zustand reicht und wie lange du dein jetziges Notebook noch benutzen willst.