Wieviel nodes, ways und relationen hat die aktuelle germany.osm.bz2

Hallo Zusammen,

kann mir jemand sagen wieviele ways und relationen das aktuelle germany.osm.bz2 hat?

Hintergrund ist, dass ich seit Tagen versuche, das Geofabrik Extrakt mit splitter.jar zu zerlegen. Die nodes von 67.500.000 sind schon durch und das hat schon 20 Stunden gedauert.
Derzeit bin ich bei 3.500.000 ways angelangt und meine 1GB Kiste arbeitet schon seit 50 Stunden.

Bitte um kurze Info, ob ich abbrechen soll oder es noch Tage dauern wird.

Vielleicht kann ja mal einer in seiner PostGis Datenbank schauen, der das aktuelle Germany Extrakt drin hat?

mapfriend70

hier nach (http://www.odbl.de/germany.html) könntest du bei ca. einem drittel der ways liegen

kommt in etwa hin.
in “meiner” db sind es derzeit 13.8 mio ways und ca 80 mio nodes, davon allerdings ca 10% ausserhalb deutschland.
Gruss
Walter

Wenn du sowas häufiger machen willst, solltest du a) RAM aufrüsten (kost’ doch kaum was mehr) und b) statt bz2 das pbf-Format wählen.

Jeder der bz2-Version freiwillig nutzt ist selber Schuld :wink:

Falls du Linux verwendest:

bzcat germany.osm.bz2 | grep -c "<node "

Dann hast du die Zahl der Nodes. Mit Ways und Relations gehts genauso ("<way ", "<relation ").

Seh ich genauso. Bin aber unsicher, ob das pbf-Format in diesem Fall hilft, weil die Anzahl der Nodes die gleiche bleibt. Wenigstens geht das Zählen der Nodes beim PBF-Format viiiel schneller:

./pbftoosm -i=bzcat germany.osm.pbf --drop-history | grep -c "<node "

Es geht ja nicht um das Zählen der Daten, sondern das verarbeiten von germany.osm.bz2 mit dem splitter. Und da sorgt pbf im vergleich zu bz2 für eine deutlich höhere Geschwindigkeit. Da hier aber das swappen das Hauptproblem ist, weiß ich nicht, wie viel es bringt.

Wenn Swappen das Problem ist, hilft es oft den Swap-Bereich auf eine eigene Platte auszulagern. Damit entkoppelt man die Zugriffe für Lesen/Schreiben der Daten und für die Auslagerung. Eventuell geht auch ein USB-Stick, wo dann zusätzlich die Zeiten für die Kopfbewegungen entfallen.

Erste und beste Maßnahme bleibt natürlich immer das Aufstocken des Hauptspeichers soweit möglich.

Edbert (EvanE)

Windows kann nicht auf Wechseldatenträger Swappen.

Hmm, eigentlich eine sinnvolle Einschränkung.

Was gilt denn genau als Wechseldatenträger?
Ein Kartenlesegerät sicher, auch eine externe Festplatte (USB/FireWire/eSATA/…)?

Letztere könnte man ja auch im laufenden Betrieb aus dem System entfernen. Wobei natürlich eine Anwendung (das Swap-Untersystem) diese Platte benutzt und damit zumindest das logische Entfernen verhindern würde.

Edbert (EvanE)

Warum soll Windows das nicht können? SATAII Platten werden bei mir auch als Wechseldatenträger erkannt und darauf ist das System installiert. Einschließlich swap. Sie lassen sich aber nicht “abmelden”.

Nun ja, das ist in dieser Form kein Argument.

  • Die Systemplatte kanst du niemals abmelden.
  • Die Auslagerungsdatei ist standardmäßig immer auf der aktiven Systemplatte.

Es erhebt sich nun die Frage, ob man Windows von einem USB-Stick starten kann?
Von einer CD-ROM kann man starten und das ist definitiv ein Wechseldatenträger (allerdings ohne Swap).

Edbert (EvanE)

Auch das kann man machen. MS hatte einmal ein Programm dafür geschrieben, allerdings hatten sie damit Patente oder Opensource Lizenzen verletzt. Daher wurde das wohl wieder zurückgerufen. Gemacht wurde das ursprünglich um es auf Netbooks installieren zu können.

Vielen Dank für die vielen Antworten. Ich glaube ich brauche wirklich eine neue Kiste, leider läßt sich mein Laptop nur bis 2GB ausrüsten (das hab ich dann mal für 24Euronen gestern erledigt) und da kann ich nur maximal -Xmx1600m für Java (splitter/mkgmap) verwenden.

Mit dem pbf-Format habe ich noch meine Probleme. Der splitter-r171 funktioniert nicht. Soll wohl ab r161 funktionieren. Leider habe ich nur eine ältere Version vom splitter-r117 noch greifbar. Die alten Versionen kann man leider nicht mehr downloaden.

Kann mir einer bestätigen, das man mit 2GB Ram nur bis -Xmx1600m fahren kann?

Grüße
mapfriend70

Hallo,
darf ich davon ausgehen, dass du dir beim Splitter nur die splitter.jar aus dem Archiv entpackt hast? Dann frisst er auch kein pbf. Entpack mal das ganze Archiv. Dann gehts auch.

Mit einem 32bit-Windows ist generell irgendwo bei 1600M Schluss, unabhängig wie viel RAM du verbaut hast. Mit den 1600 sollte es aber spürbar schneller gehen.

Das ist ja mal ein richtig guter Tipp, werde ich gleich mal ausprobieren. Ja ich hatte nur die splitter.jar aus dem Archiv entpackt;-)

Dann baruche ich doch mal ein 64bit Windows/Linux Rechner:-)

Danke für die schnelle Hilfe.

mapfriend70

ein richtiger schritt :wink:

ich bin mir nicht 100% sicher, aber das Problem gibt es nur mit 32-bit Windows, nicht mit 32-Bit Linux.
Ich kanns nicht testen, da ich “nur” einen 64-Bitter habe.

Gruss
Walter

Dann steuer ich diese Info bei - ich bin nämlich ein 64-bit-Verweigerer. :wink:

In meiner Kiste stecken 4 GB RAM, es läuft 32-bit-Linux (Ubuntu).
Vom Betriebssystem direkt nutzbar sind 3 GB. Ein weiteres halbes GB wird vom Grafik-Chipset belegt. Das übrige halbe GB ist nicht verwendbar.

Alles in allem zwar eine Verschwendung von einem halben GB, aber dafür bessere Kompatibilität (weil 32 bit) und etwas kleinere Programme.
Letztlich natürlich Geschmacksache. :slight_smile:

Hallo Zusammen,

so endlich geschafft. Ich kann wieder das Germany Extrakt von Geofabrik verarbeiten. Ram auf 2GB aufgerüstet und pbf verwendet.
Eine guter Tipp war, dass ich auf das komplette Archiv des Splitters benötige und nicht nur die splitter.jar.
Das splitten (Version r171) dauert ca. 35min für 81 areas und ca. 90min für mkgmap (Version r1919). Ich denke, dass ist eine akzeptable Zeit, wenn man alle paar Wochen mal eine neue Deutschlandkarte haben will.

Vielen Dank für die vielen Hinweise und Tipps.

mapfriend70

Hallo mapfriend70

Schön dass es jetzt klappt.

Weitere Optimierung kann eine schnellere+größere Platte bringen.
2.5" Platten (du schriebst von einem Notebook) mit 500 GB Kapazität, 7200 U/min + 16MB Cache sind heute Stand der Technik und mit 50-60 Euro durchaus bezahlbar. Zehn Euro für ein externes Gehäuse um die alte Platte weiter zu nutzen, wären auch nicht die Welt.
Die Hybrid-Festplatte Seagate Momentus XT mit 4 GB Flash-Speicher kann noch einmal weitere Geschwindigkeit bringen, verlangt aber nach dem Einsatz von 120 Euro für 500 GB Kapazität.

Ob sich eines davon lohnt hängt davon ab, ob dir der jetzige Zustand reicht und wie lange du dein jetziges Notebook noch benutzen willst.

Edbert (EvanE)

Wo ich den Kram grad neu drausgespielt habe:
Reading in file: germany.osm.bz2
Processing: Node(76297k) Way(11093k) Relation(174920)