Aktualität von Geofabrik / Karten definierter Länder

GTRDRIVER · 2012-09-30 12:16:20

Hallo zusammen

Ich bin in OSM noch recht neu und habe jetzt mal testweise einen test-Server aufgesetzt - der zugegebenermaßen sicherlich noch nicht so performant ist, wie das dann in einem Regelbetrieb notwendig sein sollte. - Daher dauert der Import in die DB doch recht lange...

Momentan habe ich folgende Fragen:

1: Gibt es eine Möglichkeit, eine "Kombination verschiedener Länder" in eine DB laden ?
Warum ? - Ich bräuchte eigentlich nur Deutschland, Frankreich, Österreich und Schweiz.
Wenn ich das Konzept richtig verstanden habe, müsste ich in diesem Fall aber "Europa" importieren - das habe ich schon versucht - allerdings importiere ich nun schon den 5. Tag ...

2: Karten - Aktualität
Ich habe selbst bei openstreetmap.org in einem kleinen Ort, wo die Straßennamen gefehlt hatten diese eingetragen.
Diese Straßen sind nun auch auf openstreetmap.org zu sehen.
Diese Änderungen habe ich letze Woche Montag gemacht. Gestern habe ich auf einem 2. Server mal ein aktuelles Extrakt von geofabrik heruntergeladen und importiert.

Hier habe ich http://download.geofabrik.de/openstreet … ny.osm.bz2 genommen.

Der Import ist nun über Nach durchgelaufen - ich habe den Cache geleert und mir den Ort jetzt mal angeschaut - hier fehlen die Straßennamen jedoch.

Warum ist das so ?

CU
GTR

wambacher · 2012-09-30 12:29:29

GTRDRIVER wrote:

1: Gibt es eine Möglichkeit, eine "Kombination verschiedener Länder" in eine DB laden ?
Warum ? - Ich bräuchte eigentlich nur Deutschland, Frankreich, Österreich und Schweiz.
Wenn ich das Konzept richtig verstanden habe, müsste ich in diesem Fall aber "Europa" importieren - das habe ich schon versucht - allerdings importiere ich nun schon den 5. Tag ...

es geht mit osmosis und anderen Programmen - allerdings sparst du nicht allzuviel, da genau diese Länder den größten Anteil an den EU-Daten bringen; da lohnt sich der Aufwand nicht. 5 Tage ist eigentlich realistisch.

Gruss
walter

Marqqs · 2012-09-30 12:33:49

Hallo GTRDRIVER,

zunächst: ich würde – wenn möglich – nicht .osm.bz2, sondern .pbf verwenden. Die Dateien sind dann kleiner, und sie lassen sich schneller verarbeiten.

Hast du einmal geschaut, ob die Namen der betroffenen Straßen direkt in der Datei von geofabrik.de enthalten sind? Das sollte sich relativ leicht über eine Suchfunktion feststellen lassen (z.B. mit grep). Es könnte ja sein, dass die Datei ok ist und irgendwas beim Import in die Datenbank schiefläuft...

Mondschein · 2012-09-30 12:40:28

GTRDRIVER wrote:

Ich habe selbst bei openstreetmap.org in einem kleinen Ort, wo die Straßennamen gefehlt hatten diese eingetragen.
Diese Straßen sind nun auch auf openstreetmap.org zu sehen.
Diese Änderungen habe ich letze Woche Montag gemacht. Gestern habe ich auf einem 2. Server mal ein aktuelles Extrakt von geofabrik heruntergeladen und importiert.
Hier habe ich http://download.geofabrik.de/openstreet … ny.osm.bz2 genommen.
Der Import ist nun über Nach durchgelaufen - ich habe den Cache geleert und mir den Ort jetzt mal angeschaut - hier fehlen die Straßennamen jedoch.
Warum ist das so ?

Sind die Änderungen in der Datei?
Evtl. nach einer Weg-ID (einer der von dir oben genannten Straßen) suchen:

grep "way id=\"1234567\"" germany.osm

Von welchem Tag ist die letzte Änderung in der Datei?

for i in $(seq 24 29); do grep "2012-09-$i" germany.osm -c; done

Gruß,
Mondschein

SunCobalt · 2012-09-30 12:44:45

GTRDRIVER wrote:

1: Gibt es eine Möglichkeit, eine "Kombination verschiedener Länder" in eine DB laden ?
Warum ? - Ich bräuchte eigentlich nur Deutschland, Frankreich, Österreich und Schweiz.

Dann lad Dir auch nur die Ländern un verschmelze sie mit osmosis vor dem Import.

GTRDRIVER wrote:

Wenn ich das Konzept richtig verstanden habe, müsste ich in diesem Fall aber "Europa" importieren - das habe ich schon versucht - allerdings importiere ich nun schon den 5. Tag ...

Wie importierst Du? Welches Programm, welche Config hast Du? Für einen Import mit osm2pgsql hört sich das sehr lang an, für einen osmosis Import nicht unbedingt. Kann aber auch sein, dass Du auf einem Atom mit 512MB RAM importierst....aber das ist alles nur geraten

GTRDRIVER wrote:

Der Import ist nun über Nach durchgelaufen - ich habe den Cache geleert und mir den Ort jetzt mal angeschaut - hier fehlen die Straßennamen jedoch.

Browsercache und Tilecache?

mmd · 2012-09-30 13:07:47

.

Last edited by mmd (2012-10-19 19:06:05)

GTRDRIVER · 2012-10-04 20:10:16

Hallo zusammen

ich möchte mich zuerst mal für alle Antworten bedanken !

Der Reihe nach:

- Ich verwende osm2pgsql
- Der Import von Europa hat ca 4 Tage gedauert
- Cache vom Brower und den tiles cache

Viele Dinge habe ich inzwischen verstanden .. - jedoch fehlt mir noch das Verständnis für "Updates" einer solchen Installation ...
Ich habe im netz sehr viele Beschreibungen gefunden, wie man DIFF´s einspielen kann - so richtig verstanden habe ich jedoch keine davon ...

Gibt es hier eine verständliche Anleitung ?

Zudem würde mich interessieren, ob man mit der selben Datenbank auch nominatim betreiben kann ?

Ich habe zwar einige Anleitungen gefunden - jedoch bezogen sich einige davon auf eine Standalone installation von nominatim.

CU
GTR

viw · 2012-10-05 07:19:43

Hast du dir diesen Teil schonmal angesehen?
http://wiki.openstreetmap.org/wiki/DE:H … ff_Imports

GTRDRIVER · 2012-10-07 20:57:32

Hallo VIW

danke für den Link - super - so kann ich weiter vorgehen !

Ich hätte noch eine Frage:

Hier wurde beschrieben, dass man mittels osmosis mehrere einzelne Länder-Dateien zusammenführen kann - leider habe ich keine Anleitung gefunden wie das geht - kann mir hier jemand ein Beispiel posten ?

Grüße
GTR

wambacher · 2012-10-07 22:37:00

GTRDRIVER wrote:

Hier wurde beschrieben, dass man mittels osmosis mehrere einzelne Länder-Dateien zusammenführen kann - leider habe ich keine Anleitung gefunden wie das geht - kann mir hier jemand ein Beispiel posten ?

bittschön:

http://wiki.openstreetmap.org/wiki/Osmo … iled_Usage

#!/bin/bash
# 
OSMOSIS=/opt/install/osmosis-git/package/bin/osmosis

$OSMOSIS \
	--read-pbf file=/data4/import/$1.osm.pbf   \
	--read-pbf file=/data4/import/$2.osm.pbf   \
	--merge          			   \
        --log-progress interval=60 label="writing" \
	--write-xml file=/data4/import/$3.osm

Aufruf: ./merge.sh germany austria gera

muttu nur noch die Pfade anpassen (oder auf Windows umschreiben)

gruss
walter

Last edited by wambacher (2012-10-08 00:00:34)

viw · 2012-10-08 07:16:47

GTRDRIVER wrote:

Hier wurde beschrieben, dass man mittels osmosis mehrere einzelne Länder-Dateien zusammenführen kann - leider habe ich keine Anleitung gefunden wie das geht - kann mir hier jemand ein Beispiel posten ?

Was möchtest du nachher mit den Daten machen? Wenn du nur eine Karte zeichenen möchtest mag das gehen. Beim navigieren etc. gab es zu mindest früher mit zusamengefügten Daten Probleme. Aber vielleicht sind die auch schon längst behoben.

wambacher · 2012-10-08 08:47:21

viw wrote:

Was möchtest du nachher mit den Daten machen? Wenn du nur eine Karte zeichenen möchtest mag das gehen. Beim navigieren etc. gab es zu mindest früher mit zusamengefügten Daten Probleme. Aber vielleicht sind die auch schon längst behoben.

Wenn die Rohdaten alle in der gleichen Nacht bei der Geofabrik erstellt wurden, klappt das mit osmosis prima. Ansonsten geht das definitiv in die Hose.
Frederik's Skripte splitten den Planet zwar nach großzügigen Grenzpolygonen auf, nehmen aber alle Objekte mit, die innerhalb beginnen und ausserhalb enden oder eine Schleife machen. Das gilt für Ways und Relationen; die notwendigen Nodes werden auch mitgeschleppt (*). Dadurch sind zwar in den Grenzbereichen viele Doppelgänger drin, aber die schmeisst osmosis wieder raus.
Hier mein Script, der Dach erzeugt:

#!/bin/bash

OSMOSIS=/opt/install/osmosis-git/package/bin/osmosis

$OSMOSIS \
	--read-pbf file=/data4/import/$1.osm.pbf outPipe.0=1 \
	--read-pbf file=/data4/import/$2.osm.pbf outPipe.0=2 \
        --read-pbf file=/data4/import/$3.osm.pbf outPipe.0=3 \
	--read-pbf file=/data4/import/$4.osm.pbf outPipe.0=4 \
        --read-pbf file=/data4/import/$5.osm.pbf outPipe.0=5 \
	--merge inPipe.0=1 inPipe.1=2 outPipe.0=t1 \
	--merge inPipe.0=3 inPipe.1=4 outPipe.0=t2 \
        --merge inPipe.0=5 inPipe.1=t1 outPipe.0=t3 \
        --merge inPipe.0=t2 inPipe.1=t3 outPipe.0=out \
	--write-xml inPipe.0=out outfile=/data4/import/$6.osm

Aufruf:
./merge5.sh austria liechenstein switzerland luxembourg germany dach

Laufzeit ca 90 Minuten bei 2x2GHz

Gruss
Walter

*) siehe die Optionen ab "completeWays": http://wiki.openstreetmap.org/wiki/Osmo … .28--bb.29

p.s. seltsamerweise klappt --write-pbf nicht; da kommen seltsame Fehlermeldungen, denen ich aber bei den Laufzeiten nicht nachgegangen bin.

Last edited by wambacher (2012-10-08 08:52:58)

Marqqs · 2012-10-08 10:03:18

wambacher wrote:

Wenn die Rohdaten alle in der gleichen Nacht bei der Geofabrik erstellt wurden, klappt das mit osmosis prima. Ansonsten geht das definitiv in die Hose.
Frederik's Skripte splitten den Planet zwar nach großzügigen Grenzpolygonen auf, nehmen aber alle Objekte mit, die innerhalb beginnen und ausserhalb enden oder eine Schleife machen. Das gilt für Ways und Relationen; die notwendigen Nodes werden auch mitgeschleppt (*). Dadurch sind zwar in den Grenzbereichen viele Doppelgänger drin, aber die schmeisst osmosis wieder raus.

Genau! Die Extrakte von Geofabrik lassen sich problemlos wieder zusammenbauen. Ich bin mir allerdings nicht sicher, wie genau die Grenzverläufe sind, das heißt, ich weiß nicht, ob nicht vielleicht an manchen Stellen kleine Lücken entstehen könnten.

wambacher wrote:

Aufruf:
./merge5.sh austria liechenstein switzerland luxembourg germany dach
Laufzeit ca 90 Minuten bei 2x2GHz

OK, hier mache ich das Gleiche, aber über einen anderen Weg...

Aufruf:

time ./osmconvert austria.o5m liechtenstein.o5m switzerland.o5m luxembourg.o5m germany.o5m -o=dach.pbf

real	4m18.600s
user	3m34.560s
sys	0m3.910s

Dauert also keine 5 Minuten (auf einem 3 Jahre alten 64-Bit-Rechner).

SunCobalt · 2012-10-08 10:09:04

Marqqs wrote:

Dauert also keine 5 Minuten (auf einem 3 Jahre alten 64-Bit-Rechner).

Die Zeit pbf->o5m fehlt noch in der Rechnung

Marqqs · 2012-10-08 11:01:47

SunCobalt wrote:

Marqqs wrote:
Dauert also keine 5 Minuten (auf einem 3 Jahre alten 64-Bit-Rechner).
Die Zeit pbf->o5m fehlt noch in der Rechnung

Ups, du hast völlig Recht, diese Zeit hatte ich unterschlagen. Ich wandle meistens beim Download um, dann kostets praktisch keine zusätzliche Wartezeit. Zum Beispiel:

wget download.geofabrik.de/openstreetmap/europe/germany.osm.pbf -O - | ./osmconvert - -o=germany.o5m

Hab grad getestet, wie lange das Umwandeln dauert, wenn die Dateien alle als PBF schon auf dem Laufwerk liegen. Waren bei mir weniger als 2 Minuten, um alle fünf PBF-Dateien in .o5m umzuwandeln. Hier die mit Anstand größte davon:

time ./osmconvert germany.osm.pbf -o=germany.o5m
real	1m9.797s
user	0m50.200s
sys	0m2.460s

Announcement

#1 2012-09-30 12:16:20

Aktualität von Geofabrik / Karten definierter Länder

#2 2012-09-30 12:29:29

Re: Aktualität von Geofabrik / Karten definierter Länder

#3 2012-09-30 12:33:49

Re: Aktualität von Geofabrik / Karten definierter Länder

#4 2012-09-30 12:40:28

Re: Aktualität von Geofabrik / Karten definierter Länder

#5 2012-09-30 12:44:45

Re: Aktualität von Geofabrik / Karten definierter Länder

#6 2012-09-30 13:07:47

Re: Aktualität von Geofabrik / Karten definierter Länder

#7 2012-10-04 20:10:16

Re: Aktualität von Geofabrik / Karten definierter Länder

#8 2012-10-05 07:19:43

Re: Aktualität von Geofabrik / Karten definierter Länder

#9 2012-10-07 20:57:32

Re: Aktualität von Geofabrik / Karten definierter Länder

#10 2012-10-07 22:37:00

Re: Aktualität von Geofabrik / Karten definierter Länder

#11 2012-10-08 07:16:47

Re: Aktualität von Geofabrik / Karten definierter Länder

#12 2012-10-08 08:47:21

Re: Aktualität von Geofabrik / Karten definierter Länder

#13 2012-10-08 10:03:18

Re: Aktualität von Geofabrik / Karten definierter Länder

#14 2012-10-08 10:09:04

Re: Aktualität von Geofabrik / Karten definierter Länder

#15 2012-10-08 11:01:47

Re: Aktualität von Geofabrik / Karten definierter Länder

Board footer