Wo OSM Rohdaten beziehen?

speichennippel · 2013-03-22 12:24:23

Hallo zusammen,
für mein Garmin baue ich mir mit mkgmap Karten zusammen.

Die OSM Rohdaten hole ich mir bei www.geofabrik.de. Leider kommt es bei diesen Daten immer wieder dazu, dass einige Gewässer nicht geflutet sind, sogar der Rhein ist ausgetrocknet.
http://fotos.mtb-news.de/p/1252831

Nun habe ich von Computerteddy den Tipp bekommen, dass es an den Ausgangsdaten liegen könnte. Daraufhin habe ich die Daten von http://cloudmade.com/ geholt. Da ist Wasser im Rhein
Die Daten sind nur recht alt.

Welche Möglichkeiten gibt es noch, an OSM Rohdaten zu kommen? Am liebsten wäre mir Europa.

Hier gibts ein Beispiel meiner Karten (Balearen und Canaren)
http://www.arndt.homepage.t-online.de/

Last edited by speichennippel (2013-03-22 12:25:08)

Nakaner · 2013-03-22 12:45:23

Hallo speichennippel,

speichennippel wrote:

Hallo zusammen,
für mein Garmin baue ich mir mit mkgmap Karten zusammen.
Die OSM Rohdaten hole ich mir bei www.geofabrik.de. Leider kommt es bei diesen Daten immer wieder dazu, dass einige Gewässer nicht geflutet sind, sogar der Rhein ist ausgetrocknet.
http://fotos.mtb-news.de/p/1252831
Nun habe ich von Computerteddy den Tipp bekommen, dass es an den Ausgangsdaten liegen könnte. Daraufhin habe ich die Daten von http://cloudmade.com/ geholt. Da ist Wasser im Rhein
Die Daten sind nur recht alt.
Welche Möglichkeiten gibt es noch, an OSM Rohdaten zu kommen? Am liebsten wäre mir Europa.

Die Daten von der Geofabrik sind die Rohdaten (ohne History, die du eh nicht benötigst). Sie werden täglich aktualisert und sind Ausschnitte aus einem aktuell gehaltenen Planetfile. Genaueres weiß Frederick (User woodpeck).

Wenn der Rhein austrocknet liegt es daran, dass die Rohdaten fehlerhaft sind, z.B. weil ein Multipolygon nicht geschlossen ist. Das behebt man am besten mit einem mächtigen Editor (JOSM, nicht Potlatch) und wartet, bis die Geofabrik-Extrakte wieder aktualisiert sind. Ausgetrocknete Flüsse können aber auch beim Ausschneiden mit osmconvert entstehen. Wenn du mit osmconvert ausschneidest, solltest du osmconvert mit den Optionen --complete-ways --complex-ways aufrufen.

Viele Grüße

Michael

Nop · 2013-03-22 12:47:14

Alle aktuellen OSM Rohdaten gehen auf dasselbe Planetfile/Datenbestand zurück. Es macht also keinen Unterschied wo Du sie hernimmst.

Es kann bei OSM immer mal passieren, daß aktuell Fehler drin sind. Bei groben Fehlern hilft es meist, einfach die Daten vom nächsten Tag zu nehmen - meistens hat es schon jemand vor Dir entdeckt und repariert.

Bei Ausschnitten von der Geofabrik kommt es noch darauf an, welchen du nimmst. Gewässer, Wälder usw. die über den Rand des Wunschgebietes hinausragen können potentiell vom Ausschneiden beschädigt werden. Dann hilft nur das nächstgrößere Gebiet.

Aber mit dem Europafile von der Geofabrik solltest Du ganz gut bedient sein.

bye, Nop

Oli-Wan · 2013-03-22 12:49:32

Das Datenangebot von Cloudmade ist mit "recht alt" noch sehr höflich umschrieben: 13. Dezember 2011 (i.W.: zweitausendelf) fällt schon eher unter historisch. Zur Geofabrik gibt es derzeit, abgesehen von ein paar verstreuten Spezialextrakten wie DE+50, keine ernsthafte Alternative.

Mir ist kein grundsätzliches Problem mit den Geofabrik-Extrakten bekannt. Einzig einige Edits von einem Tag Mitte Februar dieses Jahres sind in den Geofabrik-Daten nicht korrekt berücksichtigt; aber dafür kann die Geofabrik nichts, sondern der Fehler lag bei der Erstellung der Minutendiffs bei OSM. Das von Dir beanstandete Stück Rhein scheint davon auf den ersten Blick nicht betroffen. Dort liegt noch nicht einmal ein Multipolygon vor, sondern nur ein einfacher Weg, der weit vor der DE-Grenze endet, also vom Ausschneiden nicht betroffen sein kann.

speichennippel · 2013-03-22 16:38:22

Mist, nachdem der Rhein mit den Daten von Cloudmade gefüllt war, hatte ich gedacht, die richtige Spur zu haben.
Die Geofabrik wird vermutlich viel genutzt, ein ausgetrockneter Rhein würde da ja schnell auffallen.
Also ist irgend was anderes in meinem mkgmap nicht in Ordnung.
Ich benutze diese Zeile:
generate-sea=extend-sea-sectors,close-gaps=6000,floodblocker,fbgap=60,fbthres=200,fbratio=0.6

Ausgangsdaten ist das europa pbf File der Geofabrik. Das kommt so wie es ist in den mkgmap splitter.

Im style steht:
waterway=* [0x46 resolution 16]
landuse=reservoir [0x32 resolution 16]
natural=water [0x32 resolution 16]
natural=sea [0x32 resolution 10]
natural=lake [0x32 resolution 16]
landuse=basin [0x32 resolution 16]
landuse=bassin [0x32 resolution 16]
natural=beach [0x3d resolution 10]

Für Ideen wäre ich sehr dankbar!
Ist zwar kein weltbewegendes Problem, aber man will es ja "schön" haben

berndw · 2013-03-22 16:57:42

@Speichennippel:

Hast Du schon mal überlegt, Deine Daten aus einem Planet zu schneiden?

Ich habe mir ein Python-Script geschrieben, das mir diese Arbeit unter Verwendung von Polydateien abnimmt und dann die Daten splitter und mkgmap vorwirft.

Man kann problemlos weitere Kartenstile einbinden, ansonsten wird der AIO-Basemap-Stil genommen

Bernd

speichennippel · 2013-03-22 17:08:48

Müsste man dann immer die ganze Welt downloaden?
Das Schneidewerkzeig osmosis verstehe ich nicht, habs nicht zum Laufen bekommen. Ich bin nicht so der IT Experte. Bin froh, dass ich mkgmap so einigermaßen verstanden habe.

Ich habe was anderes entdeckt. An der Stelle, wo mein Rhein ausgetrocknet ist, ist ein waterway=riverbank in OSM. warerway=* frage ich in mkgmap ab. Dann ist da natürlich eine Linie.
Ich mache meine Karten noch mal, aber sage explizit waterway=river und lasse riverbank weg. Mal abwarten, was da raus kommt.

berndw · 2013-03-22 17:23:47

speichennippel wrote:

Müsste man dann immer die ganze Welt downloaden?
Das Schneidewerkzeig osmosis verstehe ich nicht, habs nicht zum Laufen bekommen. Ich bin nicht so der IT Experte. Bin froh, dass ich mkgmap so einigermaßen verstanden habe..

Nein, Du brauchst dazu osmupdate und osmconvert, dauert je nach Rechnerleistung 20-60 Minuten, Download immer die Diffs, beim erstem Mal wird ein planet.pbf gezogen, kann auch ein europe.pbf sein, das nach O5M konvertiert und aktualisiert.
Der Platzbedarf hält sich in Grenzen zwei mal den Planet wegen temporärer Datei.

speichennippel wrote:

Ich habe was anderes entdeckt. An der Stelle, wo mein Rhein ausgetrocknet ist, ist ein waterway=riverbank in OSM. warerway=* frage ich in mkgmap ab. Dann ist da natürlich eine Linie.
Ich mache meine Karten noch mal, aber sage explizit waterway=river und lasse riverbank weg. Mal abwarten, was da raus kommt.

versuch mal bei Splitter die Option --keep-complete', aber ohne 'overlap'

Bernd

quasilotte · 2013-03-22 18:17:27

Das planet zu halten wenn man normalerweise nur Europa braucht ist etwas Oversize und benötigt nur mehr Speicher und Rechenzeit fürs schneiden Mergen usw.

Die europe.osm.pbf dürfte normalerweise reichen.

Diese mit osmupdate aktuell halten und wenn man da noch die europa-poly mitgibt wird auch nur was aus Europa mitge"mergt"

osmupdate --daily --drop-version --drop-author -B=PFAD\europe.poly --emulate-osmosis "PFAD\europe.osm.pbf" "PFAD\europe-new.osm.pbf"

Gibts ja mittlerweise alles praktischerweise bei der geofabrik - Ich meine die POLY und Europe.osm.pbf.

Die Diffs werden ohne Umbiegen hier geholt: http://planet.openstreetmap.org/replica … y/000/000/

Ob die Geofabrik-diffs damit gehen hab ich nicht ausprobiert weil ich das pklanet-diff brauche da ich eine Erweiterte europe.osm.pbf verwende

Last edited by quasilotte (2013-03-22 18:19:22)

speichennippel · 2013-03-22 18:28:00

Interessant mit dem Delta Download.
Wie gehe ich da ran? Welche Tools?
Bisher lade ich mir immer Europa komplett runter, wenn ich ein Kartenupdate mache. Das ist Datenoverkill, aber ich wüsste keine andere Lösung.

wambacher · 2013-03-22 18:52:29

speichennippel wrote:

Interessant mit dem Delta Download.
Wie gehe ich da ran? Welche Tools?

so leid es mir für dich tut: osmosis

Ich hab damals auch einige Tage Wochen gebraucht, bis ich Osmosis im Griff hatte. Mag sein, dass das auch andere Programme können, aber ich bin sehr zufrieden damit. Ist halt das Original.

Gruss
walter

quasilotte · 2013-03-22 19:20:02

speichennippel wrote:

Interessant mit dem Delta Download.
Wie gehe ich da ran? Welche Tools?
Bisher lade ich mir immer Europa komplett runter, wenn ich ein Kartenupdate mache. Das ist Datenoverkill, aber ich wüsste keine andere Lösung.

Jo entweder was wambacher ja leid tut osmosis
Ist eine Eierlegendewollmilchsau - was auch heist mnan brauch etwas geduld (z.B. Ausschneiden dauert etwa 10mal länger als mit osmconvert).

Oder ein Spezialist siehe hier:

http://wiki.openstreetmap.org/wiki/DE:Osmupdate

Man beachte aber dort die Vorausetzungen.
- Systemvariable PFAD zeigt auch auf den Speicherort von osmconvert
- wget mnuß installiert sein
- gzip muß bei pbf nicht sein
- osmupdate muß bei Windows umbenannt werden! Da "Update" im Namen von Windows vergewaltigt wird.

speichennippel · 2013-03-22 20:27:18

Mein Versuch riverbank wegzulassen ist gescheitert. Nun ist im kompletten Rhein Wasser mehr
Ich lass es jetzt erst mal. --keep-complete', aber ohne 'overlap' werde ich noch versuchen.
Ist ja nur ein optisches Problem.

Zu dem eigentlichen Thema:

Man lädt einmal Europa und dann nur noch die Veränderungen? Das macht alles osmosis?
Das Ergebnis hinterher ist eine Europakarte, also nix anderes, als wenn ich EU immer komplett lade. Vorteil wäre halt, dass der Download nicht so lange dauert und ich die Server nicht so quäle.

berndw · 2013-03-22 20:52:33

Nein, das Ergebnis ist eine tagesaktuelle Sammlung der Daten.
Die Updates umfassen meist weniger als 100 MB pro Tag für den gesamten Planet, der Download von europe.pbf erfordert jedesmal ein vielfaches davon

Osmosis macht vieles ist aber ziemlich kompliziert, osmupdate ist ein Spezialist, der genau das eine richtig gut kann

Nimm osmupdate ;-)

Bernd

Nop · 2013-03-22 21:11:33

speichennippel wrote:

Das Ergebnis hinterher ist eine Europakarte, also nix anderes, als wenn ich EU immer komplett lade. Vorteil wäre halt, dass der Download nicht so lange dauert und ich die Server nicht so quäle.

Täusch Dich da nicht. Je nachdem, wie oft Du neue Daten brauchst, wie schnell Deine Leitung ist und wie leistungsfähig Dein Rechner ist, kann es sich überhaupt nicht lohnen.

In meinem Fall: Update eines Planetfiles lokal ca. 8h (ohne Download und Mergen der Updates), Download des Europafile 1h.

Welche Gegend verwendest Du denn tatsächlich und wie oft baust Du die Karten neu?

bye, Nop

quasilotte · 2013-03-23 08:38:34

Nop wrote:

In meinem Fall: Update eines Planetfiles lokal ca. 8h (ohne Download und Mergen der Updates), Download des Europafile 1h.

Man sollte nicht Äpfel mit Birnen vergleichen!

Jeder kann sich Ausrechnen wielange er mindestens mit seiner Leitung brauch um entsprechende Datei zu bekommen.

Auch ist die Rechenleitung ein Thema.

Es muß also jeder selber feststellen was schneller ist.

Bei mir klar das Update (europa.osm.pbf) ca. alle 7 Tage in 30min erledigt (download+mergen+updaten) gegenüber 6h Download da dünne Leitung.

Auch ist das Programm nicht unbedeutent für den zeitfaktor.

Last edited by quasilotte (2013-03-23 08:40:24)

berndw · 2013-03-23 10:07:24

Nop wrote:

In meinem Fall: Update eines Planetfiles lokal ca. 8h (ohne Download und Mergen der Updates), Download des Europafile 1h.
bye, Nop

Der Update dauert so lang?

Hier maximal 40 Minuten mit Download und Mergen, es macht wenig Unterschied, ob ich die Daten von drei Wochen oder drei Stunden einpflegen lasse. Ich mache stündliche Updates, i.d.R. einmal am Tag, aber nicht per Cronjob, sondern manuell.

Welches Dateisystem nimmst Du für den Planet?

Am längsten dauert der Teil mit dem Erstellen des neuen temporären Planet, aber 36 GB O5M dauern halt.

Das Ausschneiden der DACH+ aus dem Planet dauert 30 Minuten, Bonn +100Km geht marginal schneller.
Der Bau der Karten AIO-Basemap und die Bikemap DACH+ jeweils 25 Minuten, Bonn je 10 Minuten.
Mein Script mit 7 häufig aktulisierten Karten läuft etwa 6 Stunden. Also abends angest0ßen, morgens fertig.

Ich gebe aber zu, es laufen keine anderen zeit- oder rechenintensiven Sachen auf dem Computer, aber man kann ihn parallel benutzen.

Bernd

berndw · 2013-03-23 10:14:39

Vergessen:
das Splitten der DACH+ dauert auch etwa 10 Minuten

Bernd

speichennippel · 2013-03-24 21:06:58

Vielen Dank für die vielen Tips!
Ich schau mal wie weit ich damit komme.

speichennippel · 2013-03-27 19:15:42

So, zumindest mein Problem mit dem ausgetrockneten Rhein konnte ich lösen
Es war Unkenntniss der OSM Tags. Ich hatte waterway=* ausgewertet. Damit wurde auch waterway=riverbank dargestellt. Dies verhinderte ein Füllen des Wasserflächen.

Announcement

#1 2013-03-22 12:24:23

Wo OSM Rohdaten beziehen?

#2 2013-03-22 12:45:23

Re: Wo OSM Rohdaten beziehen?

#3 2013-03-22 12:47:14

Re: Wo OSM Rohdaten beziehen?

#4 2013-03-22 12:49:32

Re: Wo OSM Rohdaten beziehen?

#5 2013-03-22 16:38:22

Re: Wo OSM Rohdaten beziehen?

#6 2013-03-22 16:57:42

Re: Wo OSM Rohdaten beziehen?

#7 2013-03-22 17:08:48

Re: Wo OSM Rohdaten beziehen?

#8 2013-03-22 17:23:47

Re: Wo OSM Rohdaten beziehen?

#9 2013-03-22 18:17:27

Re: Wo OSM Rohdaten beziehen?

#10 2013-03-22 18:28:00

Re: Wo OSM Rohdaten beziehen?

#11 2013-03-22 18:52:29

Re: Wo OSM Rohdaten beziehen?

#12 2013-03-22 19:20:02

Re: Wo OSM Rohdaten beziehen?

#13 2013-03-22 20:27:18

Re: Wo OSM Rohdaten beziehen?

#14 2013-03-22 20:52:33

Re: Wo OSM Rohdaten beziehen?

#15 2013-03-22 21:11:33

Re: Wo OSM Rohdaten beziehen?

#16 2013-03-23 08:38:34

Re: Wo OSM Rohdaten beziehen?

#17 2013-03-23 10:07:24

Re: Wo OSM Rohdaten beziehen?

#18 2013-03-23 10:14:39

Re: Wo OSM Rohdaten beziehen?

#19 2013-03-24 21:06:58

Re: Wo OSM Rohdaten beziehen?

#20 2013-03-27 19:15:42

Re: Wo OSM Rohdaten beziehen?

Board footer