Datensatz ausgeben lassen

liebefrau · 2016-12-14 14:47:59

Hallo liebe OSM Gemeinde,

wie kann man sich einen Datensatz für ganz Deutschland vollständig in einer Datei ausgeben lassen?
Beispiel: amenity = bar

Sieht in overpass-turbo.eu bei mir so aus:

[out:json][timeout:500];
// gather results
(
  // query part for: “amenity=bar”
  node["amenity"="bar"]({{bbox}});
  way["amenity"="bar"]({{bbox}});
  relation["amenity"="bar"]({{bbox}});
);
// print results
out body;
>;
out skel qt;

Leider sind die Datensätze zu groß und es wird ein Timeout erzeugt.

Welche Möglichkeiten stehen mir offen? Gibt es ein anderes Tool mit dem ich die Daten direkt in eine Datei schreiben könnte?
Eine geordnete Liste würde schon reichen.

Viele Grüße

wambacher · 2016-12-14 17:55:44

Hi, und erstmal herzlich willkommen im Forum.

liebefrau wrote:

Leider sind die Datensätze zu groß und es wird ein Timeout erzeugt.

Das ist absolut nachvollziehbar.
Zuerst "sagst" du Overpass nicht, dass du nur Daten aus Deutschland haben willst und wenn du das machen würdest, wären das immer noch viel zu viele Daten. Dafür ist die Overpass nicht geeignet.

Ich empfehle dir die Extrakte der Geofabrik, die du herunterladen kannst: http://download.geofabrik.de/
Die Daten von Deutschland sind da übrigens 2.9 GB komprimiert und wohl das 10-fache entpackt gross.

Es wäre nett, zu wissen was du eigentlich machen willst. Dann könnnen wir dir gezielter helfen.

Gruss
walter

Harald Hartmann · 2016-12-14 17:58:37

liebefrau wrote:

Welche Möglichkeiten stehen mir offen? Gibt es ein anderes Tool mit dem ich die Daten direkt in eine Datei schreiben könnte?

z.B. osmfilter

liebefrau · 2016-12-14 22:23:18

Vielen Dank für eure Antworten.

Also mein Ziel wäre es eine Tabelle mit Name und Strasse einer bestimmten amenity zu erhalten, als Beispiel wäre es hier amenity = bar.
Den Datensatz habe ich mir heruntergeladen und osmfilter auch, leider noch nicht wirklich den Befehl herausgefunden wie ich es anwenden kann.

Kann ich mir aussuchen welches Format ich als Output bekomme? json, xml oder sql wären mir lieb

projecter63 · 2016-12-15 00:53:44

N'Abend,

zur grafischen Anzeige via overpass-turbo etwa so: http://overpass-turbo.eu/s/kEQ; das liefert dann das json-Format ...
Für ["amenity"="bar"] zeigt die Abfrage derzeit in Deutschland ca. 8.275 nodes und knapp 500 ways bei einer auf max. 100 s erhöhten Rechenzeitzuweisung. Diese Abfrage allerdings bitte NUR für die "gelegentliche Anwendung" und NICHT für den Einbau in einer App mit einer Vielzahl identischer Abfragen täglich verwenden ...

Für die Ausgabe im xml-Format kannst Du z.B. die automatische Reparatur nutzen (--> Export --> JOSM --> Abfrage reparieren) und 'schwupp': zwei Zeilen werden geändert und kommentiert - die Änderungen sind so leicht nachvollziehbar ...

Für die Ausgabe der gewünschten Tabelle kannst Du folgende Abfrage nutzen: http://overpass-turbo.eu/s/kFc - hier als Ausgabe im csv-Format. Wenn Du einzelne Spalten nicht brauchst, dann diese einfach aus dem Header werfen - genau so leicht lassen sich auch weitere Spalten mit anderen tags einfügen ...

Grüße Rainer

fx99 · 2016-12-15 07:14:43

set STATE=germany
set KEY=amenity
set VALUE=bar

set WGETPATH=

%WGETPATH%\wget.exe http://download.geofabrik.de/north-america/canada/%STATE%-latest.osm.pbf
osmconvert64.exe %STATE%-latest.osm.pbf -o=%STATE%.o5m
osmfilter %STATE%.o5m --keep="%KEY%=%VALUE%" --drop-version --drop-author >%STATE%_%VALUE%.osm

pause

Mit oben stehender Windows Kommandosequenz erhälst Du alle amenity=bar in Deutschland als OSM XML Datei.
Du musst nur noch Deinen Pfad zu wget eintragen.
Wenn Du statt Germany ein kleines Bundesland einträgst, lässt sich das Ganze schneller testen.

Harald Hartmann · 2016-12-15 07:55:38

north-america/kanada müsste aus dem Pfad noch raus, bzw. durch europe ersetzt werden.

chris66 · 2016-12-15 09:27:58

liebefrau wrote:

und osmfilter auch, leider noch nicht wirklich den Befehl herausgefunden wie ich es anwenden kann.
Kann ich mir aussuchen welches Format ich als Output bekomme? json, xml oder sql wären mir lieb

osmfilter liefert primär im osm Format, was nichts anders als xml ist.

liebefrau · 2016-12-15 15:29:25

fx99 wrote:

set STATE=germany
set KEY=amenity
set VALUE=bar

set WGETPATH=

%WGETPATH%\wget.exe http://download.geofabrik.de/north-america/canada/%STATE%-latest.osm.pbf
osmconvert64.exe %STATE%-latest.osm.pbf -o=%STATE%.o5m
osmfilter %STATE%.o5m --keep="%KEY%=%VALUE%" --drop-version --drop-author >%STATE%_%VALUE%.osm

pause
Mit oben stehender Windows Kommandosequenz erhälst Du alle amenity=bar in Deutschland als OSM XML Datei.
Du musst nur noch Deinen Pfad zu wget eintragen.
Wenn Du statt Germany ein kleines Bundesland einträgst, lässt sich das Ganze schneller testen.

Cool Danke
WGETPATH muss einfach nur der Path für die wget exe rein oder?

Wie sieht der Code denn in Linux aus? Sollte doch eigentlich kaum ein unterschied sein oder?
Ich bekomme auf Linux leider den osmfilter nicht zum laufen

Danke auch an projecter63,
habe die amenity durch restaurant ersetzt und dann geht er leider in die Knie.

chris66 · 2016-12-15 17:19:15

liebefrau wrote:

Wie sieht der Code denn in Linux aus? Sollte doch eigentlich kaum ein unterschied sein oder?

Ja, unter Linux sollte es sehr ähnlich aussehen.

fx99 · 2016-12-15 17:42:03

liebefrau wrote:

Wie sieht der Code denn in Linux aus? Sollte doch eigentlich kaum ein unterschied sein oder?
Ich bekomme auf Linux leider den osmfilter nicht zum laufen

%...% durch ${...} ersetzen, dann sollte das im wesentlichen auch unter UNIX laufen.

Hast Du das LINUX Binaray von osmfilter heruntergeladen?

Marqqs · 2016-12-15 20:04:52

liebefrau wrote:

Ich bekomme auf Linux leider den osmfilter nicht zum laufen

Probier mal:

sudo apt-get install osmctools

Und dann:

osmconvert germany.pbf -o=germany.o5m
osmfilter germany.o5m --keep="amenity=bar" --ignore-dependencies -o=bar.osm

oder, falls die CSV lieber ist:

osmconvert germany.pbf -o=germany.o5m
osmfilter germany.o5m --keep="amenity=bar" --ignore-dependencies -o=bar.o5m
osmconvert bar.o5m --csv="name addr:city addr:street addr:housenumber" -o=bar.csv

Hab die Kommandos jetzt nicht ausprobiert, ich hoffe einfach, dass sie irgendwie funktionieren. ;-)

Näheres hier:
https://wiki.openstreetmap.org/wiki/DE:osmconvert
https://wiki.openstreetmap.org/wiki/DE:osmfilter

Marqqs · 2016-12-15 20:10:03

Nachtrag:

Vorher müsstest du natürlich die Deutschland-Datei von Geofabrik herunterladen, aber das hat Walter ja schon empfohlen.

wget http://download.geofabrik.de/europe/germany-latest.osm.pbf -O germany.pbf

chris66 · 2016-12-15 20:39:21

Und die all-to-nodes Option könnte noch hilfreich sein zur Umwandlung von Flächen-POIs in richtige Punkte (nodes).

mmd · 2016-12-16 15:19:11

liebefrau wrote:

habe die amenity durch restaurant ersetzt und dann geht er leider in die Knie.

Könnte evtl. daran liegen, dass der Browser beim Anzeigen der Ergebnisse etwas überfordert ist. Mit >50MB Ergebnis bietet es sich an, das Ergebnis stattdessen über Export -> ""Rohdaten direkt von Overpass API" als File abzulegen.

Alternativ: http://overpass-turbo.eu/s/kHp liefert nach ein paar Minuten alle Restaurant in .de im PBF Format. Auch hierfür auf "Export" -> "Rohdaten direkt von Overpass API" klicken. Das sollte ein 7.8 MB großes PBF liefern.

Last edited by mmd (2016-12-16 15:19:47)

Announcement

#1 2016-12-14 14:47:59

Datensatz ausgeben lassen

#2 2016-12-14 17:55:44

Re: Datensatz ausgeben lassen

#3 2016-12-14 17:58:37

Re: Datensatz ausgeben lassen

#4 2016-12-14 22:23:18

Re: Datensatz ausgeben lassen

#5 2016-12-15 00:53:44

Re: Datensatz ausgeben lassen

#6 2016-12-15 07:14:43

Re: Datensatz ausgeben lassen

#7 2016-12-15 07:55:38

Re: Datensatz ausgeben lassen

#8 2016-12-15 09:27:58

Re: Datensatz ausgeben lassen

#9 2016-12-15 15:29:25

Re: Datensatz ausgeben lassen

#10 2016-12-15 17:19:15

Re: Datensatz ausgeben lassen

#11 2016-12-15 17:42:03

Re: Datensatz ausgeben lassen

#12 2016-12-15 20:04:52

Re: Datensatz ausgeben lassen

#13 2016-12-15 20:10:03

Re: Datensatz ausgeben lassen

#14 2016-12-15 20:39:21

Re: Datensatz ausgeben lassen

#15 2016-12-16 15:19:11

Re: Datensatz ausgeben lassen

Board footer