You are not logged in.

#1 2017-07-26 09:08:00

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Overpass - Abfrage für Deutschland

Hallo,
ich habe eine Frage zu Overpass.
Für eine Recherche möchte ich mir bspw. alle Sackgassen in Deutschland heraussuchen lassen.
Die Abfrage bei Overpass funktioniert auch - dank Wizard: "noexit=yes in Deutschland" (timeout manuell hochsetzen). Jedoch steigt ziemlich schnell ein Skript aus und letztlich schmiert der Browser ab, weil die verarbeitete Datenmenge (es wird eine 50-MB-Datei angekündigt) zu groß ist. 
Wie lässt sich das Problem in den Griff kriegen?
Dank&Gruß, HawlingOSM

Offline

#2 2017-07-26 11:20:07

Harald Hartmann
Member
From: 98667 Schönbrunn
Registered: 2014-04-02
Posts: 3,123
Website

Re: Overpass - Abfrage für Deutschland

Unabhängig davon das "noexit=yes" nichts mit der deutschen Sackgassen bzw. dem Sackgassen-Schild zu tun hat, stünde da noch die Frage im Raum, wie du die Daten weiterverarbeiten möchtest? In der Tat kommt halt ein Browser bei diesen Datenmengen durchaus am seine Grenzen... wobei ich unter Ubuntu mit Chromium auch schon mal ca 75MB angezeigt bekommen habe ohne das der Browser abschmiert.
Eventuelle Alternative wäre die Daten via Overpass Rohdaten Export in GeoJson herunterzuladen und bei Umap wieder hochzuladen.

Last edited by Harald Hartmann (2017-07-26 11:22:21)


Mein aktives Gebiet: Gemeinde Schleusegrund
Fingerprint meines Schlüssels: 71F7 3CD9 B647 9079 6B88 326E 8B8B 72AE 34F9 5AAD

Offline

#3 2017-07-26 11:27:32

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

Hallo, du darfst dir sicher sein, dass die Weiterarbeitung geklärt ist, wenn ich solche eine Frage stelle. smile Die Lösung des Problems übrigens auch geklärt: Ich stelle Wizard-Abfragen für einzelne Bundesländer und führe die konvertierte KML-Dateien zusammen. Dennoch besten Dank.

Offline

#4 2017-07-26 11:33:47

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,440
Website

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Hallo, du darfst dir sicher sein, dass die Weiterarbeitung geklärt ist, wenn ich solche eine Frage stelle. smile

Nun denn.

Aber die Antwort von Harald bzgl "noexit" hast du verstanden? Glaube eher nicht.

Last edited by wambacher (2017-07-26 11:34:37)

Offline

#5 2017-07-26 11:36:55

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: Overpass - Abfrage für Deutschland

Harald Hartmann wrote:

Alternative wäre die Daten via Overpass Rohdaten Export in GeoJson herunterzuladen

Rohdaten direkt von Overpass API liefert dir zwar ein JSON-Format (das erzeugt der Wizard mit [out:json]), das hat aber wirklich nichts mit GeoJSON zu tun. Overpass API kann kein GeoJSON, die Konvertierung macht overpass turbo im Browser, was hier aber nicht funktionieren dürfte weil zuviel Daten. Es gibt aber auch ein osmtogeojson als Kommandozeilen-Dingens.

Last edited by mmd (2017-07-26 11:39:20)

Offline

#6 2017-07-26 12:21:32

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

Da haben wohl noch mehr das Thema nicht verstanden. smile
Sie dürfen glauben was Sie mögen. smile
Och, Wizi-Abfragen für 16 Bundesländer und 16 KML-Dateien konvertieren ist jetzt nicht so der Aufwand. Passt schon.

Offline

#7 2017-07-26 12:54:37

OPerivar
Member
Registered: 2008-07-20
Posts: 337
Website

Re: Overpass - Abfrage für Deutschland

Habe mal eine Gemeinde, die ich größtenteils gemappt habe, abgefragt. Das Ergebnis bei "noexit=yes" waren 17 Stück (ways und nodes), aber bei ungetaggten "Sackgassen" (man muss den Weg wieder zurück) habe ich bei 25 aufgehört zu zählen.
Trage noexit=yes auch nicht mehr oft ein.

Offline

#8 2017-07-26 13:03:16

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,440
Website

Re: Overpass - Abfrage für Deutschland

OPerivar wrote:

Das Ergebnis bei "noexit=yes" waren 17 Stück (ways und nodes)

Noexit=yes an ways ist annerkanntermaßen unnötig bis falsch.
Ansonsten überlasse ich es unserem Besserwisser, selber herauszufinden, wo sein Denkfehler ist.

EoT
walter

Last edited by wambacher (2017-07-26 13:04:36)

Offline

#9 2017-07-26 13:27:21

kreuzschnabel
Member
Registered: 2015-07-03
Posts: 6,164

Re: Overpass - Abfrage für Deutschland

OPerivar wrote:

Trage noexit=yes auch nicht mehr oft ein.

noexit=yes ist weder fürs Rendering noch fürs Routing wichtig. In erster Linie ist es ein „doch, das ist wirklich so gemeint“-Hinweis an die QS-Systeme, um klarzustellen, dass hier ein Anschluss an die nächste Straße nicht einfach vergessen wurde, damit die nicht zu viele false positives werfen.

--ks


Verwaltungsverfahrensgesetz § 44 (1): Ein Verwaltungsakt ist nichtig, soweit er an einem besonders schwerwiegenden Fehler leidet und dies bei verständiger Würdigung aller in Betracht kommenden Umstände offensichtlich ist.

Offline

#10 2017-07-26 13:40:48

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

"unserem"? Ui, sie schwingen sich auf, im Namen der Forumsgemeinde zu sprechen. Kompliment für Ihren Mut. smile Aber leider bin nicht "Ihr" Besserwisser. Um Besitz anzuzeigen ist das hier der falsche Platz. smile Und wieso wählen Sie unkritisch die männliche Form? Ich empfehle die korrektere Schreibweise "Besserwisserin" oder gendertauglich "BesserwisserIn". smile) So nun genug der Besserwisserei. smile
Ich möchte nun die inhaltliche Diskussion fortsetzen: Welcher Syntax ist sinnvoll, wenn das Ende einer strikten Sackgasse gesucht wird? Laut Bildunterschrift zum rechten oberen Bild auf der Seite https://wiki.openstreetmap.org/wiki/DE:Key:noexit beschreibt "noexit" genau den Sachverhalt, nach dem ich in der Karte suche.
Bei der Syntax noexit:vehicle=yes bekomme ich für das flächengrößte Bundesland hingegen lediglich ein Handvoll Treffer, bei noexit:vehicle=yes ebenfalls. Gibt es so wenige Sackgassen in dem großen Bundesland? Bei noexit=yes sind es hingegen mehrere Hundert.

Last edited by hawlingosm (2017-07-26 13:58:30)

Offline

#11 2017-07-26 14:21:28

R0bst3r
Member
Registered: 2015-04-23
Posts: 536

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Ich möchte nun die inhaltliche Diskussion fortsetzen: Welcher Syntax ist sinnvoll, wenn das Ende einer strikten Sackgasse gesucht wird? Laut Bildunterschrift zum rechten oberen Bild auf der Seite https://wiki.openstreetmap.org/wiki/DE:Key:noexit beschreibt "noexit" genau den Sachverhalt, nach dem ich in der Karte suche.
Bei der Syntax noexit:vehicle=yes bekomme ich für das flächengrößte Bundesland hingegen lediglich ein Handvoll Treffer, bei noexit:vehicle=yes ebenfalls. Gibt es so wenige Sackgassen in dem großen Bundesland? Bei noexit=yes sind es hingegen mehrere Hundert.

Nicht verzagen ... aber kurz erklärt. noexit setzt man an Nodes oder das Ende einer Straße, wenn dort kein Weg weiterführt. Es sagt dem Mapper (nicht Router, nicht Fahrzeugführer, ...) das es laut einem lokalen Mapper dort keinen Weg gibt weiterzukommen. Gibt es dort aber einen Fußweg, ist noexit falsch. An Wegen sollte es ebenfalls kein noexit geben. noexit:verhicle etc kann man vernachlässigen, gibt es de facto nicht auf der Karte.

Fazit: es gibt jede Menge Sackgassen, die ein noexit haben, die meisten schildertechnischen Sackgassen dürften jedoch kein noexit tragen, rechnet man die falschen noexit dazu, ist das Tag nicht wirklich auswertbar.

Offline

#12 2017-07-26 14:21:48

kreuzschnabel
Member
Registered: 2015-07-03
Posts: 6,164

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Bei der Syntax noexit:vehicle=yes bekomme ich für das flächengrößte Bundesland hingegen lediglich ein Handvoll Treffer, bei noexit:vehicle=yes ebenfalls. Gibt es so wenige Sackgassen in dem großen Bundesland?

Steht doch im Wiki, gleich über der Erklärung für noexit:xyz=yes:

wiki wrote:

Eine erweiterte Kennzeichnung setzt sich nur langsam durch.

Ich setze das gar nicht ein. noexit ist dafür gedacht, wie oben schon mal gesagt, klarzustellen, dass der Anschluss dieses Weg-Endes nicht nur vergessen wurde, sondern dass wirklich keiner da ist. Eine Sackgasse für jede Verkehrsart.

Ein noexit:motor_vehicle=yes dagegen ist auch dadurch schon ausreichend ausgedrückt, dass nur ein hw=path oder ein Wegstück mit motor_vehicle=no weiterführt, und dann ist auch den QS-Tools klar, dass da nichts vergessen wurde – womit ein noexit=yes unnötig ist.

--ks

Last edited by kreuzschnabel (2017-07-26 14:23:10)


Verwaltungsverfahrensgesetz § 44 (1): Ein Verwaltungsakt ist nichtig, soweit er an einem besonders schwerwiegenden Fehler leidet und dies bei verständiger Würdigung aller in Betracht kommenden Umstände offensichtlich ist.

Offline

#13 2017-07-26 14:40:02

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,440
Website

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Ich möchte nun die inhaltliche Diskussion fortsetzen: Welcher Syntax ist sinnvoll, wenn das Ende einer strikten Sackgasse gesucht wird? Laut Bildunterschrift zum rechten oberen Bild auf der Seite https://wiki.openstreetmap.org/wiki/DE:Key:noexit beschreibt "noexit" genau den Sachverhalt, nach dem ich in der Karte suche.
Bei der Syntax noexit:vehicle=yes bekomme ich für das flächengrößte Bundesland hingegen lediglich ein Handvoll Treffer, bei noexit:vehicle=yes ebenfalls. Gibt es so wenige Sackgassen in dem großen Bundesland? Bei noexit=yes sind es hingegen mehrere Hundert.

So - oder auch nicht:

- eine als Sackgasse gekennzeichnete Sackgasse (noexit=yes): http://www.openstreetmap.org/node/2687093360

- keine Sackgasse: https://www.openstreetmap.org/node/3764308900/, da es dort für Fußgänger weiter geht.

- möglicherweise eine Sackgasse: http://www.openstreetmap.org/node/1232824708 , da niemand geschrieben hat, dass es da wirklich nicht weitergeht.

Die im OSM-Wiki erwähnte Alternative noexit:XXX=yes könnte es etwas einfacher machen; diese ist aber nicht etabliert.

Sackgassen lassen sich nur durch Routinganalysen zuverlässig feststellen. Das beherrschen alle gängigen Router.

Last edited by wambacher (2017-07-26 14:40:48)

Offline

#14 2017-07-26 14:52:07

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

Besten Dank für die Erläuterungen und den sachlichen Ton. 
Vielleicht tue ich mich so schwer, die nachvollziehbaren Erläuterungen umzusetzen, weil wir verschiedene Perspektiven aufs Thema haben: Ich mappe nicht, sondern umgekehrt, ich ziehe Daten aus der Karte und suche den korrekten Syntax für die Wizard-Abfrage.
Wenn ihr sagt, dass in der Wizard-Abfrage mit "noexit=yes" gar keine Sackgassen (im verkehrsrechtlichen Sinne) gefunden werden können (weil mit dem Key "noexit=yes" lediglich ausgedrückt wird, dass nach dem Straßenende für alle Verkehrsteilnehmer Schluss ist, also es sich um eine strikte Sackgasse handelt), eine erweiterte Kennzeichnung von Sackgassen (im verkehrsrechtlichen Sinne) sich jedoch nur langsam durchsetzt sowie die Keys "noexit:vehicle=yes" und "noexit:motor_vehicle=yes kaum Treffer liefern, womit dann? Es wird also wohl schwierig, die Sackgassen (die im verkehrsrechtlichen Sinne) aufzustöbern?
Wird es bei anderen Themen, z.B. bei die Suche nach Fußgängerüberwegen oder Kindergärten oder Kreisverkehren oder oder oder, auch derart kniffelig?

Offline

#15 2017-07-26 15:20:54

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Ich mappe nicht, sondern umgekehrt, ich ziehe Daten aus der Karte und suche den korrekten Syntax für die Wizard-Abfrage.

hawlingosm wrote:

Wird es bei anderen Themen, z.B. bei die Suche nach Fußgängerüberwegen oder Kindergärten oder Kreisverkehren oder oder oder, auch derart kniffelig?

Das kommt darauf an. Generell würde ich immer empfehlen, selbst mal etwas zu mappen, um ein Gefühl für die Datenmodellierung zu kriegen. Erst dann entwickelt man im Laufe der Zeit eine Idee davon, wie man die Daten am besten wieder abfragen kann. Im Beispiel der Sackgassen wird dir der Wizard wohl eher gar nicht weiterhelfen.

Offline

#16 2017-07-26 15:21:00

Harald Hartmann
Member
From: 98667 Schönbrunn
Registered: 2014-04-02
Posts: 3,123
Website

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Hallo, du darfst dir sicher sein, dass die Weiterarbeitung geklärt ist, wenn ich solche eine Frage stelle.

Ah ja, ok, ist also nur dein (erstes) Vorgehen (via Wizard und Ergebnisanzeige direkt im Browser) schief gelaufen.

hawlingosm wrote:

Es wird also wohl schwierig, die Sackgassen (die im verkehrsrechtlichen Sinne) aufzustöbern?

Ja.

hawlingosm wrote:

Wird es bei anderen Themen, z.B. bei die Suche nach Fußgängerüberwegen oder Kindergärten oder Kreisverkehren oder oder oder, auch derart kniffelig?

Kommt ganz darauf an, was du z.B. unter einem "Fußgängerüberweg" verstehst wink
Bei Kreisverkehren kommt es darauf an, ob du nur die "großen" Kreisverkehre haben willst, die sind meistens auch kreisrund als Weg (way) gezeichnet, oder ob auch "mini-roundabout"s dabei sein dürfen, die sind meistens nur an einen Punkt (node) geheftet.
Kindergärten dürfte aus deiner Liste das einfachste und unkniffeligste sein: amenity=kindergarten.

PS: @mmd

mmd wrote:

Rohdaten direkt von Overpass API liefert dir zwar ein JSON-Format (das erzeugt der Wizard mit [out:json]), das hat aber wirklich nichts mit GeoJSON zu tun.

Also funktioniert Export > "Speichere/Kopiere als GeoJSON" nur direkt im Browser? Gut zu wissen.


Mein aktives Gebiet: Gemeinde Schleusegrund
Fingerprint meines Schlüssels: 71F7 3CD9 B647 9079 6B88 326E 8B8B 72AE 34F9 5AAD

Offline

#17 2017-07-26 15:23:52

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: Overpass - Abfrage für Deutschland

Harald Hartmann wrote:

Also funktioniert Export > "Speichere/Kopiere als GeoJSON" nur direkt im Browser?

Genau, wird über https://github.com/tyrasd/osmtogeojson im Browser gemacht. Kann man wie gesagt aber auch auf Kommandozeile direkt auf OSM Dateien loslassen.

Last edited by mmd (2017-07-26 15:24:04)

Offline

#18 2017-07-26 15:35:41

seichter
Member
Registered: 2011-05-21
Posts: 2,732

Re: Overpass - Abfrage für Deutschland

noexit=yes ist wie schon erwähnt für Sackgasse untauglich, es steht als Hinweis für so was wie
"note=Weg endet hier tatsächlich",
was ich in letzter Zeit auch schon als Tag gesehen habe und was mMn der Absicht besser entspricht.
note: Hinweis an andere Mapper.

Sackgasse über Tag ist also ein Irrweg, das geht nur über Routing-ähnliche Algorithmen für highway-Linien ohne Fortsetzung.
Hinweis: Bei den QA-Tools (z.B. in JOSM-Datenprüfung) gibt es eine Warnung für Gewässer ohne Fortsetzung. Da lässt sich vielleicht was abkupfern.
[edit: typo]

Last edited by seichter (2017-07-26 15:37:41)

Offline

#19 2017-07-26 15:36:24

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,440
Website

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Es wird also wohl schwierig, die Sackgassen (die im verkehrsrechtlichen Sinne) aufzustöbern?

Wie ich schon schrieb: das packen nur die Router. Die machen eine topologische Analyse und "fahren" die Strecken ab. Und sie "wissen" danach, wo es weitergeht oder nicht. (abhängig vom Anwender Pkw, Lkw, Radler, Biker, Wanderer, Paddler, ....)

Da die Router das nicht brauchen, wird es auch immer weniger erfasst.

Offline

#20 2017-07-26 15:56:01

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

Gut, bei Sackgassen ein Haken dran. OSM scheint nicht dafür gemacht, geografische Entitäten komfortabel auswerten zu können, weil die Verschlagwortung viel Raum lässt. smile
Manche legen den Spielraum dafür offenbar weit aus: Neulich wurde mir im Nachbardorf bei OSM doch tatsächlich ein "Stadion" angezeigt, obwohl der Key "stadium" nur bei Sportanlagen mit permanenten, gestaffelten Sitzreihen verwendet werden soll (oder?). Der besagte Sportplatz besteht nur aus kleinen und großen Fußballfeldern ohne Sitzreihen. smile Jetzt haben wir aber im Nachbardorf ein Stadion. smile

Bei Kreisverkehren ging ich davon aus, dass man mit junction=roundabout resp. highway=mini_roundabout bei Wizard gut zu validen Treffern kommen könnte.
Wie sieht es denn mit anderen Themen aus: Sind euch welche untergekommen, die sich "leichter" auswerten lassen (weil die Verschlagwortung kaum Spielraum lässt) und weil das Thema flächendeckend in Deutschland gemappt wurde?

Offline

#21 2017-07-26 16:06:03

Harald Hartmann
Member
From: 98667 Schönbrunn
Registered: 2014-04-02
Posts: 3,123
Website

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Wie sieht es denn mit anderen Themen aus: Sind euch welche untergekommen, die sich "leichter" auswerten lassen (weil die Verschlagwortung kaum Spielraum lässt) und weil das Thema flächendeckend in Deutschland gemappt wurde?

- postalische Grenzen
- administrative Grenzen (bekommst du aber schon fertig von wambacher) wink
- die deutschen autobahnen (wenn dich nicht gerade der Straßenbelag interessiert)
- .... das wars dann aber auch schon

PS: Du kannst aber natürlich auch gerne aktiv mit am Datenbestand arbeiten, dann kann es nur besser werden ... fertig wird es überigens nie werden wink

Last edited by Harald Hartmann (2017-07-26 16:08:52)


Mein aktives Gebiet: Gemeinde Schleusegrund
Fingerprint meines Schlüssels: 71F7 3CD9 B647 9079 6B88 326E 8B8B 72AE 34F9 5AAD

Offline

#22 2017-07-26 16:22:21

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

Guter Vorschlag, ich bleibe jedoch für Arbeitsteilung. smile Wenn alle alles machen, wird alles nicht richtig. smile
Postalische, politische Grenzen, Autobahnen? Dafür brauch ich nicht OSM, um das herauszufinden. Da schau ich in den Straßenatlas oder googele bestehende Grafiken zu PLZ-Gebieten. Mir gehts um Spannenderes.
Vor Jahren hatte sich das ZEITmagazin mal ans Thema Kreisverkehre gemacht: http://www.zeit.de/zeit-magazin/2014/49 … hlandkarte. Coole Umsetzung, wie ich finde. Das gab es zuvor nicht.

Offline

#23 2017-07-26 16:25:42

seichter
Member
Registered: 2011-05-21
Posts: 2,732

Re: Overpass - Abfrage für Deutschland

hawlingosm wrote:

Manche legen den Spielraum dafür offenbar weit aus: ...

Das ist dem crowd-Prinzip geschuldet: Es ist die größte Stärke und gleichzeitig die größte Schwäche von OSM.
Nicht selten sind in Neubaugebieten Straßen und Häuser gemappt, wo bei anderen noch jahrelang grüne Wiese ist, andererseits kann jeder mehr oder weniger qualifiziert beitragen.
Langfristig kann man nur der Statistik vertrauen, dass sich unkorrelierte Fehler ausmitteln.

Offline

#24 2017-07-26 16:26:03

Harald Hartmann
Member
From: 98667 Schönbrunn
Registered: 2014-04-02
Posts: 3,123
Website

Re: Overpass - Abfrage für Deutschland

Tja, dann musste wohl auf die "öffentlichen" lol oder "bezahlte" Daten zurückgreifen tongue

Last edited by Harald Hartmann (2017-07-26 16:27:02)


Mein aktives Gebiet: Gemeinde Schleusegrund
Fingerprint meines Schlüssels: 71F7 3CD9 B647 9079 6B88 326E 8B8B 72AE 34F9 5AAD

Offline

#25 2017-07-26 16:46:14

hawlingosm
Member
From: Immer mal woanders :)
Registered: 2017-07-20
Posts: 21

Re: Overpass - Abfrage für Deutschland

Och, grundsätzlich muss ich erstmal gar nichts. Wenn du Zwänge hast oder immer wieder die Vorstellung hast, etwas unbedingt machen zu müssen, suche doch professionelle Hilfe. smile

Auch Firmen, die die OSM-Karte als Grundlage nehmen, lassen sich bezahlen. Naja, ist wohl auch auf diesem Gebiet Arbeitsteilung: Die einen mappen ehrenamtlich und in der Freizeit, die anderen verdienen das Geld damit. smile
Aber das war nicht mein Punkt, sondern der Punkt ist: Was könnte abseits von Postleitzahlengebieten und Autobahnen spannend sein und bietet zugleich wenig Spielraum beim Verschlagworten/Taggen.

Last edited by hawlingosm (2017-07-26 16:46:40)

Offline

Board footer

Powered by FluxBB