OpenStreetMap Forum

tquadrat

Member

Registered: 2015-03-03

Posts: 113

Frage zu scriptgesteuerter overpass Abfrage

Hi,

Konkret geht es um ein Script das einmal/Woche ca. 100-120 Relationen von Overpass abfragen soll.
Meine Frage dazu sind:
1) Muss ich da jemanden darüber informieren bzw. das Script anmelden?
2) Gibts irgendwelche Dinge die ich wegen dem Zugriff (zB. "Nur eine Abrage/sekunde") noch beachten sollte?

LG Tom

wambacher

Member

From: Schlangenbad/Wambach, Germany

Registered: 2009-12-16

Posts: 16,769

Website

Re: Frage zu scriptgesteuerter overpass Abfrage

1) Muss ich da jemanden darüber informieren bzw. das Script anmelden?

nö

2) Gibts irgendwelche Dinge die ich wegen dem Zugriff (zB. "Nur eine Abrage/sekunde") noch beachten sollte?

Halt nicht zuviel Last erzeugen. (Nachts laufen lassen, Pausen machen, ...)

Was brauchst du denn genau?

Gruss
walter

---

Osm Software Watchlist  Osm Emergency Map
Osm Healthcare Map

Nakaner

Moderator

From: Karlsruhe

Registered: 2011-09-03

Posts: 3,046

Website

Re: Frage zu scriptgesteuerter overpass Abfrage

Lies dir mal den Abdchnitt zu den Status-Codes durch.

http://overpass-api.de/command_line.html

---

Werdet Mitglied in der OSM Foundation und bestimmt über die Zukunft der Foundation und des Projekts mit. Ab 42 Mappingtagen in den letzten 365 Tagen ist es kostenlos. Jetzt beitreten ("Active Contributor Membership")!
Moderator im Bereich users: Austria

tquadrat

Member

Registered: 2015-03-03

Posts: 113

Re: Frage zu scriptgesteuerter overpass Abfrage

Halt nicht zuviel Last erzeugen. (Nachts laufen lassen, Pausen machen, ...)

So wars angedacht ja. Im Moment hab ich einen delay von 5s zwischen den Abfragen eingebaut

Was brauchst du denn genau?

Habs glaub ich eh schon mal erwähnt.
Ich möcht regelmäßig route Relationen auf Durchgängigkeit prüfen.
Die Abfrage erfolgt Anhand der Relations ID.
Daraus erstelle ich einen Graphen den ich dann überprüfen kann.
Das Ergebnis wird mir dann per Mail geschickt.
Damit ich nicht immer alle Relationen händisch mit osmsurround überprüfen muss.

@Nakaner: Ja die Seite hab ich mir eh schon reingezogen. Danke

LG Tom

slhh

Member

Registered: 2012-09-02

Posts: 358

Re: Frage zu scriptgesteuerter overpass Abfrage

Auf der englischen Wiki Seite für die Overpass API http://wiki.openstreetmap.org/wiki/Over … troduction ist unter Introduction noch eine Tabelle mit einer Usage Policy für die Server enthalten.

Mit den 10000 Anfragen und 5 GB/Tag wirst du sicher auskommen. Man wird die Grenze wohl etwas relativ sehen müssen. Vermutlich wären 10000 komplizierte Anfragen mit kräftig erhöhtem Timeout ein Problem. Da du bei deinen Anfragen die ID schon hast, sollte dies für die Overpass-API aber extrem einfach sein und der Aufwand ergibt sich nur noch durch die Datenmenge.

Ein kleiner zeitlicher Abstand zwischen den Anfragen ist natürlich nicht verkehrt, zumal er nicht stören dürfte. Wenn das ganze automatisch gestartet wird, würde ich eine krumme Uhrzeit verwenden. Nicht das z.B. um 2 Uhr nachts von diversen Nutzern gleichzeitig automatische Abfragen starten.

Last edited by slhh (2016-01-03 20:25:01)

mmd

Member

Registered: 2010-11-06

Posts: 2,150

Re: Frage zu scriptgesteuerter overpass Abfrage

1) Muss ich da jemanden darüber informieren bzw. das Script anmelden?
2) Gibts irgendwelche Dinge die ich wegen dem Zugriff (zB. "Nur eine Abrage/sekunde") noch beachten sollte?

Normalerweise wäre ein aussagekräftiger User-Agent schon hilfreich, damit bei Problemen schneller klar ist, woher die Anfragen kommen und wer ggfs. kontaktiert werden kann. Allerdings werden 100-120 Relationen pro Woche komplett im Grundrauschen untergehen, also hier ein eher vernachlässigbares Problem.

Die Usage Policy wurde schon genannt. Wenn die Anfragen zu viel Last erzeugen (würden) und/oder zu kurz aufeinanderfolgen, wird normalerweise ein HTTP 429 Fehlercode zurückgegeben. In dieser Situation hilft es, einfach die Pausen zwischen den Abfragen hochzusetzen. In einigen Fällen waren Timeout oder maxsize astromisch groß gewählt, so dass die Abfragen immer abgelehnt wurden. Beides lässt sich für die eigene Query selbst entsprechend anpassen.

Fehlercodes auswerten wurde auch genannt und ist ein wichtiger Punkt. Es gab in der Vergangenheit den einen oder anderen nicht ideal implementierten Client, der ohne Rücksicht auf den Return-Code einfach fleissig weiter Abfragen abgesetzt hat.

Vielleicht mal ein gutes Thema für die Wiki-Seite...

Last edited by mmd (2016-01-03 18:12:16)

tquadrat

Member

Registered: 2015-03-03

Posts: 113

Re: Frage zu scriptgesteuerter overpass Abfrage

Super danke
Das mit dem Useragent und der gesetzten Mailadresse hatte ich vergessen.
Der Rest war eh schon berücksichtigt.

LG Tom