You are not logged in.

#1 2020-07-15 11:18:17

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

[Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Ich habe den Eindruck, dass Overpass im konkreten Fall mal 7.5 MB und ein anderes Mal 8.4 MB an Daten liefert.

Konkret:

http://overpass-api.de/api/interpreter?data=area[wikidata~'^(Q353997|Q1094063|Q1016835|Q1030580|Q1066185|Q1624414|Q1812769|Q1279553|Q56477743|Q1812778|Q976355|Q1533526|Q1537228|Q947334|Q2062776|Q1766439|Q1813391|Q1847617|Q1521840)$'][type=boundary];(rel(area)[route~'(bus|tram|train|subway|light_rail|trolleybus|ferry|monorail|aerialway|share_taxi|funicular)'];rel(br);rel[type='route'](r);)->.routes;(.routes;<<;rel(r.routes);way(r);node(w);way(r.routes);node(w);node(r.routes););out;

Hier werden für PTNA alle ÖPNV-relevanten Daten aus der Metropol Region um Adelaide/SA Australien abgefragt.

Was auffällt: der 300er Bus und die meisten 7xxer Busse fehlen manchmal, ein andermal sind sie wieder drin.

Heute (2020-07-15 12:18) fehlen sie mal wieder https://ptna.openstreetmap.de/results/A … tml#A2.3.3

Die Menge der Daten ist mit 8.4 MB nicht kritisch, andere PTNA-Anfragen liefern > 300 MB und funktionieren einwandfrei.

Liegt es evtl. an der lange Listen von "wikidata"?

wikidata~'^(Q353997|Q1094063|Q1016835|Q1030580|Q1066185|Q1624414|Q1812769|Q1279553|Q56477743|Q1812778|Q976355|Q1533526|Q1537228|Q947334|Q2062776|Q1766439|Q1813391|Q1847617|Q1521840)$'

Alternative wäre eine bounding-box um das Gebiet zu legen, statt die wikidata der Cities/Counties/Councils zu nutzen.

Gruß,
Toni

Last edited by ToniE (2020-07-30 15:43:25)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#2 2020-07-15 13:38:01

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,839
Website

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Hallo,

es gibt zwei verschiedene Overpass-API-Server, die im Produktivbetrieb sind. Vielleicht erhältst du von den beiden verschiedene Antworten?

Viele Grüße

Michael


Werdet normales Mitglied in der OpenStreetMap Foundation für 15 Pfund pro Jahr und bestimmt über die Zukunft der Foundation und des OSM-Projekts mit. Die assoziierte Mitgliedschaft wird demnächst für aktive Mapper kostenlos werden.
Moderator im Bereich users: Austria.

Offline

#3 2020-07-15 13:41:54

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Nakaner wrote:

Hallo,

es gibt zwei verschiedene Overpass-API-Server, die im Produktivbetrieb sind. Vielleicht erhältst du von den beiden verschiedene Antworten?

Viele Grüße

Michael

Danke Michael,

wie kann ich erkennen:

* von welchem Server die Daten stammen?

* ob sie komplett sind, oder nicht - dumme Frage, aber evtl. gibt es ja irgendeinen Return-Code (im XML), den ich nicht kenne?


Viele Grüße,
Toni


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#4 2020-07-15 13:54:44

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,839
Website

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Hallo,

ToniE wrote:

wie kann ich erkennen:

* von welchem Server die Daten stammen?

Die beiden folgenden Server sind in Produktion:

michael@ortelius:/tmp$ host overpass-api.de
overpass-api.de has address 178.63.48.217
overpass-api.de has address 178.63.11.215
overpass-api.de has IPv6 address 2a01:4f8:110:502c::2
overpass-api.de has IPv6 address 2a01:4f8:120:6464::2
overpass-api.de mail is handled by 10 mail.overpass-api.de.

Setz doch die Abfragen direkt mit Curl ab. Dann kannst du beeinflussen, welcher Host verwendet wird. Ab Curl 7.49.0 gibt es dazu die Kommandozeilenoption "--connect-to":

man 1 curl wrote:

--connect-to <HOST1:PORT1:HOST2:PORT2>
For a request to the given HOST1:PORT1 pair, connect to HOST2:PORT2 instead. This option is suitable to direct requests at a specific server, e.g. at a specific cluster node in a cluster of servers. This option is only used to establish the network connection. It does NOT affect the hostname/port that is used for TLS/SSL (e.g. SNI, certificate verification) or for the application protocols. "HOST1" and "PORT1" may be the empty string, meaning "any host/port". "HOST2" and "PORT2" may also be the empty string, meaning "use the request's original host/port".

A "host" specified to this option is compared as a string, so it needs to match the name used in request URL. It can be either numerical such as "127.0.0.1" or the full host name such as "example.org".

This option can be used many times to add many connect rules.

See also --resolve and -H, --header. Added in 7.49.0.

Bei älteren Curl-Versionen kannst mit den drei folgenden Änderungen am Curl-Aufruf Ähnliches auf unsichere Art und Weise erreichen:

- den Hostnamen in der URL durch die IP ersetzen
- Den Host-Header manuell angeben: "-H "Host: overpass-api.de""
- "--insecure" angeben (d.h. jegliches Zertifikat akzeptiere, auch das von Man-in-the-Middle-Angreifern)

Viele Grüße

Michael


Werdet normales Mitglied in der OpenStreetMap Foundation für 15 Pfund pro Jahr und bestimmt über die Zukunft der Foundation und des OSM-Projekts mit. Die assoziierte Mitgliedschaft wird demnächst für aktive Mapper kostenlos werden.
Moderator im Bereich users: Austria.

Offline

#5 2020-07-15 16:56:57

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Nakaner wrote:

Hallo,

ToniE wrote:

wie kann ich erkennen:

* von welchem Server die Daten stammen?

Die beiden folgenden Server sind in Produktion:

michael@ortelius:/tmp$ host overpass-api.de
overpass-api.de has address 178.63.48.217
overpass-api.de has address 178.63.11.215
overpass-api.de has IPv6 address 2a01:4f8:110:502c::2
overpass-api.de has IPv6 address 2a01:4f8:120:6464::2
overpass-api.de mail is handled by 10 mail.overpass-api.de.

Setz doch die Abfragen direkt mit Curl ab. Dann kannst du beeinflussen, welcher Host verwendet wird. Ab Curl 7.49.0 gibt es dazu die Kommandozeilenoption "--connect-to":

man 1 curl wrote:

--connect-to <HOST1:PORT1:HOST2:PORT2>
For a request to the given HOST1:PORT1 pair, connect to HOST2:PORT2 instead. This option is suitable to direct requests at a specific server, e.g. at a specific cluster node in a cluster of servers. This option is only used to establish the network connection. It does NOT affect the hostname/port that is used for TLS/SSL (e.g. SNI, certificate verification) or for the application protocols. "HOST1" and "PORT1" may be the empty string, meaning "any host/port". "HOST2" and "PORT2" may also be the empty string, meaning "use the request's original host/port".

A "host" specified to this option is compared as a string, so it needs to match the name used in request URL. It can be either numerical such as "127.0.0.1" or the full host name such as "example.org".

This option can be used many times to add many connect rules.

See also --resolve and -H, --header. Added in 7.49.0.

Bei älteren Curl-Versionen kannst mit den drei folgenden Änderungen am Curl-Aufruf Ähnliches auf unsichere Art und Weise erreichen:

- den Hostnamen in der URL durch die IP ersetzen
- Den Host-Header manuell angeben: "-H "Host: overpass-api.de""
- "--insecure" angeben (d.h. jegliches Zertifikat akzeptiere, auch das von Man-in-the-Middle-Angreifern)

Viele Grüße

Michael

Danke Michael,

ich nutze 'wget' und der sagte mir beim letzten Aufruf:

Resolving overpass-api.de (overpass-api.de)... 2a01:4f8:110:502c::2, 2a01:4f8:120:6464::2, 178.63.11.215, ...
Connecting to overpass-api.de (overpass-api.de)|2a01:4f8:110:502c::2|:80... connected.

Der nächste Aufruf ist heute um 18:30 CEST, d.h. 02:00 AM ACST (Adelaide local time). Ich warte das mal ab und schaue, welche IP-Adresse verwendet wurde, und ob das Ergebnis OK ist.

Die Syntax von 'wget' ist ein wenig anders, aber es geht:

wget http://2a01:4f8:120:6464::2/..... --header "Host: overpass-api.de ...

Gruß,
Toni


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#6 2020-07-15 17:35:57

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Hi,

diesmal war es der Server 2a01:4f8:120:6464::2 und nicht 2a01:4f8:110:502c::2 ...

und diesmal sind 9.0 MB statt 7.5 MB gekommen und der 300er und die 7xxer sind wieder da - merkwürdig.

Großes Fragezeichen?

Gruß
Toni


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#7 2020-07-15 17:46:21

GerdP
Member
Registered: 2015-12-18
Posts: 1,140

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Wohl verschiedene Datenbestände oder verschiedene Software-Stände (bzw. ersteres wegen letzterem)

Offline

#8 2020-07-15 18:27:42

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

GerdP wrote:

Wohl verschiedene Datenbestände oder verschiedene Software-Stände (bzw. ersteres wegen letzterem)

Mmh, die Datenbestände - sprich: der 300er und die 7xxer sind alte Daten.
Der andere Server ist dann wohl nicht nur ein paar Tage sondern u.U Wochen oder Monate rückstandig?

Ich habe das noch nicht weiter analysiert, was denn tatsächlich fehlt, und wo die Daten liegen (lat/lon) und ob da nicht evtl. etwas mit einer boundary nicht stimmt oder ... "areas" sind u.U. veraltet?


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#9 2020-07-16 10:04:20

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

ToniE wrote:

oder ... "areas" sind u.U. veraltet?

Das ist die Lösung, der Grund

Analyse vom 14.07.2020, Daten von 2a01:4f8:110:502c::2

OSM-Base Time : 2020-07-14 16:29:02 UTC
Areas Time : 2020-03-06 11:03:01 UTC


Analyse vom 15.07.2020, Daten von 2a01:4f8:120:6464::2

OSM-Base Time :2020-07-15 16:31:03 UTC
Areas Time : 2020-07-15 16:11:03 UTC


Wie bekommen wir das korrigiert?

Gruß
Toni

Last edited by ToniE (2020-07-16 10:10:53)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#10 2020-07-16 11:49:02

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

ToniE wrote:

Wie bekommen wir das korrigiert?

Gemeldet auf https://wiki.openstreetmap.org/wiki/Overpass_API/status.


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#11 2020-07-30 15:36:54

drolbr
Member
Registered: 2013-05-12
Posts: 55

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

Der Fehler ist jetzt korrigiert.

Die beiden Server haben übrigens unterscheidbare Namen:
- z.overpass-api.de hat die Störung gehabt
- lz4.overpass-api.de hat die durchgehend erneuterten Areas gehabt

Noch eine kurze Bitte: schreibt gerne direkt eine eMail. Die Wiki-Benachrichtigung ist eher unzuverlässig.

Offline

#12 2020-07-30 15:41:38

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 414

Re: [Gelöst] Overpass-API: liefert unterschiedliche Daten ...

drolbr wrote:

Der Fehler ist jetzt korrigiert.

Die beiden Server haben übrigens unterscheidbare Namen:
- z.overpass-api.de hat die Störung gehabt
- lz4.overpass-api.de hat die durchgehend erneuterten Areas gehabt

Noch eine kurze Bitte: schreibt gerne direkt eine eMail. Die Wiki-Benachrichtigung ist eher unzuverlässig.

Danke, das mit den beiden Namen habe ich erst später bemerkt, im log von wget standen ja auch nur die Adressen.


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

Board footer

Powered by FluxBB