You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2015-08-06 15:15:17

MKnight
Member
Registered: 2012-08-01
Posts: 2,406

Overpass/Turbo Performance verbessern (Reihenfolge?)

Ich frage mich, ob man durch geschickte Reihenfolge der Abfragen irgendwie die Performance steigern kann, mal ein Beispiel:

[timeout:400];{{nominatimArea:Bremen"}}
(._; )->.boundaryarea;

way(area.boundaryarea)
  (newer:"2015-08-01T07:00:00Z")[opening_hours];
  (._;>;);out meta;
node(area.boundaryarea)
  (newer:"2015-08-01T07:00:00Z")[opening_hours];
  (._;>;);out meta;

Link: http://overpass-turbo.eu/s/aOj
Das ist übel langsam, bei grösseren Bundesländern bekomme ich ein timeout. Ich würde das Gegenteil erwarten, da die Datenmenge ja geringer ist, die durchsucht werden soll. Wahrscheinlich holt der sich wie immer doch alle Daten, filtert dann aus und aufgrund der extra-abfrage auf Version wird's elend lahm oder scheitert. (ist das so?)
Gibt es irgendeinen Trick, die Datenmenge bei der Abfrage sofort zu vermindern? Wenn ich jetzt bspw. highway (oder alternativ nur Nodes, die auf nem highway liegen) ausschliessen würde oder natural=tree und dergleichen, rechnet overpass(turbo) doch wieder mit den kompletten Daten, ist das so?

Irgendwelche Tips möglichst gleich direkt zu meinem Beispiel oben?


gesammelte Overpass-abfragen zu QA (hauptsächlich Strassenfehler) + verschiedene Stats zu Strassen-eigenschaften

Offline

#2 2015-08-07 06:47:56

TheFive
Member
Registered: 2009-05-03
Posts: 1,566
Website

Re: Overpass/Turbo Performance verbessern (Reihenfolge?)

Ich glaube das Performanzproblem ist ein Lastproblem auf dem Server.

Roland hat auf dem Hack Weekend in Essen gesagt, wer keine historischen Daten will, sollte mal die Rambler Instanz benutzen.

Du kannst mal probieren:

{{data:overpass,server=http://overpass.osm.rambler.ru/cgi/}}

In die Anfrage reinzuschreiben.
Ich hatte eine ähnliche Reihenfolgefrage gestellt, und von Roland und MMD die Info bekommen, das es eher am Server liegt, man aber verschiedene Massnahmen ergreift, um das zu verbessern.

Christoph
P.S. gerade "schnuckelte" deine Abfrage so durch, und die Rambler Instanz war langsamer.

Offline

#3 2015-08-07 11:46:11

mmd
Member
Registered: 2010-11-06
Posts: 2,150

Re: Overpass/Turbo Performance verbessern (Reihenfolge?)

Hallo,

MKnight wrote:

Das ist übel langsam, bei grösseren Bundesländern bekomme ich ein timeout

Wirklich nachvollziehen kann ich das nicht, bei mir laufen NRW oder Bayern ohne Timeout durch.

TheFive wrote:

Roland hat auf dem Hack Weekend in Essen gesagt, wer keine historischen Daten will, sollte mal die Rambler Instanz benutzen.

Wenn ich das richtig sehe, läuft auch auf der Rambler Instanz seit dem letzten Crash vor ein paar Wochen inzwischen dieselbe Datenbank wie auf der Hauptinstanz, also auch mit historischen Daten. Die Overpass API Version sollte in beiden Fällen 0.7.52 sein. Obwohl auf Rambler weniger Traffic ist, bremsen die vergleichsweise langsamen Festplatten auf Rambler dann doch wieder aus.

TheFive wrote:

es eher am Server liegt, man aber verschiedene Massnahmen ergreift, um das zu verbessern.

Genau. Ein paar vorgeschlagene Verbesserungen sind momentan noch in Diskussion, siehe Github-Ticket.

Gruß,
mmd

Last edited by mmd (2015-08-07 15:46:00)

Offline

#4 2015-08-07 15:53:12

MKnight
Member
Registered: 2012-08-01
Posts: 2,406

Re: Overpass/Turbo Performance verbessern (Reihenfolge?)

mmd wrote:

Hallo,

MKnight wrote:

Das ist übel langsam, bei grösseren Bundesländern bekomme ich ein timeout

Wirklich nachvollziehen kann ich das nicht, bei mir laufen NRW oder Bayern ohne Timeout durch.

Ok, hier grad Bayern (nachtrag +NRW) sowohl auf der Webseite, wie auch export nach Josm (via ...api.de) geholt. Läuft.
Gestern hatte ich das Problem, dass das auf verschiedenen Servern entweder nicht wollte oder über Josm (export) generell nicht. Muss ich allerdings auch dazu sagen, dass ich da die josm-latest nur getestet hatte, könnte auch ne Fehlerursache sein.
Die .fr meint übrigens gerade, dass es keine Daten gäbe.

Bin grad zeitlich etwas knapp, mal schauen, ob ich das heute abend mal noch genauer auseinanderklamüsern kann um Fehler einzugrenzen.

Last edited by MKnight (2015-08-07 15:56:07)


gesammelte Overpass-abfragen zu QA (hauptsächlich Strassenfehler) + verschiedene Stats zu Strassen-eigenschaften

Offline

Board footer

Powered by FluxBB