Gefofabrik Download langsam

Seit gestern (20.4.2017) ist der Dowload bei der Geofabrik extrem langsam. NRW würde beispielsweise 3 Stunden dauern.
Kurioserweise lief Europa in einer Stunde durch, alle anderen Länder, die ich angestestet habe, sind langsam.

Was könnte die Ursache sein?

Hier alles ok. Liegt vielleicht an deiner Verbindung?

xxx@xxx:~/data$ time wget "http://download.geofabrik.de/europe/germany/nordrhein-westfalen-latest.osm.pbf"
--2017-04-21 11:36:02--  http://download.geofabrik.de/europe/germany/nordrhein-westfalen-latest.osm.pbf
Resolving download.geofabrik.de (download.geofabrik.de)... 138.201.81.20, 144.76.80.19
Connecting to download.geofabrik.de (download.geofabrik.de)|138.201.81.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 671591220 (640M) [application/octet-stream]
Saving to: ‘nordrhein-westfalen-latest.osm.pbf’

nordrhein-westfalen-latest.osm.pbf          100%[========================================================================================>] 640.48M  61.6MB/s    in 14s     

2017-04-21 11:36:15 (47.0 MB/s) - ‘nordrhein-westfalen-latest.osm.pbf’ saved [671591220/671591220]


real	0m13.627s
user	0m0.236s
sys	0m3.980s

Grad im Log geschaut: 56 Sekunden für germany-latest heute nacht.

Gleicher Effekt hier. NRW schnarch langsam (<150KB/s), Europa gewohnt schnell.
Von einem anderen Server aus sind beide Files dagegen mit 110MB/s downloadbar.

Schuss ins Blaue: liegt am konkreten Rechner der dann genutzt wird. Da scheint ja ein Load Balancer die Requests auf die IPs .19 und .20 zu verteilen. In dooleys Test nimmt er ja dann die .20 zum Download. Vllt ist der Rechner/Anschluss/die Route (sind ja ganz andere Netze, vmtl. auch andere Carrier!) unter .19 langsam? So nen Effekt habe ich auch schonmal woanders gesehen.

Gut beobachtet. Ich hab eben versucht, von 144.76.80.19 aus NRW zu laden, ETA rund 5h.

Bestätigt. 144.76.80.19 ist von überall her langsam.

Was macht man da? Abwarten? Bei Geofabrik melden?

Natürlich melden, oder?

hab ich gerade gemacht.

Gruss
walter

:smiley: Danke

Und bevor jemand jetzt IPs irgendwo hart in seine Skripte reincodiert: das wird ein temporärer Effekt sein, und die Geofabrik hat da aus (vermutlich :wink: ) guten Gründen einen Load Balancer. Also nicht fest irgendwo IPs verwenden!

Hehe, danke, in der Tat wird der Downloadserver immer mal wieder umgestellt, und jemand, der IPs fest einstellt, könnte leicht mal in die Röhre gucken.

Das Setup am Downloadserver sieht so aus, dass es nur einen (Haupt-)Server gibt, der die Extrakte ausrechnet und auch ausliefert, aber es gibt einen zweiten (früher auch einen dritten) (Proxy-)Server, von dem man die Extrakte ebenfalls anfordern kann (und intern baut der dann eine Verbindung zum Hauptserver auf). Der Grund für diese Akrobatik ist, dass Hetzner pro Server nur einen bestimmte Menge an kostenlosem Inklusivtraffic erlaubt, und der Downloadserver käme da drüber. Da Hetzner-interner Traffic aber nicht zählt, kann man auf diese Weise den Freitraffic von anderen Servern mitnutzen.

Zusätzlich hierzu gibt es auch noch die Unterstützung von der GWDG, die täglich eine Kopie der Deutschland- und Europafiles ziehen; sobald der Download-Server weiss, dass die aktuelle Version dieser Datei bei der GWDG liegt, werden Requests für europe-latest.osm.pbf, germany-latest.osm.pbf und deren .bz2-Äquivalente nur noch mit Redirects zur GWDG beantwortet. (Das gilt aber nur für diese Files, nicht z.B. für Nordrhein-Westfalen und andere).

Im konkreten Fall irgendwas mit dem Netzwerk auf dem Proxy-Server im Eimer, und die Hetzner-interne Datenverbindung war schnarchlahm. Wir haben am Freitag erstmal den Proxy-Server aus dem DNS genommen, damit alle Anfragen direkt beim Hauptserver ankommen. Jetzt, nach einem Reboot, scheint auf dem Proxyserver aber wieder alles normal, und ich habe ihn wieder ins DNS eingetragen.

Mittelfristig werde ich das System vermutlich so umstellen, dass es wieder 2 Proxy-Server gibt, die aber auch über einen Cache der häufigst abgefragten Files verfügen, um den Hauptserver etwas stärker zu entlasten.

Bye
Frederik