OpenStreetMap Forum

speichennippel

Member

From: Remscheid

Registered: 2010-04-09

Posts: 308

Website

Gefofabrik Download langsam

Seit gestern (20.4.2017) ist der Dowload bei der Geofabrik extrem langsam. NRW würde beispielsweise 3 Stunden dauern.
Kurioserweise lief Europa in einer Stunde durch, alle anderen Länder, die ich angestestet habe, sind langsam.

Was könnte die Ursache sein?

---

https://speichenkarte.de/

dooley

Member

From: Landkreis Calw

Registered: 2013-11-04

Posts: 899

Re: Gefofabrik Download langsam

Hier alles ok. Liegt vielleicht an deiner Verbindung?

xxx@xxx:~/data$ time wget "http://download.geofabrik.de/europe/germany/nordrhein-westfalen-latest.osm.pbf"
--2017-04-21 11:36:02--  http://download.geofabrik.de/europe/germany/nordrhein-westfalen-latest.osm.pbf
Resolving download.geofabrik.de (download.geofabrik.de)... 138.201.81.20, 144.76.80.19
Connecting to download.geofabrik.de (download.geofabrik.de)|138.201.81.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 671591220 (640M) [application/octet-stream]
Saving to: ‘nordrhein-westfalen-latest.osm.pbf’

nordrhein-westfalen-latest.osm.pbf          100%[========================================================================================>] 640.48M  61.6MB/s    in 14s     

2017-04-21 11:36:15 (47.0 MB/s) - ‘nordrhein-westfalen-latest.osm.pbf’ saved [671591220/671591220]


real	0m13.627s
user	0m0.236s
sys	0m3.980s

Grad im Log geschaut: 56 Sekunden für germany-latest heute nacht.

---

Zum Zustand des deutschen Forums vom geschätzten Netzwolf auch "Pamphlet" genannt
Mein Avatar ist ein Ausschnitt aus "Die Saporoger Kosaken schreiben dem türkischen Sultan einen Brief" (Ilja Repin, gemeinfrei)

mmd

Member

Registered: 2010-11-06

Posts: 2,150

Re: Gefofabrik Download langsam

Gleicher Effekt hier. NRW schnarch langsam (<150KB/s), Europa gewohnt schnell.
Von einem anderen Server aus sind beide Files dagegen mit 110MB/s downloadbar.

gormo

Member

Registered: 2013-08-01

Posts: 2,119

Website

Re: Gefofabrik Download langsam

Schuss ins Blaue: liegt am konkreten Rechner der dann genutzt wird. Da scheint ja ein Load Balancer die Requests auf die IPs .19 und .20 zu verteilen. In dooleys Test nimmt er ja dann die .20 zum Download. Vllt ist der Rechner/Anschluss/die Route (sind ja ganz andere Netze, vmtl. auch andere Carrier!) unter .19 langsam? So nen Effekt habe ich auch schonmal woanders gesehen.

Last edited by gormo (2017-04-21 11:02:12)

---

OSM hat nicht das Ziel bis Ende des Monats einen vollständigen Datensatz der Welt zu enthalten.
(nach S.W.) - Aber weil die Welt vielfältig ist, weil sie auch im Detail interessant ist, mag ich genaue Karten (nach C.)

dooley

Member

From: Landkreis Calw

Registered: 2013-11-04

Posts: 899

Re: Gefofabrik Download langsam

Schuss ins Blaue: liegt am konkreten Rechner der dann genutzt wird. Da scheint ja ein Load Balancer die Requests auf die IPs .19 und .20 zu verteilen. In dooleys Test nimmt er ja dann die .20 zum Download. Vllt ist der Rechner/Anschluss/die Route (sind ja ganz andere Netze, vmtl. auch andere Carrier!) unter .19 langsam? So nen Effekt habe ich auch schonmal woanders gesehen.

Gut beobachtet. Ich hab eben versucht, von 144.76.80.19 aus NRW zu laden, ETA rund 5h.

---

Zum Zustand des deutschen Forums vom geschätzten Netzwolf auch "Pamphlet" genannt
Mein Avatar ist ein Ausschnitt aus "Die Saporoger Kosaken schreiben dem türkischen Sultan einen Brief" (Ilja Repin, gemeinfrei)

mmd

Member

Registered: 2010-11-06

Posts: 2,150

Re: Gefofabrik Download langsam

Bestätigt. 144.76.80.19 ist von überall her langsam.

speichennippel

Member

From: Remscheid

Registered: 2010-04-09

Posts: 308

Website

Re: Gefofabrik Download langsam

Was macht man da? Abwarten? Bei Geofabrik melden?

---

https://speichenkarte.de/

wambacher

Member

From: Schlangenbad/Wambach, Germany

Registered: 2009-12-16

Posts: 16,769

Website

Re: Gefofabrik Download langsam

Natürlich melden, oder?

hab ich gerade gemacht.

Gruss
walter

---

Osm Software Watchlist  Osm Emergency Map
Osm Healthcare Map

speichennippel

Member

From: Remscheid

Registered: 2010-04-09

Posts: 308

Website

Re: Gefofabrik Download langsam

Danke

---

https://speichenkarte.de/

gormo

Member

Registered: 2013-08-01

Posts: 2,119

Website

Re: Gefofabrik Download langsam

Und bevor jemand jetzt IPs irgendwo hart in seine Skripte reincodiert: das wird ein temporärer Effekt sein, und die Geofabrik hat da aus (vermutlich ;-) ) guten Gründen einen Load Balancer. Also nicht fest irgendwo IPs verwenden!

---

OSM hat nicht das Ziel bis Ende des Monats einen vollständigen Datensatz der Welt zu enthalten.
(nach S.W.) - Aber weil die Welt vielfältig ist, weil sie auch im Detail interessant ist, mag ich genaue Karten (nach C.)

woodpeck

Member

Registered: 2009-12-02

Posts: 1,210

Re: Gefofabrik Download langsam

Und bevor jemand jetzt IPs irgendwo hart in seine Skripte reincodiert: das wird ein temporärer Effekt sein, und die Geofabrik hat da aus (vermutlich ;-) ) guten Gründen einen Load Balancer. Also nicht fest irgendwo IPs verwenden!

Hehe, danke, in der Tat wird der Downloadserver immer mal wieder umgestellt, und jemand, der IPs fest einstellt, könnte leicht mal in die Röhre gucken.

Das Setup am Downloadserver sieht so aus, dass es nur einen (Haupt-)Server gibt, der die Extrakte ausrechnet und auch ausliefert, aber es gibt einen zweiten (früher auch einen dritten) (Proxy-)Server, von dem man die Extrakte ebenfalls anfordern kann (und intern baut der dann eine Verbindung zum Hauptserver auf). Der Grund für diese Akrobatik ist, dass Hetzner pro Server nur einen bestimmte Menge an kostenlosem Inklusivtraffic erlaubt, und der Downloadserver käme da drüber. Da Hetzner-interner Traffic aber nicht zählt, kann man auf diese Weise den Freitraffic von anderen Servern mitnutzen.

Zusätzlich hierzu gibt es auch noch die Unterstützung von der GWDG, die täglich eine Kopie der Deutschland- und Europafiles ziehen; sobald der Download-Server weiss, dass die aktuelle Version dieser Datei bei der GWDG liegt, werden Requests für europe-latest.osm.pbf, germany-latest.osm.pbf und deren .bz2-Äquivalente nur noch mit Redirects zur GWDG beantwortet. (Das gilt aber nur für diese Files, nicht z.B. für Nordrhein-Westfalen und andere).

Im konkreten Fall irgendwas mit dem Netzwerk auf dem Proxy-Server im Eimer, und die Hetzner-interne Datenverbindung war schnarchlahm. Wir haben am Freitag erstmal den Proxy-Server aus dem DNS genommen, damit alle Anfragen direkt beim Hauptserver ankommen. Jetzt, nach einem Reboot, scheint auf dem Proxyserver aber wieder alles normal, und ich habe ihn wieder ins DNS eingetragen.

Mittelfristig werde ich das System vermutlich so umstellen, dass es wieder 2 Proxy-Server gibt, die aber auch über einen Cache der häufigst abgefragten Files verfügen, um den Hauptserver etwas stärker zu entlasten.

Bye
Frederik