[solved] Zugriff auf download.geofabrik.de blockiert?

Seit mehreren Wochen sehe ich, dass ich nicht mehr auf https://download.geofabrik.de zugreifen kann, selbst wenn ich schon seit längerer Zeit nichts heruntergeladen habe und sich meine IP-Adresse täglich ändert. Für mich sieht das so aus, als ob da größere IP-Bereiche einzelner Provider geblockt sind.
Interessanterweise halten sich die Meldungen in verschiedenen Foren dazu sehr in Grenzen.

Weiß jemand zufällig, ob das ganze so beabsichtigt ist, oder evtl. auf irgendein Konfigurationsproblem zurückzuführen ist?

Warum fragst Du nicht die Geofabrik?
https://www.geofabrik.de/de/geofabrik/contact.html

Ganz einfach, damit die Leute, die zu faul sind, direkt die Geofabrik zu fragen, später eine Chance haben, eine Antwort auch per Suchmaschine zu finden.

Ich habe gestern die Daten der Alpen von der Geofabrik geholt und verarbeitet. Hat alles wie üblich geklappt. Auch gerade eben klapte der Zugriff. Das Problem muss also wohl an Deinen Einstellungen oder Deiner Hardware liegen.

Wie äussert sich das denn? Ich habe keine Probleme.

Ich bin mir sehr sicher, dass es an der IP-Adresse liegt. Dass es bei dir klappt, ist schon mal gut, sagt aber letztlich noch nichts darüber aus, dass es mit anderen Adressen problemlos funktioniert.

Ich habe alternativ sowohl einen lokalen Tor Browser als auch ein Download von einem anderen Server probiert, und beides hat funktioniert. Damit scheidet also Hardware oder ähnliches aus.

https://www.geofabrik.de/ (also die Hauptseite) funktioniert in allen Varianten auch völlig problemlos.

Failed to connect to download.geofabrik.de port 443: Verbindungsaufbau abgelehnt

(gleicher Fehler für die beiden Zieladressen 116.202.112.212 und 95.216.28.113)

Ja, es gibt da keine ganz feste Regel, aber so ab 100.000 Requests in ein paar Tagen wird eine IP auf dem Downloadserver gesperrt. (Meistens sind das Leute, die irgendeinen Updateprozess so ungeschickt programmiert haben, dass er jede Sekunde fragt, ob es schon was neues gibt, und die auch nicht gemerkt haben, dass die letzten 90.000 Requests alle mit einem 429 Too Many Requests beantwortet wurden.)

Und weil wir aus Datenschutzgründen nur die ersten 3 Bytes loggen, erfolgt die Sperre immer für ein komplettes /24-Netz. Es kann also schon ab und zu mal passieren, dass es einen “Unschuldigen” mit erwischt, oder der “Schuldige” hat seinen Fehler repariert und bittet um Entsperrung.

Insgesamt ist aber nur ein winziger Bruchteil aller theoretisch möglichen IP-Adressen gesperrt, das sollte erklären, warum es für “fast alle” funktioniert.

Wenn es Dir also irgendwie möglich ist, den Betreibern zu verraten, um welche IP-Adresse(n) es denn geht, dann können die nachsehen, ob die Adresse tatsächlich gesperrt ist und die Sperre ggf. aufheben.

Danke für den wertvollen Hinweis. Ich denke, das sollte auch der Grund für die plötzliche Sperre sein: während der eigentliche Verursacher womöglich noch viele HTTP 429 Fehlermeldungen sieht, werden die anderen ~250 Benutzer im gleichen Subnetz ohne Vorwarnung irgendwann abgeklemmt und sehen auch keine Fehlermeldung. Der Server lehnt ja auch den Verbindungsaufbau selbst ab.

Dummerweise sind bei meinem Provider mit dem großen T die Subnetze so organisiert, dass sie geografisch auf einen kleinen Raum zugeschnitten sind. Das bedeutet, dass ich meinem Verursacher auch nicht so einfach aus dem Weg gehen kann. Damit bleiben für den Moment wohl VPN oder Tunnel als Mittel der Wahl.

Follow-up per PM…

Früher wurde die Verbindung in der Nacht einmal getrennt und mit neuer externer IP wieder aufgebaut. Das ist aber schon lange nicht mehr der Fall: Die externe IP bleibt u.U. über Monate bestehen.
Wenn man die Verbindung im Router per “neu verbinden” o.ä. manuell trennt, bekommt man eine neue externe IP. Ich habe es gerade ausprobiert: Bei mir blieben nur die ersten beiden Bytes bestehen, die dritte und vierte Zahl waren geändert. Das müsste eigentlich reichen, um der Sperre durch die ersten drei Byte zu entgehen.
Die Telekom hat ja ein Klasse-A IPv4-Netz (93.xxx.xxx.xxx), da ist sie in den hinteren Bytes frei in der Zuteilung.

Guter Tipp! In den Logdateien habe ich gesehen, dass meine IP seit mindestens 2 Wochen unverändert geblieben ist. Durch den Neustart des Routers habe ich nun eine neue IP, die geografisch immer noch in derselben Region liegt. Glücklicherweise gibt es aber mehrere /24 Subnetze, d.h. Byte 1 und 2 sind unverändert und das dritte Byte hat sich geändert → download.geofabrik.de funktioniert wieder. Hoffen wir mal, dass der andere User nicht auch demnächst seinen Router wieder neu startet :wink: