Hallo,
ich erstelle die GARMIN-Karten selber mit den Daten von Geofabrik.
Leider habe ich seit zwei Tagen miserabele Downloadgeschwindigkeiten.
Das Erstellen der Deutschlandkarte dauert mittlerweile bis zu 4 Stunden, weil der Download so lange dauert.
Habt ihr auch solche Probleme ?
Gibt es Alternativ-Server von PBF-Dateien ?
Danke für einen Tip.
Du könntest mal die Torrent-Dateien ausprobieren. https://planet.openstreetmap.org/pbf/
Da bekomm ich 30 MB/s und mehr von mehreren Webverteilern hin.
Ich nehmen mal, dass du einen Extrakt (europa/dach/de?) benutzt und nicht den ganzen Planeten.
Ich nutze den DACH-Export und lade dazu jede Nacht das passende OSC-File herunter. Die Dinger sind idR. 5-8 MB!!! "groß und der Download dauert Sekunden.
Anschließend mit osm2pgsq -a … einspielen und das ist in ca 30 Minuten durch (DACH, DE geht natürlich schneller).
Geht bei mir alles in einem - ziemlich frickeligen - Cron-Job. Kannste gerne haben. (PN)
Gruss
walter
Hmm, willst Du denn tatsächlich täglich eine neue Karte für ganz D berechnen? Das erscheint mir doch eher unwahrscheinlich (Download + split + mkgmap beschäftigen den Rechner schon recht ordentlich, und dann will die neue gmapsupp.img auch noch kopiert werden, oder?
Der Download von download.geofabrik.de sollte eigentlich “normal schnell” gehen, das ist ein ganz normaler Hetzner-Server ohne irgendwelche Spezialitäten. Ich hatte aber heute morgen schon eine Beschwerde, manchmal ist der Wurm drin und irgendwelche wildgewordenen Downloader aus China machen an einem Tag 40.000 Download-Requests, da muss ich dann ab und zu von Hand mit der Firewall nachhelfen. Ich hoffe, jetzt geht es wieder richtig. In den nächsten Monaten stellen wir mal noch einen zweiten Server dazu.
Heute abend funktioniert es wieder normal.
Danke
Wieder langsam 
Findest Du Deinen Smilie wirklich angemessen? Das ist schließlich ein kostenloser Dienst der Geofabrik.
Was lädst du denn herunter? Bitte alle Filenamen angeben.
Und wie schnell ist deine Leitung?
@PT-53: Full Ack
Vor Jahren - weiß nicht, ob das inzwischen geändert wurde - gab es ein Limit je IP-Addresse. Wer zuviele Anfragen stellte, bekam wenig Bandbreite. Oder Pech gehabt: die eigene momentane IP-Addresse gehörte kurz vorher jemanden, der sich so verhielt…
jo, das ist wohl immer noch so. Und parallele Downloads gehen gar nicht.
Alles total verständlich.
Gruss
walter
Also eigentlich gibts nur eine Beschränkung, und das ist auf ca. 40 Downloads pro Tag, danach gibts einen Fehler “429” vom Apache. Und das gilt auch nicht für Diffs, nur für “große” Downloads. Ein “es wird langsamer, weil zuviel runtergeladen” sollte es nicht geben. Aber ich sehe auch, dass der Server langsam ist, ich muss das mal debuggen. Man kann das Problem umgehen, indem man die Daten vom “internen” Downloadserver lädt, bei dem man einen OSM-Login braucht, aber dort sind ja Benutzerdaten mit drin, und wenn jetzt jeder die Files dort lädt, weil es schneller geht, ist das ja auch nix. Wir haben das ja gerade eingeführt, damit die Benutzerdaten nicht überall rumschwirren.
Was/Wo ist der “interner” Downloadserver mit OSM-Login ?
Ich finde keine Infos auf Geofabrik.
Da ist auf jeder einzelnen Downloadseite so eine grüne Box obendrüber, die guckst Du vermutlich schon gar nicht mehr an, aber da ist der Link drin 
Sodele… also seit Anfang März ist der Downloadtraffic so hochgegangen, dass das Netzwerk-Interface oft einfach am Limit ist:
Wer da auf einmal so viel mehr runterlädt als vorher, das muss ich mal noch genau analysieren. Ich habe da schon einen Verdacht… seit einigen Tagen hat ein Block von ca. 20 IP-Adressen aus dem Alibaba-Netz zu fast jeder vollen Stunde die Datei germany-latest.osm.pbf heruntergeladen. Da kam dann schon eine Menge Holz zusammen. Und wenn der Server erstmal so langsam ist, dass die DWDG sich nicht mehr per rsync die Extrakte abholt, dann kann der Server auch keine Nutzer-Anfragen auf den DWDG-Server umleiten, und ist doppelt gearscht.
Was ich jetzt gemacht habe:
-
vorübergehnd (nur heute) alle germany/europe-latest-Anfragen zur GWDG geschickt, selbst wenn worst-case das File 1 Tag alt ist (betrifft wirklich exakt nur die zwei latest.osm.pbf, sonst nix)
-
Alibaba-Netblocks gesperrt, bis sich da mal jemand meldet und erklärt, was das soll - es sieht für mich fast so aus, also ob es irgendwie ein Cloud-Image wäre, in das jemand den germany-latest-URL eingebacken hat und das irgendwie nicht richtig geht
-
zwei Mirrors eingerichtet, die die Daten jetzt unabhängig vom zentralen Downloadserver ausliefern (da feilen wir vielleicht noch ein bisschen an der Konfiguration, aber das bleibt so)
Damit sieht der Server jetzt wieder ganz gesund aus, und ich hoffe, es gibt erstmal keine Schwierigkeiten mehr!
HI, ich selbst hole mir nur einmal im Jahr eine Europa Datei von der Geofabrik und halte sie dann mittels
Osmconvert → https://wiki.openstreetmap.org/wiki/DE:Osmconvert
Osmupdate → https://wiki.openstreetmap.org/wiki/DE:Osmupdate
immer aktuell. Das geht recht schnell und verursacht auch viel weniger Serverlast.
Nur mal so eine Idee.