Angenommen hätte ich** 71 Millionen Kacheln**. Reicht dafür EXT4 als Dateisystem aus? EXT4 erlaubt 64.000 Unterverzeichnisse. Die Kacheln sind ja in den Ordnern verpackt. Eigentlich sollte es mit EXT4 gut funktionieren. Für ZFS müsste ich die Hardware umstellen bzw neu anschaffen. Ausserdem ist ZFS rechenintensiv. Zurzeit habe ich Hardware-RAID1 mit 4TB und EXT4 drauf.
Für Planet müsste ich 12TB Raid verwenden. Es würden 23 Billionen Kacheln produziert.
Hat jemand Erfahrung in dieser Richtung?
mod_tile generiert die Kacheln beim Abruf immer nach. Auch Bereiche außerhalb von DACH könnten von Webusern abgerufen werden. Wird der Server nicht irgendwann überlaufen?
Habe gelesen dass, man ZFS (eventuell auch EXT4) komprimieren könnete.
Das funktioniert sehr gut für die eigentliche DB. Mit den Kacheln hab ich keine Erfahrung, da man üblicherweise nicht alle im Voraus generiert (sondern typischerweise nur bis Zoomstufe 12) und deshalb die Zahlen deutlich kleiner sind.
Von ext4 weiß ich das nicht, aber ZFS kann komprimieren, deduplizieren und sonstigen Mojo betreiben. Bringt bei nem Tileserver aber eher nichts, weil es eher keine Duplikate gibt und die Dateien auf Anwendungsebene komprimiziert sind.
Und die Postgres-Daten möchte man nicht komprimieren
Steck genug SSD / NVME in die Kiste und noch ne große Schippe RAM dazu.
Ich hab hier auf drehenden Platten und mit mäßig viel RAM den Europa-Extrakt der Geofabrik drauf. Das kommt problemlos mit nem TB Platz hin. Initialien Import der Daten in die Postgres mache ich aber auf nem stärkeren Rechner und kopier dann die ganze Postgres auf die einzelnen Tileserver.
Wikipedia zu EXT4 sagt: Transparente Komprimierung - nein!
Größte Frage für mich ist ob ich mit 17 Millionen Kacheln aus der Grenze von 64000 Unterverzeichnissen (pro Verzeichnis) raus falle. Ich hoffe nicht! Dann hätte ich FS-System Absturz.
Ich habe an einem Webserver mit PHP-Skript probiert mehr als 64000 Unterverzeichnisse zu erstellen. Verzeichnisse waren angezeigt waren jedoch per System nicht zugreifbar.
Hardware: HW-RAID1 2x4TB SSD, 32GB…128GB RAM, Ubuntu VM (EXT4) unter Proxmox (EXT4).
Ich denke, an der HW kneift es nicht. Millionen von Kacheln aif EXT4… Oho!
Planet mit Zoom 18 werde ich garantiert nicht schaffen. Zumindest nicht zum Ende des Jahres. Deutschland läuft auszugsweise (hineinzoomen in Großstädte) noch ganz gut.
Knackpunt ist, dass keine einzelnen Tiles (256x256) abgespeichert werden sondern sog. Meta-Tiles, die “a set of 64 256x256 pixel images, ready to serve, but concatenated into a single file” sind.
