Suche Script um alle Tiles mit Mapnik zu rendern

karstenhl · 2017-01-10 07:58:08

Hallo,

ich habe bereits einen OSM-Server mit dem Carto Design installiert. Alles läuft auch soweit gut.

Gerendert wird mit Mapnik.

nun meine Frage:

Im Augenblick rendert mapnik nur wenn im Browser ein bestimmter Bereich aufgerufen wird also OnDemand.

Gibt es ein Script um alle Tiles komplett mit allen Zoomstufen zu rendern?

Vielen Dank im voraus!

woodpeck · 2017-01-10 15:39:30

Wenn Du "renderd" einsetzt, gibt es ein Skript namens "render_list", mit dem Du einen angegebenen Bereich auf angegebenen Zoomstufen rendern kannst. Aber Achtung, "alle Tiles komplett mit allen Zoomstufen" sind ungefähr 150 TB an Daten und wird mehrere Monate oder, bei einem langsamen Server, sogar länger als ein Jahr dauern, also ist es besser, Du schränkst Dich etwas ein

"render_list" hat einen kleinen Nachteil, denn es akzeptiert keinen geografischen Bereich. Hier hilft das Perl-Skript von https://github.com/alx77/render_list_geo.pl weiter.

Wenn Du statt "renderd" den "tirex" im Einsatz hast, schau Dir "tirex_batch" an, das kann das auch alles.

Bye
Frederik

karstenhl · 2017-01-11 09:07:59

Danke für deine Antwort.

ich nutze die zoomstufen 2-14. Kann man das berechnen wieviel Speicher dafür benötigt wird?

Karsten:)

wambacher · 2017-01-11 11:17:06

karstenhl wrote:

ich nutze die zoomstufen 2-14. Kann man das berechnen wieviel Speicher dafür benötigt wird?

Jain.

U.A deswegen schwierig, da du uns noch nicht gesagt hast, welchen Bereich des Planeten du eigentlich rendern willst. Zudem hängt die reale Größe der Tiles auch von deren Komplexität ab. 70% der Erde sind Wasserfläche - und das sind natürlich datenärmere Bereiche, die besser komprimieren und somit auch kleinere Tiles (auf der Platte) erzeugen.

Steht alles hier http://wiki.openstreetmap.org/wiki/Tiles und in dort verlinkten Texten.

Gruss
walter

woodpeck · 2017-01-11 11:36:28

wambacher wrote:

Zudem hängt die reale Größe der Tiles auch von deren Komplexität ab. 70% der Erde sind Wasserfläche - und das sind natürlich datenärmere Bereiche, die besser komprimieren und somit auch kleinere Tiles (auf der Platte) erzeugen.

Diese Seite hier

http://tools.geofabrik.de/calc/#type=ge … ,83.975115

macht eine Größenabschätzung anhand tatsächlich auf dem Tileserver vorhandener Tiles. Die ist auch nicht perfekt, aber berücksichtigt zumindest ein bisschen das "manche-Tiles-sind-kleiner"-Problem. Für "Welt auf Zoom 0-14" kommt sie auf ca. 200 GB Speicherplatz.

Bye
Frederik

karstenhl · 2017-01-11 12:53:59

woodpeck wrote:

macht eine Größenabschätzung anhand tatsächlich auf dem Tileserver vorhandener Tiles. Die ist auch nicht perfekt, aber berücksichtigt zumindest ein bisschen das "manche-Tiles-sind-kleiner"-Problem. Für "Welt auf Zoom 0-14" kommt sie auf ca. 200 GB Speicherplatz.
Bye
Frederik

Danke, mit 200GB kann ich leben.

karstenhl · 2017-01-12 09:29:09

woodpeck wrote:

"render_list" hat einen kleinen Nachteil, denn es akzeptiert keinen geografischen Bereich. Hier hilft das Perl-Skript von https://github.com/alx77/render_list_geo.pl weiter.
Wenn Du statt "renderd" den "tirex" im Einsatz hast, schau Dir "tirex_batch" an, das kann das auch alles.
Bye
Frederik

perl scheint bei nicht installiert zu sein.

wie installiere ich perl auf debian?
ich hab ebereits im internet gesucht, bin mir nicht sicher welches das richtige ist und welche module ich dafür benötige.

wo kopiere ich das https://github.com/alx77/render_list_geo.pl script später hin?
wie lautet dann der pfad in der ersten zeile des https://github.com/alx77/render_list_geo.pl scripts

Vielen Dank

TrackerJack · 2017-01-15 07:43:46

wie installiere ich perl auf debian?

apt install perl

wo kopiere ich das https://github.com/alx77/render_list_geo.pl script später hin?

Bleibt dir überlassen. Wenn du’s ohne Pfadangabe starten willst, sollte es in einem Verzeichnis landen, das in deiner $PATH steht. Abzuraten ist nur, es in die Systemverzeichnisse (/bin/, /usr/bin/) zu tun. Ich packe mir derlei Kleinkram unter ~/.local/bin/ und habe das Verzeichnis in meiner PATH, aber das ist, wie gesagt, Geschmackssache.

wie lautet dann der pfad in der ersten zeile des https://github.com/alx77/render_list_geo.pl scripts

Der passt so, wie er dort steht.

Last edited by TrackerJack (2017-01-15 07:47:46)

karstenhl · 2017-02-09 19:21:23

woodpeck wrote:

Wenn Du "renderd" einsetzt, gibt es ein Skript namens "render_list", mit dem Du einen angegebenen Bereich auf angegebenen Zoomstufen rendern kannst. Aber Achtung, "alle Tiles komplett mit allen Zoomstufen" sind ungefähr 150 TB an Daten und wird mehrere Monate oder, bei einem langsamen Server, sogar länger als ein Jahr dauern, also ist es besser, Du schränkst Dich etwas ein
"render_list" hat einen kleinen Nachteil, denn es akzeptiert keinen geografischen Bereich. Hier hilft das Perl-Skript von https://github.com/alx77/render_list_geo.pl weiter.
Wenn Du statt "renderd" den "tirex" im Einsatz hast, schau Dir "tirex_batch" an, das kann das auch alles.
Bye
Frederik

ich habe mir das script render_list_geo.pl noch einmal angeschaut. Ich möchte die ganze welt von der ZoomStufe 2-12 rendern.

Für das script gelten dann welche Optionen?

./render_list_geo.pl -z 2 -Z 12 alle tiles der zoomstufen 2-12 sollen erstellt werden. Meine Optionen scheinen nicht zu funktionieren. Ist es zwingend notwendig die Koordinaten anzugeben?

vielen dank

woodpeck · 2017-02-09 20:37:31

karstenhl wrote:

Ich möchte die ganze welt von der ZoomStufe 2-12 rendern.

Dann nimmst Du einfach das originale render_list - das Perl-Skript ist nur dazu da, einen kleineren geographischen Bereich als die ganze Welt zu erzeugen, denn das kann render_list nicht. Aber für die ganze Welt:

render_list -z 2 -Z 12

ggf. noch "-m meinstyle" anfügen, falls Dein Style nicht "default" heisst.

Bye
Frederik

karstenhl · 2017-02-09 20:47:52

woodpeck wrote:

karstenhl wrote:
Ich möchte die ganze welt von der ZoomStufe 2-12 rendern.
Dann nimmst Du einfach das originale render_list - das Perl-Skript ist nur dazu da, einen kleineren geographischen Bereich als die ganze Welt zu erzeugen, denn das kann render_list nicht. Aber für die ganze Welt:
render_list -z 2 -Z 12
ggf. noch "-m meinstyle" anfügen, falls Dein Style nicht "default" heisst.
Bye
Frederik

Das habe ich mir schon fast gedacht.

Danke Frederik

karstenhl · 2017-02-12 15:00:07

hallo,

es sind nun schon einige tiles mit render_list -z 2 -Z 12 erstellt worden. leider dauert das länger als 24h und nach der Zwangstrennung vom Internet Provider wird nicht weiter gerendert.

nohup habe ich probiert doch mit einer Fehlermeldung "Festplatte voll" /root/nohup.out mit 822 GB

Nun meine Frage:
Gibt es eine Möglichkeit render_list -z 2 -Z 12 auszuführen und nach Zwangstrennung da weiter zu machen wo das Rendern unterbrochen wurde? Oder überspringe vorhandene Tiles also das Gegenteil von -f, --force render tiles even if they seem current ?

Oder wird sowieso standardmässig übersprungen?

Danke

Last edited by karstenhl (2017-02-12 15:02:02)

Nakaner · 2017-02-12 16:01:58

Hallo Karsten,

karstenhl wrote:

es sind nun schon einige tiles mit render_list -z 2 -Z 12 erstellt worden. leider dauert das länger als 24h und nach der Zwangstrennung vom Internet Provider wird nicht weiter gerendert.

Wenn die SSH-Sitzung abgebrochen wird, dann werden die daraus gestarteten Prozesse auch beendet. Deshalb verwendet man für solche Zwecke screen.

Viele Grüße

Michael

SammysHP · 2017-02-12 16:09:21

Oder die etwas modernere Variante tmux. Wobei auch nohup kein Problem ist. Das verbraucht selbst keine Ressourcen. Einfach stdout und stderr nach /dev/null umleiten.

wambacher · 2017-02-12 16:21:03

SammysHP wrote:

Oder die etwas modernere Variante tmux. Wobei auch nohup kein Problem ist. Das verbraucht selbst keine Ressourcen. Einfach stdout und stderr nach /dev/null umleiten.

ganz fieser Trick: mit cron starten

karstenhl · 2017-02-12 19:35:40

Nakaner wrote:

Hallo Karsten,
karstenhl wrote:
es sind nun schon einige tiles mit render_list -z 2 -Z 12 erstellt worden. leider dauert das länger als 24h und nach der Zwangstrennung vom Internet Provider wird nicht weiter gerendert.
Wenn die SSH-Sitzung abgebrochen wird, dann werden die daraus gestarteten Prozesse auch beendet. Deshalb verwendet man für solche Zwecke screen.
Viele Grüße
Michael

screen funktioniert. das nehme ich

danke michael

Announcement

#1 2017-01-10 07:58:08

Suche Script um alle Tiles mit Mapnik zu rendern

#2 2017-01-10 15:39:30

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#3 2017-01-11 09:07:59

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#4 2017-01-11 11:17:06

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#5 2017-01-11 11:36:28

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#6 2017-01-11 12:53:59

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#7 2017-01-12 09:29:09

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#8 2017-01-15 07:43:46

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#9 2017-02-09 19:21:23

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#10 2017-02-09 20:37:31

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#11 2017-02-09 20:47:52

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#12 2017-02-12 15:00:07

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#13 2017-02-12 16:01:58

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#14 2017-02-12 16:09:21

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#15 2017-02-12 16:21:03

Re: Suche Script um alle Tiles mit Mapnik zu rendern

#16 2017-02-12 19:35:40

Re: Suche Script um alle Tiles mit Mapnik zu rendern

Board footer