eigene Tiles hosten

MikeOSM · 2012-03-29 08:50:57

Hallo zusammen,

Ich habe mal eine grundsätzliche Frage zum Kacheln rendern und hosten:

Wenn ich mir mit beispielsweise Mapnik eine Karte rendere und diese dann als Kacheln fürs Web exportiere, diese Kacheln dann auf einen Webserver kopiere, kann ich diese Karte dann per Openlayers, Leaflet etc. einbinden oder muss der Webserver eine spezielle Funktion zum Kacheln ausliefern unterstützen. So könnte man sich ja schnelle eine eigene Karte machen und diese hosten.

Gruß

ajoessen · 2012-03-29 08:57:50

MikeOSM wrote:

Hallo zusammen,

Ich habe mal eine grundsätzliche Frage zum Kacheln rendern und hosten:
Wenn ich mir mit beispielsweise Mapnik eine Karte rendere und diese dann als Kacheln fürs Web exportiere, diese Kacheln dann auf einen Webserver kopiere, kann ich diese Karte dann per Openlayers, Leaflet etc. einbinden oder muss der Webserver eine spezielle Funktion zum Kacheln ausliefern unterstützen. So könnte man sich ja schnelle eine eigene Karte machen und diese hosten.
Gruß

Ja, das funktioniert, wie von dir beschrieben.
Den Webserver braucht man, wenn man zur Verkürzung der Renderzeit die Kacheln in höheren Zoomstufen nur auf Anforderung on-demand rendern lässt.

Um das auszuprobieren, kannst du auch erst mal einen lokalen apache-Server installieren, und per http://localhost darauf zugreifen.

Gruß,
ajoessen

stephan75 · 2012-03-29 09:14:53

Vielleicht helfen dir ja die HOWTOs auf http://switch2osm.org/ weiter ...?

MikeOSM · 2012-03-29 09:18:19

Danke da schaue ich mal nach. On the fly rendern will ich nicht. Ich möchte die Kacheln lokal rendern und dann werde ich die immer neu hochladen. So aktuell braucht die Karte nicht zu sein. Die wird auch nicht sehr groß. Gibt es ein Tool womit ich die Kachelanzahl bzw. die Größe der Karte berechnen kann?

aighes · 2012-03-29 09:22:00

Nicht so wirklich, weil die jeweilige Dateigröße davon abhängt, was alles gerendert wird.

ajoessen · 2012-03-29 09:36:07

MikeOSM wrote:

Gibt es ein Tool womit ich die Kachelanzahl bzw. die Größe der Karte berechnen kann?

So als grobe Hausnummer:

Ganz NRW (221MB pbf) Zoom 1 bis 15 sind ca 90.000 Kacheln in 700 Ordnern und belegen 1GB; davon Z14 229 MB und Z15 668 MB. Jede weitere Zoomstufe entsprechend drei-vierfach mehr.

HTH,
ajoessen

MikeOSM · 2012-03-29 09:41:01

Alles klar Danke, dann habe ich schon einmal eine ungefähre Ahnung von der Größe. Gibt es außer Mapnik und Maperitive noch andere Renderer? Welcher ist einfacher zu bedienen? Habe zu Hause schon eine Postgis Datenbank mit importierten Daten laufen nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.

ajoessen · 2012-03-29 09:57:37

MikeOSM wrote:

Alles klar Danke, dann habe ich schon einmal eine ungefähre Ahnung von der Größe. Gibt es außer Mapnik und Maperitive noch andere Renderer? Welcher ist einfacher zu bedienen? Habe zu Hause schon eine Postgis Datenbank mit importierten Daten laufen nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.

Ist alles hier dokumentiert:
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Mapnik

Zum Importieren bitte osm2pgsql statt osmosis benutzen. Sonst musst du dich noch selber um die Umwandlung von Multipolygonrelationen und geschlossenen Wegen zu Polygonen kümmern. Der Vorteil gegenüber Maperitive ist die Datenhaltung in einer Datenbank, und Verwendung des bekannten Mapnik-Stils. Und keine Größenbeschränkung bzw Entgeltordnung wie bei Tilemill.

EDIT: MIt Geoserver und Mapserver kann man sowas auch organisieren; beide können auf Postgis-Datenbanken zugreifen. Nur muß man sich dann erst mal nen kompletten Stil basteln.

Gruß,
ajoessen

Last edited by ajoessen (2012-03-29 10:00:48)

Nop · 2012-03-29 10:16:06

Was Du noch wissen solltest: Die normale Web-Renderchain wie z.B. bei switch2osm beschrieben erzeugt nicht direkt Kacheln, sondern Metatiles, die 64 Kacheln enthalten. Dann brauchst Du noch eine zusätzliche Verarbeitungsstufe, um die Einzelkacheln dort auszupacken. Im Webbetrieb macht das das Modul mod_tile im Apache Server.

Über die Mapnik Python Schnittstelle kannst Du auch einzelne Kacheln mit dem Skript generate_tiles.py direkt erzeugen - aber das ist fürchterlich ineffizient und langsam, weil er dann den Renderer und die DB Abfragen für jede einzelne Kachel neu initialisiert während die Webvariante mit etwa demselben Overhead immer gleich 64 Kacheln auf einmal produziert.

Für große Gebiete mußt Du also
- Metatiles erzeugen und hinterher auspacken
- oder Metatiles rendern und in Python in Einzelkacheln zerlegen
- oder viiiiiel Zeit mitbringen :-)

bye
Nop

ajoessen · 2012-03-29 10:22:19

Nop wrote:

Was Du noch wissen solltest: Die normale Web-Renderchain wie z.B. bei switch2osm beschrieben erzeugt nicht direkt Kacheln, sondern Metatiles, die 64 Kacheln enthalten. Dann brauchst Du noch eine zusätzliche Verarbeitungsstufe, um die Einzelkacheln dort auszupacken. Im Webbetrieb macht das das Modul mod_tile im Apache Server.
Über die Mapnik Python Schnittstelle kannst Du auch einzelne Kacheln mit dem Skript generate_tiles.py direkt erzeugen - aber das ist fürchterlich ineffizient und langsam, weil er dann den Renderer und die DB Abfragen für jede einzelne Kachel neu initialisiert während die Webvariante mit etwa demselben Overhead immer gleich 64 Kacheln auf einmal produziert.
Für große Gebiete mußt Du also
- Metatiles erzeugen und hinterher auspacken
- oder Metatiles rendern und in Python in Einzelkacheln zerlegen
- oder viiiiiel Zeit mitbringen :-)

Allerdings funktioniert das alles wohl nur mit Linux. Wenn man sich erst darin einarbeiten muß, braucht man mindestens ebensoviel Zeit.

NRW Zoomstufe 15 in 21 Stunden bei mir unter Windows XP; oder 2 Stunden für 0,5x0,5 Grad.

Gruß,
ajoessen

quasilotte · 2012-03-29 10:56:13

ajoessen wrote:

NRW Zoomstufe 15 in 21 Stunden bei mir unter Windows XP

Oder bei mir 9-10 Stunden mit Maperitive (Zoom 8-16 !!!)

Nop · 2012-03-29 11:16:54

ajoessen wrote:

Allerdings funktioniert das alles wohl nur mit Linux. Wenn man sich erst darin einarbeiten muß, braucht man mindestens ebensoviel Zeit.

Was genau ist "alles"? :-)

Ich habe meine Tiles früher mit Mapnik/Python unter Win7 lokal erzeugt. Gibt's inzwischen die Tools nicht mehr für Windows?

bye
Nop

MikeOSM · 2012-03-29 11:35:03

Nop wrote:

Was Du noch wissen solltest: Die normale Web-Renderchain wie z.B. bei switch2osm beschrieben erzeugt nicht direkt Kacheln, sondern Metatiles, die 64 Kacheln enthalten. Dann brauchst Du noch eine zusätzliche Verarbeitungsstufe, um die Einzelkacheln dort auszupacken. Im Webbetrieb macht das das Modul mod_tile im Apache Server.
Über die Mapnik Python Schnittstelle kannst Du auch einzelne Kacheln mit dem Skript generate_tiles.py direkt erzeugen - aber das ist fürchterlich ineffizient und langsam, weil er dann den Renderer und die DB Abfragen für jede einzelne Kachel neu initialisiert während die Webvariante mit etwa demselben Overhead immer gleich 64 Kacheln auf einmal produziert.
Für große Gebiete mußt Du also
- Metatiles erzeugen und hinterher auspacken
- oder Metatiles rendern und in Python in Einzelkacheln zerlegen
- oder viiiiiel Zeit mitbringen :-)
bye
Nop

Also wenn ich mir Python und Mapnik installiere dann kommen da nicht gleich die passenden Kacheln fürs Web heraus? Das stellt mich ja wieder vor Probleme. Hatte das so verstanden das das quasi "out of the box" läuft wenn man Mapnik über die Konfigurationsdateien zum laufen gebracht hat. Die Datenbank habe ich schon mit osm2pgsql laufen. Machen werde ich das unter Win7.

Danke für die Antworten bisher.

ajoessen · 2012-03-29 12:06:54

Nop wrote:

ajoessen wrote:
Allerdings funktioniert das alles wohl nur mit Linux. Wenn man sich erst darin einarbeiten muß, braucht man mindestens ebensoviel Zeit.
Was genau ist "alles"? :-)

Das, was bei switch2osm aufgelistet ist. Einschliesslich dem Rendern von Metatiles und mod_tile. Oder laufen die auch mit Windows? Ich habs noch nie probiert, sondern immer nur generate_tiles.py.

Gruß,
ajoessen

Last edited by ajoessen (2012-03-29 12:08:38)

ajoessen · 2012-03-29 12:10:26

MikeOSM wrote:

Also wenn ich mir Python und Mapnik installiere dann kommen da nicht gleich die passenden Kacheln fürs Web heraus?

Doch, so läuft das bei mir. Am Ende der generate_tiles.py trägst du Wunschgebiet und Zoomstufen ein, und los gehts. Wobei ich für jeden meiner transparenten Layer eigene py-Dateien angelegt habe.

Gruß,
ajoessen

MikeOSM · 2012-03-29 12:58:12

Das klingt gut. Ich werde das die Tage mal testen.

Nop · 2012-03-29 13:14:06

ajoessen wrote:

Doch, so läuft das bei mir. Am Ende der generate_tiles.py trägst du Wunschgebiet und Zoomstufen ein, und los gehts. Wobei ich für jeden meiner transparenten Layer eigene py-Dateien angelegt habe.

Klar funktioniert das. Man muß sich nur im Klaren sein, daß es extrem ineffizient ist, ich kann mich erinnern daß damals ein Python Skript, das ähnlich wie die Web-Renderchain mit 10x10 Metatiles gearbeitet hat, mehr als 50 mal schneller war als generate_tiles.

bye
Nop

brogo · 2012-03-29 13:20:18

Nop wrote:

Für große Gebiete mußt Du also
- Metatiles erzeugen und hinterher auspacken
- oder Metatiles rendern und in Python in Einzelkacheln zerlegen

Wo ist der Unterschied zwischen den Varianten? Weiß Du wie ich das machen kann ohne tirex oder renderd zu installieren? Metatiles haben bei Mapnik ja außerdem den Vorteil, daß die Beschriftung über den Rand eines normalen Tiles hinausgehen kann.

Ich hatte dazu schon mal ein Ticket [1] erstellt.

Christian

[1] http://trac.openstreetmap.org/ticket/4179

mdk · 2012-03-29 13:20:59

In der April-Ausgabe der iX gibt es einen ausführlichen Artikel über "OSM-Daten in eigenen Karten nutzen":
http://www.heise.de/ix/inhalt/2012/04/136/

mdk

ikonor · 2012-03-29 13:45:54

MikeOSM wrote:

nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.

Hab zwar keine Erfahrung damit, aber aus einer von TileMill erzeugten MBTiles Datei müsste sich mit mbutil auch ein Tile-Verzeichnis exportieren lassen, siehe FAQ.

ajoessen · 2012-03-29 13:58:25

ikonor wrote:

MikeOSM wrote:
nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.
Hab zwar keine Erfahrung damit, aber aus einer von TileMill erzeugten MBTiles Datei müsste sich mit mbutil auch ein Tile-Verzeichnis exportieren lassen, siehe FAQ.

polytiles.py aus dem Standard-Mapnik-Paket scheint sowas auch zu machen. Habs nur noch nie probiert.

Gruß,
ajoessen

Nop · 2012-03-29 14:20:37

brogo wrote:

Nop wrote:
Für große Gebiete mußt Du also
- 1)Metatiles erzeugen und hinterher auspacken
- 2)oder Metatiles rendern und in Python in Einzelkacheln zerlegen
Wo ist der Unterschied zwischen den Varianten?

1) Metatile wird auf die Platte geschrieben und später wieder von anderem Tool weiterverarbeitet
2) Metatile wird nur im Speicher gerendert und gleich in Einzelkacheln gespeichert, Metatile taucht auf Platte nie auf

brogo wrote:

Weiß Du wie ich das machen kann ohne tirex oder renderd zu installieren?

1) Nein.
2) Entsprechendes Python Skript.

brogo wrote:

Metatiles haben bei Mapnik ja außerdem den Vorteil, daß die Beschriftung über den Rand eines normalen Tiles hinausgehen kann.

Nein, das Eine hat mit dem Anderen nichts zu tun.

Um die Beschriftung zu erhalten wird normalerweise ein zusätzlicher Rand von 1/2 Tile mitgerendert und verworfen. Das kann man auch für einzelne Tiles machen. Umgekehrt kann man auch Metatiles ohne Rand rendern.

bye
Nop

MikeOSM · 2012-03-29 14:37:38

ikonor wrote:

MikeOSM wrote:
nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.
Hab zwar keine Erfahrung damit, aber aus einer von TileMill erzeugten MBTiles Datei müsste sich mit mbutil auch ein Tile-Verzeichnis exportieren lassen, siehe FAQ.

Danke für den Tipp. Das wär ja top wenn das geht. Hatte mich gerade in Mapnik ein bißchen eingelesen. Das scheint ja ne Quälerei zu sein damit zu arbeiten.

MikeOSM · 2012-03-29 17:43:17

Weiß jemand wie ich dieses mbutil zum laufen bekomme? Python habe ich installiert aber ich habe keine Ahnung was ich da starten oder ob ich das Ding noch installieren muss.

ajoessen · 2012-03-29 17:54:05

MikeOSM wrote:

Weiß jemand wie ich dieses mbutil zum laufen bekomme? Python habe ich installiert aber ich habe keine Ahnung was ich da starten oder ob ich das Ding noch installieren muss.

Am Anfang stehen einige Bibliotheken, die er laden möchte:

import sqlite3, uuid, sys, logging, time, os, json, zlib, glob, shutil

Die musst du erst mal an der richtigen Stelle installiert haben, sonst läuft da nix.

Der Vorteil von Mapnik ist halt, dass alle Abhängigkeiten gut dokumentiert sind. Bei Exoten wie mbutil kommt man nicht drum herum, den Entwickler danach zu fragen :-(

Gruß,
ajoessen

#1 2012-03-29 08:50:57

eigene Tiles hosten

#2 2012-03-29 08:57:50

Re: eigene Tiles hosten

#3 2012-03-29 09:14:53

Re: eigene Tiles hosten

#4 2012-03-29 09:18:19

Re: eigene Tiles hosten

#5 2012-03-29 09:22:00

Re: eigene Tiles hosten

#6 2012-03-29 09:36:07

Re: eigene Tiles hosten

#7 2012-03-29 09:41:01

Re: eigene Tiles hosten

#8 2012-03-29 09:57:37

Re: eigene Tiles hosten

#9 2012-03-29 10:16:06

Re: eigene Tiles hosten

#10 2012-03-29 10:22:19

Re: eigene Tiles hosten

#11 2012-03-29 10:56:13

Re: eigene Tiles hosten

#12 2012-03-29 11:16:54

Re: eigene Tiles hosten

#13 2012-03-29 11:35:03

Re: eigene Tiles hosten

#14 2012-03-29 12:06:54

Re: eigene Tiles hosten

#15 2012-03-29 12:10:26

Re: eigene Tiles hosten

#16 2012-03-29 12:58:12

Re: eigene Tiles hosten

#17 2012-03-29 13:14:06

Re: eigene Tiles hosten

#18 2012-03-29 13:20:18

Re: eigene Tiles hosten

#19 2012-03-29 13:20:59

Re: eigene Tiles hosten

#20 2012-03-29 13:45:54

Re: eigene Tiles hosten

#21 2012-03-29 13:58:25

Re: eigene Tiles hosten

#22 2012-03-29 14:20:37

Re: eigene Tiles hosten

#23 2012-03-29 14:37:38

Re: eigene Tiles hosten

#24 2012-03-29 17:43:17

Re: eigene Tiles hosten

#25 2012-03-29 17:54:05

Re: eigene Tiles hosten

Board footer