Fragen zum TileServer

der_manfred · 2012-08-07 17:11:59

Hallo liebe OSM Gemeinde!

Also erstmal, ich bin neu hier. Bin der Manfred und 39 Jahre alt. Komme aus dem Großraum Frankfurt.
Ich muss zu allererst mal sagen, das mich das Projekt mächtig reizt - also super gefällt und ich es in Zukunft auch mit Daten unterstützen möchte.

Ein kleiner Background:

Ich habe mir auf meinem Server den TileServer mit der Hilfe des Tutorials von switch2osm installiert.
Es gab ein paar kleine Probleme mit dem mod_tile - konnte ich aber problemlos fixen.

Zum Test, weil ich keine Lust hatte 10 Tage zu warten für das Planet File, habe ich mir von der GeoFabrik die Daten "south-america.osm.pbf" heruntergeladen und installiert,
was auch nach 15 min erledigt war. Mein Befehl war der allseits bekannte

osm2pgsql --slim -d gis -C 25000 --number-processes 3 south-america.osm.pbf

Es gibt keinerlei Probleme mit dem Server - er startet den TileServer ordnungsgemäß auch nach einem reboot und bringt keine Fehler!! Die Karte wird mittels openlayers auch korrekt dargestellt.

Nun zu meinem Problem:

Habe mir jetzt von der GeoFabrik weitere Teile heruntergeladen und z.B. central-america.osm.pbf mittels

osm2pgsql --slim -d gis -C 25000 --number-processes 3 central-america.osm.pbf

installiert. Danach habe ich einen

/etc/init.d/renderd restart

gemacht mit status [OK] - allerdings werden mir die neuen Daten nicht angezeigt? Auch habe ich den gesamten Server mal neu gestartet - nix?!?!
Was mache ich falsch? Gibt es für das updaten einen anderen Befehl? Konnte nichts finden?

Vielen Dank für Eure Hilfe im voraus.

Grüße,

Manfred

SunCobalt · 2012-08-07 17:18:54

rufe mal osm2pgsql -h auf. Da zeigt es Dir an, dass es einen "-a|--append" Parameter gibt bei dem steht "Add the OSM file into the database without removing existing data.". Versucht hab ich es noch nicht. Ansonsten ein größeres Gebiet runterladen und vorm Import selber zurechtschneiden oder mehrere kleinere vorm Import verschmelzen. Schau mal im Wiki nach osmosis

Last edited by SunCobalt (2012-08-07 17:22:04)

wambacher · 2012-08-07 17:21:44

der_manfred wrote:

gemacht mit status [OK] - allerdings werden mir die neuen Daten nicht angezeigt? Auch habe ich den gesamten Server mal neu gestartet - nix?!?!
Was mache ich falsch? Gibt es für das updaten einen anderen Befehl? Konnte nichts finden?

erst mal herzlich willkommen im Forum!

ich bin nicht ganz firm in der Materie, aber eins weiss ich: neue Bereiche dazuladen (hier Zentral-Amerika zu Süd-Amerika) geht nicht!
Du kannst einen einmalig geladenen Teil updaten aber keine neuen Bereiche hinzufügen. Gesteuert wird das mit der Option -a

Gruss
walter

edit: Thomas war schneller

@Thomas: Zusammenflicken mit -a geht nicht, da die Teilbereiche nicht aneinander passen. War schon öfters Thema von Diskussionen.
@manfred: der einzige Weg ist, aus dem Planeten Amerika komplett auszuschneiden oder gleich den Planeten zu nehmen. Alles nur ne Platz- und Zeitfrage.

Last edited by wambacher (2012-08-07 17:25:15)

der_manfred · 2012-08-07 17:27:40

@wambacher

Wie was? Das würde ja heißen, das ich auf jeden Fall das Planet File einlesen muss, auch wenn ich nur die USA brauche??? Das hab ich so aus den Tutorials nicht verstanden ?!?!? :-(

wambacher · 2012-08-07 17:36:42

der_manfred wrote:

@wambacher
Wie was? Das würde ja heißen, das ich auf jeden Fall das Planet File einlesen muss, auch wenn ich nur die USA brauche??? Das hab ich so aus den Tutorials nicht verstanden ?!?!? :-(

Ich bin definitiv der Ansicht, dass du nicht "flicken" kannst. Ich hab es selber versucht, da ich es auch nicht glauben wollte. Aber wenn du es hinkriegst, schick ich jemanden., der dir die Füsse küsst

Gruss
walter

warten wir mal ab, was die Kollegen meinen.

der_manfred · 2012-08-07 17:43:10

Okay alles klar. Schauen wir mal. Ich mal nochmal zum Test nen Import nur mit Californien. Mal schauen, ob das was wird :-)
( Ich glaube es immer noch nicht :-) )

Noch was anderes:

Mapbox bietet u.a. sehr schöne Styles auf Github an - z.B. den hier:

https://github.com/mapbox/osm-bright

Kann man die irgendwie in den eigenen TileServer einlesen? Bzw. wo finde ich dazu Informationen?

Gruss,

Manfred

der_manfred · 2012-08-07 17:51:09

Also habe es nochmal mit Californien versucht, wie schon geschrieben und @wambacher - Du wirst es nicht glauben - die Daten sind drinne!

Einzigstes Problem was jetzt besteht, man "sieht" die Daten erst ab Zoomstufe 7 ( OpenLayers ) ?!?
Die "alten" Daten aus dem south-america Import sind normal zu sehen, auch wenn ich komplett rausgezoomt habe.
Die Daten vom central-america Import sind aber auch erst ab Zoomstufe 7 da?!

Muss man evtl. nochmal den Cache löschen? Wenn ja, wie?

SimonPoole · 2012-08-07 18:02:52

der_manfred wrote:

Also habe es nochmal mit Californien versucht, wie schon geschrieben und @wambacher - Du wirst es nicht glauben - die Daten sind drinne!
Einzigstes Problem was jetzt besteht, man "sieht" die Daten erst ab Zoomstufe 7 ( OpenLayers ) ?!?
Die "alten" Daten aus dem south-america Import sind normal zu sehen, auch wenn ich komplett rausgezoomt habe.
Die Daten vom central-america Import sind aber auch erst ab Zoomstufe 7 da?!
Muss man evtl. nochmal den Cache löschen? Wenn ja, wie?

Grundsätzlich geht es mit -a wenn die Extrakte keine gemeinsame Elemente haben, sprich weit auseinander liegen und auch keine gemeinsame Küstenlinie etc haben. Ist aber eine Bastelei. Was sauberer ist, ist vorher die Extrakte mit osmosis zu mergen und dann erst zu importieren.

Dein Tileserver weiss vermutlich nicht, dass er alle Daten neurendern muss:
touch /var/lib/mod_tile/planet-import-complete

Was ist jetzt eigentlich genau der Grund wieso du nicht einfach den ganzen Planeten verwendest?

Simon

der_manfred · 2012-08-07 18:09:39

@SimonPoole

Naja, der Hauptgrund war eigentlich nur, das ich erstmal das Tutorial durcharbeiten wollte um zu sehen, ob überhaupt alles so funktioniert, wie es soll.
Sonst gibt es nicht wirklich einen Grund! Es es einfach möglich, die Datenbank zu löschen und das Planet File einzulesen?

Grüße,

Manfred

wambacher · 2012-08-07 18:41:14

SimonPoole wrote:

Was sauberer ist, ist vorher die Extrakte mit osmosis zu mergen und dann erst zu importieren.

Hi Simon,

bis du dir da sicher? Dann würde ich doch nochmal einen Versuch wagen, da ich es mit osmosis noch nicht probiert habe.
Mich stört nur das kleine Wörtchen "sauberer" - ich brauch eine 100% saubere Lösung, wo nichts fehlt und auch jede "extraktübergreifende" Relation (Route) sauber ist.

ach was - ich probiers einfach mal aus und melde mich.

Gruss
walter

wambacher · 2012-08-07 18:46:08

der_manfred wrote:

Es es einfach möglich, die Datenbank zu löschen und das Planet File einzulesen?

jo, brauchst aber nicht löschen. Solange du die Option -a nicht angibst, erstellt der eh alles neu.
Hast du auch genug Gibabreit Platte?

SimonPoole · 2012-08-07 20:58:16

wambacher wrote:

SimonPoole wrote:
Was sauberer ist, ist vorher die Extrakte mit osmosis zu mergen und dann erst zu importieren.
Hi Simon,
bis du dir da sicher?

Noe, ist vom Hörensagen. IMHO lohnt sich der Aufwand nicht (160Euros für ne SSD und gut ist).

Simon

wambacher · 2012-08-07 21:39:35

SimonPoole wrote:

Noe, ist vom Hörensagen. IMHO lohnt sich der Aufwand nicht (160Euros für ne SSD und gut ist).

was hat der Preis und Größe der Platte mit dem Problem zu tun? Als temp-space für das Ausschneiden aus dem planet? Dafür wäre mir das Geld zu schade.
Wir haben immer wieder Kollegen, die z.B. was aus einer "Ecke" brauchen und das Gebiet notgedrungen aus Germany oder gar aus Europa ausschneiden müssen.
Ich persönlich brauche DACH und hab mir das bisher mühsam (ja, auch das ist Aufwand und kostet Zeit) aus Europa ausgeschnitten. Ein Merge der Teile wäre viel schneller und einfacher (wenn man erstmal weiss, wie es geht)

Ich mach mir auf jeden Fall mal diese "Mühe" und teste das durch. Die ersten Ergebnisse sehen übrigens sehr gut aus.

Gruss
walter

SimonPoole · 2012-08-07 21:45:20

wambacher wrote:

SimonPoole wrote:
Noe, ist vom Hörensagen. IMHO lohnt sich der Aufwand nicht (160Euros für ne SSD und gut ist).
was hat der Preis und Größe der Platte mit dem Problem zu tun? Als temp-space für das Ausschneiden aus dem planet?

Nein, für die (fast) ganze DB.

Ich hab auch Extrakte importiert z.B: auf dem Laptop für Vorträge und dergleichen und das ist ganz vernünftig. Aber wenn man anfängt "händisch" sich das Wunschgebiet zusammenzukleben, dann macht es sehr schnell keinen Sinn mehr und man ist mit dem ganzen Planeten besser bedient.

Simon

SunCobalt · 2012-08-07 21:54:23

160 Euro für ne SSD, die für eine PostgreSQL Datenbank des Planets Platz bietet? Second Hand? 180GB gibts dafür, reicht das für nen Planet? Könnte knapp werden, oder?

Last edited by SunCobalt (2012-08-07 21:57:14)

wambacher · 2012-08-07 22:03:34

SimonPoole wrote:

Ich hab auch Extrakte importiert z.B: auf dem Laptop für Vorträge und dergleichen und das ist ganz vernünftig. Aber wenn man anfängt "händisch" sich das Wunschgebiet zusammenzukleben, dann macht es sehr schnell keinen Sinn mehr und man ist mit dem ganzen Planeten besser bedient.

ist schon eine etwas seltsame - nahezu realitätsfremde - Einstellung.
Erst fragen die Kollegen jahrelang nach dieser Möglichkeit und bekommen als Antwort: "geht nicht".
Jetzt zeigt sich möglicherweise eine Lösung und die Antwort ist: "brauchen wir nicht".

Ich hatte sowas schon mal:
Es gab ein technisch Anfrage an den Service mit der Antwort "kann nicht funktionieren".
Nachdem wir unser Problem selber gelöst hatten und den Service informierten, kam zurück "darf nicht funktionieren".

Die Lösung war 5 Jahre in produktivem Einsatz - sowas prägt

Gruss
Walter

SimonPoole · 2012-08-07 22:37:18

SunCobalt wrote:

160 Euro für ne SSD, die für eine PostgreSQL Datenbank des Planets Platz bietet? Second Hand? 180GB gibts dafür, reicht das für nen Planet? Könnte knapp werden, oder?

240GB und mit dem persistent node cache (da werden die slim Tabellen deutlich kleiner) passt es gut, nicht viel Potential für Wachstum, aber es geht. Import in 8h.

Ist natürlich die Luxusvariante, aber mit einer halbwegs schnellen SATA Disk gehts auch, nur nicht so schnell. Will man noch etwas mehr Platz auf der SSD kann man natürlich auch nur die Indices der slim-Tabellen drauf tun dann ist man bei ca. 160GB.

Simon

der_manfred · 2012-08-08 09:02:32

@wambacher

Jepp, hab ne 3 TB Platte im Server - denke das sollte reichen für das Planet File. Habs mal runtergeladen und den Import gestartet. Bin mal echt gespannt was dabei rauskommt und wie lange es dauert. Für den Import jetzt habe ich das -a weggelassen.

Irgendwie wurde aber meine andere Frage überlesen:
Ist es möglich Mapbox Stylesheets in meinen TileServer einzulesen (und wie?) um so eine schönere Map zu haben?

Grüße,

Manfred

Last edited by der_manfred (2012-08-08 09:02:46)

brogo · 2012-08-08 10:36:43

der_manfred wrote:

Irgendwie wurde aber meine andere Frage überlesen:
Ist es möglich Mapbox Stylesheets in meinen TileServer einzulesen (und wie?) um so eine schönere Map zu haben?

Unter [1] steht doch, wie es geht. Du brauchst Tilemill [2]. Du kannst in Tilemill unter "Export" den Style als Mapnik XML exportieren.

Christian

[1] https://github.com/mapbox/osm-bright/bl … /README.md
[2] http://mapbox.com/tilemill/

der_manfred · 2012-08-08 10:55:57

@brogo

Danke für Deine Antwort. Allerdings hab ich folgendes Problem (bin ja komplett neu bei OSM):
Wenn ich auf der Github Page bei OSM Bright schaue, steht da was bzgl. dem Import von OSM Data. Ich denke mal der Punkt 1 und 2 fällt für mich weg, da ich ja bereits einen eigenen Tileserver habe - oder? D.h. für mich ist nur Punkt 3 und 4 interessant, wenn ich das richtig verstanden habe?

Wenn ich dann das neue Style installiert habe und alles erfolgreich war, ist das originale dann weg?

Gibt es irgendwo gute Informationen nur bezüglich den Styles? Ich hab mir schon nen Wolf gesucht, aber nichts gefunden!

Grüße,

Manfred

SimonPoole · 2012-08-08 15:18:48

Achtung: die mapbox styles gehen davon aus, dass mit Imposm importiert wurde und setzen deshalb ein ganz anderes DB Schema voraus.

Mit Tilemill kann man aber problemlos auch für das osm2pgsql Schema styles bauen (mach ich auch so).

Simon

der_manfred · 2012-08-08 15:34:07

Ok, danke! Bin jetzt, denke ich, wieder ein Stückchen weiter. Habe mir lokal auf meinem Mac mit Hilfe von

http://mapbox.com/tilemill/docs/guides/osm-bright-mac-quickstart/

den Style in TileMill importiert. Allerdings ist es doch jetzt so, das ich diesen als Mapnik XML exportieren muss um diesen auf meinen Server zu laden und anzuwenden oder?
Nur habe ich das Problem, das bei mir das TeilMill nach beim auswählen von Export -> Export to Mapnik gar nix macht!

Gruss,
Manfred

SimonPoole · 2012-08-08 15:55:06

der_manfred wrote:

Ok, danke! Bin jetzt, denke ich, wieder ein Stückchen weiter. Habe mir lokal auf meinem Mac mit Hilfe von
http://mapbox.com/tilemill/docs/guides/osm-bright-mac-quickstart/
den Style in TileMill importiert. Allerdings ist es doch jetzt so, das ich diesen als Mapnik XML exportieren muss um diesen auf meinen Server zu laden und anzuwenden oder?
Nur habe ich das Problem, das bei mir das TeilMill nach beim auswählen von Export -> Export to Mapnik gar nix macht!

Keine Ahnung, eigentlich hat das problemlos funktioniert bis jetzt. Allerdings hab ich eigentlich immer eigene Styles erstellt mit Anbindung an die DB, ich würde auch bei die vorschlagen, dass du zuerst in Tilemill mal das rendern lässt. Sprich in den Settings für die jeweiligen Layer deine DB einträgst (wie gesagt, die Mapbox styles setzen eine DB mit Imposm Schema voraus).

Idee ist natuerlich a) wenns mit TIlemill nicht tut, dann tut es auch direkt auf dem Server nicht, und b) in Tilemill ist es wesentlich schneller die Einstellungen zu ändern bis sie passen.

Simon

Last edited by SimonPoole (2012-08-08 16:11:19)

der_manfred · 2012-08-13 15:20:03

So, wollte mal kurz berichten. Der Import des Planet File ist nun komplett, allerdings ich schon ein paar Probleme mit der Karte ansich:

Es werden sehr oft diese roten missing tiles angezeigt, obwohl ich das /var/lib/mod_tile/planet-import-complete erstellt hab - woran liegt das?
Die Map selbst wird teilweise vollständig, mit Missing Tiles und so angezeigt, als wären gar keine Daten da. Ich hab schon apache, renderd und sogar den ganzen Server neu gestartet.
Woran kann das liegen? - Welche Möglichkeiten gibt es noch, das rendern zu erzwingen?

Announcement

#1 2012-08-07 17:11:59

Fragen zum TileServer

#2 2012-08-07 17:18:54

Re: Fragen zum TileServer

#3 2012-08-07 17:21:44

Re: Fragen zum TileServer

#4 2012-08-07 17:27:40

Re: Fragen zum TileServer

#5 2012-08-07 17:36:42

Re: Fragen zum TileServer

#6 2012-08-07 17:43:10

Re: Fragen zum TileServer

#7 2012-08-07 17:51:09

Re: Fragen zum TileServer

#8 2012-08-07 18:02:52

Re: Fragen zum TileServer

#9 2012-08-07 18:09:39

Re: Fragen zum TileServer

#10 2012-08-07 18:41:14

Re: Fragen zum TileServer

#11 2012-08-07 18:46:08

Re: Fragen zum TileServer

#12 2012-08-07 20:58:16

Re: Fragen zum TileServer

#13 2012-08-07 21:39:35

Re: Fragen zum TileServer

#14 2012-08-07 21:45:20

Re: Fragen zum TileServer

#15 2012-08-07 21:54:23

Re: Fragen zum TileServer

#16 2012-08-07 22:03:34

Re: Fragen zum TileServer

#17 2012-08-07 22:37:18

Re: Fragen zum TileServer

#18 2012-08-08 09:02:32

Re: Fragen zum TileServer

#19 2012-08-08 10:36:43

Re: Fragen zum TileServer

#20 2012-08-08 10:55:57

Re: Fragen zum TileServer

#21 2012-08-08 15:18:48

Re: Fragen zum TileServer

#22 2012-08-08 15:34:07

Re: Fragen zum TileServer

#23 2012-08-08 15:55:06

Re: Fragen zum TileServer

#24 2012-08-13 15:20:03

Re: Fragen zum TileServer

Board footer