You are not logged in.

#1 2012-12-13 14:09:59

Mondschein
Member
Registered: 2011-01-29
Posts: 1,831

Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Hallo zusammen,

zzt. wird an einem Nachbau des Mapnik-Stils mit CartoCSS u.a. für OpenStreetMap.org gearbeitet:
http://lists.openstreetmap.org/pipermai … 26256.html

Dies soll u.a. Änderungen am Kartenstil vereinfachen und damit den Entwicklungsprozess offener gestalten.

Hier gibt es einen Vergleich:
http://lists.openstreetmap.org/pipermai … 26287.html

Fehler und Anregungen können hier eingetragen werden:
https://github.com/gravitystorm/openstr … rto/issues

Gruß,
Mondschein

Offline

#2 2013-07-24 21:50:41

Mondschein
Member
Registered: 2011-01-29
Posts: 1,831

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Nach und nach werden die Anfragen (bisher aus AU, GB, ES, PT und jeweils Umgebung) zum neuen Tile-Server geleitet, welcher CartoCSS verwendet:
http://lists.openstreetmap.org/pipermai … 10014.html
http://lists.openstreetmap.org/pipermai … 15003.html
http://lists.openstreetmap.org/pipermai … 11712.html
http://lists.openstreetmap.org/pipermai … 00601.html

Interessant ist auch, dass der neue Tile-Server zzt. auch Kacheln mit Zoom 19 ausliefert. smile

Video dazu:
http://vimeopro.com/openstreetmapus/sta … o/68093876

Gruß,
Mondschein

Last edited by Mondschein (2013-07-24 22:11:44)

Offline

#3 2013-07-28 15:21:55

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Seit gestern Mittag laufen nun alle Requests ueber den neuen Server. Ob das bereits dauerhaft so ist, oder nur kurzfristig zum Testen weis ich aber nicht.

Offline

#4 2013-07-28 19:25:01

Thomas8122
Member
From: Sachsen
Registered: 2012-04-15
Posts: 1,028

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Mir ist bloß aufgefallen, dass seit kurzem kein railway=level_crossing mehr gerendert wird.

Offline

#5 2013-07-29 21:24:39

Thomas8122
Member
From: Sachsen
Registered: 2012-04-15
Posts: 1,028

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

jetzt gehts wieder

Offline

#6 2013-07-30 09:07:43

Pajopath
Member
Registered: 2010-07-24
Posts: 75

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Bekommt ihr was unter dem Link http://bl.ocks.org/tmcw/raw/4271706/#15 … /-122.4376 angezeigt?

Eigentlich sollte da ja eine zweigeteilte Darstellung erscheinen (alt/neu) Bei mir wird aber nur alt geladen big_smile

Offline

#7 2013-07-30 09:14:14

rayquaza
Member
From: DE-BW
Registered: 2012-11-18
Posts: 2,007

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Pajopath wrote:

Bekommt ihr was unter dem Link http://bl.ocks.org/tmcw/raw/4271706/#15 … /-122.4376 angezeigt?
Eigentlich sollte da ja eine zweigeteilte Darstellung erscheinen (alt/neu) Bei mir wird aber nur alt geladen big_smile

Bei mir ebenso. Manueller Aufruf einer Kachel ergibt einen 500er. Wenn das jetzt aber bei osm.org Standard ist sähe man eh keinen Unterschied, da die "alten" Kacheln die neuen wären wink

Offline

#8 2013-08-06 07:51:44

Mondschein
Member
Registered: 2011-01-29
Posts: 1,831

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

amm wrote:

Seit gestern Mittag laufen nun alle Requests ueber den neuen Server. Ob das bereits dauerhaft so ist, oder nur kurzfristig zum Testen weis ich aber nicht.

Jetzt ist die Umstellung offiziell abgeschlossen:
http://lists.openstreetmap.org/pipermai … 67802.html

Gruß,
Mondschein

Offline

#9 2013-08-06 15:33:32

tyr_asd
Member
Registered: 2012-08-23
Posts: 81
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Pajopath wrote:

Bekommt ihr was unter dem Link http://bl.ocks.org/tmcw/raw/4271706/#15 … /-122.4376 angezeigt?

Falls trotzdem noch jemand Interesse daran hat die Renderings zu vergleichen: http://bl.ocks.org/tyrasd/raw/6164696/ ist eine aktualisierte Variante des Tools. (Als Referenz wird das Mapnik-Rendering vom Wikimedia "toolserver" verwendet).

Offline

#10 2013-08-06 18:12:13

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Der Wikimedia toolserver ist moeglicherweise nicht der beste Vergleich. Der laeuft noch mit Mapnik 0.7 und einem entsprechend alten Kartenstiel. Insofern duerfte es dort auch so einige Unterschiede geben zu dem was man zuvor auf osm.org gesehen hat.

Da der auf der neuen Technik basierende Stil nun der offizielle ist, denke ich, wird man nun Sachen aendern und fixen, unabhaengig davon wie sie zuvor aussahen und ob sie korrekt oder nicht waren.

Gravitystorm, der den Konvertierung hauptsaechlich gemacht hat, wollte die beiden Kartenstile zunaechst so aehnlich wie moeglich halten, damit die Akzeptanz der technischen Umstellung auf Carto nicht von der Akzeptanz der kartographischen, stylistischen Entscheidungen abhaengt. Angesicht der Tatsache das, wie man an den Aenderungen auf osm.org sieht, selbst kleinere stylistische Aenderungen immer wieder fuer viel Wirbel in der Community sorgen, denke ich war die Entscheidung seh sinnvoll.

Offline

#11 2013-08-06 19:36:03

errt
Member
Registered: 2009-12-01
Posts: 1,068

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Für die Umstellung sicher die richtige Entscheidung. Trotzdem ist jetzt hoffentlich der Zeitpunkt gekommen, mal ein paar Dinge zu bearbeiten, die beim Mapnik-Stil schon länger im Argen liegen. Vor allem hoffe ich doch, dass man von den Franzosen das Rendern der Sportplatzmarkierungen übernimmt.

Offline

#12 2013-08-06 20:07:27

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Man wird sehen muessen wie viel "Manpower" fuer Verbesserungen zur verfuegung steht. Aber der ganze Sinn hinter der Umstellung auf Carto war es Aenderungen einfacher zu machen womit sich hoffentlich wieder jemand findet der das Stylesheet oderdentlich maintained. Zunaechst wird wohl gravitystorm (der ersteller der OpenCycleMap) der Maintainer des Stiles werden, nachdem Steve Chilton der frueher die Hauptarbeit gemacht hat schon eine Weile nicht mehr aktiv zu sein scheint. Aber wenn jemand anderes, mit hilfe von pull requests, zeigt das er gute Arbeit in der Hinsicht erledigt kann es gut sein das die "Maintainer Position" an jemanden weiter gegeben wird.

Der groesste Vorteil von Carto duerft wohl sein, das es dafuer mit TileMill einen semi-wysiwyg Editor gibt, das das Bearbeiten des Styles deutlich erleichtern sollte. Somit wird es hoffentlich auch leichter fuer Drittanbieter den OSM-Style als Basis zu verwenden und dann zum Beispiel das Farbschema an ihre Beduerfnisse einfach anzupassen.

Insofern duerfte hoffentlich in der Tat der Zeitpunkt gekommen sein in dem man Sachen (nach fast einem Jahr Pause) wieder verbessert.

Schaetzungsweise ist die beste Stelle Verbesserungsvorschlaege einzureichen unter https://github.com/gravitystorm/openstreetmap-carto . Wobei "bitte rendert dieses oder jenes obscure tagging feature" erst einmal nicht sonderlich hoch auf der Prioritaetenliste stehen duerfte. Allerdings beherscht der neue Renderingserver nun auch Z19  (auch wenn das auf osm.org noch nicht aktiviert ist), womit wieder deutlich mehr Platz ist um spaeter einmal das rendern von POIs auszubauen, wenn die groesseren Probleme abgearbeitet sind.

Offline

#13 2013-08-06 22:39:34

EvanE
Member
Registered: 2009-11-30
Posts: 5,716

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

amm wrote:

...
Der groesste Vorteil von Carto duerft wohl sein, dass es dafuer mit TileMill einen semi-wysiwyg Editor gibt, das das Bearbeiten des Styles deutlich erleichtern sollte. Somit wird es hoffentlich auch leichter fuer Drittanbieter den OSM-Style als Basis zu verwenden und dann zum Beispiel das Farbschema an ihre Beduerfnisse einfach anzupassen.

Insofern duerfte hoffentlich in der Tat der Zeitpunkt gekommen sein, in dem man Sachen (nach fast einem Jahr Pause) wieder verbessert.

... Allerdings beherscht der neue Renderingserver nun auch Z19  (auch wenn das auf osm.org noch nicht aktiviert ist), womit wieder deutlich mehr Platz ist um spaeter einmal das rendern von POIs auszubauen, wenn die groesseren Probleme abgearbeitet sind.

In Zukunft auch Z19 anbieten zu können, klingt sehr gut. Es gibt doch einige Bereiche, die in OSM mittlerweile sehr dicht erfasst sind. Dort würde man mit Z19 sicher einiges mehr zeigen/sehen können.

Ansonsten scheint mir die Umstellung auf Carto sehr gut gelungen. Ich konnte bisher keine Probleme finden. Erst mit dem Hinweis von tyr_asd auf http://bl.ocks.org/tyrasd/raw/6164696/ konnte ich einige kleine Unterschiede in der Farbgebung (trunk, primary, tertiary) erkennen. Ansonsten war der Wechsel osm.org mit Carto zu Mapnik-alt (vom Wikimedia-Server) in der Vergleichskarte nur gelegentlich an der Platzierung von Namen und einer leicht anderen Auswahl an POI zu erkennen. Das mag teilweise jedoch auch an unterschiedlichen Datenständen liegen (Beispiel Bonn-Endenich).

Edbert (EvanE)

Offline

#14 2013-08-07 09:01:45

tyr_asd
Member
Registered: 2012-08-23
Posts: 81
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

amm wrote:

Der Wikimedia toolserver ist moeglicherweise nicht der beste Vergleich. Der laeuft noch mit Mapnik 0.7 und einem entsprechend alten Kartenstiel. Insofern duerfte es dort auch so einige Unterschiede geben zu dem was man zuvor auf osm.org gesehen hat.

Klar, aber eine andere Vergleichsgrundlage kenne ich nicht. Zumindest der Mapnik-Stil sollte aber auf dem Toolserver und dem alten OSM-Server der gleiche gewesen sein.

amm wrote:

Da der auf der neuen Technik basierende Stil nun der offizielle ist, denke ich, wird man nun Sachen aendern und fixen, unabhaengig davon wie sie zuvor aussahen und ob sie korrekt oder nicht waren.

Logisch, alles andere wäre Unsinn. Das Tool hilft dabei sich einen Eindruck vom Fortschritt zu verschaffen. cool

amm wrote:

Gravitystorm, der den Konvertierung hauptsaechlich gemacht hat, wollte die beiden Kartenstile zunaechst so aehnlich wie moeglich halten, damit die Akzeptanz der technischen Umstellung auf Carto nicht von der Akzeptanz der kartographischen, stylistischen Entscheidungen abhaengt.

Das stimmt, aber mittlerweile sind wir schon bei Version 2.3.2 angelangt, und einige sichtbare Änderungen haben es auch schon in das Style geschafft. Z.B. die etwas dunklere Farbe der primary-roads  oder größere Zeilenabstände.

Offline

#15 2013-08-07 09:56:11

gormo
Member
Registered: 2013-08-01
Posts: 2,044
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

In welchen Intervallen fließen denn die Änderungen am carto-Stil, die schon im github-master sind, in neue Renderings ein? Gibt es da Aussagen von Andy Allan zu?


OSM hat nicht das Ziel bis Ende des Monats einen vollständigen Datensatz der Welt zu enthalten.
(nach S.W.) - Aber weil die Welt vielfältig ist, weil sie auch im Detail interessant ist, mag ich genaue Karten (nach C.)

Offline

#16 2013-08-07 20:41:00

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Geplant ist wohl das es zukuenftig "releases" [1] des Stylesheets gibt. Wie haeufig es neue releases geben wird haengt vermutlich davon ab wie viele und wie wichtig die Aenderungen sind. Da aber bei jeder Aenderung des Stylesheets nun automatisch ein komplettes Neurendern einsetzt (z0 - z12 als pre-rendering und der Rest on demand) und dies die rendering Server dann einige Tage "ueberlastet" wodurch die normalen Updates im generellen Neurendern untergehen und somit nicht die gewohnte Aktuallitaet erzielt werden kann, kann man vermutlich davon ausgehen das es nicht wegen jeder kleinen Aenderung geschieht. Es sollte aber haeufiger geschehen als zuletzt mit dem alten Style, der ja quasi gar nicht mehr aktualisiert wurde.

Direkte Aussagen von Andy sind mir dazu jedoch nicht bekannt. Das wird vermutlich wie das meiste einfach nach Gefuehl gemacht... ;-)


[1] https://github.com/gravitystorm/openstr … o/releases

Offline

#17 2013-08-08 10:45:27

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,444
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Hi,

nachdem das ganze Rendering umgestellt wurde , scheint der /dirty-Trick nicht mehr zu funktionieren. Zumindest sehe ich keine Reaktion. Auch bei /status sehe ich nicht vernünftiges.
Kann das jemand bestätigen?

Weiterhin gibt es anscheinend noch keine Munin-Ausgabe der neuen Rendering-Queue oder die Statistik hängt: http://munin.openstreetmap.org/openstre … queue.html
Any Infos?

Gruss
walter

Last edited by wambacher (2013-08-08 10:45:59)

Offline

#18 2013-08-08 12:39:19

AJoNee
Member
Registered: 2012-02-11
Posts: 39

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Ich habe gerade getestet und nicht ungewöhnliches festgestellt.

Die fehlende Statistik kann ich bestätigen.

sonst weiß ich aber auch nichts.

Offline

#19 2013-08-08 18:14:06

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Die "fehlende" Statistik liegt daran das der Server gewaechselt wurde. Die Kacheln werden nun von Orm gerender und ausgeliefert. Dem entsprechend finden sich die Statistiken nun unter http://munin.openstreetmap.org/openstre … index.html . Yevaud wird gerade neu installiert und ebenfalls auf Carto umgestellt. Nach dem neu Import wird er dann als zweiter tile Server wieder zur Verfuegung stehen. Im Moment ist so weit ich weis geplant diese unabhaengig von einander zu Betreiben und manche Laender ueber den einen Server und andere Laender ueber den anderen Server laufen zu lassen.

Bezueglich /diry: das sollte im Prinzip schon funktionieren. Da nach dem Stylechange wie oben erwaehnt der komplette Cache "invalidiert" wird und somit alles neu gerendert werden muss, ist der Server damit derzeit etwas ueberlastet und verwirft somit viele /dirty Anfragen ( http://munin.openstreetmap.org/openstre … essed.html die dropped Statistik ) Das gilt auch fuer das renderen von sich geaenderten Tiles, wodurch die automatische Aktualisierung der Tiles nicht so gut wie normalerweise funktioniert. Das duerfte sich in ca 1 - 2 Tagen wieder legen wenn der Server ausreichend Kacheln neu gerendert hat um mit der Menge an Anfragen wieder klar zu kommen.

Da das bei jedem Style-Update wieder geschehen wird, ueberlege ich mir gerade in mod_tile / renderd eine weitere Prioritaetsstuffe einzubauen um die Aktualitaet waerend der cache invalidation Phase nicht (oder weniger) zu gefaehrden.

Offline

#20 2013-08-08 18:36:04

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Was ich mich schon lange frage: warum ist die Queue auf eine derart geringe Länge (1000) beschränkt? Wenn nicht gerade massenhaft Niedrigzoomkacheln gerendert werden müssen, trägt Mapnik diese Queue in zwei Minuten ab. Bei höherem Limit (zunächst etwa 10^5; bei positiven Ergebnissen auch mehr) würden weniger Anfragen (dirty) verworfen und stattdessen einfach später ausgeführt.


No animals were harmed in the writing of this posting.

Offline

#21 2013-08-08 19:00:22

amm
Member
Registered: 2009-09-20
Posts: 618
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Der noch gueltige Hauptgrund duerfte sein das es als etwas "verkappte" Prioritisierung fungiert. Wenn der Renderer ueberlastet ist und X% der Anfragen verwirft hat jede Anfrage eine gewisse Wahrscheinlichkeit das just in dem Moment ein Platz in der Queue frei ist und diese somit dann gerendert wird. Sehr beliebte Kacheln senden viele Anfragen an den Renderer und sehen somit eine deutlich erhoehte Wahrscheinlichkeit das wenigstens eine der Anfragen in die Queue rein kommt. Damit werden die viel besuchten Tiles prioritisiert.

Historisch hat es noch einen Performance Grund. Bei jeder Anfrage muss die Queue durchsucht werden um Duplikate zu finden. Da die Queue urspruenglich als linear list umgesetzt war, war die Queue Laenge stark begrenzt. Das ist aber schon seit langem nicht mehr der Fall. Das Limit wurde aber nie angepasst.

Abgesehen davon ist es fraglich wie weit eine verlaengert Queue tatsaechlich etwas bringt. Zumindestens in Faellen wie jetzt, wo die Queue ueber Tage hinweg am Anschlag ist (inklusive waerend der Nacht) gibt es kein wirklich naehe liegendes "Spaeter" auf das man es verschieben kann. Mit der gestiegenen Performance (Orm schaft inzwischen ca 14 metatiles / s) wird die Queue zeitlich gesehen jedoch immer kuerzer.  Die 1000 metatile queue ist inzwischen gerade einmal knapp ueber einer Minute. Insofern ist denke ich eine gewisse Erhoehung durch aus sinnvoll und moeglich.

Offline

#22 2013-08-08 19:50:26

EvanE
Member
Registered: 2009-11-30
Posts: 5,716

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

amm wrote:

Abgesehen davon ist es fraglich wie weit eine verlaengert Queue tatsaechlich etwas bringt. Zumindestens in Faellen wie jetzt, wo die Queue ueber Tage hinweg am Anschlag ist (inklusive waerend der Nacht) gibt es kein wirklich naehe liegendes "Spaeter" auf das man es verschieben kann. Mit der gestiegenen Performance (Orm schaft inzwischen ca 14 metatiles / s) wird die Queue zeitlich gesehen jedoch immer kuerzer.  Die 1000 metatile queue ist inzwischen gerade einmal knapp ueber einer Minute. Insofern ist denke ich eine gewisse Erhoehung durch aus sinnvoll und moeglich.

Für Situationen, wo der ganze Cache verworfen werden muss (insbesondere bei Änderungen des Styles), sollte man sich eventuell eine andere Strategie überlegen, wie von dir bereits angedeutet.

@Oli-Wan:
Ich würde die Cache-Größe nicht gleich um den Faktor 10 erhöhen. Eine Verdoppelung auf 2000 könnte man jedoch durchaus mal ausprobieren. Je nach dem, wie sich das in den verschiedenen Situationen (Normalbetrieb / Cache verworfen) auswirkt, kann man dann weiter erhöhen oder ggfs. auch wieder einen niedrigeren Wert einstellen.

Eine Queue-Größe von 2000 würde bei 14 Meta-Tiles/sek einen Backlog von knapp über 2 Minuten noch ohne Ausfälle bewältigen. Wenn man jedoch wie zur Zeit ca. 200 Metatiles pro Sekunde verwerfen muss, dann hilft eine Queue-Größe von 10000 wahrscheinlich auch nicht mehr viel.
Wenn in Zukunft das Verwerfen des Cache öfter notwendig wird, dann hilft wahrscheinlich nur eine Anpassung der Strategie. Dabei stellt sich natürlich die Frage, was wichtiger ist: angefragte Kacheln oder geänderte Kacheln.

Edbert (EvanE)

Offline

#23 2013-08-08 20:20:25

Oli-Wan
Member
From: NRW
Registered: 2010-09-14
Posts: 2,814

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

@amm: Danke für die Erläuterungen, damit wird einiges klarer.

Die behelfsmäßige Priorisierung würde mit einer längeren Queue genauso funktionieren, sobald diese gesättigt ist, nur daß die "erfolgreichen" Requests länger bis zur Ausführung warten müßten. Bis die Queue voll ist, werden zumindest alle noch eingestellt statt verworfen, und gewöhnliche Lastspitzen (also alles außer einer Style-Änderung) könnten besser abgefangen werden. Wobei ich mich frage, ob bei einer Style-Änderung überhaupt alles neu gerendert werden muß - dafür, daß bloß hier und da ein paar Objekte neu auftauchen oder sich einzelne Symbole ändern. Meist sind es ja Änderungen im Detail, die sich in den niedrigen Zoomstufen kaum auswirken. Es wird ja wohl nicht von heute auf morgen das Meer lila werden.

@EvanE: Ich habe nicht einen Faktor 10 vorgeschlagen, sondern einen Faktor 100. Das ist immer noch ein Aufkommen, das im Normalfall in zwei oder drei Stunden abgearbeitet ist. Einen Faktor 2 würde man vermutlich kaum sehen.


No animals were harmed in the writing of this posting.

Offline

#24 2013-08-08 20:56:10

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,444
Website

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

amm wrote:

Die Kacheln werden nun von Orm gerender und ausgeliefert.

Prima, dass man das auch mal erfährt sad Im Wiki steht immer noch Yevaud als Renderer drin und da schaut man dann natürlich nach, wenn es mal klemmt.

Gruss
walter

Offline

#25 2013-08-08 22:08:53

EvanE
Member
Registered: 2009-11-30
Posts: 5,716

Re: Nachbau des Mapnik-Stils mit CartoCSS für OSM.org

Oli-Wan wrote:

@amm: Danke für die Erläuterungen, damit wird einiges klarer.
...

@EvanE: Ich habe nicht einen Faktor 10 vorgeschlagen, sondern einen Faktor 100. Das ist immer noch ein Aufkommen, das im Normalfall in zwei oder drei Stunden abgearbeitet ist. Einen Faktor 2 würde man vermutlich kaum sehen.

Sorry, da habe ich falsch gerechnet / unaufmerksam gelesen.
In dem Fall ersetze Faktor 2 durch Faktor 10. Das sollte für einen Test erst einmal genügen. Man weiß ja nie im voraus, ob nicht irgendwelchen unerwarteten Nebeneffekte auftreten.

Edbert (EvanE)

Offline

Board footer

Powered by FluxBB