Kachelrendering Dauer

TheFive · 2014-03-04 08:56:20

Im Vergleich zu 2010 ist das zwar Jammern auf hohem Niveau, aber kann es sein, das das Kachelrendern in den letzten Wochen deutlich länger dauert ?
Teilweise über einen Tag ?

Im Ergebnis führt das zu Strassen, die spontan an der Kachelgrenze einen Sprung machen, da ich sie mit ALK genauer gezeichnet haben.

Christoph

marek kleciak · 2014-03-04 09:04:16

Stimmt. Es ist ganz schön lästig.

SammysHP · 2014-03-04 09:56:58

Das liegt an den ganzen Änderungen am Style. Jedesmal muss logischerweise alles neu gerendert werden.

NullReference · 2014-03-04 14:28:30

Gibt es eigentlich Möglichkeiten, das Rendern "zu hause" zu unterstützen? Ich hatte mal kurz danach gesucht, wurde aber nicht fündig.
Gruß

tunnelbauer · 2014-03-04 14:38:38

Diese Möglichkeit gab es früher mal mit tiles@home - das ist aber nicht mehr aktiv.

marek kleciak · 2014-03-04 15:08:53

Schade. Nehmen wir an, wir wollten noch eine Zoomstufe - es wäre eine tolle Entlastung für die Server.

MHohmann · 2014-03-04 15:11:53

marek kleciak wrote:

Schade. Nehmen wir an, wir wollten noch eine Zoomstufe - es wäre eine tolle Entlastung für die Server.

Ich schätze, dafür braucht es nicht (nur) mehr Rechenleistung, sondern (auch) mehr Speicherplatz für die Tiles - so weit ich weiß, werden die höheren Zoomstufen schon nur noch auf Anfrage gerendert.

TheFive · 2014-03-05 07:29:38

MM im Ergebnis haben wir mehrere Tage solche Rendering öffentlich

OK das ist ZOOM 19, aber auch in Zoom 18 gibts Änderungen in der Strassenführung, die als Sprung gerendert werden über mehrere Tage.

Ich bin sicher das das CartoStyle Team schon über Optimierungen ihres Rolloutes nachgedacht hat.
Könnte man nicht dennoch über sowas wie
a) Verzicht von Level 19
b) Nur 2 uploads von neuen Stilen pro Monat (keine Ahnung ob und was das bringt)
c) regionales begrenzen der neuen Renderregel auf einen überschaubaren Bereich
(Das setzte aber Voraus, das mit 2 Renderregeln gleichzeitig gearbeitet werden kann, also eher nein)

nachdenken, bis die grössten Änderungen im Style abgeschlossen sind ?

Christoph

brogo · 2014-03-05 14:18:13

TheFive wrote:

a) Verzicht von Level 19
b) Nur 2 uploads von neuen Stilen pro Monat (keine Ahnung ob und was das bringt)
c) regionales begrenzen der neuen Renderregel auf einen überschaubaren Bereich
(Das setzte aber Voraus, das mit 2 Renderregeln gleichzeitig gearbeitet werden kann, also eher nein)
nachdenken, bis die grössten Änderungen im Style abgeschlossen sind ?

Die Vorschläge bremsen die Entwicklungsgeschwindigkeit des Styles bzw. sind technisch nicht (einfach) umsetzbar; deshalb:

d) Das automatische Neurendern bei Style-Änderungen deaktivieren und erst neurendern wenn
- die Kachel ein gewisses Alter hat,
- Daten innhalb der Kachel geändert wurden oder
- das Neurendern angeforder wurde?

Christian

marek kleciak · 2014-03-05 14:24:37

wie schwierig wäre das Rendern der Kachel auf dem eigenen Rechner und Hochladen auf OSM Server?

brogo · 2014-03-05 14:39:03

marek kleciak wrote:

wie schwierig wäre das Rendern der Kachel auf dem eigenen Rechner und Hochladen auf OSM Server?

Ein großes Problem bei tiles@home waren die TRAPI-Server, die die Rohdaten an die Clients geliefert haben. Die waren oft überlastet. Sie mußten die Planet-DB aktuell halten und entsprechende Bounding-Boxen ausschneiden und auslieferen.

Und es zeigte sich, daß die ganze Verwaltung der Clients einen unglaublichen Overhead verursachte. Auf Heimrechnern mit ADSL machte t@h nur wenig Sinn, da das Ergebnis (also das Tileset (ein Zoom 12-Tile mit den entsprechenden Untertiles bis Level 17 (also 1365 png-Dateien)) im Vergleich zu anderen Verteilten-Rechnen-Projekten ziemlich groß waren und somit der Upload des DSL-Anschlusses den heimischen Renderer-Client ausbremste.

Christian

Last edited by brogo (2014-03-05 15:40:48)

marek kleciak · 2014-03-05 14:49:45

Verstehe.
Danke Christian!

Theodin · 2014-03-05 18:18:02

brogo wrote:

d) Das automatische Neurendern bei Style-Änderungen deaktivieren und erst neurendern wenn
- die Kachel ein gewisses Alter hat,
- Daten innhalb der Kachel geändert wurden oder
- das Neurendern angeforder wurde?

Ist das nich so? Jedenfalls bei Zoomlevel 13 und größer.

amm · 2014-03-06 06:22:55

TheFive wrote:

Im Vergleich zu 2010 ist das zwar Jammern auf hohem Niveau, aber kann es sein, das das Kachelrendern in den letzten Wochen deutlich länger dauert ?
Teilweise über einen Tag ?

Durch die gelegentlichen Style Aenderungen (die ein komplettes neurendern aller Kacheln verursacht) und das generelle Wachstum, sind die Kachelrendering server in der Tat derzeit stark ausgelastet und koennen nicht immer die hohe Aktualitaet guarantieren wie ueblich.

Die Aussage "Teilweise ueber einen Tag" ist auf Grund der technischen Gegebenheiten jedoch nur bedingt richtig bzw missverstaendlich.

Ein wenig Hintergrund: Wenn eine Anfrage fuer eine Kachel reinkommt, schaut der Webserver nach ob diese Kachel im Cache vorhanden ist und ob sie aktuell ist. Wenn nicht wird ein rendering Request an das rendering Backend geschickt. Dieser Request wird dann in eine Warteschlange eingeordnet und dann je nach Prioritaet der Reihe nach abgearbeitet. Allerdings ist die Warteschlange recht klein. Wenn diese voll ist (was derzeit haeufiger mal passiert), wird der Request dann komplett verworfen und nie gerendert.

Das abarbeiten der Warteschlange sollte ueblicherweise nicht laenger als 1 Stunde dauern, meist deutlich schneller. Das heist wenn man ein Gebiet "sichtet" wird es dann entweder (meist) innerhalb von einer Stunde neu gerendert, oder es wird erst wieder versucht das Gebiet neu zu rendern wenn man es das naechste mal betrachtet.

Wenn ein Rendering request wegen ueberlastung verworfen wurde und diese Kacheln erst wieder in 3 Tagen anschaut, wird es erst dann wieder versucht diese neu zu renderen. (Daher kommt vermutlich das ueber einen Tag). Schaut man sich das gleiche Gebiet hingegen nach z.B. einer Stunde wieder an, wird es auch dann wieder versucht diese gegend neu zu renderen und das Ergebniss sollte deutlich schneller aktuell sein.

Erschwerend kommt hinzu, das es zwei komplett unabhaengige Rendering server gibt die die Kachenl getrennt verwalten und rendern. Welchen der beiden Server man bekommt haengt von der Geographischen Lage des Computers des Requester ab [1]. Deutschland wir derzeit von Server "Orm" versorgt, der deutlich staerker ausgelastet ist als der andere. Wenn man die Karte von den USA aus ansieht hat man das Problem hingegen weniger, da deren Anfragen ueber den anderen Server laufen.

TheFive wrote:

Im Ergebnis führt das zu Strassen, die spontan an der Kachelgrenze einen Sprung machen, da ich sie mit ALK genauer gezeichnet haben.

Um diese Effekte zu minimieren gibt es verschiedene Prioritaeten mit denen Kacheln gerendert werden. Die hoechste prioritaet haben Kacheln die gar nicht im Cache vorhanden sind. Dann werden solche Kacheln gerendert die Aenderungen enthalten und erst dann werden Kacheln gerendert die nur auf Grund einer Style Aenderung neu gerendert werden muessen. Somit sollte die Styleaenderungen eigentlich nur einen minimalen Effekt auf die aktualitaet der Karten haben. Leider funktioniert das nicht immer perfekt.

Wenn ich mich nicht taeusche ist jedoch demnaechst ein CPU Upgrade fuer den Renderingserver vorgesehen. (Der Nominatim Server hat auch gerade eines bekommen) Das sollte die Reservekapazitaet dann wieder deutlich erhoehen.

[1] http://dns.openstreetmap.org/render.ope … p.org.html
[2] http://munin.openstreetmap.org/openstre … ml#renderd

TheFive · 2014-03-06 07:33:19

Danke amm,

das ist ja mal eine ausführliche Information. Das Verwerfen von Rendering Anfragen war mit nicht bekannt, das erklärt natürlich die Dauer besser.
Man muss also einfach ein zweites mal reinschauen, und die Zeit dazwischen nicht stoppen.

Christoph
P.S. Das das auch heisst, das in der Zwischenzeit kein A... meinen S.... angeschaut hat nehme ich sachlich zur Kenntnis und betrachte das als statistisch normal :-).

EvanE · 2014-03-06 10:32:04

TheFive wrote:

das ist ja mal eine ausführliche Information. Das Verwerfen von Rendering Anfragen war mit nicht bekannt, das erklärt natürlich die Dauer besser.
Man muss also einfach ein zweites mal reinschauen, und die Zeit dazwischen nicht stoppen.

Hallo Christoph

Die Hintergründe hat amm bereits ausführlich beschrieben.
Hinzu kommt noch etwas, was gelegentlich für Irritationen sorgt:
Die Kacheln werden nur dann neu gerendert,
wenn sich etwas an der Geometrie gändert hat.

Sprich Änderungen an den Eigenschaften (Taggs) eines Objektes unter Beibehaltung der Geometrie führen nicht zum erneuten rendern der Kacheln.

Edbert (EvanE)

wambacher · 2014-03-06 11:31:14

EvanE wrote:

Sprich Änderungen an den Eigenschaften (Taggs) eines Objektes unter Beibehaltung der Geometrie führen nicht zum erneuten rendern der Kacheln.

Wenn es wirklich mal dringend sein sollte und man sich nicht sicher ist, wo es klemmt, hilft ja das was ich "Kitzeln" nenne: eine kleine Änderung der Geometrie. Am besten rechteckig machen, das schadet nicht und verbessert sogar die Qualität. Allerdings bitte nur in kleinen Portionen zu verwenden und nicht etwa um eine ganze Ecke anzutriggern. Zudem erscheinen die Daten dann im nächsten Diff und können somit auch DIFF-Probleme beseitigen.

Gruss
walter

TheFive · 2014-03-06 13:10:14

Walter,
Da bekommt mappen für de Renderer einen ganz neuen Ton.
Christoph

Theodin · 2014-03-06 20:44:41

Oder einfach ein /dirty an die Kachel hängen. Das kitzelt schneller

TheFive · 2014-03-06 20:47:15

Du meinst:

Rechte Maustaste auf Kachel, Kachel im neuen Tab Öffnen.
/dirty hinter den http Link packen und

"Tile submitted for rendering" als Ergebnis erhalten ?

Das kannte ich noch nicht :-)

Theodin · 2014-03-06 20:52:17

Ja. Das meinte ich. UNd dann /status anhängen und schauen wie lange es braucht bis es gerendert ist.

wambacher · 2014-03-06 21:35:26

Theodin wrote:

Oder einfach ein /dirty an die Kachel hängen. Das kitzelt schneller

Nein, das bewirkt zwar, daß der Renderer loslegt, behebt aber nicht eventuelle Datenverluste beim Verarbeiten von Diff-Files. Auch die Render-DB hat damit ab und zu Probleme.

Gruss
walter

Last edited by wambacher (2014-03-06 21:36:12)

amm · 2014-03-07 01:37:34

EvanE wrote:

Sprich Änderungen an den Eigenschaften (Taggs) eines Objektes unter Beibehaltung der Geometrie führen nicht zum erneuten rendern der Kacheln.

Doch, Aenderungen an den Tags sollte Kacheln ebenfalls als "veraltet" markieren. Hast du Beispiele wo dieses nicht funktioniert? Mir ist lediglich bekannt das ist unter bestimmten Umstaenden Probleme gibt wenn man Polygone aus einer Multi-Polygon Relation entfernt.

amm · 2014-03-07 01:42:28

Theodin wrote:

Oder einfach ein /dirty an die Kachel hängen. Das kitzelt schneller

/dirty verursacht ein rendering mit der niedrigsten Prioritaet. Insofern dauert es moeglicherweise deutlich laenger wenn man /dirty verwendet als wenn man die Kachel schlicht betrachtet.

/dirty is eigentlich nur fuer Faelle in denen der Automatismus nicht funktioniert. Also wenn /status behauptet das die Kachel "clean" ist, dies aber nicht wirklich der Fall ist.

aseerel4c26 · 2014-03-07 02:39:45

ich habe /dirty noch nie gebraucht! Strg+F5, warten und paar Minuten später nochmal Strg+F5 ist des Rätsels Lösung. Geht auch deutlich einfacher. ;-)

Last edited by aseerel4c26 (2014-03-07 02:40:04)

Announcement

#1 2014-03-04 08:56:20

Kachelrendering Dauer

#2 2014-03-04 09:04:16

Re: Kachelrendering Dauer

#3 2014-03-04 09:56:58

Re: Kachelrendering Dauer

#4 2014-03-04 14:28:30

Re: Kachelrendering Dauer

#5 2014-03-04 14:38:38

Re: Kachelrendering Dauer

#6 2014-03-04 15:08:53

Re: Kachelrendering Dauer

#7 2014-03-04 15:11:53

Re: Kachelrendering Dauer

#8 2014-03-05 07:29:38

Re: Kachelrendering Dauer

#9 2014-03-05 14:18:13

Re: Kachelrendering Dauer

#10 2014-03-05 14:24:37

Re: Kachelrendering Dauer

#11 2014-03-05 14:39:03

Re: Kachelrendering Dauer

#12 2014-03-05 14:49:45

Re: Kachelrendering Dauer

#13 2014-03-05 18:18:02

Re: Kachelrendering Dauer

#14 2014-03-06 06:22:55

Re: Kachelrendering Dauer

#15 2014-03-06 07:33:19

Re: Kachelrendering Dauer

#16 2014-03-06 10:32:04

Re: Kachelrendering Dauer

#17 2014-03-06 11:31:14

Re: Kachelrendering Dauer

#18 2014-03-06 13:10:14

Re: Kachelrendering Dauer

#19 2014-03-06 20:44:41

Re: Kachelrendering Dauer

#20 2014-03-06 20:47:15

Re: Kachelrendering Dauer

#21 2014-03-06 20:52:17

Re: Kachelrendering Dauer

#22 2014-03-06 21:35:26

Re: Kachelrendering Dauer

#23 2014-03-07 01:37:34

Re: Kachelrendering Dauer

#24 2014-03-07 01:42:28

Re: Kachelrendering Dauer

#25 2014-03-07 02:39:45

Re: Kachelrendering Dauer

Board footer