OpenTopoMap

Jo, das Problem haben wir auch. Auf jedem Rechner sind die blöden Plätze gedreht. Wir vermuten auch ein Problem der PosGIS-Version und lassen uns jedes Mal überraschen, wie es heute ist. Die Zeile 79 wird dann passend gemacht: “angle:=90+(a12+a23+90)/2;” oder “angle:=(a12+a23+90)/2;”

Mal suchen, wir hatten schon mal Probleme mit besonders kreativ gestalteten Plätzen. Vielleicht gibts noch Geometrien, für die wir noch kein Gegengift haben :wink:

Grüße
Max

Ich hab das Problem leider auch bei einfachen Plätzen wie diesem, und der nächste

leisure=track

ist da über einen Kilometer entfernt.

Ich fürchte gerade so etwas wie dass da die PostgreSQL Evaluations-Reihenfolge durcheinandergekommen ist und

ST_CONTAINTS(ST_MakePolygon(…))

vor ST_ISCLOSED(…) und leisure=‘track’ ausgewertet wird.

https://opentopomap.org/#map=16/52.13705/8.50973

Und um es wirklich abstrus zu machen: in dem letzten Beispiel funktioniert die SELECT-Abfrage aus der Fehlermeldung wunderbar wenn ich sie von Hand ausführe:

gis=# SELECT ST_AsBinary("way") AS geom,"angle","icon","labelsizefactor","pitch_area" FROM (SELECT way,(pitchdata).icon AS icon,(pitchdata).angle AS angle,(pitchdata).pitch_area AS pitch_area,(pitchdata).labelsizefactor AS labelsizefactor FROM (select way,getpitchicon(way,sport) as pitchdata FROM planet_osm_polygon WHERE leisure='pitch' AND (building IS NULL OR building = 'no')) AS pitches) AS symbols WHERE "way" && ST_SetSRID('BOX3D(946391.7746615087 6824165.102514506,948298.2253384913 6825647.897485494)'::box3d, 3857);

geom|angle|icon|labelsizefactor|pitch_area
\x010300000001000000060000004624d924afe72c414f0677bff8085a41ae35e001d1e72c41000baaafe5085a412f10c3fef9e72c41ee31fb9ece085a41a9148696e3e82c41fa0cd51ad5085a418512e9b698e82c41e9e5823cff085a414624d924afe72c414f0677bff8085a41|257.479093497687|soccer|1.62922547423053|7762.78037903196
(1 row)

Könnte passen. Ich hab nicht dran gedacht, dass Postgresql “A AND B” auch als “B AND A” auswerten könnte, wenns grad Lust dazu hat. Mal sehn, wie man das erzwingt oder anderweitig rausbekommt, ob ein Fussballplatz eine (vielleicht geschlossene) Rennbahn aussen rum hat.

Ich vermute mal lazy evaluation ist da nicht unser Freund:

“The order of evaluation of subexpressions is not defined. In particular, the inputs of an operator or function are not necessarily evaluated left-to-right or in any other fixed order.”

“Note that this is not the same as the left-to-right “short-circuiting” of Boolean operators that is found in some programming languages.”

https://www.postgresql.org/docs/9.6/static/sql-expressions.html#SYNTAX-EXPRESS-EVAL

Klärt immer noch nicht warum das mal funktioniert (bei euch, bei mir von Hand) und mal nicht (bei mir aus Mapnik heraus), aber ist immerhin schon mal eine Idee …

Kennt sich jemand mit Postgresql aus?

Könnte man diese hier:

 SELECT osm_id FROM planet_osm_line
              WHERE planet_osm_line.way && ST_EXPAND(myway,trackdist/labelsizefactor) 
              AND   leisure='track' 
              AND   ST_ISCLOSED(planet_osm_line.way)
              AND   ST_CONTAINS(ST_MakePolygon(planet_osm_line.way),myway)
              LIMIT 1

durch das hier ersetzen:

 SELECT osm_id FROM planet_osm_line
              WHERE planet_osm_line.way && ST_EXPAND(myway,trackdist/labelsizefactor)
              AND   leisure='track'
              AND CASE WHEN  ST_ISCLOSED(planet_osm_line.way)
                     THEN ST_CONTAINS(ST_MakePolygon(planet_osm_line.way),myway) 
                     ELSE FALSE 
                    END
              LIMIT 1;

Im Test läufts, aber das sagt nach Hartmuts Ergebnissen ja nichts…

Kann nur raten… Dieser Optimisierer entscheidet ja auch nach Kriterien, die er auch aus seiner Erfahrung der letzten Anfragen bezieht (“nach leisure brauche ich nicht als erstes fragen, da bekomme ich immer die halbe Datenbank zurück. Nehme ich lieber dieses ST_CONTAINS() zuerst, nutze meinen Index über die Koordinaten und sortiere dann aus den wenigen Ergebnissen die leisure=track aus”). Da könnte echt viel Zufall im Spiel sein.

Nicht wirklich, aber ich würds mal versuchen. Allerdings könnte ich mir vorstellen, dass das case den Ausführungsplan nochmal durchnanderbringt und evtl. die Performance einbricht, aber das kann man (also ich :wink: ) nur im Test sehen.

In einem anderen(oder hier?) Thread wurde ja auch mal über ein neues “OpenTopoMap selbst rendern”-Tutorial berichtet - gibts da nen aktuelles Skript/HowTo zu?

Sieht gut aus:

https://maposmatic.osm-baustelle.de/results//018231_2018-04-18_18-56_test-opentopo-merge.8bit.png

Nehme alles zurück, man sollte die Funktion natürlich nach einem git pull auch neu einspielen …

Jetzt habe ich ein Performance-Problem mit Query-Laufzeigen von mehreren Minuten.
Ich vermute mal ihr habt da einen Index auf der leisure-Spalte?

Das ist bei hstore-only ein klein wenig schwieriger, aber machbar …

:frowning:

Tut mal wieder direkt aus psql, aber Mapnik rennt nun in:


RuntimeError: Postgis Plugin: ERROR:  Shell is not a line
CONTEXT:  SQL statement "SELECT osm_id FROM planet_osm_polygon
              WHERE planet_osm_polygon.way && ST_EXPAND(myway,trackdist/labelsizefactor) 
              AND   leisure='track' 
              AND CASE WHEN  ST_ISCLOSED(planet_osm_polygon.way)
                     THEN ST_CONTAINS(ST_MakePolygon(planet_osm_polygon.way),myway) 
                     ELSE FALSE 
                  END
              LIMIT 1

Nö, OTM ist eine praktisch indexlose Datenbank: gist(way) und btree(osm_id) sind die einzigen für planet_osm_polygon -line und -point. An der Performance hab ich bei mir nichts gemerkt, offensichtlich sind unsere Datenbanken unterschiedlicher Ansicht, wie rum man das optimieren sollte.

Hat wima75 freundlicherweise verfasst.

Ich hätts auch nur bei der Abfrage nach planet_osm_line ersetzt (der PR dazu). In planet_osm_polygon liegen ja nur Polygone. Wobei… naja… man weiss ja nie, welch wunderlichen Gebilde einen erwarten… :wink:

So, jetzt sieht es gut aus und ist auch wieder flott:

https://maposmatic.osm-baustelle.de/results//018245_2018-04-18_20-14_test-opentopo-merge-8.8bit.png

https://maposmatic.osm-baustelle.de/results//018246_2018-04-18_20-16_test-opentopo-merge-9.8bit.png

Kurz zur Unterhaltung der Mitleser. Hier gehts drum, dass die OTM Sportfelder in Zoom 13 und 14 unterschiedlich rendert. Das hängt davon ab, ob sie nur ein Fussballplatz sind oder eine Rennbahn aussen rum haben. Diese Rennbahn kann eine geschlossene Linie sein, oder eine Fläche. Die Funktion, die hier abschmiert ist das Teil, das eben prüft, ob so ein Ding (a) in der Nähe ist und (b) ein leisure=track ist und (c) ein geschlossener Ring ist und (d) den Sportplatz umschliesst (weil “in der Nähe” kann ja auch eine Bahn daneben sein)

Beim Programmieren ging ich davon aus, dass (a)…(d) in dieser Reihenfolge abgearbeitet wird. “Umschliesst?” ist also die letzte Frage, die beantwortet wird. Ist ein blöder Fehler, weil man weiss ja, dass Postgresql das noch optimiert und wenn es das für gut hält auch gerne die Frage (d) zuerst abarbeitet. Allerdings funktioniert “umschliesst das Ding den Platz?” nicht, wenn die Frage (c) “ist das überhaupt ein geschlossener Ring?” nicht zuvor mit “Ja” beantwortet wurde.

Der Full-Planet-Import hat 48 Stunden gedauert und belegt schlußendlich 231 GB. Die drop-Option wird erst am Ende des Imports wirksam, sodass zwischenzeitlich die DB-Größe auf circa 630 GB angestiegen ist. Die temporäre DB-Größe fällt etwas ‘happig’ aus, da ich die (empfohlene) flat-nodes-Option nicht verwendet habe.

nohup ./osm2pgsql --username postgres --multi-geometry --hstore --slim --drop --create --cache 48000 --number-processes 8 --database osmtest --style openstreetmap-carto.style --tag-transform-script openstreetmap-carto.lua planet-latest.osm.pbf 1>load_osmtest.out 2>&1 &

Jetzt fehlen mir für Printmaps nur noch weltweite Höhendaten. Aber diesbezüglich sieht es nicht so schlecht aus.

Wahrscheinlich offtopic, aber wenn ihrs schon von Sportplätzen habt: Ich finde Sportplätze wie diesen https://opentopomap.org/#marker=17/48.17417/11.60795 immer ein wenig suspekt (Höhenliniendarstellung) da ich eigentlich erwarte, dass sie relativ eben sind :).

Das ist sicher auch der Grund dafür dass er aufgegeben wird. Is halt immer das gleiche Problem: Keine guten Höhendaten. Nebenan gibts nen Fluss, der die 500m-Linie 5x schneidet…

Es liegt aber auch an der Zeichenreihenfolge… so müssten Gewässerflächen (Standgewässer und Fließgewässer) sowie Sportplätze und Gebäude über den Höhenlinien gerendert werden. Straßen werden ja über den Höhenlinien gerendert…

Ob das aber hier so ohne weiteres geht, vermag ich nicht zu sagen.

Sven

Ja genau, die Zeichenreihenfolge kann leider nicht so einfach geändert werden. Wir müssen leider erst einmal damit leben. Dass z.B. bei Donauwörth (https://opentopomap.org/#marker=12/48.6901/10.7608) so hässliche Artefakte sind, liegt nicht grundlegend an einem schlechten Höhenmodell. Dort befindet sich eine Ebene, die vielleicht um wenige Meter rauscht - das muss nicht unbedingt ein Fehler im Höhenmodell sein, sondern tatsächlich die Landschaft. Unglücklicher Zufall ist, dass die mittlere Höhe dort 300,0 Meter beträgt, deshalb erscheinen die Artefakte.
Man müsste™ also die Höhenlinien intelligenter erstellen als nur für jede Isohypse nachzuzeichnen. :expressionless:

Würde es nicht reichen, wenn man feststellt, dass die eingeschlossene Fläche klein ist und keine weitere Höhenlinie “drin” ist?
Linien, die diese Kriterien erfüllen, könnte man dann unterdrücken.

Gerd