OpenTopoMap

Stimmt, danke für den Hinweis. Der Datenstand ist nun der 29.03.2018. Da die vollständige Datenbank nicht mehr auf unsere SSD passt, liegen die slim-Indices nun auf den HDDs. Das ist nicht weiter schlimm, da wir diese ja sowieso nicht mehr benötigen (keine laufenden Updates mehr geplant).

Offtopic: Laufende Updates sind aus Datenbank-Betreibersicht extrem aufwändig (für Privatprojekte nahezu nicht umsetzbar). Für das Printmaps-Projekt habe ich mich auch davon verabschiedet. Das hat die DB (Europaextrakt) von 428 GB auf 130 GB geschrumpft. Auch die Importzeit hat sich mit nur noch 20 Stunden nahezu halbiert. Könntest du etwas zur resultierenden DB-Größe nach einem Planet-Import sagen? Hintergrund der Frage: Möglicherweise könnte Printmaps demnächst auch eine Planet-Datenbank bereitstellen.

Wie hattest du denn bisher deine Update gemacht? http://download.geofabrik.de/europe-updates/ oder http://planet.openstreetmap.org/replication/minute/ oder nochmal anders?

Vermutlich können die OTM-Kollegen die Ausgangsfrage zur DB-Größe gar nicht beantworten, denn die Slim-Indizes existieren ja noch. Heißt für mich, dass die drop-Option (noch?) beim DB-Import gar nicht verwendet wird. Der Verzicht auf die regelmäßigen Updates dürfte auch eher fachliche als technische Gründe haben.

@mmd: Ich hatte die täglichen Updates der geofabrik verwendet. Die Laufzeit auf einem HDD-basierten Server betrug so um die 10 Stunden. Für eine weitere Diskussion schlage ich einen eigenen Thread vor.

Das hat “damals” - als ich die Diffs der alten Printmaps noch “betreut” hatte, daran gelegen, dass die regulären Diffs für der ganzen Planeten verwendet wurden. Die nehmen alles rein, auch was ausserhalb des “Wunschgebietes” liegt - also auch die neueste Hütte in Papua Neuguinea.

Inzwischen gibt es allerdings bei der GeoFabrik geclippte Diffs, die z.B. für Europa nur die notwendigen Daten enthalten. Dadurch hält sich die DB in der übliche Größe, da ja im Prinzip die selben Daten drinstehen, die ein Import erzeugen würde. Nur halt sehr zeitnah :wink:

Gruss
walter

btw: nun weiss ich zumindest endlich, wieso du auf meine Vorschläge bzglich Diffs für die neue Printmaps nicht oder nur knapp ablehnend geantwortet hast.

Mit folgendem Befehl wurde die Datenbank importiert, nachdem der Tablespace “hdd” zuvor auf eine HDD gelegt wurde:

osm2pgsql --slim -d gis -C 12000 --tablespace-slim-data hdd --tablespace-slim-index hdd --number-processes 10 --flat-nodes /mnt/database/flat-nodes/gis-flat-nodes.bin --style ~/OpenTopoMap/mapnik/osm2pgsql/opentopomap.style ~/data/planet-latest.osm.pbf

Dadurch liegen nur noch ca. 280 GB auf der SDD, die Slim-Indices auf der HDD benötigen dafür 340 GB! Mit dem Parameter “drop” (und Slim-Index-Tablespace unverändert auf SDD) bricht der Import ab. Das lässt darauf schließen, dass die Indices erst vollständig angelegt werden müssen, um dann wieder gelöscht zu werden. Weil HDD-Platz nicht Mangelware ist, haben wir bisher auf “drop” verzichtet.

Natürlich würden wir gerne laufende Updates einspielen! Wir können es aber nicht mehr. Für mich ist das halb so schlimm - allerdings bekomme ich ständig E-Mail-Nachfragen, wann denn endlich wieder aktualisiert wird… :confused:

Das Problem hab ich noch nicht richtig verstanden. Warum könnt ihr das nicht?

Und warum überhaupt die Slims erzeugen, wenn ihr die eh nicht verwenden wollt?

Macht entweder einen Import ohne Slim - dann müsst ihr den nur immer wieder machen. Der dauert beim Full-Planet allerdings Tage und zu der Zeit ist die DB offline.

Oder ihr macht einen Differential Update, dafür braucht ihr aber den Platz für die Slim-Files. Meiner Erfahrung nach könnt ihr den allerdings vergessen wenn die Slim-Files auf HDD liegen.

ym2c
walter

Bei mir belegt die DB (keine Slim-Indizes) für den Europaextrakt (Ausgangsdaten 20.4 GB) circa 130 GB. Die Einlesedauer beträgt 20 Stunden. Eingelesen wird mit diesem Kommando:

nohup ./osm2pgsql --username postgres --multi-geometry --hstore --slim --drop --create --cache 32000 --number-processes 8 --database osmtest --style openstreetmap-carto.style --tag-transform-script openstreetmap-carto.lua europe-latest.osm.pbf 1>load_osmtest.out 2>&1 &

Es wird auf der HDD eine temporäre DB erzeugt. Erst wenn der Import erfolgreich abgeschlossen ist, erfolgt ein Rename auf die produktive DB:

psql --username=postgres --command='ALTER DATABASE osmcarto4 RENAME TO osmcarto4old;'
psql --username=postgres --command='ALTER DATABASE osmtest RENAME TO osmcarto4;'

Eure DB ohne Slim-Indizes hat eine Größe von 280 GB. Bei einer Ausgangsdatenmenge von circa 40 GB für den Full-Planet korreliert das eigentlich ganz gut.

Ich werde den Full-Planet-Import mal ausprobieren (geschätzte Einlesedauer: 48 Stunden). Ich berichte dann.

PS: Bezüglich des Absturzes bei eurem Import mit der drop-Option, könntet ihr ein GitHub-Ticket eröffnen. Und hier hat der Entwickler (Paul Norman) auch etwas zum Planet-Import veröffentlicht: http://paulnorman.ca/blog/2018/01/loading-the-data/

Um Euch den Stress mit den ständigen Nachfragen zu ersparen:

Wäre es evtl. möglich, zu mehr oder minder regelmäßigen Updates überzugehen, z.B. „gegen Ende jedes Quartals“ oder so? Auf ein paar Tage hin und her käme es ja nicht an. Dann könntet Ihr das auf der Website so schreiben und auf etwaige drängelnde Nachfragen einfach mit einem Formbrief antworten. :wink: Der Vorteil wäre auch, dass wir als Mapper und/oder Nutzer Eurer Karte uns das leicht merken könnten und schon wüssten, wann es sich wieder lohnt, die eigenen Änderungen mit OTM zu kontrollieren …

Ich habe zwei Probleme mit dem neuen Sportplatz-Rendering:

  • auf meinem öffentlichen Server sind alle Sportplätze im 90° gedreht:

Siehe zB.

Sven Geggus erwähnte auf der FOSSGIS in Bonn ein ähnliches Problem, und dass es an einer PostGIS-Änderung liegen könnte.

Versionen auf dieser Maschine sind:

gis=# select version();
                                                 version                                                  
----------------------------------------------------------------------------------------------------------
 PostgreSQL 9.6.6 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 6.3.0-12ubuntu2) 6.3.0 20170406, 64-bit
(1 row)

gis=# SELECT PostGIS_full_version();
                                                                         postgis_full_version                                                                         
----------------------------------------------------------------------------------------------------------------------------------------------------------------------
 POSTGIS="2.3.1 r15264" GEOS="3.5.1-CAPI-1.9.1 r4246" PROJ="Rel. 4.9.3, 15 August 2016" GDAL="GDAL 2.1.2, released 2016/10/24" LIBXML="2.9.4" LIBJSON="0.12.1" RASTER
(1 row)


  • auf meiner Testinstanz bekomme ich statt dessen einen Datenbank-Fehler:
RuntimeError: Postgis Plugin: ERROR:  lwpoly_from_lwlines: shell must be closed
CONTEXT:  SQL statement "SELECT osm_id FROM planet_osm_line
              WHERE planet_osm_line.way && ST_EXPAND(myway,trackdist/labelsizefactor) 
              AND   leisure='track' 
              AND   ST_ISCLOSED(planet_osm_line.way)
              AND   ST_CONTAINS(ST_MakePolygon(planet_osm_line.way),myway)
              LIMIT 1"
PL/pgSQL function getpitchicon(geometry,text) line 114 at assignment
in executeQuery Full sql was: 'SELECT ST_AsBinary("way") AS geom,"angle","icon","labelsizefactor","pitch_area" FROM (SELECT way,(pitchdata).icon AS icon,(pitchdata).angle AS angle,(pitchdata).pitch_area AS pitch_area,(pitchdata).labelsizefactor AS labelsizefactor FROM (select way,getpitchicon(way,sport) as pitchdata FROM planet_osm_polygon WHERE leisure='pitch' AND (building IS NULL OR building = 'no')) AS pitches) AS symbols WHERE "way" && ST_SetSRID('BOX3D(947175.1092843327 6805427.473887814,948748.8907156673 6806651.526112186)'::box3d, 3857)'


DB-Versionen hier:

gis=# select version();
                                                    version                                                    
---------------------------------------------------------------------------------------------------------------
 PostgreSQL 10.3 (Ubuntu 10.3-1) on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 7.3.0-5ubuntu1) 7.3.0, 64-bit
(1 row)

gis=# select postgis_full_version();
                                                                                           postgis_full_version                                                                                           
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 POSTGIS="2.4.3 r16312" PGSQL="100" GEOS="3.6.2-CAPI-1.10.2 4d2925d6" PROJ="Rel. 4.9.3, 15 August 2016" GDAL="GDAL 2.2.3, released 2017/11/20" LIBXML="2.9.4" LIBJSON="0.12.1" LIBPROTOBUF="1.2.1" RASTER
(1 row)

Hatte auf dem öffentlichen Server pitchicon.sql wohl noch nicht neu eingespielt … jetzt bekomme ich auch dort den “shell must be closed” Fehler …

Weiteres Detail: ich benutze nicht einen osm2pgsql Import mit opentopomap.style, sondern Svens hstore-only Variante des OsmCarto v4.x Schemas mit eintsprecheden Views die das v4 Schema emulieren.

Jo, das Problem haben wir auch. Auf jedem Rechner sind die blöden Plätze gedreht. Wir vermuten auch ein Problem der PosGIS-Version und lassen uns jedes Mal überraschen, wie es heute ist. Die Zeile 79 wird dann passend gemacht: “angle:=90+(a12+a23+90)/2;” oder “angle:=(a12+a23+90)/2;”

Mal suchen, wir hatten schon mal Probleme mit besonders kreativ gestalteten Plätzen. Vielleicht gibts noch Geometrien, für die wir noch kein Gegengift haben :wink:

Grüße
Max

Ich hab das Problem leider auch bei einfachen Plätzen wie diesem, und der nächste

leisure=track

ist da über einen Kilometer entfernt.

Ich fürchte gerade so etwas wie dass da die PostgreSQL Evaluations-Reihenfolge durcheinandergekommen ist und

ST_CONTAINTS(ST_MakePolygon(…))

vor ST_ISCLOSED(…) und leisure=‘track’ ausgewertet wird.

https://opentopomap.org/#map=16/52.13705/8.50973

Und um es wirklich abstrus zu machen: in dem letzten Beispiel funktioniert die SELECT-Abfrage aus der Fehlermeldung wunderbar wenn ich sie von Hand ausführe:

gis=# SELECT ST_AsBinary("way") AS geom,"angle","icon","labelsizefactor","pitch_area" FROM (SELECT way,(pitchdata).icon AS icon,(pitchdata).angle AS angle,(pitchdata).pitch_area AS pitch_area,(pitchdata).labelsizefactor AS labelsizefactor FROM (select way,getpitchicon(way,sport) as pitchdata FROM planet_osm_polygon WHERE leisure='pitch' AND (building IS NULL OR building = 'no')) AS pitches) AS symbols WHERE "way" && ST_SetSRID('BOX3D(946391.7746615087 6824165.102514506,948298.2253384913 6825647.897485494)'::box3d, 3857);

geom|angle|icon|labelsizefactor|pitch_area
\x010300000001000000060000004624d924afe72c414f0677bff8085a41ae35e001d1e72c41000baaafe5085a412f10c3fef9e72c41ee31fb9ece085a41a9148696e3e82c41fa0cd51ad5085a418512e9b698e82c41e9e5823cff085a414624d924afe72c414f0677bff8085a41|257.479093497687|soccer|1.62922547423053|7762.78037903196
(1 row)

Könnte passen. Ich hab nicht dran gedacht, dass Postgresql “A AND B” auch als “B AND A” auswerten könnte, wenns grad Lust dazu hat. Mal sehn, wie man das erzwingt oder anderweitig rausbekommt, ob ein Fussballplatz eine (vielleicht geschlossene) Rennbahn aussen rum hat.

Ich vermute mal lazy evaluation ist da nicht unser Freund:

“The order of evaluation of subexpressions is not defined. In particular, the inputs of an operator or function are not necessarily evaluated left-to-right or in any other fixed order.”

“Note that this is not the same as the left-to-right “short-circuiting” of Boolean operators that is found in some programming languages.”

https://www.postgresql.org/docs/9.6/static/sql-expressions.html#SYNTAX-EXPRESS-EVAL

Klärt immer noch nicht warum das mal funktioniert (bei euch, bei mir von Hand) und mal nicht (bei mir aus Mapnik heraus), aber ist immerhin schon mal eine Idee …

Kennt sich jemand mit Postgresql aus?

Könnte man diese hier:

 SELECT osm_id FROM planet_osm_line
              WHERE planet_osm_line.way && ST_EXPAND(myway,trackdist/labelsizefactor) 
              AND   leisure='track' 
              AND   ST_ISCLOSED(planet_osm_line.way)
              AND   ST_CONTAINS(ST_MakePolygon(planet_osm_line.way),myway)
              LIMIT 1

durch das hier ersetzen:

 SELECT osm_id FROM planet_osm_line
              WHERE planet_osm_line.way && ST_EXPAND(myway,trackdist/labelsizefactor)
              AND   leisure='track'
              AND CASE WHEN  ST_ISCLOSED(planet_osm_line.way)
                     THEN ST_CONTAINS(ST_MakePolygon(planet_osm_line.way),myway) 
                     ELSE FALSE 
                    END
              LIMIT 1;

Im Test läufts, aber das sagt nach Hartmuts Ergebnissen ja nichts…

Kann nur raten… Dieser Optimisierer entscheidet ja auch nach Kriterien, die er auch aus seiner Erfahrung der letzten Anfragen bezieht (“nach leisure brauche ich nicht als erstes fragen, da bekomme ich immer die halbe Datenbank zurück. Nehme ich lieber dieses ST_CONTAINS() zuerst, nutze meinen Index über die Koordinaten und sortiere dann aus den wenigen Ergebnissen die leisure=track aus”). Da könnte echt viel Zufall im Spiel sein.

Nicht wirklich, aber ich würds mal versuchen. Allerdings könnte ich mir vorstellen, dass das case den Ausführungsplan nochmal durchnanderbringt und evtl. die Performance einbricht, aber das kann man (also ich :wink: ) nur im Test sehen.

In einem anderen(oder hier?) Thread wurde ja auch mal über ein neues “OpenTopoMap selbst rendern”-Tutorial berichtet - gibts da nen aktuelles Skript/HowTo zu?

Sieht gut aus:

https://maposmatic.osm-baustelle.de/results//018231_2018-04-18_18-56_test-opentopo-merge.8bit.png