OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2019-02-11 11:56:38

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,251
Website

[solved] Differential Update der DB knallt (zumindest bei mir)

Moin

hat jemand von euch, der seine DB mit den Diffs und osm2pgsql aktuell hält, das gleiche Problem?

Reading in file: /osm/db/planet3/diffs/2019/02/11/2019-02-11T10:33:01.osc
Using XML parser.
node cache: stored: 1591(100.00%), storage efficiency: 17.37% (dense blocks: 1, sparse nodes: 484), hit rate: 28.31%
Osm2pgsql failed due to ERROR: insert_rel failed: FEHLER:  Wert »42698« ist außerhalb des gültigen Bereichs für Typ smallint
(7)
Arguments were: 2632934, 4616, 42698, {6116226169,......

Grund ist die Anzahl von 42698 Members in dieser Route. Dort flippt osm2pgsql aus, da der Wert (in osm2pgsql?) maximal 36767 sein darf.

Hab schon auf TALK nachgefragt: https://lists.openstreetmap.org/piperma … 82064.html

Gruss
walter

ps: Die Relation taucht natürlich auch im letzten Hourly-Datensatz auf: https://planet.openstreetmap.org/replic … 235.osc.gz

Last edited by wambacher (2019-02-11 13:26:10)

Offline

#2 2019-02-11 12:04:09

Hartmut Holzgraefe
Member
Registered: 2015-04-13
Posts: 104

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Ich importiere minütliche diffs, und da scheint es bisher keine Probleme zu geben heute.

https://print.get-map.org/munin/localdo … m_lag.html

Welche konkrete osm2pgsql Version ist das?

Offline

#3 2019-02-11 12:06:25

Prince Kassad
Member
Registered: 2013-10-18
Posts: 2,391

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Die Relation selbst ist kaputt. Die Member sind da teilweise 10x oder häufiger drin.

Offline

#4 2019-02-11 12:19:57

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,594
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Hallo,

der Bug in Osm2pgsql ist im März 2017 schon einmal aufgetreten und behoben worden. Alle Versionen ab 0.90.2 und 0.92.1 haben das Problem nicht. Die Lösung ist, einfach nur 32767 Mitglieder der Relation in die Tabelle planet_osm_relations zu schreiben.

Viele Grüße

Michael


Ein aussagekräftiger Änderungssatzkommentar gehört zum guten Ton.
Moderator im Bereich users: Austria.

Offline

#5 2019-02-11 12:32:44

GerdP
Member
Registered: 2015-12-18
Posts: 829

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Gibt es denn auf der Server-Seite ein kein offizielles Limit für die Anzahl der Mitglieder? Wenn man nur 2000 Punkte in einem Weg haben darf, dann sollte doch auch bei den Relationen irgendein Limit existieren?

Offline

#6 2019-02-11 12:46:25

Prince Kassad
Member
Registered: 2013-10-18
Posts: 2,391

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Gibt es denn auf der Server-Seite ein kein offizielles Limit für die Anzahl der Mitglieder?

Nein und es hat wohl vor zwei Jahren schon mal geknallt, als die Brasilianer irgendeinen Import durchgeführt haben und eine Relation von denen 70000 Member enthielt.

Offline

#7 2019-02-11 13:03:55

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,251
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Hartmut Holzgraefe wrote:

Ich importiere minütliche diffs, und da scheint es bisher keine Probleme zu geben heute.

https://print.get-map.org/munin/localdo … m_lag.html

Welche konkrete osm2pgsql Version ist das?

leider eine "etwas" veraltete: osm2pgsql-0.93.0-dev

ok, wenn du eine bessere verwendest, werde ich wohl manuell eingreifen müssen. Halt den Modify aus dem OSC löschen.

hatte ich schon fast vermutet.

Danke und Gruss
walter

Offline

#8 2019-02-11 13:05:54

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,251
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Nakaner wrote:

Hallo,

der Bug in Osm2pgsql ist im März 2017 schon einmal aufgetreten und behoben worden. Alle Versionen ab 0.90.2 und 0.92.1 haben das Problem nicht. Die Lösung ist, einfach nur 32767 Mitglieder der Relation in die Tabelle planet_osm_relations zu schreiben.

"eigentlich" fahre ich 0.93, sollte also kein Problem haben. Aber sicher ist da die Ursache zu suchen.

danke für die Links
walter

Offline

#9 2019-02-11 13:06:58

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Ich hatte damals schon ein issue dazu aufgemacht: https://github.com/openstreetmap/openst … ssues/1711

Frage ist, ob wir das nochmal aufmachen sollen?

Offline

#10 2019-02-11 13:08:01

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,251
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Gibt es denn auf der Server-Seite ein kein offizielles Limit für die Anzahl der Mitglieder? Wenn man nur 2000 Punkte in einem Weg haben darf, dann sollte doch auch bei den Relationen irgendein Limit existieren?

Nö, die gibt es nicht.

Gruss
walter

Offline

#11 2019-02-11 13:23:34

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,483

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Leider  gibt es no limit. tongue


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#12 2019-02-11 13:25:47

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,251
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

mmd wrote:

Ich hatte damals schon ein issue dazu aufgemacht: https://github.com/openstreetmap/openst … ssues/1711

Frage ist, ob wir das nochmal aufmachen sollen?

Nö, dürfte nicht nötig sein. Ist ja anscheinend behoben https://github.com/openstreetmap/osm2pgsql/pull/716 und da Hartmut keine Probleme damit hat, liegt es wohl an meiner alten Version.

Komisch ist nur, dass die 0.93 eigentlich auch gefixt sein sollte - aber das ist definitiv meine lokale Baustelle.

Und genau das wollte ich wissen.

Mein Diff-Update schnurrt inzwischen wieder (bis die nächste Hammer-Rel kommt wink)

Gruss
walter

PS: Um die Rel an sich (Schrott entfernen) kümmern sich schon die Kollegen auf TALK.

Last edited by wambacher (2019-02-11 13:26:57)

Offline

#13 2019-02-11 17:42:21

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

wambacher wrote:

mmd schrieb:

    Ich hatte damals schon ein issue dazu aufgemacht: https://github.com/openstreetmap/openst … ssues/1711

    Frage ist, ob wir das nochmal aufmachen sollen?

Nö, dürfte nicht nötig sein. Ist ja anscheinend behoben https://github.com/openstreetmap/osm2pgsql/pull/716 und da Hartmut keine Probleme damit hat, liegt es wohl an meiner alten Version.

Naja, generell betrifft das ja nicht nur osm2pgsql. Ich würde es deutlich besser finden, wenn die API wirklich extreme Sachen zurückweisen würde. Ich kann heute bestimmt eine Relation mit 1 Mio. Member anlegen, ohne dass das abgelehnt würde (wahrscheinlich läuft das aber ewig).

Offline

#14 2019-02-11 17:57:23

GerdP
Member
Registered: 2015-12-18
Posts: 829

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Vermutlich würde das am erähnten "max number of objects per changeset" Limit scheitern, zumindest, wenn Du es in einem CS versuchst.
Aber ich würde mal als vernünftiges Limit bei der Mitgliederzahl einen Wert wie 32767 ansetzen. Wenn dann doch mal einer noch mehr Inseln in einem MP-See erfassen will, kann man es ja immer noch höher setzen.
Ein amoklaufendes Script oder JOSM Plugin o.ä. reicht ja schon, um solche Sachen zu produzieren, und anschließend hätten viele Leute viel Arbeit damit, Ihre Datenbanken aufzuräumen.

Offline

#15 2019-02-11 18:59:06

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Vermutlich würde das am erähnten "max number of objects per changeset" Limit scheitern, zumindest, wenn Du es in einem CS versuchst.

Das ist kein wirkliches Limit in diesem Fall - https://upload.apis.dev.openstreetmap.o … geset/1022 hat 1 Relation und beinhaltet 60148 existierende Objekte. Für das Limit relevant ist hier die Zahl "1 Relation".

https://upload.apis.dev.openstreetmap.o … 2/download

Last edited by mmd (2019-02-11 19:05:28)

Offline

#16 2019-02-23 09:08:49

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Wie ich gerade auf OSM Talk geschrieben habe, wird der neue cgimap-basierte Changeset-Upload ein Limit von 32'000 Relationsmitgliedern haben. Die handvoll Relationen, die dieses Limit überschreiten, müssten dann vor dem Upload entsprechend verkleinert werden (sofern euer Editor nicht vorher schon abgeraucht ist).

Offline

#17 2019-02-23 09:22:32

GerdP
Member
Registered: 2015-12-18
Posts: 829

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Ah, interessant. Gibt es da schon einen geplannte Release-Termin? Frage mich gerade, ob man in die Editoren schon jetzt eine entsprechende Prüfung einbauen sollte?

Offline

#18 2019-02-23 09:38:58

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,251
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Ah, interessant. Gibt es da schon einen geplanten Release-Termin? Frage mich gerade, ob man in die Editoren schon jetzt eine entsprechende Prüfung einbauen sollte?

Mal sehen: https://github.com/zerebubuth/openstree … p/pull/174

Gruss
walter

Stutz: "Most likely this pull request will be one of the last changes before releasing 0.7.0"

Last edited by wambacher (2019-02-23 09:43:39)

Offline

#19 2019-02-23 09:41:45

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Frage mich gerade, ob man in die Editoren schon jetzt eine entsprechende Prüfung einbauen sollte?

Das ist ein guter Punkt, das Annoncieren von bestimmten Limits gehört eigentlich nach /api/capabilities, was wiederum im Rails port liegt. Ich hab das mal hier https://github.com/openstreetmap/openst … -466629773 ergänzt.

Ich denke mal, das betrifft eher nur JOSM, denn iD ist mit solchen Relationen heute schon hoffnungslos überfordert.

GerdP wrote:

Gibt es da schon einen geplannte Release-Termin?

Konkrete Termine gibt es nicht. Ich werde demnächst ein Operations-Issue aufmachen und dann mal schauen wie es weiter geht.

Last edited by mmd (2019-02-23 09:44:48)

Offline

#20 2019-02-23 09:46:15

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

wambacher wrote:

Stutz: "Most likely this pull request will be one of the last changes before releasing 0.7.0"

Das ist nur eine cgimap interne Versionsnummer. Wegen Semantic Versioning springt die jetzt von 0.6.2 zu 0.7.0.

In den XMLs steht aber überall API Version 0.6 drin, und die neue Version macht auch nur Dinge, die unter https://wiki.openstreetmap.org/wiki/API_v0.6 beschrieben sind.

Last edited by mmd (2019-02-23 09:50:02)

Offline

Board footer

Powered by FluxBB