OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2019-02-11 11:56:38

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 15,691
Website

[solved] Differential Update der DB knallt (zumindest bei mir)

Moin

hat jemand von euch, der seine DB mit den Diffs und osm2pgsql aktuell hält, das gleiche Problem?

Reading in file: /osm/db/planet3/diffs/2019/02/11/2019-02-11T10:33:01.osc
Using XML parser.
node cache: stored: 1591(100.00%), storage efficiency: 17.37% (dense blocks: 1, sparse nodes: 484), hit rate: 28.31%
Osm2pgsql failed due to ERROR: insert_rel failed: FEHLER:  Wert »42698« ist außerhalb des gültigen Bereichs für Typ smallint
(7)
Arguments were: 2632934, 4616, 42698, {6116226169,......

Grund ist die Anzahl von 42698 Members in dieser Route. Dort flippt osm2pgsql aus, da der Wert (in osm2pgsql?) maximal 36767 sein darf.

Hab schon auf TALK nachgefragt: https://lists.openstreetmap.org/piperma … 82064.html

Gruss
walter

ps: Die Relation taucht natürlich auch im letzten Hourly-Datensatz auf: https://planet.openstreetmap.org/replic … 235.osc.gz

Last edited by wambacher (2019-02-11 13:26:10)

Offline

#2 2019-02-11 12:04:09

Hartmut Holzgraefe
Member
Registered: 2015-04-13
Posts: 80

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Ich importiere minütliche diffs, und da scheint es bisher keine Probleme zu geben heute.

https://print.get-map.org/munin/localdo … m_lag.html

Welche konkrete osm2pgsql Version ist das?

Offline

#3 2019-02-11 12:06:25

Prince Kassad
Member
Registered: 2013-10-18
Posts: 2,130

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Die Relation selbst ist kaputt. Die Member sind da teilweise 10x oder häufiger drin.

Offline

#4 2019-02-11 12:19:57

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,432
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Hallo,

der Bug in Osm2pgsql ist im März 2017 schon einmal aufgetreten und behoben worden. Alle Versionen ab 0.90.2 und 0.92.1 haben das Problem nicht. Die Lösung ist, einfach nur 32767 Mitglieder der Relation in die Tabelle planet_osm_relations zu schreiben.

Viele Grüße

Michael


Ein aussagekräftiger Änderungssatzkommentar gehört zum guten Ton.
Moderator im Bereich users: Austria.

Offline

#5 2019-02-11 12:32:44

GerdP
Member
Registered: 2015-12-18
Posts: 632

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Gibt es denn auf der Server-Seite ein kein offizielles Limit für die Anzahl der Mitglieder? Wenn man nur 2000 Punkte in einem Weg haben darf, dann sollte doch auch bei den Relationen irgendein Limit existieren?

Offline

#6 2019-02-11 12:46:25

Prince Kassad
Member
Registered: 2013-10-18
Posts: 2,130

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Gibt es denn auf der Server-Seite ein kein offizielles Limit für die Anzahl der Mitglieder?

Nein und es hat wohl vor zwei Jahren schon mal geknallt, als die Brasilianer irgendeinen Import durchgeführt haben und eine Relation von denen 70000 Member enthielt.

Offline

#7 2019-02-11 13:03:55

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 15,691
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Hartmut Holzgraefe wrote:

Ich importiere minütliche diffs, und da scheint es bisher keine Probleme zu geben heute.

https://print.get-map.org/munin/localdo … m_lag.html

Welche konkrete osm2pgsql Version ist das?

leider eine "etwas" veraltete: osm2pgsql-0.93.0-dev

ok, wenn du eine bessere verwendest, werde ich wohl manuell eingreifen müssen. Halt den Modify aus dem OSC löschen.

hatte ich schon fast vermutet.

Danke und Gruss
walter

Offline

#8 2019-02-11 13:05:54

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 15,691
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Nakaner wrote:

Hallo,

der Bug in Osm2pgsql ist im März 2017 schon einmal aufgetreten und behoben worden. Alle Versionen ab 0.90.2 und 0.92.1 haben das Problem nicht. Die Lösung ist, einfach nur 32767 Mitglieder der Relation in die Tabelle planet_osm_relations zu schreiben.

"eigentlich" fahre ich 0.93, sollte also kein Problem haben. Aber sicher ist da die Ursache zu suchen.

danke für die Links
walter

Offline

#9 2019-02-11 13:06:58

mmd
Member
Registered: 2010-11-06
Posts: 1,652

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Ich hatte damals schon ein issue dazu aufgemacht: https://github.com/openstreetmap/openst … ssues/1711

Frage ist, ob wir das nochmal aufmachen sollen?

Offline

#10 2019-02-11 13:08:01

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 15,691
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Gibt es denn auf der Server-Seite ein kein offizielles Limit für die Anzahl der Mitglieder? Wenn man nur 2000 Punkte in einem Weg haben darf, dann sollte doch auch bei den Relationen irgendein Limit existieren?

Nö, die gibt es nicht.

Gruss
walter

Offline

#11 2019-02-11 13:23:34

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,130

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Leider  gibt es no limit. tongue


Internettechnik aus Nordkorea - Demnächst in der EU
23. März: Demo gegen Uploadfilter

Offline

#12 2019-02-11 13:25:47

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 15,691
Website

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

mmd wrote:

Ich hatte damals schon ein issue dazu aufgemacht: https://github.com/openstreetmap/openst … ssues/1711

Frage ist, ob wir das nochmal aufmachen sollen?

Nö, dürfte nicht nötig sein. Ist ja anscheinend behoben https://github.com/openstreetmap/osm2pgsql/pull/716 und da Hartmut keine Probleme damit hat, liegt es wohl an meiner alten Version.

Komisch ist nur, dass die 0.93 eigentlich auch gefixt sein sollte - aber das ist definitiv meine lokale Baustelle.

Und genau das wollte ich wissen.

Mein Diff-Update schnurrt inzwischen wieder (bis die nächste Hammer-Rel kommt wink)

Gruss
walter

PS: Um die Rel an sich (Schrott entfernen) kümmern sich schon die Kollegen auf TALK.

Last edited by wambacher (2019-02-11 13:26:57)

Offline

#13 2019-02-11 17:42:21

mmd
Member
Registered: 2010-11-06
Posts: 1,652

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

wambacher wrote:

mmd schrieb:

    Ich hatte damals schon ein issue dazu aufgemacht: https://github.com/openstreetmap/openst … ssues/1711

    Frage ist, ob wir das nochmal aufmachen sollen?

Nö, dürfte nicht nötig sein. Ist ja anscheinend behoben https://github.com/openstreetmap/osm2pgsql/pull/716 und da Hartmut keine Probleme damit hat, liegt es wohl an meiner alten Version.

Naja, generell betrifft das ja nicht nur osm2pgsql. Ich würde es deutlich besser finden, wenn die API wirklich extreme Sachen zurückweisen würde. Ich kann heute bestimmt eine Relation mit 1 Mio. Member anlegen, ohne dass das abgelehnt würde (wahrscheinlich läuft das aber ewig).

Offline

#14 2019-02-11 17:57:23

GerdP
Member
Registered: 2015-12-18
Posts: 632

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

Vermutlich würde das am erähnten "max number of objects per changeset" Limit scheitern, zumindest, wenn Du es in einem CS versuchst.
Aber ich würde mal als vernünftiges Limit bei der Mitgliederzahl einen Wert wie 32767 ansetzen. Wenn dann doch mal einer noch mehr Inseln in einem MP-See erfassen will, kann man es ja immer noch höher setzen.
Ein amoklaufendes Script oder JOSM Plugin o.ä. reicht ja schon, um solche Sachen zu produzieren, und anschließend hätten viele Leute viel Arbeit damit, Ihre Datenbanken aufzuräumen.

Offline

#15 2019-02-11 18:59:06

mmd
Member
Registered: 2010-11-06
Posts: 1,652

Re: [solved] Differential Update der DB knallt (zumindest bei mir)

GerdP wrote:

Vermutlich würde das am erähnten "max number of objects per changeset" Limit scheitern, zumindest, wenn Du es in einem CS versuchst.

Das ist kein wirkliches Limit in diesem Fall - https://upload.apis.dev.openstreetmap.o … geset/1022 hat 1 Relation und beinhaltet 60148 existierende Objekte. Für das Limit relevant ist hier die Zahl "1 Relation".

https://upload.apis.dev.openstreetmap.o … 2/download

Last edited by mmd (2019-02-11 19:05:28)

Offline

Board footer

Powered by FluxBB