Redudante Daten durch Upload in JOSM

DrSeuthberg · 2012-05-30 07:45:21

Hallo,

ich hatte es bereits schon selbst festgestellt und behoben, nun werde ich auch drauf angesprochen. Scheinbar erstelle ich ab und an redundante Daten in der OSM-DB. Ich arbeite immer mit der aktuellsten JOSM-Version und lade die Daten ganz normal damit auch hoch. Ich kann mir das Phänomen leider nicht erklären. Jetzt suche ich aber erstmal nach einer vernünftigen Möglichkeit die Mehrfacheinträge zu entfernen. Hier mal ein Beispiel:

<way id="163552006" version="1" changeset="11592934" uid="362391" user="DrSeuthberg" timestamp="2012-05-14T07:01:33Z">
<nd ref="1752215273"/>
<nd ref="1752215312"/>
<nd ref="1752215316"/>
<nd ref="272186602"/>
<tag k="highway" v="secondary" />
<tag k="oneway" v="yes" />
</way>
<way id="163552007" version="1" changeset="11592934" uid="362391" user="DrSeuthberg" timestamp="2012-05-14T07:01:33Z">
<nd ref="1752215273"/>
<nd ref="1752215312"/>
<nd ref="1752215316"/>
<nd ref="272186602"/>
<tag k="highway" v="secondary" />
<tag k="oneway" v="yes" />
</way>
<way id="163552008" version="1" changeset="11592934" uid="362391" user="DrSeuthberg" timestamp="2012-05-14T07:01:34Z">
<nd ref="1752215273"/>
<nd ref="1752215312"/>
<nd ref="1752215316"/>
<nd ref="272186602"/>
<tag k="highway" v="secondary" />
<tag k="oneway" v="yes" />
</way>
<way id="163552009" version="1" changeset="11592934" uid="362391" user="DrSeuthberg" timestamp="2012-05-14T07:01:34Z">
<nd ref="272186602"/>
<nd ref="1752215325"/>
<nd ref="1752215339"/>
<nd ref="1752215349"/>
<tag k="highway" v="residential" />
<tag k="oneway" v="yes" />
</way>
<way id="163552010" version="1" changeset="11592934" uid="362391" user="DrSeuthberg" timestamp="2012-05-14T07:01:34Z">
<nd ref="272186602"/>
<nd ref="1752215325"/>
<nd ref="1752215339"/>
<nd ref="1752215349"/>
<tag k="highway" v="residential" />
<tag k="oneway" v="yes" />
</way>
<way id="163552011" version="1" changeset="11592934" uid="362391" user="DrSeuthberg" timestamp="2012-05-14T07:01:35Z">
<nd ref="272186602"/>
<nd ref="1752215325"/>
<nd ref="1752215339"/>
<nd ref="1752215349"/>
<tag k="highway" v="residential" />
<tag k="oneway" v="yes" />
</way>

Wie man sieht, landeten die Daten innerhalb von 1-2 Sekunden auf dem Server und haben auch jeweils Way-ID+=1, die die gleichen Nodes referenzieren. Gibt es da eine vernünftige Möglichkeit das zu beheben, oder vielleicht einen Bot der sowas tut?
Ich würde vorschlagen selbst einen Bot zu bauen, der das erledigt, nur fehlt mir momentan schlichtweg die Zeit...

Gruß

wambacher · 2012-05-30 07:58:25

DrSeuthberg wrote:

Hallo,
ich hatte es bereits schon selbst festgestellt und behoben, nun werde ich auch drauf angesprochen. Scheinbar erstelle ich ab und an redundante Daten in der OSM-DB. Ich arbeite immer mit der aktuellsten JOSM-Version und lade die Daten ganz normal damit auch hoch.

Hi, das Einfachste dürfe es sein, den entsprechenden Changeset komplett zu reverten. Dazu muss nur der Reverter-Plugin in Josm installiert und entsprechend genutzt werden.
Viel interessanter ist es, festzustellen woher dieser "Schrott" kommt. Beschreibe doch mal möglicht genau deine Arbeitsweise.

p.s. wenn ich mir diesen Thread ansehe, bekommt mich das Gefühl, dass deine Edits irgendwie aus deiner lokalen DB kommen. Ist da was dran? Speichere doch bitte mal deine Updates in Josm, bevor du die daten zum OSM-Server rüberschickst (Datei/Speichern unter).

Gruss
Walter

Last edited by wambacher (2012-05-30 08:09:10)

DrSeuthberg · 2012-05-30 08:08:59

wambacher wrote:

Hi, das Einfachste dürfe es sein, den entsprechenden Changeset komplett zu reverten. Dazu muss nur der Reverter-Plugin in Josm installiert und entsprechend genutzt werden.

Ich sehe mir das Plugin mal an.

wambacher wrote:

Viel interessanter ist es, festzustellen woher dieser "Schrott" kommt. Beschreibe doch mal möglicht genau deine Arbeitsweise.

Naja, ich lade mir nen gewissen Bereich runter (auswahl auf der Karte), zeichne Dinge (Straßen, Flussbetten, etc.) ab und lade das ganze dann über die entsprechende Schaltfläche wieder hoch. Nichts außergewöhnliches.

wambacher · 2012-05-30 08:10:35

DrSeuthberg wrote:

Naja, ich lade mir nen gewissen Bereich runter (auswahl auf der Karte), zeichne Dinge (Straßen, Flussbetten, etc.) ab und lade das ganze dann über die entsprechende Schaltfläche wieder hoch. Nichts außergewöhnliches.

Speichere doch bitte mal deine Updates in Josm, bevor du die Daten zum OSM-Server rüberschickst (Datei/Speichern unter).
Gruss
walter

DrSeuthberg · 2012-05-30 08:12:04

wambacher wrote:

Hi, das Einfachste dürfe es sein, den entsprechenden Changeset komplett zu reverten. Dazu muss nur der Reverter-Plugin in Josm installiert und entsprechend genutzt werden.

Ich sehe mir das Plugin mal an.

wambacher wrote:

Viel interessanter ist es, festzustellen woher dieser "Schrott" kommt. Beschreibe doch mal möglicht genau deine Arbeitsweise.

Naja, ich lade mir nen gewissen Bereich runter (auswahl auf der Karte), zeichne Dinge (Straßen, Flussbetten, etc.) ab und lade das ganze dann über die entsprechende Schaltfläche wieder hoch. Nichts außergewöhnliches.

wambacher wrote:

p.s. wenn ich mir diesen Thread ansehe, bekommt mich das Gefühl, dass deine Edits irgendwie aus deiner lokalen DB kommen. Ist da was dran? Speichere doch bitte mal deine Updates in Josm, bevor du die daten zum OSM-Server rüberschickst (Datei/Speichern unter).

Definitiv nein. Die Daten werden weiterverarbeitet, aber nicht hochgeladen. Sämtliche meiner Änderungen geschehen in JOSM direkt.

Last edited by DrSeuthberg (2012-05-30 08:13:02)

Oli-Wan · 2012-05-30 08:13:28

DrSeuthberg wrote:

Ich arbeite immer mit der aktuellsten JOSM-Version und lade die Daten ganz normal damit auch hoch. Ich kann mir das Phänomen leider nicht erklären.

Wahrscheinlich das übliche: Upload scheint zu hängen, "Abbrechen" gedrückt, anschließend erneut versucht. Infolge des Abbruchs erhält JOSM nicht mehr die Rückmeldung vom Server, daß die hochgeladenen Objekte erfolgreich erstellt wurden, und lädt sie ein zweites Mal hoch. Lösung: 1) mehr Geduld, 2) kleinere Pakete, 3) falls es doch mal nicht ohne Abbruch geht, das bearbeitete Gebiet erneut vom Server laden.

DrSeuthberg wrote:

Gibt es da eine vernünftige Möglichkeit das zu beheben

Bereich in JOSM laden, Datenprüfung durchführen. Der Validator kann viele Dopplungen autoatisch beheben; die restlichen dann manuell.

wambacher · 2012-05-30 08:30:05

Oli-Wan wrote:

DrSeuthberg wrote:
Gibt es da eine vernünftige Möglichkeit das zu beheben
Bereich in JOSM laden, Datenprüfung durchführen. Der Validator kann viele Dopplungen autoatisch beheben; die restlichen dann manuell.

Hätte den Vorteil, dass die Änderungen nicht komplett verschütt gingen. Also erstmal so probieren. Reverten geht danach aber wohl nicht mehr.

Gruss
walter

Oli-Wan · 2012-05-30 08:35:16

wambacher wrote:

Oli-Wan wrote:
DrSeuthberg wrote:
Gibt es da eine vernünftige Möglichkeit das zu beheben
Bereich in JOSM laden, Datenprüfung durchführen. Der Validator kann viele Dopplungen autoatisch beheben; die restlichen dann manuell.
Hätte den Vorteil, dass die Änderungen nicht komplett verschütt gingen. Also erstmal so probieren. Reverten geht danach aber wohl nicht mehr.

Doch: zuerst das mißlungene Reparatur-Changeset umkehren, dann das ursprüngliche Changeset.

DrSeuthberg · 2012-05-30 08:49:21

Oli-Wan wrote:

Wahrscheinlich das übliche: Upload scheint zu hängen, "Abbrechen" gedrückt, anschließend erneut versucht. Infolge des Abbruchs erhält JOSM nicht mehr die Rückmeldung vom Server, daß die hochgeladenen Objekte erfolgreich erstellt wurden, und lädt sie ein zweites Mal hoch. Lösung: 1) mehr Geduld, 2) kleinere Pakete, 3) falls es doch mal nicht ohne Abbruch geht, das bearbeitete Gebiet erneut vom Server laden.

Ich glaube da kam mittendrin mal eine Fehlermeldung, dass die API nicht erreichbar sei und dann hat er aufgebrochen. Da konnte ich nicht viel gegen tun.

Werde die Fehler zu Fuß fixen.

Danke für eure Hilfe.

Oli-Wan · 2012-05-30 09:01:11

DrSeuthberg wrote:

Ich glaube da kam mittendrin mal eine Fehlermeldung, dass die API nicht erreichbar sei und dann hat er aufgebrochen. Da konnte ich nicht viel gegen tun.

Stimmt, da hilft nur Warten. In diesem Fall kann es aber auch nicht zu Dopplungen kommen, da JOSM gar keinen Kontakt zum Server bekommt. Die typische Ursache von Dopplungen ist wirklich das oben skizzierte Vorgehen.
Eine andere typische Quelle von Dopplungen ist noch folgende: Bereich heruntergeladen, bearbeitet, geänderte Daten in lokaler Datei gespeichert, hochgeladen, Datei geschlossen - ohne sie erneut zu speichern. Später Datei erneut geöffnet und Änderungen erneut hochgeladen. Wenn aber "nur" Wege doppelt sind, aber keine Knoten, scheidet dies als Fehlerquelle praktisch aus.

wambacher · 2012-05-30 09:27:45

Oli-Wan wrote:

Eine andere typische Quelle von Dopplungen ist noch folgende: Bereich heruntergeladen, bearbeitet, geänderte Daten in lokaler Datei gespeichert, hochgeladen, Datei geschlossen - ohne sie erneut zu speichern. Später Datei erneut geöffnet und Änderungen erneut hochgeladen. Wenn aber "nur" Wege doppelt sind, aber keine Knoten, scheidet dies als Fehlerquelle praktisch aus.

Ich hatte auch mehr an diese Möglichkeit gedacht. Download/lokale Dateien/DB/Upload. Daß es ein ganz banaler "Error at Upload" war, erschien mir zu trivial

Last edited by wambacher (2012-05-30 09:28:05)

DrSeuthberg · 2012-05-30 09:33:01

wambacher wrote:

Ich hatte auch mehr an diese Möglichkeit gedacht. Download/lokale Dateien/DB/Upload. Daß es ein ganz banaler "Error at Upload" war, erschien mir zu trivial

Fiel mir dann auch erst wieder ein, nachdem ich etwas drüber nachgedacht hatte. Aber bei dem Fehler kann mach auch nicht warten das es weiter geht, nur abbrechen drücken und von vorne anfangen. Habe mir nichts groß bei gedacht und es erneut versucht und dann ging es scheinbar (...in die Hose)

Oli-Wan · 2012-05-30 09:43:32

DrSeuthberg wrote:

Aber bei dem Fehler kann mach auch nicht warten das es weiter geht, nur abbrechen drücken und von vorne anfangen.

Wie gesagt: kleinere Pakete. Damit sinkt a) das Risiko, daß es überhaupt zum Stillstand kommt, und wenn man doch mal abbricht, gibt es b) weniger Dopplungen bzw. Konflikte, weil weniger Objekte "unbemerkt" hochgeladen wurden. In den letzten Tagen scheint der Server Schluckauf gehabt zu haben, da war manchmal schon Paktetgröße 100 (normalerweise ein guter Richtwert) zu groß.
Und nach einem Abbruch den bearbeiteten Bereich neu laden, dann erkennt JOSM (zumindest teilweise) die zuvor hochgeladenen Objekte und lädt sie nicht erneut hoch.

chris66 · 2012-05-30 09:43:59

Hatte ich auch schon. Upload schien nicht durchzulaufen, auf Abbruch gedrückt. Im Changeset gesehen, dass
die Daten doch hochgeladen wurden.

Mondschein · 2012-05-30 10:56:16

Oli-Wan wrote:

Bereich in JOSM laden, Datenprüfung durchführen. Der Validator kann viele Dopplungen autoatisch beheben; die restlichen dann manuell.

Ich habe das eben mit dem genannten Änderungssatz ausprobiert:
http://www.openstreetmap.org/api/0.6/ch … 4/download

gefundene Fehler:
Überlappende Linien (26)
Doppelte Landnutzungspunkte - Doppelte Punkte (12)

Mit "Fix" waren diese Fehler dann schnell behoben.

Außerdem gibt es einige Warnungen, z.B.:
Doppelte Punkte in zwei nicht geschlossenen Linien - Doppelte Punkte (76)

Dort funktioniert das mit dem "Fix" leider nicht, denn es ist ausgegraut.
Woran liegt das?

Gruß,
Mondschein

Oli-Wan · 2012-05-30 11:14:11

Mondschein wrote:

Doppelte Punkte in zwei nicht geschlossenen Linien - Doppelte Punkte (76)
Dort funktioniert das mit dem "Fix" leider nicht, denn es ist ausgegraut.
Woran liegt das?

Das sind Knoten mit Tags (hier: Adressen), die Beschreibung "in zwei nicht geschlossenen Linien" ist irreführend. Diese muß man manuell zusammenfügen ("M") bzw. jeweils alle bis auf einen löschen. Eine automatische Korrektur solcher Fehler ist etwas knifflig, deshalb hat man sie vermutlich bewußt nicht eingebaut, um nicht versehentlich Dinge kaputtzureparieren.

Mondschein · 2012-05-30 11:59:03

Oli-Wan wrote:

Das sind Knoten mit Tags (hier: Adressen)

Hm, ich konnte keine Adressen an diesen Knoten finden.
Gewarnt wird z.B. bei diesen dreifachen Punkten:
http://www.openstreetmap.org/browse/node/1752215364
http://www.openstreetmap.org/browse/node/1752215365
http://www.openstreetmap.org/browse/node/1752215367

Evtl. liegt das daran, dass einer der Punkte zu einer Straße gehört, die beiden anderen Punkte aber nicht.

Gruß,
Mondschein

Oli-Wan · 2012-05-30 12:05:41

Mondschein wrote:

Oli-Wan wrote:
Das sind Knoten mit Tags (hier: Adressen)
Hm, ich konnte keine Adressen an diesen Knoten finden.
...
Evtl. liegt das daran, dass einer der Punkte zu einer Straße gehört, die beiden anderen Punkte aber nicht.

Ja, das stimmt. Sowohl die von mir als auch die von Dir beschriebenen Doppelknoten landen in dieser Kategorie. Ich hatte in dem Gebiet auf die Schnelle nur doppelte Adressen gesehen.

Bei den von Dir gefundenen hilft aber die automatische Korrektur zu "unverbundene Knoten ohne Merkmale". Hier wurde offenbar schon das Hochladen der Knoten (mehrfach) abgebrochen.

Mondschein · 2012-05-30 12:41:48

Oli-Wan wrote:

Bei den von Dir gefundenen hilft aber die automatische Korrektur zu "unverbundene Knoten ohne Merkmale".

Auch ok.

Das wird DrSeuthberg hoffentlich bei der Beseitigung der Fehler weiterhelfen.

Gruß,
Mondschein

DrSeuthberg · 2012-05-31 08:04:52

Japp, danke euch allen. Bin fleißig am Beheben.

Announcement

#1 2012-05-30 07:45:21

Redudante Daten durch Upload in JOSM

#2 2012-05-30 07:58:25

Re: Redudante Daten durch Upload in JOSM

#3 2012-05-30 08:08:59

Re: Redudante Daten durch Upload in JOSM

#4 2012-05-30 08:10:35

Re: Redudante Daten durch Upload in JOSM

#5 2012-05-30 08:12:04

Re: Redudante Daten durch Upload in JOSM

#6 2012-05-30 08:13:28

Re: Redudante Daten durch Upload in JOSM

#7 2012-05-30 08:30:05

Re: Redudante Daten durch Upload in JOSM

#8 2012-05-30 08:35:16

Re: Redudante Daten durch Upload in JOSM

#9 2012-05-30 08:49:21

Re: Redudante Daten durch Upload in JOSM

#10 2012-05-30 09:01:11

Re: Redudante Daten durch Upload in JOSM

#11 2012-05-30 09:27:45

Re: Redudante Daten durch Upload in JOSM

#12 2012-05-30 09:33:01

Re: Redudante Daten durch Upload in JOSM

#13 2012-05-30 09:43:32

Re: Redudante Daten durch Upload in JOSM

#14 2012-05-30 09:43:59

Re: Redudante Daten durch Upload in JOSM

#15 2012-05-30 10:56:16

Re: Redudante Daten durch Upload in JOSM

#16 2012-05-30 11:14:11

Re: Redudante Daten durch Upload in JOSM

#17 2012-05-30 11:59:03

Re: Redudante Daten durch Upload in JOSM

#18 2012-05-30 12:05:41

Re: Redudante Daten durch Upload in JOSM

#19 2012-05-30 12:41:48

Re: Redudante Daten durch Upload in JOSM

#20 2012-05-31 08:04:52

Re: Redudante Daten durch Upload in JOSM

Board footer