Osmosis update - Fehler

mueschel · 2013-11-05 10:48:33

Hallo,
gibt es im Moment ein generelles Problem mit den diffs, oder funktioniert das nur bei mir nicht?
Ich habe ein kleinen Kartenausschnitt (180 MB pbf), extrahiert aus dem kompletten planet.pbf von planet.osm.org. Leider passiert immer folgendes:

osmosis --rri workingDirectory="planet/ffm"  --simc  --rb  "planet/ffm.pbf"  --ac  --bb left=8.2703369431761  top=50.335133048381 right=8.9796630568239 bottom=49.884052946378  completeWays=yes completeRelations=yes --b  bufferCapacity=10000  --wb "planet/ffm.pbf.new"  compress=none

[Download aller notwendigen diff-files]
[Schreiben der afn*, afw*, afr* Dateien]

Nov 5, 2013 3:32:47 AM org.openstreetmap.osmosis.core.pipeline.common.ActiveTaskManager waitForCompletion
SEVERE: Thread for task 1-rri failed
org.openstreetmap.osmosis.core.OsmosisRuntimeException: An output error has occurred, aborting.,
        at org.openstreetmap.osmosis.core.store.DataPostbox.checkForOutputErrors(DataPostbox.java:160),
        at org.openstreetmap.osmosis.core.store.DataPostbox.complete(DataPostbox.java:330),
        at org.openstreetmap.osmosis.set.v0_6.impl.DataPostboxChangeSink.complete(DataPostboxChangeSink.java:54),
        at org.openstreetmap.osmosis.core.sort.v0_6.SortedDeltaChangePipeValidator.complete(SortedDeltaChangePipeValidator.java:46),
        at org.openstreetmap.osmosis.set.v0_6.impl.ChangeSimplifierImpl.complete(ChangeSimplifierImpl.java:105),
        at org.openstreetmap.osmosis.core.sort.v0_6.SortedHistoryChangePipeValidator.complete(SortedHistoryChangePipeValidator.java:47),
        at org.openstreetmap.osmosis.set.v0_6.ChangeSimplifier.complete(ChangeSimplifier.java:59),
        at org.openstreetmap.osmosis.core.sort.v0_6.ChangeSorter.complete(ChangeSorter.java:76),
        at org.openstreetmap.osmosis.replication.v0_6.ReplicationDownloader.processComplete(ReplicationDownloader.java:116),
        at org.openstreetmap.osmosis.replication.v0_6.BaseReplicationDownloader.runImpl(BaseReplicationDownloader.java:311),
        at org.openstreetmap.osmosis.replication.v0_6.BaseReplicationDownloader.run(BaseReplicationDownloader.java:381),
        at java.lang.Thread.run(Thread.java:679)

Was ich dazu sagen kann:
Es gibt keine Probleme mit Schreibrechten oder nicht ausreichendem Speicher. Der output oben kommt von osmosis 0.42. 0.43 verhält sich gleich, 0.39 hängt sich einfach auf.
Prozessieren der Datei ohne updates funktioniert ohne Probleme. Daily oder hourly diffs zu benutzen macht keinen Unterschied.
Hat jemand von euch einen Tip was ich tun kann?

Vielen Dank schonmal,
Jan

wambacher · 2013-11-05 11:21:20

mueschel wrote:

Hallo,
gibt es im Moment ein generelles Problem mit den diffs, oder funktioniert das nur bei mir nicht?
Ich habe ein kleinen Kartenausschnitt (180 MB pbf), extrahiert aus dem kompletten planet.pbf von planet.osm.org. Leider passiert immer folgendes:
osmosis --rri workingDirectory="planet/ffm"  --simc  --rb  "planet/ffm.pbf"  --ac  --bb left=8.2703369431761  top=50.335133048381 right=8.9796630568239 bottom=49.884052946378  completeWays=yes completeRelations=yes --b  bufferCapacity=10000  --wb "planet/ffm.pbf.new"  compress=none
Hat jemand von euch einen Tip was ich tun kann?

hi

- IMMER kompletten Output posten.
- sagen, ob es überhaupt schon mal so geklappt hat.
- ist die working-directory wirklich planet/ffm ? also die directory ffm in planet? wenn ja, was steht drin? die pbf-Files stehen nämlich in planet und nicht in planet/ffm, was an sich nicht schlimm ist.

Gruss
walter

edit: typo

Last edited by wambacher (2013-11-05 11:45:53)

brogo · 2013-11-05 11:39:29

wambacher wrote:

- IMMER kompletten Output posten.
- sagen, ob es überhaupt schon mal so geklappt hat.
- ist die workng-directory wirklich planet/ffm ? also die directory ffm in planet? wenn ja, was steht drin? die pbf-Files stehen nämlich in planet und nicht in planet/ffm, was an sich nicht schlimm ist.

Sinvoll wäre auch das configuration-file.

Sind Plugins installiert?

Christian

mueschel · 2013-11-05 11:54:03

Hallo Walter, Christian

- IMMER kompletten Output posten.

Am Anfang fehlt nichts, außer der normale Anfangs-Output:

Nov 5, 2013 11:38:15 AM org.openstreetmap.osmosis.core.Osmosis run
Nov 5, 2013 11:38:19 AM org.openstreetmap.osmosis.core.Osmosis run
INFO: Preparing pipeline.
Nov 5, 2013 11:38:20 AM org.openstreetmap.osmosis.core.Osmosis run
INFO: Launching pipeline execution.
Nov 5, 2013 11:38:20 AM org.openstreetmap.osmosis.core.Osmosis run
INFO: Pipeline executing, waiting for completion.

Am Ende kommen dann noch die Folgefehler der nachfolgenden Schritte, von --rb, --ac --bb und -r, die muss ich aber erst noch reproduzieren bevor ich sie posten kann

- sagen, ob es überhaupt schon mal so geklappt hat.

Ja, ich habe aus dem planet-daily pbf von bbbike.org Ausschnitte gemacht, von diesen lassen sich viele update, einige wenige haben diesen Fehler.
Mit denselben Ausschnitten aus dem aktuellen planet.pbf von planet.osm.org funktioniert es mit keinem.

- ist die workng-directory wirklich planet/ffm ? also die directory ffm in planet? wenn ja, was steht drin? die pbf-Files stehen nämlich in planet und nicht in planet/ffm, was an sich nicht schlimm ist.

Ja, die Verzeichnisse passen. Dort sind configuration.txt und state.txt mit dem üblichen Inhalt. Das passt auch alles.

Sinvoll wäre auch das configuration-file.

# The URL of the directory containing change files.
baseUrl=http://planet.openstreetmap.org/replication/day
# Defines the maximum time interval in seconds to download in a single invocation.
# Setting to 0 disables this feature.
maxInterval = 0

Sind Plugins installiert?

Nein, osmosis 0.42 ist direkt die heruntergeladene Version.
Gruß, Jan

Last edited by mueschel (2013-11-05 11:56:46)

brogo · 2013-11-05 12:07:11

Dann würde ich mal darauf tippen, daß die Ausgangsdatei oder die diffs corrupt sind.

Christian

mueschel · 2013-11-05 12:12:45

In diesem Falle dürfte ich aber bei weitem nicht der einzige mit diesem Problem sein wenn die Dateien auf dem (Haupt-)Server kaputt sind. Der md5-Hash von beiden getesteten planet.pbf Files hat gestimmt, da gibt es also schonmal keinen Download-Fehler. Die diff's lassen sich nicht überprüfen, aber ich merke auch keinen Unterschied zwischen daily und hourly diffs.

Oli-Wan · 2013-11-05 12:26:15

mueschel wrote:

In diesem Falle dürfte ich aber bei weitem nicht der einzige mit diesem Problem sein wenn die Dateien auf dem (Haupt-)Server kaputt sind. Der md5-Hash von beiden getesteten planet.pbf Files hat gestimmt, da gibt es also schonmal keinen Download-Fehler. Die diff's lassen sich nicht überprüfen, aber ich merke auch keinen Unterschied zwischen daily und hourly diffs.

Welcher planet.osm.pbf? Der letzte, der aktuell verfügbar ist, stammt vom 10. Oktober; zwischenzeitlich lag aber ein kaputter Planet auf dem Server, der inzwischen wohl gelöscht wurde.

PS. Für den Ausschnitt 8.2703369,49.8840529,8.9796631,50.335133 würde es auch ein DE-Extrakt von der Geofabrik oder sogar nur Hessen tun.

Last edited by Oli-Wan (2013-11-05 12:31:25)

mueschel · 2013-11-05 12:57:24

Oli-Wan wrote:

Welcher planet.osm.pbf? Der letzte, der aktuell verfügbar ist, stammt vom 10. Oktober;

Genau, planet.pbf von planet.osm.org vom 10.10. bzw. planet.daily.osm.pbf von bbbike.org vom 27.10.

Oli-Wan wrote:

würde es auch ein DE-Extrakt von der Geofabrik oder sogar nur Hessen tun

Richtig, das war aber auch nur ein kleines Beispiel, das sich halbwegs schnell bearbeiten lässt zum Testen.

Ich habe aber gerade einen Verdacht: Es kann sein, dass die Ausschnitte von der uralten osmosis-Version aus dem debian-Repository gemacht worden sind und
dabei mit den 64Bit-Ids Blödsinn passiert ist. Ich probier das mal aus und melde mich heute abend nochmal. Danke schonmal für die Hilfe!

mueschel · 2013-11-06 23:25:30

Ein kurzes Update:
Es lag scheinbar nicht an der Osmosis-Version. Im Augenblick scheint es halbwegs zuverlässig zu funktionieren wenn ich das aktualisieren und das zuschneiden nacheinander und nicht mit dem gleichen Aufruf mache. Woran der Fehler wirklich liegt kann ich aber nicht sagen.
Falls ich noch irgendetwas herausfinde, werde ich das natürlich noch posten.

Announcement

#1 2013-11-05 10:48:33

Osmosis update - Fehler

#2 2013-11-05 11:21:20

Re: Osmosis update - Fehler

#3 2013-11-05 11:39:29

Re: Osmosis update - Fehler

#4 2013-11-05 11:54:03

Re: Osmosis update - Fehler

#5 2013-11-05 12:07:11

Re: Osmosis update - Fehler

#6 2013-11-05 12:12:45

Re: Osmosis update - Fehler

#7 2013-11-05 12:26:15

Re: Osmosis update - Fehler

#8 2013-11-05 12:57:24

Re: Osmosis update - Fehler

#9 2013-11-06 23:25:30

Re: Osmosis update - Fehler

Board footer