Geofabrik: keine brauchbaren Dateien verfügbar

unixasket · 2013-02-14 08:52:37

Zu Wunschextrakten: Es gibt auch noch den Service auf:
http://extract.bbbike.org/
Da lassen sich Extrakte beliebiger Regionen erstellen. Aber: Leider sieht man nirgends von wann die Daten sind. Für exotische Regionen ist das aber die Alternative zu den Geofabrik Extrakten. Wegen der Aktualität werde ich europäische Länder aber weiterhin von Geofabrik holen.

Achja und zwecks überzogen: Es sind lediglich Wünsche die geäußert wurden. Ob die dann umgesetzt werden hängt von denen die es machen ab. Äußern darf man ja Wünsche, man sollte nur nicht erwarten das diese dann auch alle umgesetzt werden (von jemand anderen und kostenlos dazu!). Ich habe selber auch schon Sachen kostenlos ins Netz gestellt. Ich reagiere dann auch auf Wünsche von Nutzern, aber das heißt nicht das ich die dann alle umsetze, manchmal aber schon.

Gruß
unixasket

wambacher · 2013-02-14 11:53:22

wambacher wrote:

SOLLTEN wohl - aber sind sie? Wenn die Morgen nicht in den Extrakten auftauchen, werde ich mir den Planet mal besorgen und greppen.

Hi,
ich hab mal wieder die Extrakte geprüft und es fehlen immer noch "meine" Daten. Dann wollte ich mich wie versprochen an den Planet ranmachen , hab dann aber ein wenig gestutzt:

http://planet.openstreetmap.org/planet/2013/

planet-130213.osm.bz2         14-Feb-2013 02:11   18G  
planet-130206.osm.bz2         09-Feb-2013 16:11   26G  
planet-130130.osm.bz2         02-Feb-2013 05:14   25G  
planet-130123.osm.bz2         25-Jan-2013 23:36   25G  
planet-130116.osm.bz2         18-Jan-2013 23:23   25G  
planet-130109.osm.bz2         12-Jan-2013 01:53   25G  
planet-130102.osm.bz2         05-Jan-2013 05:08   25G
...

Wieso ist das Teil seit einigen Tagen kleiner geworden? Und gleich um 8 GB?

Gruss
walter

Nachtrag: ich schätze mal, dass es was mit 64-Bit zu tun hat und hab mal auf talk nachgefragt.
und nop auf dev

Last edited by wambacher (2013-02-14 12:22:45)

Mondschein · 2013-02-14 12:08:30

unixasket wrote:

Aber: Leider sieht man nirgends von wann die Daten sind.

Wenn ich es richtig in Erinnerung habe, dann wird einmal pro Woche der neue Planet heruntergeladen, aus welchem dann die Extrakte erstellt werden:
http://download.bbbike.org/osm/planet/

Aktuell ist das planet-130206.osm.bz2, also Daten vom 6. Februar.

Gruß,
Mondschein

Nop · 2013-02-14 12:20:10

wambacher wrote:

planet-130213.osm.bz2         14-Feb-2013 02:11   18G  
planet-130206.osm.bz2         09-Feb-2013 16:11   26G  
Wieso ist das Teil seit einigen Tagen kleiner geworden? Und gleich um 8 GB?

Sehr gute Frage - ich hab sie mal auf der Developer Mailingliste gestellt, nachdem dort noch nichts dazu zu finden war.

Allerdings erklärt das vom Datum her noch nicht wo Deine Daten geblieben sind, das Planetfile wurde ja erst heute morgen erstellt. Die Verkleinerung kann aber gut die selbe Ursache haben falls OSM wirklich einen Datenverlust um 31% erlitten hat.

bye, Nop

Nop · 2013-02-14 12:22:18

Mondschein wrote:

Wenn ich es richtig in Erinnerung habe, dann wird einmal pro Woche der neue Planet heruntergeladen, aus welchem dann die Extrakte erstellt werden:
http://download.bbbike.org/osm/planet/
Aktuell ist das planet-130206.osm.bz2, also Daten vom 6. Februar.

Die Extrakte auf der Geofabrik werden täglich aktualisiert. Das würde keinen Sinn machen, wenn der Input dafür nur wöchentlich kommt. Das tatsächliche Verfahren kenne ich nicht, müßte aber dann aber wohl über die inkrementrellen Updates stattfinden die es minütlich, stündlich oder täglich gibt.

bye, Nop

wambacher · 2013-02-14 12:33:15

Nop wrote:

Allerdings erklärt das vom Datum her noch nicht wo Deine Daten geblieben sind, das Planetfile wurde ja erst heute morgen erstellt. Die Verkleinerung kann aber gut die selbe Ursache haben falls OSM wirklich einen Datenverlust um 31% erlitten hat.

man könnte sich ja auch noch die diffs ansehen - aber ehrlich gesagt, hab ich keine grosse Lust dazu. Wenn es wirklich ein Problem sein sollte, müssen sich die richtigen Leute drum kümmern.
Leider hab ich noch keinen aktuellen Planet auf meinem Rechner, weil der Download trotz meiner 50 Mbit-Leitung ätzend lange dauert, da ja der Sender die Speed bestimmt. (ca 8H statt geschätzter 2H)

Ich werde mich wohl mal um die Alternative (Postgresql --> PolyFilter --> xml-File) kümmern müssen.

Gruss
walter

wambacher · 2013-02-14 12:37:01

wambacher wrote:

Wenn es wirklich ein Problem sein sollte, müssen sich die richtigen Leute drum kümmern.

Für alle, die bei der Developer-Liste nicht mitlesen:

Grand Slater wrote:

Known now. I have removed the broken planet.osm export. The planetdump
code failed due to integer overflow. Will be fixed up shortly.
Next planet.osm will likely be next week now.

Nun denn

Gruss
walter

quasilotte · 2013-02-14 12:44:37

Nop wrote:

wambacher wrote:
planet-130213.osm.bz2         14-Feb-2013 02:11   18G  
planet-130206.osm.bz2         09-Feb-2013 16:11   26G  
Wieso ist das Teil seit einigen Tagen kleiner geworden? Und gleich um 8 GB?
Sehr gute Frage - ich hab sie mal auf der Developer Mailingliste gestellt, nachdem dort noch nichts dazu zu finden war.
Allerdings erklärt das vom Datum her noch nicht wo Deine Daten geblieben sind, das Planetfile wurde ja erst heute morgen erstellt. Die Verkleinerung kann aber gut die selbe Ursache haben falls OSM wirklich einen Datenverlust um 31% erlitten hat.
bye, Nop

Noch besser sieht es bei den pbf's aus - da ist nur noch rund 20% übrig (von 19GB auf 4,1GB).

Ist definitiv das 64bit-Problem - da das vorherige (auch latest) von 6.2 ist (erstellt am 9.2) und die neuste planet.osm.pbf vom 13.2.

schaun mer mal wann wieder alles in Butter!
Ich wart immernoch darauf wann osmconvert (osmupdate) wieder ohne uint32-Fehler updatet - irgendwo in den diffs muß auch noch was sein (vielleicht auch nur in einer bzw. in welchen die noch mit den 64bit-Problem erstellt wurden).

wambacher · 2013-02-14 12:55:30

quasilotte wrote:

Ich wart immernoch darauf wann osmconvert (osmupdate) wieder ohne uint32-Fehler updatet - irgendwo in den diffs muß auch noch was sein (vielleicht auch nur in einer bzw. in welchen die noch mit den 64bit-Problem erstellt wurden).

kannst ja ausnahmsweise osmosis verwenden. Trotz aller Gerüchte schafft der das durchaus.

Es gibt einen Sonderfall:

wiki wrote:

Recent versions (in particular, the current version 0.41) will work in most cases, with the following exception: the options --used-node or --used-way will, in general, fail, unless the additional option idTrackerType=Dynamic is supplied.

Also, wenn du die Optionen --used-node und/oder --used-way verwendest, mußt du zusätzlich idTrackerType=Dynamic angeben, dann sollte es klappen.

Gruss
walter

Mondschein · 2013-02-14 13:03:50

Nop wrote:

Mondschein wrote:
Wenn ich es richtig in Erinnerung habe, dann wird einmal pro Woche der neue Planet heruntergeladen, aus welchem dann die Extrakte erstellt werden:
http://download.bbbike.org/osm/planet/
Aktuell ist das planet-130206.osm.bz2, also Daten vom 6. Februar.
Die Extrakte auf der Geofabrik werden täglich aktualisiert. Das würde keinen Sinn machen, wenn der Input dafür nur wöchentlich kommt.

Ich antwortete auf:

unixasket wrote:

Zu Wunschextrakten: Es gibt auch noch den Service auf:
http://extract.bbbike.org/
Da lassen sich Extrakte beliebiger Regionen erstellen. Aber: Leider sieht man nirgends von wann die Daten sind. Für exotische Regionen ist das aber die Alternative zu den Geofabrik Extrakten.

BBBike.org verwendet nicht die Extrakte der Geofabrik, sondern direkt den Planeten.
Würde keinen Sinn ergeben, erst die Geofabrik-Extrakte herunterzuladen und diese dann wieder zusammenzufügen und dann daraus wieder Extrakte zu erstellen...
Nur zur Info:
Bei BBBike.org kann man sich Wunschextrakte erstellen lassen, von einem beliebigen Gebiet (so lange es nicht zu groß ist).
BBBike.org extrahiert dann die Daten aus dem Planeten und konvertiert diese dann auf Wunsch z.B. nach Mapsforge, Shapefile, OsmAnd, ...

Gruß,
Mondschein

Nop · 2013-02-14 13:41:15

wambacher wrote:

Es gibt einen Sonderfall:
wiki wrote:
Recent versions (in particular, the current version 0.41) will work in most cases, with the following exception: the options --used-node or --used-way will, in general, fail, unless the additional option idTrackerType=Dynamic is supplied.
Also, wenn du die Optionen --used-node und/oder --used-way verwendest, mußt du zusätzlich idTrackerType=Dynamic angeben, dann sollte es klappen.

Wie ich inzwischen mit Brett klären konnte [1], ist diese Aussage noch unvollständig/mißverständlich.

Das Problem ist, daß der idTrackerType=BitSet bei >32bit IDs abraucht. D.h. man darf bei Osmosis diesen Tracker nicht nutzen, egal welche Version, weder als impliziten Default wie bei den Parametern oben noch explizit angegeben (wie es bei mir der Fall war)

bye, Nop

[1] http://gis.19327.n5.nabble.com/osmosis- … 48734.html

Nop · 2013-02-14 13:59:30

wambacher wrote:

man könnte sich ja auch noch die diffs ansehen - aber ehrlich gesagt, hab ich keine grosse Lust dazu. Wenn es wirklich ein Problem sein sollte, müssen sich die richtigen Leute drum kümmern.
Leider hab ich noch keinen aktuellen Planet auf meinem Rechner, weil der Download trotz meiner 50 Mbit-Leitung ätzend lange dauert, da ja der Sender die Speed bestimmt. (ca 8H statt geschätzter 2H)

Das kleine Planetfile wurde als Integerproblem beim Export diagnostiziert. Damit ist immer noch unklar, warum Deine Daten ihren Weg in die Geofabrik-Extrakte nicht gefunden haben. Ich würde Dich bitten es weiterzuverfolgen, nachdem Du ein nachvollziehbares Problem mit konkreten Daten am Wickel hast.

Wenn auch in der Diff-Updatekette ein (32bit) Problem beim Export oder Import besteht, ist ein Großteil der Datenanwender direkt oder indirekt betroffen - aber hat noch keine Unstimmigkeiten bemerkt. Schreib vielleicht mal Fred direkt an.

Einen lokalen Planet aktuell zu halten habe ich übrigens mal ausprobiert und wieder verworfen. Der Update des Planetfiles mit Tagesdiffs dauert mit osmosis auf meinem Server auch 8h. :-(

bye, Nop

wambacher · 2013-02-14 14:33:56

Nop wrote:

Ich würde Dich bitten es weiterzuverfolgen, nachdem Du ein nachvollziehbares Problem mit konkreten Daten am Wickel hast.

geht leider nicht mehr, da alle putten Versionen weg sind und nur das vom 9.2.13 online ist.
mach ich natürlich, wenn etwas neues kommt.

Wenn auch in der Diff-Updatekette ein (32bit) Problem beim Export oder Import besteht, ist ein Großteil der Datenanwender direkt oder indirekt betroffen - aber hat noch keine Unstimmigkeiten bemerkt. Schreib vielleicht mal Fred direkt an.

Netzwolf und auch ich haben keinerlei Probleme mit den Diffs - unsere lokalen Daten sind sauber.
Ist auch logisch, wenn man die Toolchain kennt. Mapnik wird von OSM via Diffs gefüttert und rendert alles Neue tadellos - planet.osm wird durch einen nächtlichen Extrakt der Live-DB erstellt und da klemmt es.

Einen lokalen Planet aktuell zu halten habe ich übrigens mal ausprobiert und wieder verworfen. Der Update des Planetfiles mit Tagesdiffs dauert mit osmosis auf meinem Server auch 8h. :-(

Stell mal auf minütlich um. Dann kommt ein kontinuierlicher Datenstrom rüber, der einen guten Rechner nicht arg belastet. Macht aber nur Sinn, wenn die Box 24h läuft. Ansonsten ist beim Anschalten der Backlog zu gross und dann dauert es halt länger.

Gruss
walter

Last edited by wambacher (2013-02-14 14:34:31)

kukuk · 2013-02-14 15:28:13

kukuk wrote:

quasilotte wrote:
Ich glaub aber beim osmupdate bzw. eher osmconvert muß auch wegen der 64-bit Geschichte nachgebessert werden!
Ich bekomme da auch seit einigen Tagen "uint32 Memory Overflow" (Sowas hatte ich schonmal - aber da war igenend eine Daly-Diff zerschossen die den Fehler erzeugt hatte.).
Diff-Quelle ist : http://planet.openstreetmap.org/replica … y/000/000/
die übliche für osmupdate!
osmupdate bzw. osmconvert ist natürlich die aktuellste
Ich denke nicht das es eine 64-bit Geschichte ist, ich habe so eine Fehlermeldung häufiger für die unterschiedlichsten Länder, meistens USA. Ich tippe eher auf ein generelles PBF-Format-Interpretations-Problem.

Ich habe das mal weiter getestet. Verwendest Du eine der --drop-* Optionen? Bei mir tritt das Problem genau dann auf, wenn ich eine davon verwende. Meine Vermutung: Die größenberechnung paßt dann nicht immer.

Thorsten

Nop · 2013-02-14 21:26:49

wambacher wrote:

Nop wrote:
Ich würde Dich bitten es weiterzuverfolgen, nachdem Du ein nachvollziehbares Problem mit konkreten Daten am Wickel hast.
geht leider nicht mehr, da alle putten Versionen weg sind und nur das vom 9.2.13 online ist.
mach ich natürlich, wenn etwas neues kommt.

Ich dachte Deine Daten fehlen nachvollziehbar in den Extrakten der Geofabrik. Die werden aber nicht aus dem Planetfile erzeugt. Wenn Deine Daten also fehlen kann es sein daß in der Diff-Update-Kette hinter den Extrakten irgendwo der Wurm steckt und Deine Daten gefressen hat. Das wäre es Wert nachzuvollziehen, nicht daß in allen Extrakten immer a bisserl was fehlt.

bye, Nop

wambacher · 2013-02-15 01:40:17

Nop wrote:

Die werden aber nicht aus dem Planetfile erzeugt.

Das wäre mir neu, werde es morgen (FR) aber mal checken. Ansonsten verhält sich Frederick auffallend still - ich nehme an, dass er nicht online ist sondern sich irgendwo auf der Welt "rumtreibt"
Gruss
walter

edit: typo

Last edited by wambacher (2013-02-15 11:47:15)

extremecarver · 2013-02-15 11:25:40

Jayjay01 wrote:

extremecarver wrote:
guter Tag. Sprich wenn spätestens Donnerstag Mittag alle Karten up to date sind, hat man als "Kartenersteller
extremecarver wrote:
Wöchentliche Updates für außerhalb Europa, würde wohl wenige stören. Aber die Updates dann bitte alle 7 Tage zur gleichen Zeit. Dann kann man sich drauf einstellen. Mittwoch wäre etwa ein guter Tag. Sprich wenn spätestens Donnerstag Mittag alle Karten up to date sind, hat man als "Kartenersteller" genug Zeit für Freitag die Updates einzuspielen/bereitzustellen - womit User am Wochenende, bzw ab Freitag für die Wochenendplanung aktuelle Karten haben.
die wenigsten user werden sich jedes wochenende neue karten erstellen. klar ist es gut zu wissen, wann man aktuelle daten erhält aber der rest ist blödsinn (meine Meinung)

Darum geht es nicht. Nur ist das der typische Zeitraum (meine Erfahrung) wo sich User die auch mappen Kartendaten runterladen. Sprich einfach nur ein Vorschlag, für den Tag wo ich wöchentliche Updates am sinnvollsten finde. Das sehr viele User auch mit 6- 12 Monate alten Karten aus OSM zufrieden sind, ist eine ganz andere Geschichte...

brogo · 2013-02-15 13:32:26

wambacher wrote:

p.s. kennt jemand ein Programm Postgresql-DB im Snapshot-Format --> osm XML-Format?

Wei wäre es mit osmosis? Geht aber nur mit Bounding-Box und nicht mit Polygon.

call osmosis --read-pgsql database="osm" user="osm" ^
--dataset-bounding-box left=8.02782593 bottom=50.07863673 right=8.18472443 top=50.16162635 ^
--write-pbf file="c:\osm\planet\wambach.osm.pbf"

Christian

wambacher · 2013-02-15 16:23:47

brogo wrote:

Wei wäre es mit osmosis? Geht aber nur mit Bounding-Box und nicht mit Polygon.

Jau stimmt, hätt ich auch drauf kommen können, wo ich doch so in osmosis "verliebt" bin

Das mit der bbox ist nicht schlimm, einfach ein bp dran hängen.

/opt/install/osmosis-0.41/bin/osmosis \
--read-pgsql authFile=authFile.txt \
--dataset-bounding-box left=8.03 right=8.19 top=50.17 bottom=50.07 completeWays=true \
--bounding-polygon file=wambach.poly completeWays=true completeRelations=true \
--write-xml file=wambach.osm

das ganze mach -für mich- aber nur Sinn bei relativ kleinen Bereichen, da osmosis erst einmal temporäre Tabellen anlegt und da alles reinkopiert. Das geht wohl für nen Landkreis oder Bundesland aber bei mehr wird es wohl eng werden. Dennoch hilft mir das bei meinern Osmand-Daten, die aus 2 Kreisen + Mainz + Wiesbaden bestehen extrem weiter.

Danke und Gruss
Walter

p.s. gerade gecheckt: Wambach braucht 3:36 Minuten. Jetzt mach ich mich mal an "mein" Gebiet ran. Und dann wird der neue Rechner bestellt.

Last edited by wambacher (2013-02-15 16:24:59)

wambacher · 2013-02-15 19:24:07

wambacher wrote:

Nop wrote:
Die werden aber nicht aus dem Planetfile erzeugt.
Das wäre mir neu, werde es morgen (FR) aber mal checken.

oops, wenn diese Beschreibung noch stimmt, hast du natürlich recht. Aber komisch ist es dennoch.
Gruss
walter

Nachtrag: Heute sind die -mir- fehlenden Daten im Datafabrik-Extrakt aufgetaucht.

Last edited by wambacher (2013-02-15 20:03:35)

Bernhard Hiller · 2013-02-16 11:12:52

Mit dem Oberpfalz-Extrakt von gestern früh (noch keiner von heute vorhanden) ist die Loipe, die ich am Sonntag eingezeichnet habe und während der Woche vermißte, wieder da.
Geofabrik scheint das Problem gelöst zu haben.
Ein herzliches Danke an die Geofabriker.

Marqqs · 2013-02-16 18:41:03

kukuk wrote:

Ich habe das mal weiter getestet. Verwendest Du eine der --drop-* Optionen? Bei mir tritt das Problem genau dann auf, wenn ich eine davon verwende. Meine Vermutung: Die größenberechnung paßt dann nicht immer.
Thorsten

Hallo miteinander, genau das wars!

Thorsten hat mir einen sauber reproduzierbaren Fall geliefert, so dass ich den Fehler endlich einkreisen konnte. DANKE!

Dieser Testfall beinhaltete das Planet-File, so dass das Einkreisen eine Weile Gedauert hat – es waren einige Durchläufe notwendig.

osmconvert-Version 0.7P sollte aber nun sauber sein.

Schöne Grüße
Markus

wambacher · 2013-02-18 01:24:55

wambacher wrote:

Für alle, die bei der Developer-Liste nicht mitlesen:
Grand Slater wrote:
Known now. I have removed the broken planet.osm export. The planetdump
code failed due to integer overflow. Will be fixed up shortly.
Next planet.osm will likely be next week now.

Ein neuer planet mit 26 GB ist vorhin online gegangen.

Gruss
walter

Last edited by wambacher (2013-02-18 01:27:23)

Oli-Wan · 2013-03-04 22:22:54

Wie es aussieht, gibt es immer noch Probleme mit den Geofabrik-Extrakten. Ich sehe das bei der Kontrolle der Wall·E-Bearbeitungen: Einige bearbeitete Objekte sind im Geofabrik-Extrakt immer noch in der Vorgängerversion, etwa 205280618. Betroffen sind nach meiner Beobachtung die Bearbeitungen vom 14. Februar, die in germany.osm nicht berücksichtigt zu sein scheinen.

Nachtrag: Die geänderten Objekte waren im day-Diff enthalten, scheinen aber in den entsprechenden hour-Diffs zu fehlen. Ob nur Wall·E's Bearbeitungen oder auch weitere betroffen sind, weiß ich nicht. Die Geofabrik ist also unschuldig. Die von Wall·E bearbeiteten Objekte werden aber noch einmal zu höheren Versionen befördert und in neuen Diffs nachgereicht, indem ein User addr:country=DE (hilft immer) anhängt; damit löst sich das Problem (in Bezug auf diese Objekte) quasi von selbst.

Last edited by Oli-Wan (2013-03-06 00:00:06)

Announcement

#26 2013-02-14 08:52:37

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#27 2013-02-14 11:53:22

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#28 2013-02-14 12:08:30

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#29 2013-02-14 12:20:10

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#30 2013-02-14 12:22:18

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#31 2013-02-14 12:33:15

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#32 2013-02-14 12:37:01

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#33 2013-02-14 12:44:37

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#34 2013-02-14 12:55:30

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#35 2013-02-14 13:03:50

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#36 2013-02-14 13:41:15

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#37 2013-02-14 13:59:30

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#38 2013-02-14 14:33:56

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#39 2013-02-14 15:28:13

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#40 2013-02-14 21:26:49

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#41 2013-02-15 01:40:17

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#42 2013-02-15 11:25:40

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#43 2013-02-15 13:32:26

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#44 2013-02-15 16:23:47

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#45 2013-02-15 19:24:07

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#46 2013-02-16 11:12:52

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#47 2013-02-16 18:41:03

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#48 2013-02-18 01:24:55

Re: Geofabrik: keine brauchbaren Dateien verfügbar

#49 2013-03-04 22:22:54

Re: Geofabrik: keine brauchbaren Dateien verfügbar

Board footer