OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2016-07-05 00:07:16

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,077
Website

4 GB-Grenze ist inzwischen überschritten

Hi,

die 4 GB-Grenze für unsigned Integer*4 - unsigned 32-Bit- von 4.294.967.295 wird in den nächsten Tagen wohl überschritten werden. Derzeit liegen wir bei 4.282 GB und täglich kommen 10-20 MB an Nodes dazu.

Ist interessant für manche Anwendungen - oder auch Anwender wink - , die möglicherweise dann ausflippen. "Unsere" Osm-Anwendungen (die bekannten Editoren, osmosis und die ganze Verarbeitungskette) sollten wohl davon nicht betroffen sein, da sie längst auf 64-Bit umgestellt wurden. Aber für manche Utility oder App würde ich meine Hände nicht ins Feuer legen wollen.

Gruss
walter

Last edited by wambacher (2016-07-11 20:58:05)

Offline

#2 2016-07-05 08:18:38

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

Können wir hier potentielle Crash-Kandidaten sammeln?

OSM Standard-Style - vermutlich nicht betroffen
splitter  - vermutlich nicht betroffen
mgkmap  - vermutlich nicht betroffen
osmconvert - vermutlich nicht betroffen
osmfilter - vermutlich nicht betroffen
osm2pgsql - vermutlich nicht betroffen
OSRM - vermutlich betroffen
QGIS - vermutlich betroffen

Stand: 06.07.2016

Last edited by chris66 (2016-07-06 18:49:29)


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#3 2016-07-05 08:25:22

kreuzschnabel
Member
From: Taunusstein ± 1300 km
Registered: 2015-07-03
Posts: 5,561

Re: 4 GB-Grenze ist inzwischen überschritten

Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)

--ks


Avatar-Bild von Elaine R. Wilson, www.naturespicsonline.com, CC-BY-SA 3.0
Mitmachen? Klar! Mein OSM-Tutorial auf Deutsch

Offline

#4 2016-07-05 08:27:55

kreuzschnabel
Member
From: Taunusstein ± 1300 km
Registered: 2015-07-03
Posts: 5,561

Re: 4 GB-Grenze ist inzwischen überschritten

Garmin-Anwendungen sind hinter der mkgmap-Übersetzung wohl nicht mehr betroffen, oder? Ich gehe davon aus, daß die IDs dort pro Karte neu vergeben werden (weshalb kein kartenübergreifendes Routing geht und es auch in Grenznähe zu Konflikten kommt, wenn beide aktiviert sind).

--ks


Avatar-Bild von Elaine R. Wilson, www.naturespicsonline.com, CC-BY-SA 3.0
Mitmachen? Klar! Mein OSM-Tutorial auf Deutsch

Offline

#5 2016-07-05 08:45:33

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

kreuzschnabel wrote:

Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)

Ältere Planetfiles sind auf planet.openstreetmap.org jederzeit verfügbar. Wenn ich es richtig sehe im Wochenabstand.


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#6 2016-07-05 08:56:22

mmd
Member
Registered: 2010-11-06
Posts: 1,765

Re: 4 GB-Grenze ist inzwischen überschritten

chris66 wrote:
kreuzschnabel wrote:

Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)

Ältere Planetfiles sind auf planet.openstreetmap.org jederzeit verfügbar. Wenn ich es richtig sehe im Wochenabstand.

Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.

http://docs.osmcode.org/osmium/latest/o … umber.html

Last edited by mmd (2016-07-05 08:57:01)

Offline

#7 2016-07-05 09:03:13

SimonPoole
Member
Registered: 2010-03-14
Posts: 1,762

Re: 4 GB-Grenze ist inzwischen überschritten

mmd wrote:

..

Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...

In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).

PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs

Last edited by SimonPoole (2016-07-05 09:07:19)

Online

#8 2016-07-05 09:16:26

mmd
Member
Registered: 2010-11-06
Posts: 1,765

Re: 4 GB-Grenze ist inzwischen überschritten

SimonPoole wrote:
mmd wrote:

..

Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...

In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).

PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs

Kommt darauf an, wenn ich mir z.B. ein Extrakt von der Schweiz runterlade und neu nummeriere, sollten auch Tools mit 32bit signed IDs noch damit klarkommen. Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.

Offline

#9 2016-07-05 09:35:08

SimonPoole
Member
Registered: 2010-03-14
Posts: 1,762

Re: 4 GB-Grenze ist inzwischen überschritten

mmd wrote:
SimonPoole wrote:
mmd wrote:

..

Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...

In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).

PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs

Kommt darauf an, wenn ich mir z.B. ein Extrakt von der Schweiz runterlade und neu nummeriere, sollten auch Tools mit 32bit signed IDs noch damit klarkommen. Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.

Das mit kleineren Extrakten stimmt, die 2 Jahre beziehen sich darauf, dass wir dann endgülitg mehr Nodes (im Planet) haben als man mit unsigned 32bit nummerieren kann.

Online

#10 2016-07-05 09:58:02

kreuzschnabel
Member
From: Taunusstein ± 1300 km
Registered: 2015-07-03
Posts: 5,561

Re: 4 GB-Grenze ist inzwischen überschritten

mmd wrote:

Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.

Genau das war mit den 2 Jahren gemeint. Momentan werden ja gelöschte IDs nicht aus der DB genommen, sondern deaktiviert – durch Löschen von Nodes spart man dadurch derzeit weder Speicherplatz noch Zahlenraum, durch Neunummerierung schon. Aber in spätestens 2 Jahren reichen die unsigned 32bit nicht mal mehr für alle aktiven Elemente (des planetfile) aus.

--ks


Avatar-Bild von Elaine R. Wilson, www.naturespicsonline.com, CC-BY-SA 3.0
Mitmachen? Klar! Mein OSM-Tutorial auf Deutsch

Offline

#11 2016-07-05 10:55:13

SammysHP
Member
From: Celle, Germany
Registered: 2012-02-27
Posts: 1,538
Website

Re: 4 GB-Grenze ist inzwischen überschritten

uint64_t sollte heutzutage doch kein Problem mehr sein. Und in ein paar Jahren gibt es dann vielleicht auch ein gut funktionierendes uint128_t. wink

Offline

#12 2016-07-05 12:06:00

SimonPoole
Member
Registered: 2010-03-14
Posts: 1,762

Re: 4 GB-Grenze ist inzwischen überschritten

SammysHP wrote:

uint64_t sollte heutzutage doch kein Problem mehr sein. Und in ein paar Jahren gibt es dann vielleicht auch ein gut funktionierendes uint128_t. wink

Das ist nicht das Problem, man muss ja auch entsprechende Datenstrukturen verwenden.

Online

#13 2016-07-06 16:45:07

Marqqs
Member
Registered: 2011-01-01
Posts: 724

Re: 4 GB-Grenze ist inzwischen überschritten

chris66 wrote:

osmconvert ?
osmfilter?

Sollte funktionieren.

Hier gibt es übrigens eine Liste zu dem Thema:

https://wiki.openstreetmap.org/wiki/64-bit_Identifiers

Offline

#14 2016-07-07 09:45:16

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,077
Website

Re: 4 GB-Grenze ist inzwischen überschritten

Aktueller Stand: 4.287.394.815 / 4.294.967.295

Gruss
walter

Offline

#15 2016-07-07 09:48:06

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

Spannend.

Last edited by chris66 (2016-07-07 10:15:36)


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#16 2016-07-07 11:37:02

GerdP
Member
Registered: 2015-12-18
Posts: 794

Re: 4 GB-Grenze ist inzwischen überschritten

chris66 wrote:

Spannend.

Als Co-Autor von mkgmap und splitter kann ich hier für halbwegs aktuelle Versionen definitiv Entwarnung geben, beide Tools werden seit geraumer Zeit mit generierten Daten mit Ids > 4GB eingesetzt. Es gibt allerdings in mkgmap eine Sonderbehandlung für Ids >= 1 << 62, z.B. 4611686018427394038L.
Es ist denkbar, das Ids mit Werten 1<<62 und höher zu Problemen führen, in der Praxis stellt das wohl kein Problem dar.

Offline

#17 2016-07-07 18:20:17

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

Noch 0 Nodes bis zum 64-bit OSM.

Last edited by chris66 (2016-07-10 20:13:24)


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#18 2016-07-07 19:12:13

kreuzschnabel
Member
From: Taunusstein ± 1300 km
Registered: 2015-07-03
Posts: 5,561

Re: 4 GB-Grenze ist inzwischen überschritten

Schicken wir die Kollegen da hin, die das hier gebaut haben. Die hauen 6 Millionen Nodes locker beim Mappen eines Bauernhofs durch.

--ks


Avatar-Bild von Elaine R. Wilson, www.naturespicsonline.com, CC-BY-SA 3.0
Mitmachen? Klar! Mein OSM-Tutorial auf Deutsch

Offline

#19 2016-07-09 18:36:11

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

Hier wird in Kürze der erste 64 Bit Node gepostet.

Lustig, die Überschreitung wird ungefähr zeitgleich mit dem EM Endspiel stattfinden.

Last edited by chris66 (2016-07-10 18:14:04)


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#20 2016-07-10 20:13:06

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

Node # 2^32 geht an Frankreich. Glückwunsch.

https://www.openstreetmap.org/node/4294967296


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#21 2016-07-10 22:42:06

kreuzschnabel
Member
From: Taunusstein ± 1300 km
Registered: 2015-07-03
Posts: 5,561

Re: 4 GB-Grenze ist inzwischen überschritten

War’s ja doch noch zwei Stunden vor Anpfiff.

--ks


Avatar-Bild von Elaine R. Wilson, www.naturespicsonline.com, CC-BY-SA 3.0
Mitmachen? Klar! Mein OSM-Tutorial auf Deutsch

Offline

#22 2016-07-11 06:20:06

hurdygurdyman
Member
Registered: 2009-12-10
Posts: 2,847

Re: 4 GB-Grenze ist inzwischen überschritten

chris66 wrote:

Node # 2^32 geht an Frankreich. Glückwunsch.

https://www.openstreetmap.org/node/4294967296

Schade, ein cadastre-Import. Handgemacht wäre mir lieber.


Gruß Michael (hurdygurdyman)
Ich mappe für Menschen, die Karten verwenden, welche aus OSM-Daten gerendert wurden tongue http://de.wikipedia.org/wiki/KISS-Prinzip cool

Offline

#23 2016-07-11 09:36:32

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,392

Re: 4 GB-Grenze ist inzwischen überschritten

kreuzschnabel wrote:

War’s ja doch noch zwei Stunden vor Anpfiff.

Wenn dies in UTC ist
timestamp="2016-07-10T19:01:26Z"
dann wurde der Node kurz nach Anpfiff geboren.


Mapper aus dem Münsterland/NRW. Nicht auf fakebook.

Offline

#24 2016-07-11 10:01:38

kreuzschnabel
Member
From: Taunusstein ± 1300 km
Registered: 2015-07-03
Posts: 5,561

Re: 4 GB-Grenze ist inzwischen überschritten

Gnarf. Ich bin Englandurlauber, wie soll ich auf so was wie Zeitverschiebungen kommen.

--ks


Avatar-Bild von Elaine R. Wilson, www.naturespicsonline.com, CC-BY-SA 3.0
Mitmachen? Klar! Mein OSM-Tutorial auf Deutsch

Offline

#25 2016-07-11 15:05:13

hurdygurdyman
Member
Registered: 2009-12-10
Posts: 2,847

Re: 4 GB-Grenze ist inzwischen überschritten

kreuzschnabel wrote:

Gnarf. Ich bin Englandurlauber, wie soll ich auf so was wie Zeitverschiebungen kommen.

--ks

Es gibt sogar Kontinentalverschiebungen. Leider gehören die Britischen Inseln noch zur europäischen Platte...
Da verschiebt sich außer der Zeit und der Gesinnung nix.


Gruß Michael (hurdygurdyman)
Ich mappe für Menschen, die Karten verwenden, welche aus OSM-Daten gerendert wurden tongue http://de.wikipedia.org/wiki/KISS-Prinzip cool

Offline

Board footer

Powered by FluxBB