4 GB-Grenze ist inzwischen überschritten

wambacher · 2016-07-05 00:07:16

Hi,

die 4 GB-Grenze für unsigned Integer*4 - unsigned 32-Bit- von 4.294.967.295 wird in den nächsten Tagen wohl überschritten werden. Derzeit liegen wir bei 4.282 GB und täglich kommen 10-20 MB an Nodes dazu.

Ist interessant für manche Anwendungen - oder auch Anwender - , die möglicherweise dann ausflippen. "Unsere" Osm-Anwendungen (die bekannten Editoren, osmosis und die ganze Verarbeitungskette) sollten wohl davon nicht betroffen sein, da sie längst auf 64-Bit umgestellt wurden. Aber für manche Utility oder App würde ich meine Hände nicht ins Feuer legen wollen.

Gruss
walter

Last edited by wambacher (2016-07-11 20:58:05)

chris66 · 2016-07-05 08:18:38

Können wir hier potentielle Crash-Kandidaten sammeln?

OSM Standard-Style - vermutlich nicht betroffen
splitter - vermutlich nicht betroffen
mgkmap - vermutlich nicht betroffen
osmconvert - vermutlich nicht betroffen
osmfilter - vermutlich nicht betroffen
osm2pgsql - vermutlich nicht betroffen
OSRM - vermutlich betroffen
QGIS - vermutlich betroffen

Stand: 06.07.2016

Last edited by chris66 (2016-07-06 18:49:29)

kreuzschnabel · 2016-07-05 08:25:22

Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)

--ks

kreuzschnabel · 2016-07-05 08:27:55

Garmin-Anwendungen sind hinter der mkgmap-Übersetzung wohl nicht mehr betroffen, oder? Ich gehe davon aus, daß die IDs dort pro Karte neu vergeben werden (weshalb kein kartenübergreifendes Routing geht und es auch in Grenznähe zu Konflikten kommt, wenn beide aktiviert sind).

--ks

chris66 · 2016-07-05 08:45:33

kreuzschnabel wrote:

Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)

Ältere Planetfiles sind auf planet.openstreetmap.org jederzeit verfügbar. Wenn ich es richtig sehe im Wochenabstand.

mmd · 2016-07-05 08:56:22

chris66 wrote:

kreuzschnabel wrote:
Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)
Ältere Planetfiles sind auf planet.openstreetmap.org jederzeit verfügbar. Wenn ich es richtig sehe im Wochenabstand.

Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.

http://docs.osmcode.org/osmium/latest/o … umber.html

Last edited by mmd (2016-07-05 08:57:01)

SimonPoole · 2016-07-05 09:03:13

mmd wrote:

..
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...

In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).

PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs

Last edited by SimonPoole (2016-07-05 09:07:19)

mmd · 2016-07-05 09:16:26

SimonPoole wrote:

mmd wrote:
..
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...
In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).
PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs

Kommt darauf an, wenn ich mir z.B. ein Extrakt von der Schweiz runterlade und neu nummeriere, sollten auch Tools mit 32bit signed IDs noch damit klarkommen. Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.

SimonPoole · 2016-07-05 09:35:08

mmd wrote:

SimonPoole wrote:
mmd wrote:
..
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...
In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).
PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs
Kommt darauf an, wenn ich mir z.B. ein Extrakt von der Schweiz runterlade und neu nummeriere, sollten auch Tools mit 32bit signed IDs noch damit klarkommen. Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.

Das mit kleineren Extrakten stimmt, die 2 Jahre beziehen sich darauf, dass wir dann endgülitg mehr Nodes (im Planet) haben als man mit unsigned 32bit nummerieren kann.

kreuzschnabel · 2016-07-05 09:58:02

mmd wrote:

Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.

Genau das war mit den 2 Jahren gemeint. Momentan werden ja gelöschte IDs nicht aus der DB genommen, sondern deaktiviert – durch Löschen von Nodes spart man dadurch derzeit weder Speicherplatz noch Zahlenraum, durch Neunummerierung schon. Aber in spätestens 2 Jahren reichen die unsigned 32bit nicht mal mehr für alle aktiven Elemente (des planetfile) aus.

--ks

SammysHP · 2016-07-05 10:55:13

uint64_t sollte heutzutage doch kein Problem mehr sein. Und in ein paar Jahren gibt es dann vielleicht auch ein gut funktionierendes uint128_t.

SimonPoole · 2016-07-05 12:06:00

SammysHP wrote:

uint64_t sollte heutzutage doch kein Problem mehr sein. Und in ein paar Jahren gibt es dann vielleicht auch ein gut funktionierendes uint128_t.

Das ist nicht das Problem, man muss ja auch entsprechende Datenstrukturen verwenden.

Marqqs · 2016-07-06 16:45:07

chris66 wrote:

osmconvert ?
osmfilter?

Sollte funktionieren.

Hier gibt es übrigens eine Liste zu dem Thema:

https://wiki.openstreetmap.org/wiki/64-bit_Identifiers

wambacher · 2016-07-07 09:45:16

Aktueller Stand: 4.287.394.815 / 4.294.967.295

Gruss
walter

chris66 · 2016-07-07 09:48:06

Spannend.

Last edited by chris66 (2016-07-07 10:15:36)

GerdP · 2016-07-07 11:37:02

chris66 wrote:

Spannend.

Als Co-Autor von mkgmap und splitter kann ich hier für halbwegs aktuelle Versionen definitiv Entwarnung geben, beide Tools werden seit geraumer Zeit mit generierten Daten mit Ids > 4GB eingesetzt. Es gibt allerdings in mkgmap eine Sonderbehandlung für Ids >= 1 << 62, z.B. 4611686018427394038L.
Es ist denkbar, das Ids mit Werten 1<<62 und höher zu Problemen führen, in der Praxis stellt das wohl kein Problem dar.

chris66 · 2016-07-07 18:20:17

Noch 0 Nodes bis zum 64-bit OSM.

Last edited by chris66 (2016-07-10 20:13:24)

kreuzschnabel · 2016-07-07 19:12:13

Schicken wir die Kollegen da hin, die das hier gebaut haben. Die hauen 6 Millionen Nodes locker beim Mappen eines Bauernhofs durch.

--ks

chris66 · 2016-07-09 18:36:11

Hier wird in Kürze der erste 64 Bit Node gepostet.

Lustig, die Überschreitung wird ungefähr zeitgleich mit dem EM Endspiel stattfinden.

Last edited by chris66 (2016-07-10 18:14:04)

chris66 · 2016-07-10 20:13:06

Node # 2^32 geht an Frankreich. Glückwunsch.

https://www.openstreetmap.org/node/4294967296

kreuzschnabel · 2016-07-10 22:42:06

War’s ja doch noch zwei Stunden vor Anpfiff.

--ks

hurdygurdyman · 2016-07-11 06:20:06

chris66 wrote:

Node # 2^32 geht an Frankreich. Glückwunsch.
https://www.openstreetmap.org/node/4294967296

Schade, ein cadastre-Import. Handgemacht wäre mir lieber.

chris66 · 2016-07-11 09:36:32

kreuzschnabel wrote:

War’s ja doch noch zwei Stunden vor Anpfiff.

Wenn dies in UTC ist
timestamp="2016-07-10T19:01:26Z"
dann wurde der Node kurz nach Anpfiff geboren.

kreuzschnabel · 2016-07-11 10:01:38

Gnarf. Ich bin Englandurlauber, wie soll ich auf so was wie Zeitverschiebungen kommen.

--ks

hurdygurdyman · 2016-07-11 15:05:13

kreuzschnabel wrote:

Gnarf. Ich bin Englandurlauber, wie soll ich auf so was wie Zeitverschiebungen kommen.
--ks

Es gibt sogar Kontinentalverschiebungen. Leider gehören die Britischen Inseln noch zur europäischen Platte...
Da verschiebt sich außer der Zeit und der Gesinnung nix.

#1 2016-07-05 00:07:16

4 GB-Grenze ist inzwischen überschritten

#2 2016-07-05 08:18:38

Re: 4 GB-Grenze ist inzwischen überschritten

#3 2016-07-05 08:25:22

Re: 4 GB-Grenze ist inzwischen überschritten

#4 2016-07-05 08:27:55

Re: 4 GB-Grenze ist inzwischen überschritten

#5 2016-07-05 08:45:33

Re: 4 GB-Grenze ist inzwischen überschritten

#6 2016-07-05 08:56:22

Re: 4 GB-Grenze ist inzwischen überschritten

#7 2016-07-05 09:03:13

Re: 4 GB-Grenze ist inzwischen überschritten

#8 2016-07-05 09:16:26

Re: 4 GB-Grenze ist inzwischen überschritten

#9 2016-07-05 09:35:08

Re: 4 GB-Grenze ist inzwischen überschritten

#10 2016-07-05 09:58:02

Re: 4 GB-Grenze ist inzwischen überschritten

#11 2016-07-05 10:55:13

Re: 4 GB-Grenze ist inzwischen überschritten

#12 2016-07-05 12:06:00

Re: 4 GB-Grenze ist inzwischen überschritten

#13 2016-07-06 16:45:07

Re: 4 GB-Grenze ist inzwischen überschritten

#14 2016-07-07 09:45:16

Re: 4 GB-Grenze ist inzwischen überschritten

#15 2016-07-07 09:48:06

Re: 4 GB-Grenze ist inzwischen überschritten

#16 2016-07-07 11:37:02

Re: 4 GB-Grenze ist inzwischen überschritten

#17 2016-07-07 18:20:17

Re: 4 GB-Grenze ist inzwischen überschritten

#18 2016-07-07 19:12:13

Re: 4 GB-Grenze ist inzwischen überschritten

#19 2016-07-09 18:36:11

Re: 4 GB-Grenze ist inzwischen überschritten

#20 2016-07-10 20:13:06

Re: 4 GB-Grenze ist inzwischen überschritten

#21 2016-07-10 22:42:06

Re: 4 GB-Grenze ist inzwischen überschritten

#22 2016-07-11 06:20:06

Re: 4 GB-Grenze ist inzwischen überschritten

#23 2016-07-11 09:36:32

Re: 4 GB-Grenze ist inzwischen überschritten

#24 2016-07-11 10:01:38

Re: 4 GB-Grenze ist inzwischen überschritten

#25 2016-07-11 15:05:13

Re: 4 GB-Grenze ist inzwischen überschritten

Board footer