You are not logged in.
- Topics: Active | Unanswered
Announcement
#1 2016-07-05 00:07:16
- wambacher
- Member
- From: Schlangenbad/Wambach, Germany
- Registered: 2009-12-16
- Posts: 16,755
- Website
4 GB-Grenze ist inzwischen überschritten
Hi,
die 4 GB-Grenze für unsigned Integer*4 - unsigned 32-Bit- von 4.294.967.295 wird in den nächsten Tagen wohl überschritten werden. Derzeit liegen wir bei 4.282 GB und täglich kommen 10-20 MB an Nodes dazu.
Ist interessant für manche Anwendungen - oder auch Anwender - , die möglicherweise dann ausflippen. "Unsere" Osm-Anwendungen (die bekannten Editoren, osmosis und die ganze Verarbeitungskette) sollten wohl davon nicht betroffen sein, da sie längst auf 64-Bit umgestellt wurden. Aber für manche Utility oder App würde ich meine Hände nicht ins Feuer legen wollen.
Gruss
walter
Last edited by wambacher (2016-07-11 20:58:05)
Offline
#2 2016-07-05 08:18:38
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
Können wir hier potentielle Crash-Kandidaten sammeln?
OSM Standard-Style - vermutlich nicht betroffen
splitter - vermutlich nicht betroffen
mgkmap - vermutlich nicht betroffen
osmconvert - vermutlich nicht betroffen
osmfilter - vermutlich nicht betroffen
osm2pgsql - vermutlich nicht betroffen
OSRM - vermutlich betroffen
QGIS - vermutlich betroffen
Stand: 06.07.2016
Last edited by chris66 (2016-07-06 18:49:29)
Mapper aus dem Münsterland.
Offline
#3 2016-07-05 08:25:22
- kreuzschnabel
- Member
- Registered: 2015-07-03
- Posts: 6,640
Re: 4 GB-Grenze ist inzwischen überschritten
Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)
--ks
Offline
#4 2016-07-05 08:27:55
- kreuzschnabel
- Member
- Registered: 2015-07-03
- Posts: 6,640
Re: 4 GB-Grenze ist inzwischen überschritten
Garmin-Anwendungen sind hinter der mkgmap-Übersetzung wohl nicht mehr betroffen, oder? Ich gehe davon aus, daß die IDs dort pro Karte neu vergeben werden (weshalb kein kartenübergreifendes Routing geht und es auch in Grenznähe zu Konflikten kommt, wenn beide aktiviert sind).
--ks
Offline
#5 2016-07-05 08:45:33
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)
Ältere Planetfiles sind auf planet.openstreetmap.org jederzeit verfügbar. Wenn ich es richtig sehe im Wochenabstand.
Mapper aus dem Münsterland.
Offline
#6 2016-07-05 08:56:22
- mmd
- Member
- Registered: 2010-11-06
- Posts: 2,101
Re: 4 GB-Grenze ist inzwischen überschritten
kreuzschnabel wrote:Ich stelle es mir sinnvoll vor, das letzte 32-bit-lauffähige Planetfile irnkwo einzufrieren, damit empfindliche Anwendungen da ihre maximal aktuelle Ressource haben :-)
Ältere Planetfiles sind auf planet.openstreetmap.org jederzeit verfügbar. Wenn ich es richtig sehe im Wochenabstand.
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
http://docs.osmcode.org/osmium/latest/o … umber.html
Last edited by mmd (2016-07-05 08:57:01)
Offline
#7 2016-07-05 09:03:13
- SimonPoole
- Member
- Registered: 2010-03-14
- Posts: 2,184
Re: 4 GB-Grenze ist inzwischen überschritten
..
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...
In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).
PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs
Last edited by SimonPoole (2016-07-05 09:07:19)
Offline
#8 2016-07-05 09:16:26
- mmd
- Member
- Registered: 2010-11-06
- Posts: 2,101
Re: 4 GB-Grenze ist inzwischen überschritten
mmd wrote:..
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).
PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs
Kommt darauf an, wenn ich mir z.B. ein Extrakt von der Schweiz runterlade und neu nummeriere, sollten auch Tools mit 32bit signed IDs noch damit klarkommen. Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.
Offline
#9 2016-07-05 09:35:08
- SimonPoole
- Member
- Registered: 2010-03-14
- Posts: 2,184
Re: 4 GB-Grenze ist inzwischen überschritten
SimonPoole wrote:mmd wrote:..
Falls nicht bekannt: mit osmium-renumber können alle Elemente konsistent von 1 an neu durchnummeriert werden. Damit lässt sich z.B. ein aktuelles Extrakt zurück in die 32bit Welt beamen.
...In die -unsigned- 32bit Welt, was je nach Tool nicht sehr viel hilft (und spätestens in 2 Jahren ist endgültig Schluss mit 32bit).
PS: AFAIK ist OSRM der einzige weiterverbreitete Kandidat für Schwierigkeiten mit dem Abschied von 32bit unsigned IDs
Kommt darauf an, wenn ich mir z.B. ein Extrakt von der Schweiz runterlade und neu nummeriere, sollten auch Tools mit 32bit signed IDs noch damit klarkommen. Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.
Das mit kleineren Extrakten stimmt, die 2 Jahre beziehen sich darauf, dass wir dann endgülitg mehr Nodes (im Planet) haben als man mit unsigned 32bit nummerieren kann.
Offline
#10 2016-07-05 09:58:02
- kreuzschnabel
- Member
- Registered: 2015-07-03
- Posts: 6,640
Re: 4 GB-Grenze ist inzwischen überschritten
Das mit den 2 Jahren verstehe ich in diesem Zusammenhang nicht. Mir ging es hier ausschliesslich um kleinere Extrakte. Auf den ganzen Planet betrachtet funktioniert das wahrscheinlich wirklich schon bald nicht mehr.
Genau das war mit den 2 Jahren gemeint. Momentan werden ja gelöschte IDs nicht aus der DB genommen, sondern deaktiviert – durch Löschen von Nodes spart man dadurch derzeit weder Speicherplatz noch Zahlenraum, durch Neunummerierung schon. Aber in spätestens 2 Jahren reichen die unsigned 32bit nicht mal mehr für alle aktiven Elemente (des planetfile) aus.
--ks
Offline
#11 2016-07-05 10:55:13
- SammysHP
- Member
- From: Celle, Germany
- Registered: 2012-02-27
- Posts: 1,690
- Website
Re: 4 GB-Grenze ist inzwischen überschritten
uint64_t sollte heutzutage doch kein Problem mehr sein. Und in ein paar Jahren gibt es dann vielleicht auch ein gut funktionierendes uint128_t.
Offline
#12 2016-07-05 12:06:00
- SimonPoole
- Member
- Registered: 2010-03-14
- Posts: 2,184
Re: 4 GB-Grenze ist inzwischen überschritten
uint64_t sollte heutzutage doch kein Problem mehr sein. Und in ein paar Jahren gibt es dann vielleicht auch ein gut funktionierendes uint128_t.
Das ist nicht das Problem, man muss ja auch entsprechende Datenstrukturen verwenden.
Offline
#13 2016-07-06 16:45:07
- Marqqs
- Member
- Registered: 2011-01-01
- Posts: 724
Re: 4 GB-Grenze ist inzwischen überschritten
osmconvert ?
osmfilter?
Sollte funktionieren.
Hier gibt es übrigens eine Liste zu dem Thema:
Offline
#14 2016-07-07 09:45:16
- wambacher
- Member
- From: Schlangenbad/Wambach, Germany
- Registered: 2009-12-16
- Posts: 16,755
- Website
Re: 4 GB-Grenze ist inzwischen überschritten
Aktueller Stand: 4.287.394.815 / 4.294.967.295
Gruss
walter
Offline
#15 2016-07-07 09:48:06
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
Spannend.
Last edited by chris66 (2016-07-07 10:15:36)
Mapper aus dem Münsterland.
Offline
#16 2016-07-07 11:37:02
- GerdP
- Member
- Registered: 2015-12-18
- Posts: 1,936
Re: 4 GB-Grenze ist inzwischen überschritten
Spannend.
Als Co-Autor von mkgmap und splitter kann ich hier für halbwegs aktuelle Versionen definitiv Entwarnung geben, beide Tools werden seit geraumer Zeit mit generierten Daten mit Ids > 4GB eingesetzt. Es gibt allerdings in mkgmap eine Sonderbehandlung für Ids >= 1 << 62, z.B. 4611686018427394038L.
Es ist denkbar, das Ids mit Werten 1<<62 und höher zu Problemen führen, in der Praxis stellt das wohl kein Problem dar.
Offline
#17 2016-07-07 18:20:17
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
Noch 0 Nodes bis zum 64-bit OSM.
Last edited by chris66 (2016-07-10 20:13:24)
Mapper aus dem Münsterland.
Offline
#18 2016-07-07 19:12:13
- kreuzschnabel
- Member
- Registered: 2015-07-03
- Posts: 6,640
Re: 4 GB-Grenze ist inzwischen überschritten
Schicken wir die Kollegen da hin, die das hier gebaut haben. Die hauen 6 Millionen Nodes locker beim Mappen eines Bauernhofs durch.
--ks
Offline
#19 2016-07-09 18:36:11
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
Hier wird in Kürze der erste 64 Bit Node gepostet.
Lustig, die Überschreitung wird ungefähr zeitgleich mit dem EM Endspiel stattfinden.
Last edited by chris66 (2016-07-10 18:14:04)
Mapper aus dem Münsterland.
Offline
#20 2016-07-10 20:13:06
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
Node # 2^32 geht an Frankreich. Glückwunsch.
Mapper aus dem Münsterland.
Offline
#21 2016-07-10 22:42:06
- kreuzschnabel
- Member
- Registered: 2015-07-03
- Posts: 6,640
Re: 4 GB-Grenze ist inzwischen überschritten
War’s ja doch noch zwei Stunden vor Anpfiff.
--ks
Offline
#22 2016-07-11 06:20:06
- hurdygurdyman
- Member
- Registered: 2009-12-10
- Posts: 2,850
Re: 4 GB-Grenze ist inzwischen überschritten
Node # 2^32 geht an Frankreich. Glückwunsch.
Schade, ein cadastre-Import. Handgemacht wäre mir lieber.
Gruß Michael (hurdygurdyman)
Ich mappe für Menschen, die Karten verwenden, welche aus OSM-Daten gerendert wurden http://de.wikipedia.org/wiki/KISS-Prinzip
Offline
#23 2016-07-11 09:36:32
- chris66
- Member
- From: Germany
- Registered: 2009-05-24
- Posts: 10,021
Re: 4 GB-Grenze ist inzwischen überschritten
War’s ja doch noch zwei Stunden vor Anpfiff.
Wenn dies in UTC ist
timestamp="2016-07-10T19:01:26Z"
dann wurde der Node kurz nach Anpfiff geboren.
Mapper aus dem Münsterland.
Offline
#24 2016-07-11 10:01:38
- kreuzschnabel
- Member
- Registered: 2015-07-03
- Posts: 6,640
Re: 4 GB-Grenze ist inzwischen überschritten
Gnarf. Ich bin Englandurlauber, wie soll ich auf so was wie Zeitverschiebungen kommen.
--ks
Offline
#25 2016-07-11 15:05:13
- hurdygurdyman
- Member
- Registered: 2009-12-10
- Posts: 2,850
Re: 4 GB-Grenze ist inzwischen überschritten
Gnarf. Ich bin Englandurlauber, wie soll ich auf so was wie Zeitverschiebungen kommen.
--ks
Es gibt sogar Kontinentalverschiebungen. Leider gehören die Britischen Inseln noch zur europäischen Platte...
Da verschiebt sich außer der Zeit und der Gesinnung nix.
Gruß Michael (hurdygurdyman)
Ich mappe für Menschen, die Karten verwenden, welche aus OSM-Daten gerendert wurden http://de.wikipedia.org/wiki/KISS-Prinzip
Offline