Adressen finden in OSM mit Garmin

railrun · 2011-07-13 21:34:54

SunCobalt wrote:

railrun wrote:
Die benötigten Boundaries werden aber nur selten aktualisiert, deswegen weiß ich nicht, wann das Problem behoben ist.
Woran liegts? Daran, dass Nominatim steht? Oder woher bekommt ihr die Grenzen? Ich verfolge Deine Posts hier mit sehr großem Interesse....auch wenn ich nichts schreibe. Andere vermutlich auch. Vielleicht können wir helfen?

Hallo SunCobalt,

danke für die angebotene Hilfe. Die Grenzen werden mittels Osmosis aus den Europa-Datensatz extrahiert und zusammengeführt. WanMil hat da ein mehrzeiliges Skript dafür.
Danach werden die Grenzen "aufgearbeitet".
Ich frage mal WanMil nach dem genauen Befehlen. Wenn jemand einen leistungsstarken Rechner hat, wäre das Prima.

SunCobalt · 2011-07-13 21:34:58

kann man da helfen? Leistungsstark ist relativ, aber Rechenzeit habe ich noch. Um wieviel gehts?

Last edited by SunCobalt (2011-07-13 21:36:11)

railrun · 2011-07-13 21:44:26

SunCobalt wrote:

kann man da helfen? Leistungsstark ist relativ, aber Rechenzeit habe ich noch. Um wieviel gehts?

http://wiki.openstreetmap.org/wiki/Mkgm … tor-branch
Hier gibt's die Anleitung
Wenn jemand helfen kann, wäre super.

SunCobalt · 2011-07-13 21:54:41

nur eine letzte Frage noch. Wie lange dauert das, wieviele Kerne brauchts dazu, wieviel Upload und wie oft? Eventuell gebe ich Dir gleich ne Shell.

railrun · 2011-07-13 22:03:05

SunCobalt wrote:

nur eine letzte Frage noch. Wie lange dauert das, wieviele Kerne brauchts dazu, wieviel Upload und wie oft? Eventuell gebe ich Dir gleich ne Shell.

Also mit Osmosis hat es auf meinem MBP DualCore für Deutschland schon ziemlich lange gedauert (ca. 6 h).
Mit osmconvert geht es wohl deutlich schneller. Eigentlich ändert sich an den Grenzen nicht viel (sollte man denken), deswegen wäre es eher so etwas "nach Bedarf". Die meisten Fehler kommen jetzt auch erst zum Vorschein, wenn man ganze Städte nicht findet.
Als upload benötigt man die gesamte Europa-Datei, was aktuell 6 gb sind. Danach könnte man ja mit Diffs arbeiten. Vielleicht liegt auf dem Rechner ja auch eine aktuelles Spiegelbild der europa-Datei?!

aighes · 2011-07-13 22:05:31

Thomas, mit osmconvert und o5mfilter geht es deutlich schneller. Ich bin damals daran gescheitert, dass er sich bei dem Europa-Extrakt immer verabschiedet hat. Der Entwickler konnte das Problem aber nicht reproduzieren. Evtl. klappt es bei dir ja auch.

Das sollte dann in etwa so aussehen:

osmconvert.exe --drop-author D:\dump\europe.osm.pbf > data\europe.o5m

o5mfilter.exe data\europe.o5m --keep-ways-relations="boundary=administrative =postalcode" > data\boundary.osm

aighes · 2011-07-13 22:08:51

Martin: die Größe stimmt nicht... man Filtert aus europa ja nur die Grenzen raus...da sind ungefähr 300-400mb

SunCobalt · 2011-07-13 22:12:16

europe.osm.pbf wäre der Download. Ich frage mich, wie groß das Resultat wäre. Aber vermutlich nicht so groß. Wenn es mit osmconvert schneller als 6 Stunden geht, dann ist es kein Problem das einmal die Woche zu berechnen und der Allgemeinheit zur Verfügung zu stellen.
Schicke mir mal bitte eine Mail in OSM wegen der Zugangsdaten. osmconvert ist bei mir noch nicht drauf, osmfilter und osmfilter64 schon. Aber das kriegen wir hin. Die Daten für Europe habe ich eh alle zwei Wochen, dann holen wie sie eben wöchentlich. Ich hoffe Du kennst Dich mit Linux aus.
Ich schicke Dir dann morgen früh die Login Daten

SunCobalt · 2011-07-13 22:18:07

wieviele Leute brauchen denn sowas, also so ausgeschnittene Grenzen? Ich kenne mich damit nicht aus. Sind es 2 oder 20 oder 200?

aighes · 2011-07-13 22:49:01

Hallo Thomas,
wenn du sowas rechnen würdest, dann wäre es sinnvoll Schritt 4 auch noch zu rechnen und das Verzeichnis dann als zip oder ähnlichem anzubieten. Wie viele das laden kann ich dir nicht sagen. Derzeit ist das ja eher weniger populär in der Masse, sodass wohl nur die Experten damit rumprobieren. Letzlich wird es jeder laden, der Karten mit Adresssuche erstellen will. Das kann dann in naher Zukunft schon einiges an Traffic sein.

Aber das könnte man dann evtl. auch bei der gwdg spiegeln. Die haben noch Traffic frei, man muss sich nur bei dem Admin melden. Kontaktdaten könnte ich dir per Nachricht geben.

Last edited by aighes (2011-07-13 22:50:25)

SunCobalt · 2011-07-13 23:03:52

also ich kann das nicht machen. Naja vielleicht schon, aber es waere einfacher, wenn es jemand mit Linux Kenntnissen automatisieren wuerde. Ich habe kein Problem das einmal die Woche zu rechnen und auf meinen eigenen Webspace (irgendeine subdomain von osm4people.org) zu schieben. Ich mag aber keine anderen Leute um irgendwas etwas bitten.
Also ich rechne es woechentlich hier und hoste es, aber es muss jemand einrichten.

amm · 2011-07-13 23:59:06

Man kann das ganze vermutlich auch auf dem OSM dev server machen. Einmal die Woche 6 Stunden, sollte dort nicht so das Problem sein. Auch traffic duerfte da kein Problem sein. So populaer sind die Grenzen dann doch nicht, auch wenn ich vermute das es den ein oder anderen schon interessiert (auch ausserhalb von mkgmap).

SunCobalt · 2011-07-14 09:53:11

also das müsste gemacht werden, oder? Bei Schritt 4 bin ich mir nicht sicher. Sorry, Ich habe noch nie was mit mkgmap gemacht. Und von Interesse ist die europe-boundaries.osm und/oder(?) europe-boundaries.osm.pbf

1. osmconvert64 europe.osm.pbf --out-o5m >europe.o5m
2. osmfilter64 europe.o5m --keep-nodes= --keep-ways-relations="boundary=administrative" >europe-boundaries.osm
3. [gzip europe-boundaries.osm]

4. java -jar mkgmap.jar --createboundsfile=europe-boundaries.osm.pbf europe-boundaries.osm

aighes · 2011-07-14 10:03:19

Du musst eine mkgmap-Verison aus dem locator-branch nehmen. Die findest du hier: http://www.mkgmap.org.uk/snapshots/

java -jar mkgmap-locator-r1994.jar --max-jobs=<Anzahl der Kerne, die du nutzen möchtest> --createboundsfile=europe-boundaries.osm

Kann aber sein, dass der Prozess ohnehin nur auf einem Kern läuft.

SunCobalt · 2011-07-14 12:52:37

solche Meldungen sind normal?

SCHWERWIEGEND (BoundaryElementSaver): Relation is not processed due to missing tags: 4551 [openGeoDB:name=Weggis,openGeoDB:population=3616,openGeoDB:version=
0.2.6.11 / 2007-12-04 / http://fa-technik.adfc.de/code/opengeodb/dump/,openGeoDB:auto_update=population,place,name,is_in,openGeoDB:is_in=Amt Luzern,Luzern,Sc
hweiz,Europe,openGeoDB:postal_codes=6353,place=village,openGeoDB:location=political_structure,name=Weggis,population=3616,created_by=opengeodb2osm0.5.2,openG
eoDB:loc_id=31331,openGeoDB:type=Gemeinde,openGeoDB:community_identification_number=G1069,openGeoDB:is_in_loc_id=78556,openGeoDB:sort_name=WEGGIS,is_in=Amt L
uzern,Luzern,Schweiz,Europe,openGeoDB:layer=6]
SCHWERWIEGEND (BoundaryElementSaver): r16567: Relation is not processed due to missing tags: 17511 [name:de=Deutschland - Österreich,name:ru=Германия - Австр
ия,admin_level=2,name:en=Germany - Austria,boundary=administrative,name=Deutschland - Österreich,name:fr=Allemagne - Autriche,type=boundary_segment]
SCHWERWIEGEND (BoundaryElementSaver): r18510: Relation is not processed due to missing tags: 20099 [boundary=administrative,name=Landkreis Diepholz,admin_lev
el=6,type=county]
SCHWERWIEGEND (BoundaryElementSaver): r27811: Relation is not processed due to missing tags: 27894 [postal_code=6022,type=place,name=Grosswangen,created_by=P
otlatch 0.10b,place=village]
SCHWERWIEGEND (BoundaryElementSaver): r27811: Relation is not processed due to missing tags: 27895 [type=place,name=Amt Willisau,place=county]
SCHWERWIEGEND (BoundaryElementSaver): r27811: Relation is not processed due to missing tags: 27897 [type=place,name=Dagmersellen,place=village]
SCHWERWIEGEND (BoundaryElementSaver): r27811: Relation is not processed due to missing tags: 27898 [type=place,name=Ettiswil,place=village]
SCHWERWIEGEND (BoundaryElementSaver): r27811: Relation is not processed due to missing tags: 27899 [type=place,name=Reiden,place=village]

railrun · 2011-07-14 13:53:08

aighes wrote:

Martin: die Größe stimmt nicht... man Filtert aus europa ja nur die Grenzen raus...da sind ungefähr 300-400mb

Ja, aber vorher musst du die Rohdatei erst einmal auf den Server bekommen.

SunCobalt wrote:

europe.osm.pbf wäre der Download. Ich frage mich, wie groß das Resultat wäre. Aber vermutlich nicht so groß. Wenn es mit osmconvert schneller als 6 Stunden geht, dann ist es kein Problem das einmal die Woche zu berechnen und der Allgemeinheit zur Verfügung zu stellen.
Schicke mir mal bitte eine Mail in OSM wegen der Zugangsdaten. osmconvert ist bei mir noch nicht drauf, osmfilter und osmfilter64 schon. Aber das kriegen wir hin. Die Daten für Europe habe ich eh alle zwei Wochen, dann holen wie sie eben wöchentlich. Ich hoffe Du kennst Dich mit Linux aus.
Ich schicke Dir dann morgen früh die Login Daten

Ich schreib dir gleich mal. Hab Mac OS X und Linux-Erfahrung
Allerdings gibt's es noch ein Problem. WanMil hat mich darauf aufmerksam gemacht, dass bei der Geofabrik die Europe.osm.pbf nicht vollständig ist. Dort fehlt wohl ein Stück von der Grenze. Er verwendet deshalb planet.osm.

SunCobalt wrote:

wieviele Leute brauchen denn sowas, also so ausgeschnittene Grenzen? Ich kenne mich damit nicht aus. Sind es 2 oder 20 oder 200?

Eigentlich werden die Daten nur nach Änderungen benötigt. Ansonsten kann man sie ja ständig wiederverwenden.

SunCobalt wrote:

solche Meldungen sind normal?

Ja, das sieht normal aus
Am Anfang war das Debugging noch deutlich "intensiver".
Wenn man will, kann man sich die Relationen genauer anschauen, was da nicht in Ordnung ist...

SunCobalt · 2011-07-14 13:59:25

http://mkgmap.osm4people.org/

also das Berechnen hat ca. 40 min gedauert. Das Runter-/Hochladen dauerte ingesamt ca. 1,5 Stunden. Ich habs leider mit europe von der Geofabrik gemacht. Das wäre jetzt fertig und ich könnte es einmal die Woche laufen lassen.
Heisst das jetzt, dass Du alle Grenzen der Welt brauchst? Das wird ganzschön viel. Die Datei bounds.zip mit europe-boundaries.osm und dem /bounds Verzeichnis ist 500MB groß

#!/bin/bash
cd /home/thomas/mkgmap/
wget http://ftp5.gwdg.de/pub/misc/openstreetmap/download.geofabrik.de/europe.osm.pbf
/home/thomas/mkgmap/osmconvert32 europe.osm.pbf --out-o5m >europe.o5m
/usr/local/bin/osmfilter64 europe.o5m --keep-nodes= --keep-ways-relations="boundary=administrative"  >europe-boundaries.osm
java -jar /home/thomas/mkgmap/mkgmap-locator-r1994.jar --max-jobs=2 --createboundsfile=europe-boundaries.osm

zip bounds.zip europe-boundaries.osm
zip -r bounds.zip ./bounds

ncftpput -u bla -p blub wo.auch.immer.de /mkgmap/ bounds.zip

railrun · 2011-07-14 14:08:38

SunCobalt wrote:

http://mkgmap.osm4people.org/
also das Berechnen hat ca. 40 min gedauert. Das Runter-/Hochladen dauerte ingesamt ca. 1,5 Stunden. Ich habs leider mit europe von der Geofabrik gemacht. Das wäre jetzt fertig und ich könnte es einmal die Woche laufen lassen.
Heisst das jetzt, dass Du alle Grenzen der Welt brauchst? Das wird ganzschön viel. Die Datei bounds.zip mit europe-boundaries.osm und dem /bounds Verzeichnis ist 500MB groß
#!/bin/bash
cd /home/thomas/mkgmap/
wget http://ftp5.gwdg.de/pub/misc/openstreetmap/download.geofabrik.de/europe.osm.pbf
/home/thomas/mkgmap/osmconvert32 europe.osm.pbf --out-o5m >europe.o5m
/usr/local/bin/osmfilter64 europe.o5m --keep-nodes= --keep-ways-relations="boundary=administrative"  >europe-boundaries.osm
java -jar /home/thomas/mkgmap/mkgmap-locator-r1994.jar --max-jobs=2 --createboundsfile=europe-boundaries.osm

zip bounds.zip europe-boundaries.osm
zip -r bounds.zip ./bounds

ncftpput -u bla -p blub wo.auch.immer.de /mkgmap/ bounds.zip

Mir persönlich reicht Deutschland (und evtl. Frankreich)! Ich hab die Info von WanMil nur weitergeleitet, falls jemand eine Europakarte mit Adresssuche machen will.
Super, dann kann ich mal heute Abend eine neue Karte erstellen.
Ich hoffe das Stuttgart-Problem ist damit behoben

SunCobalt · 2011-07-14 15:56:02

Wäre nett, wenn Du mir sagst, ob in der Datei das ist, was Du erwartest hast. Mangels Erfahrung kann ich das nicht prüfen. Eine bessere Seite mit Datum der letzten Aktualisierung kommt noch. Soll ich das jede Woche/zweiwöchentlich/auf Anfrage machen?
Wenn es nur DE gewünscht wird, könnte man noch eine großzügige BBox benutzen. Das würde die Datenmenge wesentlich verkleinern. Muss aber nicht sein, wenn jemand Europa braucht.

Und soll ich die Garmin Karte gleich mit erstellen?

railrun · 2011-07-14 16:33:58

SunCobalt wrote:

Wäre nett, wenn Du mir sagst, ob in der Datei das ist, was Du erwartest hast. Mangels Erfahrung kann ich das nicht prüfen. Eine bessere Seite mit Datum der letzten Aktualisierung kommt noch. Soll ich das jede Woche/zweiwöchentlich/auf Anfrage machen?
Wenn es nur DE gewünscht wird, könnte man noch eine großzügige BBox benutzen. Das würde die Datenmenge wesentlich verkleinern. Muss aber nicht sein, wenn jemand Europa braucht.
Und soll ich die Garmin Karte gleich mit erstellen?

Hmm,
ich kann die Zip-Datei nicht öffnen. Die boundaries.osm würde ich nicht mit in das zip-file packen. Denn die braucht man nicht, bringt also nur unnötig traffic.
Ich muss jetzt erst einmal los, vielleicht kann ich es heute abend noch einmal probieren. Wäre super, wenn du den bounds-Ordner bis dahin einzeln packen könntest.
Für die Allgemeinheit wäre es denke ich praktisch, wenn du die Karte erzeugst, allerdings funktioniert die Adresssuche nur, wenn man die Karte über MapSource oder Basecamp erstellt. D.h. man müsste die Karte dann auf einem Windows/Mac-Rechner installieren und selber das Image erstellen. Ist halt die Frage, ob das gewünscht ist (Frage in die Runde).

amm · 2011-07-14 16:45:00

SunCobalt wrote:

Heisst das jetzt, dass Du alle Grenzen der Welt brauchst? Das wird ganzschön viel. Die Datei bounds.zip mit europe-boundaries.osm und dem /bounds Verzeichnis ist 500MB groß

Da es vermutlich auch ausserhalb von Europa Garmin Nutzer gibt, waere es schon schoen wenn man das Weltweit machen koennte. Allerdings waere es vermutlich sinnvoll die output Dateien nach Kontinent zu trennen damit man nicht so viel herunterladen muss.

Wenn das Ganze nur 40 Minuten gedauert hat, sollte es wahrscheinlich auch kein Problem sein das Weltweit zu machen.

derjürgen · 2011-07-14 16:53:34

Also ich wäre schon an einer Karte mit Adresssuche interessiert. Wenn ich dann noch Tips bekomme wie ich diese mit MS erstellen muß, dann ist das ok.

Gruß Jürgen

railrun · 2011-07-14 17:35:37

derjürgen wrote:

Also ich wäre schon an einer Karte mit Adresssuche interessiert. Wenn ich dann noch Tips bekomme wie ich diese mit MS erstellen muß, dann ist das ok.
Gruß Jürgen

Hallo Jürgen,

du musst dir Nullsoft Scriptable Install System installieren. Dann hast du mit einem rechten Mausklick auf die NSI-Datei die Möglichkeit "Compile with NSI" (oder so ähnlich).
Dann verpackt er alle Dateien in eine exe-Datei, die du nach dem Kompilieren installieren kannst. Dabei wird die Karte in der Registry eingetragen. Das geht recht fix, dauert alles ca. 10 Minuten.
Danach kannst du die Karte in Mapsource verwenden und mittels MapInstall auf einem Garmin/SD-Karte installieren.

SunCobalt · 2011-07-14 17:44:53

ich habe das Skript nochmal gestartet. Hatte dummerweise schon alles gelöscht In ca. 2 Stunden ist die zip-Datei ohne die europe-bundaries.osm dann wieder online.

Last edited by SunCobalt (2011-07-14 17:46:54)

SunCobalt · 2011-07-14 19:46:47

ist Online. Das Rätsel um die defekte Zip Datei hat sich auch aufgelöst.....wenn ihr mal nen Hoster sucht, geht nicht zu 1&1

OpenStreetMap Forum

#126 2011-07-13 21:34:54

Re: Adressen finden in OSM mit Garmin

#127 2011-07-13 21:34:58

Re: Adressen finden in OSM mit Garmin

#128 2011-07-13 21:44:26

Re: Adressen finden in OSM mit Garmin

#129 2011-07-13 21:54:41

Re: Adressen finden in OSM mit Garmin

#130 2011-07-13 22:03:05

Re: Adressen finden in OSM mit Garmin

#131 2011-07-13 22:05:31

Re: Adressen finden in OSM mit Garmin

#132 2011-07-13 22:08:51

Re: Adressen finden in OSM mit Garmin

#133 2011-07-13 22:12:16

Re: Adressen finden in OSM mit Garmin

#134 2011-07-13 22:18:07

Re: Adressen finden in OSM mit Garmin

#135 2011-07-13 22:49:01

Re: Adressen finden in OSM mit Garmin

#136 2011-07-13 23:03:52

Re: Adressen finden in OSM mit Garmin

#137 2011-07-13 23:59:06

Re: Adressen finden in OSM mit Garmin

#138 2011-07-14 09:53:11

Re: Adressen finden in OSM mit Garmin

#139 2011-07-14 10:03:19

Re: Adressen finden in OSM mit Garmin

#140 2011-07-14 12:52:37

Re: Adressen finden in OSM mit Garmin

#141 2011-07-14 13:53:08

Re: Adressen finden in OSM mit Garmin

#142 2011-07-14 13:59:25

Re: Adressen finden in OSM mit Garmin

#143 2011-07-14 14:08:38

Re: Adressen finden in OSM mit Garmin

#144 2011-07-14 15:56:02

Re: Adressen finden in OSM mit Garmin

#145 2011-07-14 16:33:58

Re: Adressen finden in OSM mit Garmin

#146 2011-07-14 16:45:00

Re: Adressen finden in OSM mit Garmin

#147 2011-07-14 16:53:34

Re: Adressen finden in OSM mit Garmin

#148 2011-07-14 17:35:37

Re: Adressen finden in OSM mit Garmin

#149 2011-07-14 17:44:53

Re: Adressen finden in OSM mit Garmin

#150 2011-07-14 19:46:47

Re: Adressen finden in OSM mit Garmin

Board footer