Madeira - Geofrabrik

mmr · 2011-08-20 11:47:07

Hallo,

ich bin auf der Suche nach einem Datenextrakt der Insel Madeira. Normalerweise besorge ich mir diese bei Geofabrik, kann aber für Madeira nichts finden bzw. ich weiß nicht, in welcher Datei sich der Extrakt bei Geofabrik befinden könnte? Kann mir da jemand zufällig weiterhelfen?

Grüße

Michael

!i! · 2011-08-20 13:14:07

Moin, also ich bin mir nicht sicher wie Fred den Schnitt macht, ich glaube aber er nimmt die Polygongrenzen. Laut Wikipedia gehört sie ja zu Portugal, aber kann osmosis mit multipolgon Grenzen schneiden? Ich glaube nicht?

Das einfachste wird wohl sein die sich Stück für Stück mit JOSM runterzuladen Aber vielleicht gehts auch einfacher ohne den Planet.osm nutzen zu müssen? Es gab da doch diese neue XAPI...

Last edited by !i! (2011-08-20 13:14:29)

edwin-ldbg · 2011-08-20 13:29:00

Ein sehr beliebter Wellensittich-Käfig ist der New Madeira Double :-D

Jetzt weiß ich woher dieser Name stammt :-)

Als Dankeschön hast hier dein Insel Extrakt :-D Kanst auch per Josm laden und aktualisieren lassen :-D

http://www.file-upload.net/download-367 … l.zip.html

Gibt sogar brauchbare Bing Luftbilder... :-D

Last edited by edwin-ldbg (2011-08-20 13:38:50)

!i! · 2011-08-20 13:40:46

Hey cool, wie hastn das gemacht Edwin?

Last edited by !i! (2011-08-20 13:40:58)

edwin-ldbg · 2011-08-20 13:47:11

12 mal mit Josm teilbereiche der Insel und Schwesterinseln laden :-D

Mit diesem XAPI wird es sicherlich auch halbwegs flot gehen. Ungepackt sind es nur 18MB

chris66 · 2011-08-20 19:05:57

edwin-ldbg wrote:

12 mal mit Josm teilbereiche der Insel und Schwesterinseln laden :-D

An den Datenverwender:
Bitte beachten dass in dem Fall mehrere Bounding-Boxes in der Datei stehen. Viele Anwendungen
gucken sich aber nur die erste an.

edwin-ldbg · 2011-08-20 20:09:29

Habs eben getestet...

Cosmos frisst alles brav... ist aber noch wie vor ein Schrott Programm. Der Programmierer hat es immer noch nicht geschaft, dass diese blöden NASA Linien wieder ladbar sind

Mkgmap rendert nur eine der Boxen... ein ziemliches Pfuschprogramm... generell sind die ganzen OSM zu IMG Programme alle gänzlich benutzerunfreundlicher Misst.

Last edited by edwin-ldbg (2011-08-20 20:09:44)

edwin-ldbg · 2011-08-21 20:16:05

Man muss es echt immer wieder betonen... die ganzen Xapi Server sind der letzte Dreck und funktionieren alle nicht. Einzig paar neuere Server aber auch nur in Kleinstbereichen.

Ich für meinen Teil würde gern ein kleines Eck haben wollen und müsste da ganz Europa mit 8GB ziehen um davon ein 200MB Häpchen abzuschneiden. 16 Stunden Downloadzeit zeigt der verdammte Firefox an und zum weiterverarbeiten wird man vermutlich auch wieder zig übergigabyte an freien Festplattenplatz brauchen.

Die Xapis funktionieren nicht einmal bei dieser winzigen Insel!!!!

!i! · 2011-08-21 20:19:46

Dann schreibe eine bessere XAPI Implementierung oder betreibe eigene Cutting Server.
Oder du probierst es wirklich mal mit der neuen. Overpass API.

Und nun hör auf zu heulen!

edwin-ldbg · 2011-08-21 20:25:07

Der Overpass hört bei genau 64MB auf

Ich hab über 8 Stück schon ausprobiert. Keiner von denen geht mehr Dieser Overpass Dingsbums funktioniert nur bei kleinstbereichen gut. Kleinstbereiche wie mein Kuhkaff.

Last edited by edwin-ldbg (2011-08-21 20:28:51)

!i! · 2011-08-21 20:39:57

Wie gesagt, wenn du schlauer bist dann konstruiere einen API Service der größere Bereiche zulässt und trotzdem die Performance realisieren kann. Würden sich ne Menge Leute freuen....

viw · 2011-08-21 20:45:27

!i! wrote:

Wie gesagt, wenn du schlauer bist dann konstruiere einen API Service der größere Bereiche zulässt und trotzdem die Performance realisieren kann. Würden sich ne Menge Leute freuen....

Ähm also ich denke das es nicht alleine die performance sein sollte, auf die man schaut. Wie wäre es denn wenn man die Aufträge der Reihe nach bearbeitet. Über einen guten Algorithmus abschätzen welchen Aufwand dieser Auftrag bedeutet und danach die Prioritäten verteilen. Dann kann sich jeder überlegen ob er große Aufträge mit geringer Priorität erzeugt und so lange auf das Ergebnis wartet oder ob er mit kleineren Aufträgen schneller ans Ziel kommt. So haben alle was davon.
Aber das ist nur eine fixe Idee ohne konkrete Vorschläge für die Umsetzbarkeit.

misterboo · 2011-08-21 20:52:10

ich habe mir auch oft genug einen funktionierenden API Server gewünscht ...

Aber seit dem o5m Format und den großartigen und schnellen Tools
osmconvert, osmfilter und osmupdate geht das doch alles schnell in Eigenregie ...

http://wiki.openstreetmap.org/wiki/DE:Osmconvert
http://wiki.openstreetmap.org/wiki/DE:Osmfilter
http://wiki.openstreetmap.org/wiki/Osmupdate

Ich sehe gerade: osmupdate wurde noch nicht einmal hier im Forum erwähnt, dabei ist das Programm absolut genial.
Absolut einfaches Updaten einer osm Datei, wobei automatisch die passenden daily diffs, hourly diffs und minutly diffs
runtergeladen werden und das ganze auch unter Windows. Funktioniert bei mir hier trotz 0.x Version absolut zuverlässig
seit dem Erscheinen.

Einmal europa.osm oder planet.osm runtergeladen,
nach .o5m konvertiert
regelmässig oder je nach Bedarf absolut einfach mit osmupdate auf den neuesten Stand gebracht

alle Filter Aufgaben schnell mit osmfilter erledigt
und alle Bereich Ausschneiden Aufgaben (bbox oder poly) schnell mit osmconvert erledigt ...

ich brauche keine kaum erreichbare API mehr.

Last edited by misterboo (2011-08-21 20:57:49)

edwin-ldbg · 2011-08-21 21:01:03

Wie viel Platz nimmt eine Europa o5m ein?

misterboo · 2011-08-21 21:06:22

edwin-ldbg wrote:

Wie viel Platz nimmt eine Europa o5m ein?

etwa 50% mehr als pbf

also knapp 10,5 GB bei Europa.

mmr · 2011-08-21 21:19:50

edwin-ldbg wrote:

Als Dankeschön hast hier dein Insel Extrakt :-D Kanst auch per Josm laden und aktualisieren lassen :-D

Danke

edwin-ldbg · 2011-08-22 20:32:38

Einmal europa.osm oder planet.osm runtergeladen,
nach .o5m konvertiert
regelmässig oder je nach Bedarf absolut einfach mit osmupdate auf den neuesten Stand gebracht

13 Stunden hat der Download von Europa.OSM.BZ2 gedauert. 213kb/sec und weniger war die Downloadrate und das bei DSL Popel 6000

Das Entpacken mit Winrar soll nun 3 Stunden dauern. Er hat gerade 1% davon entpackt und auf der Festplatte sind bereits 2GB belegt. Hab nur 18GB frei... die ganze OSM Entpackt müsste wohl an die 100-200GB sein!!!

Also kann ich den Vorgang abbrechen und muss erstmal eine größere Festplatte kaufen.

Ich sag ja, die ganzen OSM Programme sind gänzlich weltfremd, undeutsch und benutzerunfreundlich programmiert.

Last edited by edwin-ldbg (2011-08-22 20:35:32)

misterboo · 2011-08-22 21:11:55

edwin-ldbg wrote:

Einmal europa.osm oder planet.osm runtergeladen,
nach .o5m konvertiert
regelmässig oder je nach Bedarf absolut einfach mit osmupdate auf den neuesten Stand gebracht
13 Stunden hat der Download von Europa.OSM.BZ2 gedauert. 213kb/sec und weniger war die Downloadrate und das bei DSL Popel 6000

Das Entpacken mit Winrar soll nun 3 Stunden dauern. Er hat gerade 1% davon entpackt und auf der Festplatte sind bereits 2GB belegt. Hab nur 18GB frei... die ganze OSM Entpackt müsste wohl an die 100-200GB sein!!!
Also kann ich den Vorgang abbrechen und muss erstmal eine größere Festplatte kaufen.

Ich sag ja, die ganzen OSM Programme sind gänzlich weltfremd, undeutsch und benutzerunfreundlich programmiert.

Die DL Rate hat aber nichts mit OSM zu tun sondern eher mit deinem Provider ... ich bekomme bei dl von der geofabrik fast immer um die 1500kb/sec bei DSL 16000

Warum willst du denn überhaupt die osm.bz auspacken ?

Erstmal ist bz2 relativ langsam zum entpacken. Es macht mehr Sinn die osm.pbf runterzuladen.

Und auch die braucht man ja gar nicht zu entpacken sondern einfach mit osmconvert in das o5m Format umwandeln.

Und die neuen Programme sind alles andere als benutzerunfreundlich, ganz im Gegenteil: genial einfach zu bedienen.

z.B. das neue Programm osmupdate. Keine umständliche bash Datei zum Updaten. Ein einziger Befehl und die notwendigen Updates werden runtergeladen.

Ebenso die beiden anderen Programme vom gleichen Programmierer: osmconvert und osmfilter. Kinderleicht zu bedienen und deutlich schneller als osmosis.

Last edited by misterboo (2011-08-22 21:12:26)

viw · 2011-08-23 07:25:30

edwin-ldbg wrote:

Einmal europa.osm oder planet.osm runtergeladen,
nach .o5m konvertiert
regelmässig oder je nach Bedarf absolut einfach mit osmupdate auf den neuesten Stand gebracht
13 Stunden hat der Download von Europa.OSM.BZ2 gedauert. 213kb/sec und weniger war die Downloadrate und das bei DSL Popel 6000

Das Entpacken mit Winrar soll nun 3 Stunden dauern. Er hat gerade 1% davon entpackt und auf der Festplatte sind bereits 2GB belegt. Hab nur 18GB frei... die ganze OSM Entpackt müsste wohl an die 100-200GB sein!!!
Also kann ich den Vorgang abbrechen und muss erstmal eine größere Festplatte kaufen.

Ich sag ja, die ganzen OSM Programme sind gänzlich weltfremd, undeutsch und benutzerunfreundlich programmiert.

Das Entpacken macht schon lange keiner mehr. Das überlässt man alles dem verabreitenden Programm. Diese entpacken die Daten auch nicht komplett, sondern sind so entwickelt, dass sie mit Teildateien etwas anfangen können. Die Große Festplatte brauchst du also nicht dafür.
benutzerunfreundlich sind die Programme nur dann, wenn man eine grafische Oberfläche erwartet. Der Programmierer hat aber zwei Gründe diese nicht anzubieten.
Der erste ist, dass er schnell und einfach unter jedem Betriebssystem zu benutzende Programme haben möchte. Bei der Grafik fangen die Probleme an, wenn man nicht auf Java setzt. Und selbst dann ist es noch nicht immer gleich.
Das zweite ist die Geschwindigkeit. Je mehr Schnickschnak drumherum ist, desto weniger Leistung bleibt für die eigentliche Aufgabe. Und bei OSM Daten ist der Speicher nunmal knapp. Am schnellsten geht die Verarbeitung wenn du die 100GB in den Ram schiebst. Aber das haben wirklich nur ganz ausgewählte.
Am besten wäre, wenn du uns sagst was du vorhast, dann können wir dir die Aufrufe hier fertig aufschreiben. Diese müssen dann nur noch in die Kommandozeile oder wenn du es öfter machen möchtest eine Batchdatei kopiert werden. Und dann rennt alles.

Eigentlich fehlt jetzt nur noch das Programm mit welchem man die Daten schön in die Datenbank schieben kann.

!i! · 2011-08-23 07:57:12

Du hast meiner Meinung nach noch die Flexibilität vergessen. Osmosis bündelt eine enorme Vielfalt an Formaten und Operationen.
Wenn du klicken willst nimmste halt das hier: http://wiki.openstreetmap.org/wiki/OSMembrane

Nur mäckern verändert nichts Edwin und das weißt du auch. Wenn du konkrete Anregungen hast, dann submitte einen Freaturerequest oder liefere einen Patch. Aber erwarte bitte nicht dass du alles schlüsselfertig bekommst...

viw · 2011-08-23 08:10:08

!i! wrote:

Du hast meiner Meinung nach noch die Flexibilität vergessen. Osmosis bündelt eine enorme Vielfalt an Formaten und Operationen.
Wenn du klicken willst nimmste halt das hier: http://wiki.openstreetmap.org/wiki/OSMembrane
Nur mäckern verändert nichts Edwin und das weißt du auch. Wenn du konkrete Anregungen hast, dann submitte einen Freaturerequest oder liefere einen Patch. Aber erwarte bitte nicht dass du alles schlüsselfertig bekommst...

Vielleicht stört er sich ja nur an der Sprache. Die hier auch noch Computerdialekt erfordert. Wir sind eben noch nicht beim Computer der Enterprise Der gesprochene Sprache versteht.

edwin-ldbg · 2011-08-23 11:31:13

Es ist zu viel getippe

z.B. bei diesem Updateprogramm diese Meldung

E:\osm>osmupdate eu.o5c c:\downloads\neueu.o5c
osmupdate Error: Old OSM file does not contain a timestamp: eu.o5c
osmupdate Error: Please specify the timestamp manually, e.g.: 2011-07-15T23:30:00Z

Woher soll ich jetzt den genauen Zeitstempel kennen? Warum schreibt das Umwandelprogram keinen Zeitstempel? Was passiert wenn ich als Zeitstempel einfach ein Datum von vor 3 Tagen nehme? Updatet es dann nur noch Müll?

Also auf gut Glück

E:\osm>osmupdate eu.o5c 2011-08-20T00:00:00Z c:\downloads\neueu.o5c
osmupdate Error: Could not get the newest minutely timestamp from the Internet.

Nur aus purer Spekulation und nicht anhand einer sinnvollen Fehlermeldung nehme ich an das er noch das Programm wget haben will... Volltreffer....

E:\osm>osmupdate eu.o5c 2011-08-20T01:00:00Z c:\downloads\neueu.o5c
osmconvert Error: could not get 183500800 bytes of memory.
osmupdate Error: Merging of changefiles failed:
osmconvert --merge-versions "osmupdate_temp\temp.m000950265.osc.gz" "osmupdate_
temp\temp.m000950266.osc.gz" "osmupdate_temp\temp.m000950267.osc.gz" "osmupdate_
temp\temp.m000950268.osc.gz" "osmupdate_temp\temp.m000950269.osc.gz" "osmupdate_
temp\temp.8" --timestamp=2011-08-23T10:22:02Z --out-o5c >"osmupdate_temp\temp.9"

So was will er nun ?

Das ist alles viel zu viel händisches rumgefummel. Ich erwarte eine GUI, alles aus einer Hand... Quelldatei auswählen, Zieldatei auswählen und auf Update klicken und fertig mit detailierten Statusinformationen.

oder besser

wie bei JOSM eine Karte wo man mit Vielecken seinen Wunschbereich markieren kann und es wird genau so dann zum Download angeboten und dazu dann eben noch ein integriertes Update für inkrementelle Aktualisierungen. Keine Komandozeilen, keine sonderprogramme die man überall extra downloaden muss.... alles aus einer Hand. Das wäre benutzerfreundlich, statt dieser Müll da.

Last edited by edwin-ldbg (2011-08-23 11:40:06)

!i! · 2011-08-23 13:52:53

edwin-ldbg wrote:

Ich erwarte eine GUI, alles aus einer Hand... Quelldatei auswählen, Zieldatei auswählen und auf Update klicken und fertig mit detailierten Statusinformationen.

Mit welchem Recht ERWARTEST du von jemand der in seiner Freizeit codet, dass gefälligst Feature XY eingebaut ist? Was sollte denjenigen motivieren deinen Wunsch umzusetzen? Er benutzt es vlt. nur mit Scripten.
Inwiefern wärst du denn bereit an diesem Wunsch mitzuhelfen?

Ich kenne die neuen .o5m Tools noch nicht, aber es gab mal Überlegungen einen universellen Vektor-Kachel-Server anzubieten, damit man sich das Häpchenweise in beliebiger Größe runterladen kann.

edwin-ldbg · 2011-08-23 13:56:53

E:\osm>osmconvert eu.o5c --out-statistics
timestamp min: 2005-05-01T14:56:35Z
timestamp max: 2011-08-21T19:59:53Z
lon min: -43.7471712
lon max: 58.2953196
lat min: 30.6117708
lat max: 84.6946310
nodes: 555325059
ways: 65622322
relations: 792707
node id min: 1
node id max: 1407520883
way id min: 35
way id max: 127101827
relation id min: 11
relation id max: 1721886

So, damit weiß ich nun ganz genau wie alt die Daten sind... dieses Prozedur sollte das Updateprogramm selbst machen wenn es keine Zeitstempel findet.

edwin-ldbg · 2011-08-23 14:03:24

!i! wrote:

edwin-ldbg wrote:
Ich erwarte eine GUI, alles aus einer Hand... Quelldatei auswählen, Zieldatei auswählen und auf Update klicken und fertig mit detailierten Statusinformationen.
Mit welchem Recht ERWARTEST du von jemand der in seiner Freizeit codet, dass gefälligst Feature XY eingebaut ist? Was sollte denjenigen motivieren deinen Wunsch umzusetzen? Er benutzt es vlt. nur mit Scripten.
Inwiefern wärst du denn bereit an diesem Wunsch mitzuhelfen?
Ich kenne die neuen .o5m Tools noch nicht, aber es gab mal Überlegungen einen universellen Vektor-Kachel-Server anzubieten, damit man sich das Häpchenweise in beliebiger Größe runterladen kann.

Ich bin kein Programmierer. Ich bin nur gut darin, Mängel zu finden und darin mit dem Finger herumstochern damit sich alles schön entzündet. Gibt zwar schicke GUI Editoren-Programme die man da drüberstülpen kann für eine einfachere Bedienung, aber welchen Wert hat es, wenn Variablen sich ständig ändern, Programme plötzlich nicht mehr weiter entwickelt werden. Dieses OSMMApMaker von so einem Russen war ein Super Programm um ohne groß Tamtam fertige aktuelle Garminkarten zu erstellen. Das funktioniert ja dank den toten Xapis nicht mehr. Die AllinOne OSM Karte Europa für Garmin Mapsource funktioniert schon sehr lange nicht mehr, vermutlich weil zu viele Daten.

Darum soll sich die OSMF kümmern, dass anständige Programmierer eingestellt werden die nützliche Programme programmieren. Und bezahlt werden die von Stefan Küstes millionen Dollar an Risikokapital was Wolkenmacher erhalten hat und durch teure Abmahnungen von Lizenzverletzer. Für einen funktionierenden Dienst mit schnellem Download wäre manch einer auch bereit etwas zu zahlen. Ein Fix und fertiger aktueller Extrakt von meiner Wunschregion wäre mir 9,99 Euro wert gewesen.

Last edited by edwin-ldbg (2011-08-23 14:06:14)

Announcement

#1 2011-08-20 11:47:07

Madeira - Geofrabrik

#2 2011-08-20 13:14:07

Re: Madeira - Geofrabrik

#3 2011-08-20 13:29:00

Re: Madeira - Geofrabrik

#4 2011-08-20 13:40:46

Re: Madeira - Geofrabrik

#5 2011-08-20 13:47:11

Re: Madeira - Geofrabrik

#6 2011-08-20 19:05:57

Re: Madeira - Geofrabrik

#7 2011-08-20 20:09:29

Re: Madeira - Geofrabrik

#8 2011-08-21 20:16:05

Re: Madeira - Geofrabrik

#9 2011-08-21 20:19:46

Re: Madeira - Geofrabrik

#10 2011-08-21 20:25:07

Re: Madeira - Geofrabrik

#11 2011-08-21 20:39:57

Re: Madeira - Geofrabrik

#12 2011-08-21 20:45:27

Re: Madeira - Geofrabrik

#13 2011-08-21 20:52:10

Re: Madeira - Geofrabrik

#14 2011-08-21 21:01:03

Re: Madeira - Geofrabrik

#15 2011-08-21 21:06:22

Re: Madeira - Geofrabrik

#16 2011-08-21 21:19:50

Re: Madeira - Geofrabrik

#17 2011-08-22 20:32:38

Re: Madeira - Geofrabrik

#18 2011-08-22 21:11:55

Re: Madeira - Geofrabrik

#19 2011-08-23 07:25:30

Re: Madeira - Geofrabrik

#20 2011-08-23 07:57:12

Re: Madeira - Geofrabrik

#21 2011-08-23 08:10:08

Re: Madeira - Geofrabrik

#22 2011-08-23 11:31:13

Re: Madeira - Geofrabrik

#23 2011-08-23 13:52:53

Re: Madeira - Geofrabrik

#24 2011-08-23 13:56:53

Re: Madeira - Geofrabrik

#25 2011-08-23 14:03:24

Re: Madeira - Geofrabrik

Board footer