XAPI ist ein Rotz

edwin-ldbg · 2010-10-03 16:28:12

DOWNLOAD DER OSM-DATEN VOM OSM-SERVER

Lade Presets . . .

Download einer neuen output.osm . . .

preset bbox=7.1889,49.4833,7.3697,49.573
[enter] zum Bestaetigen oder andere Koordinaten eingeben:
bbox=8.61,47.30,10.44,48,56

Benutze bbox=8.61,47.30,10.44,48,56

teste server 1 von 3
--2010-10-03 09:26:02-- http://xapi.openstreetmap.org/api/0.6/map?bbox=8.61,47.
30,10.44,48,56
Resolving xapi.openstreetmap.org... 128.40.168.97
Connecting to xapi.openstreetmap.org|128.40.168.97|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/xml]
Saving to: `output.temp'

[ <=> ] 338,975,769 --.-K/s in 6h 38m

2010-10-03 16:04:45 (13.8 KB/s) - Read error at byte 338975769 (Connection timed
out).Retrying.

--2010-10-03 16:04:45-- (try: 2) http://xapi.openstreetmap.org/api/0.6/map?bbo
x=8.61,47.30,10.44,48,56
Connecting to xapi.openstreetmap.org|128.40.168.97|:80... failed: Connection tim
ed out.
Resolving xapi.openstreetmap.org... failed: Unknown host.
wget: unable to resolve host address `xapi.openstreetmap.org'
teste server 2 von 3
--2010-10-03 16:04:57-- http://osmxapi.hypercube.telascience.org/api/0.6/map?bb
ox=8.61,47.30,10.44,48,56
Resolving osmxapi.hypercube.telascience.org... failed: Unknown host.
wget: unable to resolve host address `osmxapi.hypercube.telascience.org'
teste server 3 von 3
--2010-10-03 16:04:57-- http://xapi.informationfreeway.org/api/0.6/map?bbox=8.6
1,47.30,10.44,48,56
Resolving xapi.informationfreeway.org... failed: Unknown host.
wget: unable to resolve host address `xapi.informationfreeway.org'

Download Fehler!
Drücken Sie eine beliebige Taste . . .

Schon zum zweiten mal...

!i! · 2010-10-04 06:30:01

Von welchem Programm hast du denn dieses Log?

Dennis[B] · 2010-10-04 06:48:07

>> Connecting to xapi.openstreetmap.org|128.40.168.97|:80... failed: Connection timed out.
Wenn Port 80 zu ist, bist vielleicht ausgesperrt worden. Ging zu dem Zeitpunkt wo Port 80 zu war der Ping noch? Hast Du ne Dynamische IP und könntest wechseln? Dann wüßtest, ob es nen Fehler ist, oder ob Du rausgeschmissen wurdest.

@!i!: Das ist wget

speedpilgrim · 2010-10-04 07:31:23

XAPI bricht den Download ab, wenn es merkt, dass jemand den halben planet saugen will. Üblicherweise bei 100-300MB. Danach bist Du offenbar gesperrt worden.

Wahr ist allerdings, dass XAPI häufig down ist und keine tolle Downloadrate hat. Du kannst große Downloads teilen und parallel saugen. Nachher müssen sie mit Osmosis zusammengesetzt werden.

Last edited by speedpilgrim (2010-10-04 07:32:29)

efred · 2010-10-04 07:47:08

@edwin... Du hast einen Fehler in der bbox...

bbox=8.61,47.30,10.44,48,56

müsste so sein:
bbox=8.61,47.30,10.44,48.56

edwin-ldbg · 2010-10-04 11:44:22

Danke für Hinweis.

Ich probiere es mal nochmal mit korrekter bbox

edwin-ldbg · 2010-10-04 13:46:01

Wie ich eben gesehen habe, reicht schon ein Vollbild für die Dosbox um ein Connection Time Out zu verursachen. Ich bleib dabei, diese XAPI und alles drum herum zum Downloaden ist ein riesen Scheiß.

Und alles nur, weil diese verdammte AllinOne OSM Map Europa nicht mehr funktioniert... und das seit Monaten.

efred · 2010-10-04 14:28:38

XAPI müsste wirklich mal überarbeitet werden - was aber anscheinend nicht ganz so einfach ist...

efred · 2010-10-04 14:33:26

@edwin... ich bin mir nicht sicher, ob ich die richtige AIO meine. Aber unter ftp://ftp5.gwdg.de/pub/misc/openstreetm … gps_ready/ kann man eine aktuelle AIO von Europa herunterladen.

wambacher · 2010-10-04 14:33:33

efred wrote:

XAPI müsste wirklich mal überarbeitet werden - was aber anscheinend nicht ganz so einfach ist...

benutze ich schon seit monaten nicht mehr. ne "kleine" db @ home ist doch was feines
walter

brogo · 2010-10-05 15:26:37

edwin-ldbg wrote:

Ich bleib dabei, diese XAPI und alles drum herum zum Downloaden ist ein riesen Scheiß.

Bei Eurem Fork wird dann alles viel besser laufen...

Christian

edwin-ldbg · 2010-10-05 15:43:51

brogo wrote:

edwin-ldbg wrote:
Ich bleib dabei, diese XAPI und alles drum herum zum Downloaden ist ein riesen Scheiß.
Bei Eurem Fork wird dann alles viel besser laufen...
Christian

richtig

Tilo · 2011-03-16 19:02:28

Hallo,

Ich habe ein Programm mit Python geschrieben, das OSM-XML-Daten verarbeitet. Den Download habe ich mit wget über http://xapi.openstreetmap.org/api/0.6/map?bbox=... realisiert. Das ganze läuft in einer Schleife, in der der Download neu startet, falls er eine gewisse vordefinierte Größe vor einem evtl Abbruch noch nicht erreicht hat. Dies funktioniert aber nur falls ein vordefinierter Bereich ausgewählt wird. Wenn vom Benutzer ein neuer Bereich definiert wird, wird nur neu gestartet wenn der Download 0Byte groß ist oder eine Größe, die der User angibt, aufweist. Wie auch immer, bis vor kurzem brach der Download jedefalls etweder bei der Verbindung zur xapi ab und wurde abgefangen oder lief durch, wenn er mal gestartet war. Jetzt passiert es dauernd, dass ein paar Byte oder auch ein paar mehr runtergeladen werden und dann ein Lesefehler auftritt. So ist es schwer das ganze abzufangen, wenn man die gesamtgröße der Datei nicht kennt. Was wget bei mir nicht anzeigt.
Weiß jemand, wie ich die gesamtgröße des xml-files zwischen der definition der bbox und dem Download ermitteln kann?

Insgesamt wird die Verbindung zur xapi immer schlechter. Dauernd wird nicht runtergeladen sondern gewartet bis die Geschwindigkeit für eine Sekunde mal wieder da ist und prompt wieder verschwindet. Am Montag war der letzte Download komplett. Momentan geht so gut wie gar nichts. Ist da eine Verbesserung in Sicht?

Gibt es alternativen für den Download der xml-datei? Die Definition einer bbox muß möglich sein. Es sollen alle Daten innerhalb dieser bbox heruntergeladen werden. Die Funktionalität nur bestimmte elemente innerhalb der bbox herunterzuladen, die bei der xapi gegeben ist, benötige ich nicht zwingend.

Was ist Fork?

Gruß Tilo

edwin-ldbg · 2011-03-16 19:17:20

Was ist Fork?

Fork ist der neue OSM X2API Server mit 100GB Glasfaser Backboneanbindung und 64 Intel Xeon Servercluster mit jeweils 128GB RAM und 4000TB Festplatenraid.

!i! · 2011-03-16 19:41:53

@Tilo dieses belasten der API in einer Schleife ist keine gute Sache.
Lade dir bitte Extrakte aus dem Planet Dump und arbeite mit denen lokal (z.B. von der Geofabrik)
http://wiki.openstreetmap.org/wiki/Planet.osm

Tilo · 2011-03-17 16:49:06

Ich habe zusätzlich auch den Download von planetextracts von der Geofabrik bei der Auswahl von größeren Bereichen schon integriert. Für die Auswahl kleinerer Bereiche wäre dies aber nicht sinnvoll, da die Folgeprozesse sonst erst am Folgetag fertig wären. Zur Entwarnung denke ich aber nicht, dass die Möglichkeit der Nutzung der xapi oft wahrgenommen werden wird. Und falls wäre dies auch höchstens ein kleiner Download pro Programmdurchlauf. Um die Belastung der api zu reduzieren, werde ich aber noch einige Anpassungen vornehmen.

Funktioniert der Fork ähnlich der xapi? wie sieht es mit Zugriffsrechten für Privatpersonen und mit veränderten Datenrechten aus? Könnte ich ihn für den Download anstelle der Xapi verwenden?

edwin-ldbg · 2011-03-17 18:51:09

Funktioniert der Fork ähnlich der xapi? wie sieht es mit Zugriffsrechten für Privatpersonen und mit veränderten Datenrechten aus? Könnte ich ihn für den Download anstelle der Xapi verwenden?

Das Rechenzentrum ist in Sagoya Japan untergebracht gewesen... nun ist alles hin

vofiwg · 2011-03-17 19:12:12

edwin-ldbg wrote:

Das Rechenzentrum ist in Sagoya Japan untergebracht gewesen... nun ist alles hin

Manchmal kann ich ja über Edwins Witze wirklich schmunzeln, aber der hier ist unterste Schublade.

wambacher · 2011-03-17 22:57:41

vofiwg wrote:

edwin-ldbg wrote:
Das Rechenzentrum ist in Sagoya Japan untergebracht gewesen... nun ist alles hin
Manchmal kann ich ja über Edwins Witze wirklich schmunzeln, aber der hier ist unterste Schublade.

Ich konnte über seine "Scherze" noch nie schmunzeln ; aber hier kommt mir die Galle hoch.

edit: etwas in der Wortwahl entschärft.

Last edited by wambacher (2011-03-17 23:01:12)

Fabi2 · 2011-03-17 23:57:25

Ja, es ist ein Wunder wenn die XAPI bei mir in den letzten 2 Wochen überhaupt mal ging, als ich sie gebraucht habe. Das waren Ausnahmen die mabn an einer Hand aufzählen kann, wo sie mal ging. Ich benutze jetzt die experimentelle JXAPI wenn ich kann, weis zwar gerade nicht wie frisch deren Daten sind (Aktualität war bisher aber noch OK), aber der lebt der Server wenigstens noch, wenn man nicht gerade ganz spezielle Abfragewünsche hat, die da noch nicht implementiert sind.

edwin-ldbg · 2011-03-18 09:42:17

Ich konnte über seine "Scherze" noch nie schmunzeln ; aber hier kommt mir die Galle hoch.

Geht mir bei deinen Antworten auch so :-D

Edit: Im Internet hat man schnell eine Anzeige wegen Beleidigung oder Volksverhetzung am Hals, darum in der Wortwahl entschärft.

Atomkraft%20Ja%20Bitte%20%28128x128%29.png

Last edited by edwin-ldbg (2011-03-18 09:45:48)

Tilo · 2011-03-23 02:05:27

@Fabi2: Vielen Dank! Die jxapi funktioniert bisher super. Hab nach der Konvertierung der Daten gestern und heute mal nach der Aktualität geschaut. Das war jeweils zwischen 2 und 5 Uhr nachts und die neuesten Daten wurden gegen 21 Uhr am Vortag eingestellt. Daher wird auf jeden Fall täglich einmal zw 21 und 5 Uhr aktualisiert. Weiß nicht, ob mehrmals täglich.

Fabi2 · 2011-03-23 16:56:52

@Tilo: Danke für die Information.

efred · 2011-03-27 12:54:37

grummel... seit gestern versuche ich eine Map von einem Teil der Westschweiz und ein Teil von Norditalien per XAPI herunterzuladen... geht nicht. Toll....

auch per jxapi bekomme ich keine Daten. Da ist nur die Meldung:

HTTP-Anforderung gesendet, warte auf Antwort...
Lesefehler (Die Wartezeit für die Verbindung ist abgelaufen) beim Vorspann (header).
Erneuter Versuch.

Meine jxapi-Abfrage ist: wget http://jxapi.openstreetmap.org/xapi/api … 8.28,47.05 -O data.osm

habe ich da einen Fehler drin?

Last edited by efred (2011-03-27 12:58:21)

aighes · 2011-03-27 15:42:26

Meinst du nicht, dass das Gebiet ein klein wenig zu groß ist. Das sind grob überschlagen 200x200 km²

Announcement

#1 2010-10-03 16:28:12

XAPI ist ein Rotz

#2 2010-10-04 06:30:01

Re: XAPI ist ein Rotz

#3 2010-10-04 06:48:07

Re: XAPI ist ein Rotz

#4 2010-10-04 07:31:23

Re: XAPI ist ein Rotz

#5 2010-10-04 07:47:08

Re: XAPI ist ein Rotz

#6 2010-10-04 11:44:22

Re: XAPI ist ein Rotz

#7 2010-10-04 13:46:01

Re: XAPI ist ein Rotz

#8 2010-10-04 14:28:38

Re: XAPI ist ein Rotz

#9 2010-10-04 14:33:26

Re: XAPI ist ein Rotz

#10 2010-10-04 14:33:33

Re: XAPI ist ein Rotz

#11 2010-10-05 15:26:37

Re: XAPI ist ein Rotz

#12 2010-10-05 15:43:51

Re: XAPI ist ein Rotz

#13 2011-03-16 19:02:28

Re: XAPI ist ein Rotz

#14 2011-03-16 19:17:20

Re: XAPI ist ein Rotz

#15 2011-03-16 19:41:53

Re: XAPI ist ein Rotz

#16 2011-03-17 16:49:06

Re: XAPI ist ein Rotz

#17 2011-03-17 18:51:09

Re: XAPI ist ein Rotz

#18 2011-03-17 19:12:12

Re: XAPI ist ein Rotz

#19 2011-03-17 22:57:41

Re: XAPI ist ein Rotz

#20 2011-03-17 23:57:25

Re: XAPI ist ein Rotz

#21 2011-03-18 09:42:17

Re: XAPI ist ein Rotz

#22 2011-03-23 02:05:27

Re: XAPI ist ein Rotz

#23 2011-03-23 16:56:52

Re: XAPI ist ein Rotz

#24 2011-03-27 12:54:37

Re: XAPI ist ein Rotz

#25 2011-03-27 15:42:26

Re: XAPI ist ein Rotz

Board footer