downloaden osm data

noordfiets · 2012-03-17 09:53:56

De download van gebieden uit de OSM data is steeds beperkter lijkt het wel. Wat JOSM nog accepteert wordt door de server al geweigerd ..
Nou is het rare dat ik eigenlijk maar een klein gebied wil, de provincie Groningen met een ruime grens. In data vrij gering, <<50MB als pbf.
Om daar bij te komen moet ik de Benelux extract ( 650 MB als pbf ) downloaden en dan daaruit weer een kleiner gebied halen. Ik download dus tegen de 15 keer zoveel als ik nodig heb.
Werkt op die manier een downloadbeperking niet juist een hoger datagebruik in de hand?

Nog erger wordt het trouwens als ik het gebied uit wil breiden met een stuk noord-duitsland. Dan moet ik nog veel meer downloaden. En eigenlijk allemaal voor niks ..

Last edited by noordfiets (2012-03-17 10:01:32)

ligfietser · 2012-03-17 10:32:28

Bij geofabrik kan je ook de Nederland extract downloaden: http://download.geofabrik.de/osm/europe/ (494M)
Als je een deel van de grensstreek wilt hebben heb je een probleem, want dan moet je de Europa extract pakken (7,5Gig) en daaruit een stuk snijden, dat doe ik voor mijn benelux kaart met osmconvert:

osmconvert europe.osm.pbf -b=6,52.8,7.5,54 -o=groningen.osm.pbf

Met wget kan je ook een stuk downloaden, bijv

wget.exe http://xapi.openstreetmap.org/api/0.6/m … 2.8,7.5,54 -O groningen.osm

Maar dan loop je denk ik ook vast op de limiet.

Mattheus · 2012-03-17 10:39:02

noordfiets wrote:

Werkt op die manier een downloadbeperking niet juist een hoger datagebruik in de hand?

Je kunt alleen de provincie Groningen downloaden:-):

http://downloads.cloudmade.com/europe/w … en.osm.bz2

Dit extract is stokoud, van 13 december 2011.

Via deze site: http://download.geofabrik.de/osm/europe/ kun je alleen Nederland downloaden. Ook kun je delen van Duitsland downloaden.

Maar ga je een deel van Nederland combineren met een deel van Duitsland, dan moet je europe.osm.pbf downloaden, een betand van 7,5 GB. Het europe.osm.pbf bestand kun je ook hier downloaden: http://ftp5.gwdg.de/pub/misc/openstreet … fabrik.de/

ligfietser · 2012-03-17 11:19:49

Nog even een waarschuwing voor het downloaden van mn de geofabrik Europe extract. Ik had een script opgestart die vanochtend aan de download begon (6.30u) maar kennelijk wordt die omstreeks dat tijdstip op de site ververst (hoewel het tijdstip van aanmaak veel vroeger is, nl 3:19). De verwerking mislukte dus.

Weet iemand toevallig hoe je met wget.exe (of een ander programma) de datum van het op te halen bestand eerst kan controleren, dus als ik mijn script opstart dat ie dan eerst kijkt of het een vers exemplaar is en anders wacht totdat de filedatum gelijk is aan de huidige datum?

Last edited by ligfietser (2012-03-17 11:20:43)

noordfiets · 2012-03-17 12:27:56

Nou, de eerste stap .. cloudmate is oud, dus geofabric benelux. Met osmconvert ( even zelf uitvogelen dat de grenscoordinaten in Hms zijn .. en niet in H ) eerst een klein stuk geknipt, Haren in dit geval. Osmconvert bleek niet te kunnen inpakken dus dan maar zelf naar bz2. Maperitive met eigen rules-file ... en ja daar kwamen de fietspaden in mooie rode lijnen op een mapnik achtergrond.
Inzoomen en wat zie ik: een fietspad wat er al 2 jaar niet meer is .... frustrerend hoor dat kaarten maken. Ligfietser stijgt nog meer in mijn achting.
Hoe dan ook, dit lijkt al wat op wat ik wil:

Even een puzzel voor Ligfietser:
Hoe tag ik een weg waar aan 1 kant een fietspad ligt met 1 rijrichting en aan de andere kant een lane terwijl de weg zelf twee richtingen is? Alle opposite tags zijn juist voor een 1-richtingsweg met twee richtingen fietsers .. Wat in de buurt komt is op de weg cycleway=lane en oneway:bicycle=yes, alleen heb ik dan eigenlijk een lane teveel .. Of zou je in zo'n geval beter de lane weglaten. En wat gebeurt er voor de router als ik een weg op oneway:bicycle=yes zet?

ligfietser · 2012-03-17 13:15:30

cycleway:right=lane en oneway:bicycle=yes, zie http://wiki.openstreetmap.org/wiki/Bicycle voorbeeld S2:

De OFM stuurt je dan over de lane / highway en in tegengestelde richting over het fietspad.

Last edited by ligfietser (2012-03-17 13:19:33)

noordfiets · 2012-03-17 15:33:34

Ah, ik had bij de cycleway tag gekeken, maar de beschrijving van die tag staat dus bij bicycle en niet bij cycleway ...

Jeroen_ · 2012-03-17 16:15:47

ligfietser wrote:

Weet iemand toevallig hoe je met wget.exe (of een ander programma) de datum van het op te halen bestand eerst kan controleren, dus als ik mijn script opstart dat ie dan eerst kijkt of het een vers exemplaar is en anders wacht totdat de filedatum gelijk is aan de huidige datum?

Als je de optie timestamping gebruikt ( -N ) dan haalt wget het bestand alleen op als het nieuwer is dan het lokale exemplaar.
Optie -c (of -continue) kan je gebruiken voor het voortzetten van afgebroken downloads in het geval er ook op een ander tijdstip onderhoud wordt gepleegd aan de server.

Last edited by Jeroen_ (2012-03-17 16:18:22)

ligfietser · 2012-03-17 16:20:00

Jeroen_ wrote:

Als je de optie timestamping gebruikt ( -N ) dan haalt wget het bestand alleen op als nieuwer is dan het lokale exemplaar.
Optie -c (of -continue) kan je gebruiken voor het voortzetten van afgebroken downloads in het geval er ook op een ander tijdstip onderhoud wordt gepleegd aan de server.

Maar nu heb ik geen lokaal exemplaar of is het al een week oud. Wat ik wil is dat wget (of een andere tool) eerst checkt of de europe.osm.pbf van vandaag is en niet nog van gisteren.
Optie -c gebruik ik reeds.

Mattheus · 2012-03-17 18:50:20

ligfietser wrote:

maar kennelijk wordt die omstreeks dat tijdstip op de site ververst (hoewel het tijdstip van aanmaak veel vroeger is, nl 3:19).

Het tijdstip van aanmaak wordt altijd getoond en niet het tijdstip waarop de upload klaar is. Toen ik enige tijd geleden het netherlands.osm.pbf bestand wilde downloaden, zag ik als tijd staan 9.16. Dat was de tijd waarop het bestand werd geupload. Toen de upload klaar was, stond er een veel eerder tijdstip. Je kunt er de klok niet op gelijk zetten dat de upload altijd op precies dezelfde tijd er staat. Gisteren is er een foutje gemaakt en stond het netherlands.osm.pbf bestand er pas laat in de middag. De bestanden van de continenten in de hoofddirectory worden als eerste ververst.

ligfietser · 2012-03-17 19:12:00

Mattheus wrote:

ligfietser wrote:
maar kennelijk wordt die omstreeks dat tijdstip op de site ververst (hoewel het tijdstip van aanmaak veel vroeger is, nl 3:19).
Het tijdstip van aanmaak wordt altijd getoond en niet het tijdstip waarop de upload klaar is. Toen ik enige tijd geleden het netherlands.osm.pbf bestand wilde downloaden, zag ik als tijd staan 9.16. Dat was de tijd waarop het bestand werd geupload. Toen de upload klaar was, stond er een veel eerder tijdstip. Je kunt er de klok niet op gelijk zetten dat de upload altijd op precies dezelfde tijd er staat. Gisteren is er een foutje gemaakt en stond het netherlands.osm.pbf bestand er pas laat in de middag. De bestanden van de continenten in de hoofddirectory worden als eerste ververst.

Ja dat heb ik ook gemerkt, die van vandaag staat op 17-Mar-2012 03:19 maar ik vermoed dat die rond half zeven-zeven uur er pas op stond, toevallig toen ik net eentje aan het downloaden was.
Nu wil ik mijn computer 's ochtends vroeg laten draaien, en het scriptje moet dan kijken of de extract van die ochtend er al op staat of nog niet. Als die (zoals vanochtend) om een uur of 6 gewoon gaat downloaden (die van de vorige dag dus) en de geofabrik server zet er tussentijds een verser exemplaar op dan gaat het fout. Dus hij moet pas beginnen als de laatste versie van vandaag erop staat (en zonder dat ik dat zelf hoef te controleren).
Ik kan 'm natuurlijk ook gewoon 's nachts om 24 uur aanzetten, want dan is het risico niet aanwezig dat er tussentijds een nieuwere upload eroverheen wordt geschreven.

Mattheus · 2012-03-17 19:29:44

noordfiets wrote:

frustrerend hoor dat kaarten maken. Ligfietser stijgt nog meer in mijn achting.

Het maken van kaarten is niet frusterend. Wel moet je heel veel dingen uitproberen en dat kost zo vreselijk veel tijd. Het is heel leerzaam om ook andere stylesheets uit te proberen. Je leert de persoonlijke voorkeuren van de auteur goed kennen. Toen ik de style sheets van de Radreiskarte probeerde, keek ik soms mijn ogen uit, vooral toen ik de cobblestone wegen zag.

De stylesheets die Ligfietser heeft gemaakt zijn voor de fietsers in Nederland ideaal. Zijn kaart is een echt Nederlandse kaart en andere kaarten kunnen er niet aan tippen. Ik heb veel waardering voor de pioniers op dit gebied en je krijgt hun ideeën kant en klaar aangereikt, zodat je die kunt aanpassen naar je eigen voorkeuren. Het valt niet mee om een kaart te maken zonder hun ideeën te gebruiken. Handboeken zijn er niet.

Mattheus · 2012-03-17 19:34:24

ligfietser wrote:

Ik kan 'm natuurlijk ook gewoon 's nachts om 24 uur aanzetten, want dan is het risico niet aanwezig dat er tussentijds een nieuwere upload eroverheen wordt geschreven.

De server is niet altijd bereikbaar en er is een downloadbeperking. Op deze site is geen downloadbeperking: http://ftp5.gwdg.de/pub/misc/openstreet … fabrik.de/. Maar de verversing is hier pas om 10.00 uur tot 10.30 uur klaar en is een kopie van de download.geofabrik.de.

ligfietser · 2012-03-17 19:41:10

Daar heb ik nooit last van, van die download beperking. Wat is dan de limiet?
En 10 uur is te laat, ik wil 's ochtends een verse kaart zien als ik opsta ;-)

Mattheus · 2012-03-17 19:54:33

ligfietser wrote:

Daar heb ik nooit last van, van die download beperking. Wat is dan de limiet?

zie: http://download.geofabrik.de/limit.html

Zelf heb ik nog nooit last gehad. Als vele mensen tegelijk aan het downloaden zijn, kan het voorkomen. Uit voorzorg download ik europe.osm.pbf van de andere site. De download snelheid is op die site constant.

ligfietser wrote:

En 10 uur is te laat, ik wil 's ochtends een verse kaart zien als ik opsta ;-)

Het netherlands.osm.pbf bestand kan binnen 8 minuten worden gedownload. Splitsen duurt 6-8 minuten en een kaart maken duurt 16-18 minuten. Als ik om 10.45 uur van huis ga, zit er soms een kakelverse kaart in mijn Garmin Etrex:-)

Jeroen_ · 2012-03-17 21:07:02

ligfietser wrote:

Jeroen_ wrote:
Als je de optie timestamping gebruikt ( -N ) dan haalt wget het bestand alleen op als nieuwer is dan het lokale exemplaar.
Optie -c (of -continue) kan je gebruiken voor het voortzetten van afgebroken downloads in het geval er ook op een ander tijdstip onderhoud wordt gepleegd aan de server.
Maar nu heb ik geen lokaal exemplaar of is het al een week oud. Wat ik wil is dat wget (of een andere tool) eerst checkt of de europe.osm.pbf van vandaag is en niet nog van gisteren.
Optie -c gebruik ik reeds.

Je kan met wget de datum wanneer het bestand is aangemaakt opvragen zonder dat het wordt gedownload, gebruik dan wget -S --spider "url-bestandsnaam"
Een andere mogelijkheid is een leeg bestand aanmaken met dezelfde naam en dan wget weer met timestamping gebruiken (en niet op grootte laten controleren).
touch -t $(date -d "10 hours ago" +%m%d%H%M ) bestandsnaam && wget --ignore-length -N url-bestandsnaam

Gebruik je cygwin omdat je schrijft wget.exe?

ligfietser · 2012-03-17 22:33:31

Jeroen_ wrote:

Je kan met wget de datum wanneer het bestand is aangemaakt opvragen zonder dat het wordt gedownload, gebruik dan wget -S --spider "url-bestandsnaam"
Een andere mogelijkheid is een leeg bestand aanmaken met dezelfde naam en dan wget weer met timestamping gebruiken (en niet op grootte laten controleren).
touch -t $(date -d "10 hours ago" +%m%d%H%M ) bestandsnaam && wget --ignore-length -N url-bestandsnaam
Gebruik je cygwin omdat je schrijft wget.exe?

Die eerste stap kan ik opslaan als een txt file waarmee ik met Last-Modified: Sat, 17 Mar 2012 02:19:06 GMT iets mee moet doen maar ik weet niet hoe ik die datum notitie Sat, 17 Mar 2012 weer kan vergelijken met 17-03-2012?

Ik gebruik een dos script in windows, die laatste stap met touch begrijp ik niet.

Ik heb touch.exe gedownload.
Op http://www.mkssoftware.com/docs/man1/touch.1.asp zie ik wat voorbeelden maar bijv
touch -t 201203170000 europe.osm.pbf doet helemaal niets met de datum.

Edit: Inmiddels een andere touch voor windows gevonden die het wel doet: http://www.stevemiller.net/apps/

Last edited by ligfietser (2012-03-17 23:20:11)

noordfiets · 2012-03-17 23:30:56

Mattheus wrote:

noordfiets wrote:
frustrerend hoor dat kaarten maken. Ligfietser stijgt nog meer in mijn achting.
Het maken van kaarten is niet frusterend. Wel moet je heel veel dingen uitproberen en dat kost zo vreselijk veel tijd. Het is heel leerzaam om ook andere stylesheets uit te proberen. Je leert de persoonlijke voorkeuren van de auteur goed kennen. Toen ik de style sheets van de Radreiskarte probeerde, keek ik soms mijn ogen uit, vooral toen ik de cobblestone wegen zag.
De stylesheets die Ligfietser heeft gemaakt zijn voor de fietsers in Nederland ideaal. Zijn kaart is een echt Nederlandse kaart en andere kaarten kunnen er niet aan tippen. Ik heb veel waardering voor de pioniers op dit gebied en je krijgt hun ideeën kant en klaar aangereikt, zodat je die kunt aanpassen naar je eigen voorkeuren. Het valt niet mee om een kaart te maken zonder hun ideeën te gebruiken. Handboeken zijn er niet.

Volgende keer zal ik de er weer achter plakken.

Overigens heb ik nog nooit ergens kaarten gevonden met de helder fietspadweergave van de klassieke ANWB/Falk kaarten, van voor de route- en nummerellende. En al helemaal niet in printbare vorm. Want onderweg werkt een papieren kaart nog altijd het best.

ligfietser · 2012-03-18 09:55:38

De methode met touch in combinatie met een lege file en de timestamping van wget lijkt te lukken, bedankt Jeroen!

Hieronder een stukje van mijn batch file:

echo. 2>europe.osm.pbf
touch /t 0000 europe.osm.pbf
:download
wget -c -t 0 --ignore-length --timeout=60 --waitretry=60 --retry-connrefused -N  "http://download.geofabrik.de/osm/europe.osm.pbf"
FOR /F "usebackq" %%A IN ('europe.osm.pbf') DO set size=%%~zA
if %size% GTR 10000 goto finished
timeout 90
goto download
:finished

Btw: vanwege onderhoud op de mijndev.openstreetmap.nl server zijn de OFM bestanden tijdelijk niet bereikbaar

Last edited by ligfietser (2012-03-18 10:01:07)

Mattheus · 2012-03-18 12:24:37

noordfiets wrote:

Want onderweg werkt een papieren kaart nog altijd het best

Ik neem al jarenlang geen papieren kaart meer mee. Ik heb genoeg aan mijn Garmin Etrex. Ik maak mijn fietsroutes thuis op de computer en probeer steeds weer nieuwe, onbekende landwegen te zoeken. Deze route zet ik om in een track m.b.v. Basecamp. De track is lila gekleurd en de achtergrond is op mijn Etrex is vrij licht. Ik hoef alleen maar domweg de track te volgen en kan dus rustig om me heen kijken. Gisteren heb ik een fietstocht gemaakt via Merum en Marsum. Ik was nog nooit in Marsum geweest. Ik heb al die jaren heel wat gemist, want Marsum is een prachtig gehucht en als je richting de dijk fietst, kom je langs bunkers. Volgens de Onroute Fietskaart bestaan de wegen/fietspaden via Merum en Marsum niet. Op de OSM staan ze wel vermeld.

Ik heb de typ files aangepast naar eigen inzicht en de wegen een eigen kleur gegeven. Helaas moest ik de typ files op een tijd wekelijks aanpassen toen ik de Openfietsmap gebruikte. In januari ben ik begonnen met het maken van kaarten en heb die ook iets aangepast.

noordfiets · 2012-03-18 14:12:44

Mattheus wrote:

Ik neem al jarenlang geen papieren kaart meer mee

In Marsum ook nog in het kerje geweest?

Ik heb een kaart op mijn telefoon staan, en op mijn TT-kloon. Tot nu toe de stafkaart voor het wandelen en de OFM voor het fietsen. Maar je hebt geen overzicht, dwz op een provinciekaart kan ik ver voor me uit kijken. En ik hoef niet steeds een schaduwplek op te zoeken.
OFM en aanverwanten gebruiken ook nog kleuren die op een lcd schermpje nu niet echt eruit springen. Vandaar mijn inspanning om dan toch maar een eigen kaart te maken.

Hoedanook, de tile-server draait. Basis rule-set voor Maperitive is af. Testgebied rond Glimmen gaat goed. http://www.mijneigen.net/fiets

Mattheus · 2012-03-18 14:37:28

noordfiets wrote:

Maar je hebt geen overzicht, dwz op een provinciekaart kan ik ver voor me uit kijken.

Dat klopt, maar dat overzicht had ik op de computer en in grote lijnen ken ik het gebied. Vorig jaar ben ik slechts 1x een probleem gehad toen een weg was afgesloten, d.w.z. dat het tussen 15 december en 31 mei verboden is om via die weg te gaan. Het betrof de Denkmalstrasse even voorbij Ditzumerverlaat. Ik stond in twijfel en ben toch doorgefietst. Dit verbod geldt niet voor fietsers, maar wel voor auto's, meen ik te hebben begrepen. Kon het echt niet, zoals bij het fietspad langs Harssenbosch (gesloten van 15 maart tot 15 juni, het bruggetje staat omhoog), dan is een kaart inderdaad gemakkelijker.

noordfiets · 2012-03-18 17:36:12

Mattheus wrote:

gesloten van 15 maart tot 15 juni, het bruggetje staat omhoog

Ja, onbegrijpelijk omdat je helemaal niet in het weiland zelf komt. Wat je daar voor kwaad kan doen aan de weidevogels?
Ik denk dat ik gewoon anders fiets. Ik heb geen uitgestippelde route, maar bedenk onderweg wel waar ik uitkom. En pas de route ook aan aan de weersomstandigheden.

PimVerver · 2013-04-21 10:54:46

Beste ligfietser,

Ook ik wil graag een osm bestand van Nederland, met wat ruimte over de grenzen heen. Heb europe-latest.osm.pbf van download.geofabrik.de gedownload en voer dan het commando uit:

osmconvert europe-latest.osm.pbf -b=2.91,50.46,7.46,53.78 --out-osm -o=netherlandsinclborderzones.osm

Maar krijg een foutmelding:

osmconvert Error: decompression failed: -3, waarover ik via Google geen verdere informatie kan achterhalen. Kan jij mij verder helpen? Overigens ook als ik de outputfile op pbf hou, krijg ik dezelfde foutmelding. Werk op een windows8 PC met de laatste versie van osmconvert

Dank alvast!

ligfietser · 2013-04-21 12:12:07

Het zou kunnen dat er iets is misgegaan tijdens het downloaden, waardoor de europe.pbf corrupt is geraakt?

Ik heb niet de allerlaatste osmconvert maar een van een maand geleden, en die ging goed.
Ipv -b gebruik ik nu een polygoon file maar daar kan het denk ik niet aan liggen:
osmconvert europe-latest.osm.pbf -B=bnl.poly -o=benelux.o5m

Announcement

#1 2012-03-17 09:53:56

downloaden osm data

#2 2012-03-17 10:32:28

Re: downloaden osm data

#3 2012-03-17 10:39:02

Re: downloaden osm data

#4 2012-03-17 11:19:49

Re: downloaden osm data

#5 2012-03-17 12:27:56

Re: downloaden osm data

#6 2012-03-17 13:15:30

Re: downloaden osm data

#7 2012-03-17 15:33:34

Re: downloaden osm data

#8 2012-03-17 16:15:47

Re: downloaden osm data

#9 2012-03-17 16:20:00

Re: downloaden osm data

#10 2012-03-17 18:50:20

Re: downloaden osm data

#11 2012-03-17 19:12:00

Re: downloaden osm data

#12 2012-03-17 19:29:44

Re: downloaden osm data

#13 2012-03-17 19:34:24

Re: downloaden osm data

#14 2012-03-17 19:41:10

Re: downloaden osm data

#15 2012-03-17 19:54:33

Re: downloaden osm data

#16 2012-03-17 21:07:02

Re: downloaden osm data

#17 2012-03-17 22:33:31

Re: downloaden osm data

#18 2012-03-17 23:30:56

Re: downloaden osm data

#19 2012-03-18 09:55:38

Re: downloaden osm data

#20 2012-03-18 12:24:37

Re: downloaden osm data

#21 2012-03-18 14:12:44

Re: downloaden osm data

#22 2012-03-18 14:37:28

Re: downloaden osm data

#23 2012-03-18 17:36:12

Re: downloaden osm data

#24 2013-04-21 10:54:46

Re: downloaden osm data

#25 2013-04-21 12:12:07

Re: downloaden osm data

Board footer