downloaden osm data

Ah, ik had bij de cycleway tag gekeken, maar de beschrijving van die tag staat dus bij bicycle en niet bij cycleway …

Als je de optie timestamping gebruikt ( -N ) dan haalt wget het bestand alleen op als het nieuwer is dan het lokale exemplaar.
Optie -c (of -continue) kan je gebruiken voor het voortzetten van afgebroken downloads in het geval er ook op een ander tijdstip onderhoud wordt gepleegd aan de server.

Maar nu heb ik geen lokaal exemplaar of is het al een week oud. Wat ik wil is dat wget (of een andere tool) eerst checkt of de europe.osm.pbf van vandaag is en niet nog van gisteren.
Optie -c gebruik ik reeds.

Het tijdstip van aanmaak wordt altijd getoond en niet het tijdstip waarop de upload klaar is. Toen ik enige tijd geleden het netherlands.osm.pbf bestand wilde downloaden, zag ik als tijd staan 9.16. Dat was de tijd waarop het bestand werd geupload. Toen de upload klaar was, stond er een veel eerder tijdstip. Je kunt er de klok niet op gelijk zetten dat de upload altijd op precies dezelfde tijd er staat. Gisteren is er een foutje gemaakt en stond het netherlands.osm.pbf bestand er pas laat in de middag. De bestanden van de continenten in de hoofddirectory worden als eerste ververst.

Ja dat heb ik ook gemerkt, die van vandaag staat op 17-Mar-2012 03:19 maar ik vermoed dat die rond half zeven-zeven uur er pas op stond, toevallig toen ik net eentje aan het downloaden was. :confused:
Nu wil ik mijn computer 's ochtends vroeg laten draaien, en het scriptje moet dan kijken of de extract van die ochtend er al op staat of nog niet. Als die (zoals vanochtend) om een uur of 6 gewoon gaat downloaden (die van de vorige dag dus) en de geofabrik server zet er tussentijds een verser exemplaar op dan gaat het fout. Dus hij moet pas beginnen als de laatste versie van vandaag erop staat (en zonder dat ik dat zelf hoef te controleren).
Ik kan 'm natuurlijk ook gewoon 's nachts om 24 uur aanzetten, want dan is het risico niet aanwezig dat er tussentijds een nieuwere upload eroverheen wordt geschreven.

Het maken van kaarten is niet frusterend. Wel moet je heel veel dingen uitproberen en dat kost zo vreselijk veel tijd. Het is heel leerzaam om ook andere stylesheets uit te proberen. Je leert de persoonlijke voorkeuren van de auteur goed kennen. Toen ik de style sheets van de Radreiskarte probeerde, keek ik soms mijn ogen uit, vooral toen ik de cobblestone wegen zag.

De stylesheets die Ligfietser heeft gemaakt zijn voor de fietsers in Nederland ideaal. Zijn kaart is een echt Nederlandse kaart en andere kaarten kunnen er niet aan tippen. Ik heb veel waardering voor de pioniers op dit gebied en je krijgt hun ideeën kant en klaar aangereikt, zodat je die kunt aanpassen naar je eigen voorkeuren. Het valt niet mee om een kaart te maken zonder hun ideeën te gebruiken. Handboeken zijn er niet.

De server is niet altijd bereikbaar en er is een downloadbeperking. Op deze site is geen downloadbeperking: http://ftp5.gwdg.de/pub/misc/openstreetmap/download.geofabrik.de/. Maar de verversing is hier pas om 10.00 uur tot 10.30 uur klaar en is een kopie van de download.geofabrik.de.

Daar heb ik nooit last van, van die download beperking. Wat is dan de limiet?
En 10 uur is te laat, ik wil 's ochtends een verse kaart zien als ik opsta :wink:

zie: http://download.geofabrik.de/limit.html

Zelf heb ik nog nooit last gehad. Als vele mensen tegelijk aan het downloaden zijn, kan het voorkomen. Uit voorzorg download ik europe.osm.pbf van de andere site. De download snelheid is op die site constant.

Het netherlands.osm.pbf bestand kan binnen 8 minuten worden gedownload. Splitsen duurt 6-8 minuten en een kaart maken duurt 16-18 minuten. Als ik om 10.45 uur van huis ga, zit er soms een kakelverse kaart in mijn Garmin Etrex:-)

Je kan met wget de datum wanneer het bestand is aangemaakt opvragen zonder dat het wordt gedownload, gebruik dan wget -S --spider “url-bestandsnaam”
Een andere mogelijkheid is een leeg bestand aanmaken met dezelfde naam en dan wget weer met timestamping gebruiken (en niet op grootte laten controleren).
touch -t $(date -d “10 hours ago” +%m%d%H%M ) bestandsnaam && wget --ignore-length -N url-bestandsnaam

Gebruik je cygwin omdat je schrijft wget.exe?

Die eerste stap kan ik opslaan als een txt file waarmee ik met Last-Modified: Sat, 17 Mar 2012 02:19:06 GMT iets mee moet doen maar ik weet niet hoe ik die datum notitie Sat, 17 Mar 2012 weer kan vergelijken met 17-03-2012? :confused:

Ik gebruik een dos script in windows, die laatste stap met touch begrijp ik niet.

Ik heb touch.exe gedownload.
Op http://www.mkssoftware.com/docs/man1/touch.1.asp zie ik wat voorbeelden maar bijv
touch -t 201203170000 europe.osm.pbf doet helemaal niets met de datum.

Edit: Inmiddels een andere touch voor windows gevonden die het wel doet: http://www.stevemiller.net/apps/

Volgende keer zal ik de :wink: er weer achter plakken.

Overigens heb ik nog nooit ergens kaarten gevonden met de helder fietspadweergave van de klassieke ANWB/Falk kaarten, van voor de route- en nummerellende. En al helemaal niet in printbare vorm. Want onderweg werkt een papieren kaart nog altijd het best.

De methode met touch in combinatie met een lege file en de timestamping van wget lijkt te lukken, bedankt Jeroen!

Hieronder een stukje van mijn batch file:


echo. 2>europe.osm.pbf
touch /t 0000 europe.osm.pbf
:download
wget -c -t 0 --ignore-length --timeout=60 --waitretry=60 --retry-connrefused -N  "http://download.geofabrik.de/osm/europe.osm.pbf"
FOR /F "usebackq" %%A IN ('europe.osm.pbf') DO set size=%%~zA
if %size% GTR 10000 goto finished
timeout 90
goto download
:finished

Btw: vanwege onderhoud op de mijndev.openstreetmap.nl server zijn de OFM bestanden tijdelijk niet bereikbaar

Ik neem al jarenlang geen papieren kaart meer mee. Ik heb genoeg aan mijn Garmin Etrex. Ik maak mijn fietsroutes thuis op de computer en probeer steeds weer nieuwe, onbekende landwegen te zoeken. Deze route zet ik om in een track m.b.v. Basecamp. De track is lila gekleurd en de achtergrond is op mijn Etrex is vrij licht. Ik hoef alleen maar domweg de track te volgen en kan dus rustig om me heen kijken. Gisteren heb ik een fietstocht gemaakt via Merum en Marsum. Ik was nog nooit in Marsum geweest. Ik heb al die jaren heel wat gemist, want Marsum is een prachtig gehucht en als je richting de dijk fietst, kom je langs bunkers. Volgens de Onroute Fietskaart bestaan de wegen/fietspaden via Merum en Marsum niet. Op de OSM staan ze wel vermeld.

Ik heb de typ files aangepast naar eigen inzicht en de wegen een eigen kleur gegeven. Helaas moest ik de typ files op een tijd wekelijks aanpassen toen ik de Openfietsmap gebruikte. In januari ben ik begonnen met het maken van kaarten en heb die ook iets aangepast.

In Marsum ook nog in het kerje geweest?

Ik heb een kaart op mijn telefoon staan, en op mijn TT-kloon. Tot nu toe de stafkaart voor het wandelen en de OFM voor het fietsen. Maar je hebt geen overzicht, dwz op een provinciekaart kan ik ver voor me uit kijken. En ik hoef niet steeds een schaduwplek op te zoeken.
OFM en aanverwanten gebruiken ook nog kleuren die op een lcd schermpje nu niet echt eruit springen. Vandaar mijn inspanning om dan toch maar een eigen kaart te maken.

Hoedanook, de tile-server draait. Basis rule-set voor Maperitive is af. Testgebied rond Glimmen gaat goed. http://www.mijneigen.net/fiets

Dat klopt, maar dat overzicht had ik op de computer en in grote lijnen ken ik het gebied. Vorig jaar ben ik slechts 1x een probleem gehad toen een weg was afgesloten, d.w.z. dat het tussen 15 december en 31 mei verboden is om via die weg te gaan. Het betrof de Denkmalstrasse even voorbij Ditzumerverlaat. Ik stond in twijfel en ben toch doorgefietst. Dit verbod geldt niet voor fietsers, maar wel voor auto’s, meen ik te hebben begrepen. Kon het echt niet, zoals bij het fietspad langs Harssenbosch (gesloten van 15 maart tot 15 juni, het bruggetje staat omhoog), dan is een kaart inderdaad gemakkelijker.

Ja, onbegrijpelijk omdat je helemaal niet in het weiland zelf komt. Wat je daar voor kwaad kan doen aan de weidevogels?
Ik denk dat ik gewoon anders fiets. Ik heb geen uitgestippelde route, maar bedenk onderweg wel waar ik uitkom. En pas de route ook aan aan de weersomstandigheden.

Beste ligfietser,

Ook ik wil graag een osm bestand van Nederland, met wat ruimte over de grenzen heen. Heb europe-latest.osm.pbf van download.geofabrik.de gedownload en voer dan het commando uit:

osmconvert europe-latest.osm.pbf -b=2.91,50.46,7.46,53.78 --out-osm -o=netherlandsinclborderzones.osm

Maar krijg een foutmelding:

osmconvert Error: decompression failed: -3, waarover ik via Google geen verdere informatie kan achterhalen. Kan jij mij verder helpen? Overigens ook als ik de outputfile op pbf hou, krijg ik dezelfde foutmelding. Werk op een windows8 PC met de laatste versie van osmconvert

Dank alvast!

Het zou kunnen dat er iets is misgegaan tijdens het downloaden, waardoor de europe.pbf corrupt is geraakt?

Ik heb niet de allerlaatste osmconvert maar een van een maand geleden, en die ging goed.
Ipv -b gebruik ik nu een polygoon file maar daar kan het denk ik niet aan liggen:
osmconvert europe-latest.osm.pbf -B=bnl.poly -o=benelux.o5m

Beste ligfietser,

Ik heb de MD5 sum check gedaan, en daar was inderdaad een mismatch. Zal hem vandaag nog eens proberen met de nieuwste versie

Dank.

Pim