brezplačni podatki GURS - Imamo soglasje!

Spoštovani,
Dne 10.10.2016 sem na GURS poslal pismo z naslednjo vsebino.

"
Openstreetmap projekt je projekt prostovoljcev, ki ustvarjajo prosto dostopen zemljevid sveta. Zemljevidi in podatki so prosto dostopni na naslovu http://www.openstreetmap.org.

V imenu OpenStreetMap skupnosti Slovenija vas prosim za soglasje za uporabo podatkov, ki so dostopni na portalu e-Prostor kot “brezplačni” podatki (http://www.e-prostor.gov.si/si/brezplacni_podatki/). Uporabiti želimo podatke Registra prostorskih enot (hišne številke) in Zbirnega katastra gospodarske javne infrastrukture (ceste). Podatki bodo predvidoma uporabljeni predvsem za kontrolo in dopolnitev obstoječih podatkov v OpenStreetMap bazi.

Ustrezna navedba vira podatkov bo vključena na wiki strani virov podatkov OpenStreetMap (contributors), kjer je Geodetska uprava enkrat že navedena: http://wiki.openstreetmap.org/wiki/Contributors#Slovenia.

Vir podatkov bo naveden tudi pri posameznih elementih, ki bodo neposredno prevzeti in sicer v obliki značke (tag) source=GURS, kar bo omogočalo neposredno povezano na stan http://wiki.openstreetmap.org/wiki/Geodetska_uprava_Republike_Slovenije.

Datum veljavnosti podatkov bo naveden v obliki značke source:date=“datum veljavnosti podatkov”.

Način uporabe podatkov bo - skladno s pravili OpenStreetMap - opisan tudi na posebni strani, ki bo namenjena podrobnemu opisu načina uporabe podatkov in bo pripravljena v primeru, da bomo od vas dobili pozitiven odgovor.
Lep pozdrav.
"

Odgovor je bil pozitiven z naslednjo vsebino:
"

Pozdravljeni.
Posebnega dovoljenja ne izdajamo, navesti morate le vir podatkov in upoštevati pogoje uporabe podatkov, ki so objavljeni na naši strani:
http://www.e-prostor.gov.si/si/dostop_do_podatkov/dostop_do_podatkov/
l.p.
"
Prosim za komentartje in predloge. Gre za veliko stvar, ker gre za hišne številke in ceste, ki pokrivajo celotno Slovenijo.

lp
Gvil

Gvil, izredno zadovoljen, da si uspel z to zadevo. Prepričan sem, da da bomo skupaj uspeli narediti našo Slovenijo še tem prepoznavnejšo z natančnimi podatki tudi tam, kjer nam to do zdaj ni uspevalo. Komaj čakam, da bo zaživel kak dodaten Layer v JOSM !!!
Vabim tudi vse ljudi dobre volje, da se nam pridružijo v soustvarjanju naše, že itak lepe Slovenije.
Joško - Prekmurje

Za ulice in hišne številke bi bilo dobro, če bi uporabili oznako “source:addr=GURS”, ker zgradbe lahko vsebujejo še druge podatke, ki niso od GURS-a.

Opazil sem da je uporabnik fredi_alf dodajal dosti zgradb v Mariboru iz GURSa nato pa jih brisal. Po vprašanju zakaj je rekel, da je dobil opozorilo moderatorja zaradi problemov z licenco. Zdaj pa nevem al je GURS ok al ne:

changeset

GURS namreč ima dodatek noncommercial use only.

GURS podatki (tisti, ki spadajo v skupino “brezplačnih podatkov”) so glede na eksplicitno izjavo, ki so jo dali, lahko uporabljeni za import. Bo pa treba pravilno navesti in citirati vir (podobno kot za dejansko rabo kmetijskih zemljišč) in slediti vsem protokolom importa, ki jih omenja tudi “moderator”.

lp

Coloredstone

V teku je priprava uvoza podatkov vseh trenutnih 553968 hišnih številk v OpenAddresses - https://openaddresses.io/

Takole nekako izgleda od daleč:

Od blizu pa lahko preverite na slippy-zemljevidu: http://dotmaps.openaddresses.io/187282/#lat=46.55714&lng=15.64662&z=18

Vsebinska debata o uvozu: https://github.com/openaddresses/openaddresses/issues/2926

Tehnikalije pa so v pull requestu: https://github.com/openaddresses/openaddresses/pull/2980

Povzetek uvozov: http://results.openaddresses.io/sources/si/countrywide

Z natančnostjo konverzije nisem pretiraval, ampak sem reprojekcijo pustil gdal-u (ogr2ogr), ker nisem opazil, da bi dosledno ciljali na sredino hiše ali k vhodu, ampak pač nekam v hišo, včasih pa tudi zraven nje (vsaj tako izgleda z OSM podlago).
Če menite, da so napake prevelike lahko uporabim tudi precej bolj natančen Matjažev GeoCoordinateConverter - http://geocoordinateconverter.tk/.

Plan je, da bo OSM nominatim iskal tudi po tej bazi. Pričakovati je, da bodo podobno storili tudi drugi (OsmAnd ipd), a naj nas to ne ustavi pred uvozom v OSM, kupi pa nam nekaj časa, da to lahko to naredimo bolj premišljeno, ker gre za bolj kompleksno opravilo.

Fun fact: Nekatere hišne številke vsebujejo tudi šumnike, npr “77Č”. Me prav zanima koliko zmešnjave imajo z dostavo pošte iz tujine :smiley:

Pozdrav,

Zanima me kako je kaj z uvozom sloja GJI ceste v OSM? Klasifikacija cest je malce drugačna…

Lp
Grega

Dalo bi se.

En testni primer “prevajanja” vsebine GJI v JOSM je tule: https://qgiscloud.com/coloredstone/qgis_highway_upload_1/mobile
Zaradi omejitve količine so vključene le “glavne” ceste.

Prevajalni šifrant je takle (neverificirano!):

ATR1 ATR1_opis highway
1 Avtocesta motorway
2 Hitra cesta trunk
3 Glavna cesta I.reda primary
4 Glavna cesta II.reda primary
5 Regionalna cesta I.reda primary
6 Regionalna cesta II.reda primary
7 Regionalna cesta III.reda secondary
8 Turisti?na cesta unclasified
9 Lokalna cesta residential
10 Javna pot unclasified
11 Glavna mestna cesta tertiary
12 Zbirna mestna ali krajevna cesta tertiary
13 Mestna ali krajevna cesta residential
14 Daljinska kolesarska pot cycleway
15 Glavna kolesarska pot cycleway
16 Javna pot za kolesarjenje cycleway
17 Gozdna cesta track
18 Nekategorizirana cesta unclasified

Pred uvozom pa bi morali še kaj razčistiti, predvsem kako uskladiti že obstoječo vsebino, ker je v OSM že večina cest vrisanih in kakega velikega avtomatizma ne bo dobro izvajati. Morda bi bilo smiselno pripraviti samo en WMS sloj kot ozadje.

Smo se o tem že pogovarjali in je na dnevnem redu: https://lists.openstreetmap.org/pipermail/talk-si/2017-April/000343.html

Vsekakor ni smiselno uvažati kar celega sloja GJI - ni tako dobro topološko urejen kot so OSM ceste, posamezne linije se v križiščih ne stikajo tako perfektno kot OSM. To je ena od velikih prednosti OSM higways pred uradno evidenco GJI.

Mogoče bi za začetek lahko GJI uporabljali zgolj kot rastrsko podlago, odstopanja obstoječih cest v OSM po mojih izkušnjah niso velika.

Trenutno je v teku priprava uvoza hišnih številk v Novi Zelandiji, iz katere se lahko česa naučimo.
Debata na dopisnem seznamu (imports@…): https://lists.openstreetmap.org/pipermail/imports/2017-June/thread.html
Dokumentacija uvoza na wikiju: https://wiki.openstreetmap.org/wiki/LINZ/Address_Import

Zanimivo je, da je bilo v tem primeru potrebno dodatno soglasje poleg CC-BY dovoljenja, ki nedvoumno definira zadovoljiv način navajanja vira, konkretno: https://wiki.openstreetmap.org/wiki/File:OSM_waiver_-_LINZ.pdf

Več o uporabi/uvozu podatkov z licenco CC-BY v OpenStreetMap: https://blog.openstreetmap.org/2017/03/17/use-of-cc-by-data/

Pripravil sem osnutek dokumentacije za uvoz naslovov:
https://wiki.openstreetmap.org/wiki/Slovenia_Address_Import

Pripombe, komentarji, dopolnitve dobrodošle.

Predvsem je potrebno premisliti kako izvesti operacijo “data preparation”/“identifying duplicates”/“pre-import cleanup” kot so to imenovali v uvozih, ki so navedeni kot referenca.

Kot kaže večinoma želijo ob uvozu tudi poenotiti podatke na način, da so naslovi striktno vezani na samostojne točke in ne na druge elemente (stavbe, …). To je kar precej dela. Verjetno bi se dalo kako tudi avtomatsko analizirati, kateri podatki o naslovih že obstajajo in jih nekako procesirati.

Pa še “vprašanje”: zakaj sploh naslovi v OSM, če pa so že v OpenAddresses ? A ne gre malce za podvajanje, pa še osveževanje v OpenAddresses je precej enostavnejše. A je kak znan protokol, kako bi to dvoje postalo eno.

Tole tabelo bi bilo dobro uskladiti z wiki stranjo: https://wiki.openstreetmap.org/wiki/Sl:Map_Features

LP, Peter

Ja, ampak ker to ni prvi tak uvoz s potencialnimi konflikti in je konflikte dokaj enostavno razreševati (točke z nekaj tagi) obstaja že nekaj orodij ki počno točno to, jih je pa potrebno pregledati, preizkusiti in po potrebo ustrezno doplniti.

Primera orodij sta https://wiki.openstreetmap.org/wiki/Osmsync in https://wiki.openstreetmap.org/wiki/OSM_Conflator
Princip pa je lepo opisan na https://github.com/openaddresses/dedupe

Vse v grobem temelji na postopku:

  • Poišči obstoječe naslove v OSM (npr prek overpass turbo APIja)
  • Poišči duplikate med kandidati za uvoz v radiju x (npr 10) metrov okoli obstoječih naslovov (pri tem je verjetno potrebno prilagoditi logiko za fuzzy match slovenskih ulic, cest)
  • Zavrzi duplikate ali pa obstoječim točkam dopolni (“Slovenska” → ”Slovenska cesta") ali dodaj manjkajoče tage (npr dvojezično ime ulice ali hs_mid za lažja uparjanja v prihodnosti)
  • uvozi nove točke

Na ta način:

  • Dobimo vse naslove v OSM
  • OSM uredniki imamo možnost korigirati mikrolokacijo točk (npr če v GURSovem viru pozicija ni točna, ali pa se je naslov (tablica s hišno številko, “on the ground”) prestavil npr na sosednjo hišo (novogradnja/nadomestna gradnja, lastnik pa ni šel v boj z birokracijo za prestavitev)
  • v primeru večjih neskladij (npr 50 metrov razlike) bi v OSM imeli obe “resnici”

Zato, ker bi s tem dopolnili manjkajoče podatke v OSM, hkrati pa dali možnost OSM urednikom, da jih izboljšamo. Konec koncev zakaj bi uvažali rabo tal, hiše in risali ceste, če so na voljo vsaka od the v neki tretji bazi.

Opazil sem, da je treba pri uvozu pravokotnikov spojiti prav vse točke, ki se stikajo s sosednjimi pravokotniki (ne samo vogale), saj se še vedno ne ujemajo povsem (točko je treba kar precej povečati).

LP, Peter

Kot kaže res prihaja do manjšega zamika - StefanB: a se je procedura kaj spremenila?

Ne, ničesar nisem spreminjal.
Je pa zelo možno, da do odstopanj pride zaradi nedavne korekcije podatkov zaradi zamika tektonskih plošč:
https://blog.openstreetmap.org/2017/03/31/osm-plate-tectonics/

Eh, če se je pa to zgodilo … prva misel: “čisto mimo”. Tako se pa ne pristopa. Spremembe objektov brez sledi ?

Čeprav … prvega aprila pa to seveda gre.

Če mi poveste kje je primer tega lahko pogledam.

Me pa zanima predvsem datum (source:date) izreza na robu katerega se pojavljajo neskladja s trenutnimi (2017-05-31) podatki.