Liikenneviraston ilmaisten aineistojen hyödyntäminen

Liikenneviraston avointa aineistoa alkaa tulla tarjolle, viimeksi pysäkkitiedot: http://www.digiroad.fi/Uusi_DR/pysakki/
Lisenssi löytyy em. sivulta ja muistuttaa MML:n avoimen aineiston lisenssiä. Pysäkkiaineisto ei ole vielä valmis koko Suomen alueelta.

Ilmeisesti sieltä on tulossa pian koko Digiroad. Toivottavasti aineistoissa on pysyvät ID:t, sillä minun mielestäni OSM-importit pitäisi tehdä niin, että edes teoriassa olisi mahdollista hoitaa myös päivitykset automaattisesti.

Kertoisiko joku minulle, mikä on “pysyvä ID” eli miten se toimii ihan oikeasti eikä vaan ns. kauniina ajatuksena. Kiinnostaisi tietää mitenkä se eroaa objektin geometria+metadata tiedoista? Erityisesti jos joku osaisi vastata, missä kaikissa tapauksissa ID:t “pysyvät” silloin, kun geometria muuttuu, ja missä tapauksissa taas ei “pysykään”. Tämä ei ole trollauskommentti vaan olen tullut asiaa jonkin verran miettineenä siihen tulokseen ettei geometria+metadata yhdistelmän ulkopuolella ole mitään järkevää “pysyvää” ID:tä, jonka avulla voisi hoitaa päivitykset automaattisesti yhtään sen paremmin kuin käyttämällä geometriaa+metadataa (niiden muuttumattomuutta) suoraan “ID:nä”.


i.

Ei pysyvä ID mikään ongelmaton ratkaisu ole, mutta ei sen puuttuminenkaan mitään pelasta. Mikä on sinun ehdotuksesi? Otetaan esimerkiksi Maaseutuviraston peltolohkoaineisto, johon kuuluu noin 1,2 miljoonaa polygonia, joista noin 50000 päivittyy vuosittain. Kaikki muutokset edellisen vuoden tilanteeseen on helppo saada selville (poistuneet ID:t, uudet ID:t, päivittyneet ID:t). Vastaaavaa päivittäminen ei ikinä tule tapahtumaan OSM-yhteisön työnä. Miten viranomaistyönä ja kymmenien tuhansien maanviljelijöiden yhteistyönä syntyneet korkealaatuiset korjaukset voitaisiin mahdollisimman automaattisesti siirtää OSM:in puolelle?

Lisäys:

Tämä Geoserverin mielenkiintoinen yhteisölaajennus näyttäisi toteuttavan tuota mainitsemaasi vertailua geometrioiden ja kaikkien attribuuttien perusteella lasketun sha1-tarkistussumman perusteella https://github.com/MoebiusSolutions/geoserver-sync

Aiheesta lisää: http://osgeo-org.1560.x6.nabble.com/Propose-a-new-community-module-geoserver-sync-td5093282.html
Tuossa Moebiuksen toteutuksessa taitaa olla perinteinen pysyvä ID mukana vertailtavien kohteiden tunnistamiseksi, mutta ehkä sen sijasta kohteen voisi yrittää tunnistusta pelkällä sha1:llä. Minun matematiikan ymmärrykselläni ei kyllä selviä, miten silloin tunnistetaan, mikä kohde muuttui. Taustateoriana muuten näyttää olevan jotain, jonka nimi on Merklen puu http://en.wikipedia.org/wiki/Merkle_tree.

Vaikuttaa järjestelmältä, joka voisi korvata osm2pgsql:n ja diff-tiedostot OSM-tietokantojen pitämisessä ajan tasalla. Jos joukossa on geoinformarmatiikan tai tietojenkäsittelytieteen opiskelijoita niin tuossa olisi gradun aihe.

Jaa, en tiedä pystyykö sitä kovin helposti selostamaan ja/tai toteuttamaan. Kova yritys on Inspire:n piirissä ja suomalainenkin JHS (julkisen hallinnon suositus) on tulossa: http://www.jhs-suositukset.fi/web/guest/projects/paikkatiedon-yksiloivat-tunnisteet/discussion-forum. Sivuilta löytyy videotallenne ja suosituksen yksi versio maaliskuulta.

ID:ein pysyvyydestä / muuttumattomuudesta pitäisi aina (?) paikkatietoaineistosta muodostaa elinkaarisäännöt, joiden perusteella tilanteet kohteen poistumisesta, muuttumisesta, jakautumisesta yms. huomioidaan.

P

Periaatteessahan toki voidaan luoda kauniit säännöt juu, niinhän asia pitäisikin olla, jotta asiaan saisi mitään tolkkua.

Eri asia sitten on voiko siihen ns. luottaa aineistojen kanssa oikeasti, siis ihan oikeasti algoritmi kosahtaa, jos on yksikin vääränlainen virhe aineistossa. Ottaen huomioon että esim. MML tuottaa maastotietokantaan päällekkäisiä tieobjekteja sekä joitain täysin järjettömiä risteyksiä ees-taas ja siellä täällä poikkeaa objektit poikki risteyksistä säännöistä, en valitettavasti suhtaudu hienoihin sääntökokoelmiin kauhean luottavaisesti. Nuo kaikki listaamani virheet olisi siis aivan simppeliä automaattisesti laskennallisesti löytää, mutta eivätpä vaan ole löytyneet tai sitten kukaan ei ole laskenut mitään (oikea vastaus on aika varmasti tuo jälkimmäinen noista). Pysyvien ID:ten + säännöstön tapauksessa automaattinen tarkastelu taas ei ole ollenkaan yhtä yksioikoista toteuttauttaa kuin edellä mainittujen triviaalivirheiden kanssa, joten jokainen tehköön siitä omat johtopäätöksensä ;-).


i.

Tarkoitukseni oli sanoa että objekteilla on jo implisiittinen ID, eli poistuneet, uudet ja päivittyneet objektit (ei siis ID:t) on löydettävissä aineistosta itsestään. Toteutus on niinkin yksinkertainen kuin geometrioiden+metadatan vertailu aiempaan versioon samaa aineistoa (foreign old vs foreign new vertailu eikä siis foreign aineisto vs OSM vertailu). Tuon pohjalta saa “diffin”, josta voi työstää eteenpäin vain niitä 50k päivittyneitä kohteita.

Jossain toisessa threadissä oli pysyvistä ID:stä puhetta aiemmin ja siellä mainittiin niiden käyttöä linkkinä johonkin OSM:n ulkopuoliseen tietokantaan. Sen käyttötapauksen ymmärrän, tosin tuo posikin mainitsema säännöstö pitäisi siinä tapauksessa olla OSMin puolelta kiveen kirjoitettu ilman pienintäkään poikkeusmahdollisuutta, joten toki epäilen vahvasti tämän toteutuskelpoisuutta “wikikartalla” ;-).

Mutta itse OSM:n päivittämiseen (uusi versio samasta aineistosta) niitä ei nähdäkseni tarvita ja niistä voi olla jopa haittaa jomman kumman datasetin pysyvä ID -virheiden takia!


i.

Liikenneviraston latauspalvelu (WFS-palvelu) näyttäisi olevan käytössä: http://portal.liikennevirasto.fi/sivu/www/f/aineistopalvelut/verkkopalvelut/latauspalvelu

Lisenssi on valitettavasti MML:n lisenssin kaltainen, eli Liikennevirastolta pitäisi saada lupa tuoda aineistoa OpenStreetMapiin lisenssistä poiketen, eli lisenssin vaatimusta “vaadittava vastaavat maininnat luovuttaessaan kolmannelle oikeuksia aineiston kopioihin tai aineistoa sisältäviin tuotteisiin tai palveluihin” ei OSM voi toteuttaa.

Liikenneviraston aineistoja voi katsella myös Paikkaitetoikkunan kautta.

Palvelu näyttää olevan helposti käytettävä, koska WFS-versioita tuetaan 1.0.0:sta alkaen. Vilkaisin nopeusrajoitusaineistoa, ja siinä näyttää olevan kovasti paljon sellaisia ominaisuustietoja, joista on harvalle hyötyä. Niistä on helppo päästä eroon, mutta millään WFS-tasolla ei kuitenkaan näytä olevan tietoa tien nimestä. Vähän mietityttää, onko tarpeen olla koko tieverkosta nopeusrajoitukset molempiin suuntiin omiin viivoihinsa liitettyinä, kun harvakseltaanhan ne ovat erilaiset. Mutta ei mikään huono palvelu, ja paljon parempi kuin ei palvelua ollenkaan.

Liikenneviraston lataussivulla on mainittu nyt lisenssinä myös “Creative Commons Nimeä 4.0” http://portal.liikennevirasto.fi/sivu/www/f/aineistopalvelut/verkkopalvelut/latauspalvelu

Kyseisen lisenssin ehdot ovat aiempaa paremmat: “Nimeä — Sinun on mainittava lähde asianmukaisesti, tarjottava linkki lisenssiin sekä merkittävä, mikäli olet tehnyt muutoksia. Voit tehdä yllä olevan millä tahansa kohtuullisella tavalla, mutta et siten, että annat ymmärtää lisenssinantajan suosittelevan sinua tai teoksen käyttöäsi.”

Artikkelissa Digiroad, kuopattuko? (http://www.liikennevirasto.fi/-/digiroad-kuopattuko-) kerrotaan mm. käynnissä olevista ja lähivuosien Digiroad-kehityskohteita, joista nostan:

  • Digiroad datan vieminen OpenStreetMapiin (käynnissä)
  • OpenStreetMapin jakelu osana Digiroadia (käynnissä)

Eli ilmeisesti Digiroad -aineistoa tuodaan OpenStreetMapiin? Onko aiheesta kerrottu jossain lisää?

Moi!

Käsitykseni mukaan mitään Digiroadin import-projektia ei ole menossa. Mutta Liikennevirastolla olisi halua tehdä laajasti yhteistyötä OSM aktiivien kanssa.

P

Liikenneviraston Digiroad-aineiston hyödyntämiseen OpenStreetMap:ssa on nyt saatu virallinen lupa