OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#26 2012-05-03 22:12:14

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Joka karttalehdestä on kaksi zippiä, joiden nimet ovat _al_mtk.shp.zip ja _ea_mtk.shp.zip. Onko joku saanut jo selville mikä ero on al- ja ea-jutuilla?

Offline

#27 2012-05-03 23:02:31

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

al: aluemaiset, lopussa p (=polygon). ea: pisteet (symbolit, tekstit), viivat. Kai.

Offline

#28 2012-05-03 23:18:08

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Ahaa, ea=ei alueet.  OpenJUMP muuten pystyy avaamaan suoraan zip-tiedostosta kaikki sen sisältä löytyvät shapefilet yhdellä kertaa.  Nämä zipistä luetut tasot eivät ole muokattavissa, mutta aineiston selaaminen on tuolla tavalla hitusen kätevämpää kuin zippien purkaminen johonkin tilapäishakemistoon ensin.

Huom. OpenJUMP:ssa näyttää olevan bugi.  Se kyllä luo kartalle tason jokaiselle zipistä löytyvällä shapefilelle, mutta jokaiselle tasolle tulee ensimmäisen paketista löytyneen shapefilen tiedot.  Eli tämä hieno ominaisuus on nyt ikävä kyllä täysin rikki.

Last edited by JRA (2012-05-04 06:21:57)

Offline

#29 2012-05-04 07:08:19

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Muistutus merkistökoodauksesta (ts. aineistossa on paljon huomioon otettavaa): MML käyttää ainakin paikannimirekisterissään itse määrittelemäänsä merkistökoodausta. Onneksi suurimmassa osassa Suomea kaikki kirjaimet näkyvät oikein, kun valitsee koodauksen ISO-8859-10.  ISO-8859-10 toimii myös pohjois- ja inarinsaamelaisille nimille, mutta koltansaamen kanssa tulee ongelmia. Tässä lista koltansaamen kirjaimista, joita ei ole ISO-8859-10:ssä:

ǧ Latin small letter G with caron
Ǧ Latin capital letter G with caron
ǥ Latin small letter G with stroke
Ǥ Latin capital letter G with stroke
ǩ Latin small letter K with caron
Ǩ Latin capital letter K with caron
Ʒ Latin small letter EDZ
Ʒ Latin capital letter EDZ
ǯ Latin small letter EDZ with caron
Ǯ Latin capital letter EDZ with caron

Testasin jaossa olevan Ahvenanmeren kanssa, jossa ISO-8859-10 antaa oikean lopputuloksen. Koltansaamenkielisiä nimiä on vain Inarin kunnassa, joten muualla Suomessa ei tarvita nimien suhteen mitään erikoistoimenpiteitä. Toki Openstreetmapiin pitää muistaa syöttää vain UTF-8-koodausta.

Offline

#30 2012-05-04 09:14:34

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

GDAL käyttää uskoakseni oletuksena ainakin Windowsilla koodia ISO-8859-1.  Osaatko sanoa mitä ja kuinka pahasti menee pieleen tuolla?  Versiossa 1.9 näyttää olevan mahdollista kuitenkin vihjata 8859-10 käyttöön asettamalla ympäristömuuttuja SHAPE_ENCODING http://trac.osgeo.org/gdal/wiki/ConfigOptions.  En ole testannut tuota temppua ollenkaan enkä tiedä toimiiko se kaikilla GDAL:n käännöksillä mutta ei välttämättä toimi.
Spatialitessä voi valita 8859-10:n joten sillä pitäisi saada aikaan hyvä lopputulos.

Offline

#31 2012-05-04 09:58:31

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

JRA wrote:

GDAL käyttää uskoakseni oletuksena ainakin Windowsilla koodia ISO-8859-1.  Osaatko sanoa mitä ja kuinka pahasti menee pieleen tuolla?  Versiossa 1.9 näyttää olevan mahdollista kuitenkin vihjata 8859-10 käyttöön asettamalla ympäristömuuttuja SHAPE_ENCODING http://trac.osgeo.org/gdal/wiki/ConfigOptions.  En ole testannut tuota temppua ollenkaan enkä tiedä toimiiko se kaikilla GDAL:n käännöksillä mutta ei välttämättä toimi.
Spatialitessä voi valita 8859-10:n joten sillä pitäisi saada aikaan hyvä lopputulos.

Jaha, näköjään suomen ja ruotsin kohdalla ISO-8859-1 antaa saman tuloksen kuin ISO-8859-10. Ongelmia on siis vain saamen kielten kanssa.
http://en.wikipedia.org/wiki/ISO/IEC_8859#Table

Offline

#32 2012-05-04 11:46:10

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Pikkuisen on sivuttukin jo sitä, että MML:n aineistojen sisällyttäminen OSM:ään on yksi asia, aineistojen hyödyntäminen muutoin toinen asia.  Voisi täälläkin hiukan jatkokehitellä ajatuksia, millä tavalla vapautuvia aineistoja voi hyödyntää varsinaisen OSM-kannan ulkopuolella yhdessä OSM-datan kanssa. Käytännössä tässä yhteydessä ajattelen MML:n aineiston muuntamista OSM-muotoon, jotta sitä voi hyödyntää OSM-formaatteja osaavilla työkaluilla ja ohjelmilla joko yhdessä varsinaisen OSM-datan kanssa tai erikseen.

Yksi esimerkki käyttötarkoituksesta voisi olla korkeuskäyrien ja joidenkin muiden hyödyllisten maastotietokantojen osien yhdistäminen OSM-aineistoon mobiililaitteeseen luotavaa karttaa varten. Eli kun tällä hetkellä luodaan OSM-aineistosta kartta esim. Garminiin tai kännykkään kartta jossa näkyy OSM:ssä oleva tieto, kartan luontiprosessia muokattaisiin niin, että mukaan otetaan MML:n aineistosta korkeuskäyrät (ja ehkä esim. tiestön geometrioita, maastokohteita ja mitä muuta mahdollisesti kattavampaa/parempaa siellä onkaan kuin OSM:ssä). Tuloksena OSM:n aineistosta koostuva maastotietokannan aineistoilla täydennetty kartta, jota voi hyödyntää vanhan OSM:n tapaan. OSM:ään sisällyttämisen etuna käytettävyys jo nyt, ennen kuin OSM:ään syöttämistä varten tarvittavia toimia on ehditty tehdä.

Käytännössä tätä OSM- ja maastokartta -aineistojen yhdistämistä varten pitää kartoittaa ja testata työkalusetit, joilla konversio maastokartasta OSM-muotoiseksi aineistoksi sekä aineistojen yhdistäminen onnistuu. Hiukan karttaa prosessoivasta ohjelmasta ja sen konfiguroitavuudesta sitten riippuu, onko järkevää mapata maastokartan aineistot tavanomaisiksi OSM-tägeiksi vai kannattaa käyttää erillisiä tägejä joille luodaan tuki varsinaisen mobiiliaitteen karttaa luovan ohjelman tyylitiedostoon.

Testailin pikaisesti torrenttina jaossa olevien datojen teknistä muuntoa OSM-formaattiin. Työkaluna pnorman:in og2osm-versio, kts. http://wiki.openstreetmap.org/wiki/Ogr2osm. Toimivuutta testailin merkaartorilla. Kiitos vinkistä täällä; silläkin näköjään pienimuotoiset .shp -> .osm -konversiotkin sujuvat, mutta ainakaan läppärillä ei oikein kapasiteetti riittänyt isompaan aineistoon joka ogr2osm:stä meni läpi.

Periaatteessa homma näyttää pelittävän kitkatta joidenkin aineiston osien (esim. korkeuskäyrät) kanssa.

Tenkkapootakin tulee - maastokartta-aineisto on pilkottu nippuun erillisiä aineistoja, joissa eri tietosisältö; esim. yhdessä korkeuskäyrät, toisessa näyttäisi olevan rantaviivoja, jne. OSM-konversion kannalta toivottavaa olisi saada maastotietokannasta poimittavat tiedot yhteen OSM-tiedostoon. ogr2osm:n ulosannin yhdistäminen osmosis -ohjelmalla näköjään tyssää johonkin puuttuvaan attribuuttiin, joten ihan suoraan ei käsikirjoituksen mukaan mene. Nähtävästi myös node- ja way -iideiden kanssa tulee muunnostarvetta (en ole vielä katsonut osaako osmosis tuon muunnoksen, pikavailkaisulla ei näkynyt optioissa).

Digiroadin esimerkkiaineistosta olen katsellut, että siellä on erillisessä dbf:ssä nimistö, joten järkevä konversio sillä puolella vaatii erilliset tauluhaut dbf-tauluista.  Täytyy tutkia onko maastokartta-aineistossa jotain samanlaista, vai onko kaikki nimistö vain pisteinä kartalla kuten nähtävästi ainakin joissain aineiston osissa.

Offline

#33 2012-05-04 11:52:53

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Zer wrote:
JRA wrote:

GDAL käyttää uskoakseni oletuksena ainakin Windowsilla koodia ISO-8859-1.  Osaatko sanoa mitä ja kuinka pahasti menee pieleen tuolla?  Versiossa 1.9 näyttää olevan mahdollista kuitenkin vihjata 8859-10 käyttöön asettamalla ympäristömuuttuja SHAPE_ENCODING http://trac.osgeo.org/gdal/wiki/ConfigOptions.  En ole testannut tuota temppua ollenkaan enkä tiedä toimiiko se kaikilla GDAL:n käännöksillä mutta ei välttämättä toimi.
Spatialitessä voi valita 8859-10:n joten sillä pitäisi saada aikaan hyvä lopputulos.

Jaha, näköjään suomen ja ruotsin kohdalla ISO-8859-1 antaa saman tuloksen kuin ISO-8859-10. Ongelmia on siis vain saamen kielten kanssa.
http://en.wikipedia.org/wiki/ISO/IEC_8859#Table

Nimistössä periaatteessa on käytetty ISO-8859-10 koodausta, mutta saamenkielen erikoiskirjaimien tilalla on käytetty vain muita harvinaisia kirjaimia kuten Ó,Ë tms. Ja MML:n käyttämissä fonteissa taas nämä kirjaimet on korvattu saamenkielen kirjaimilla. Latin-1 (iso-8859-1) ei käy, sillä esim Š näkyisi ª:na.
Ehdottaisin, että koko aineisto käännetään nyt utf-8:ksi ja nämä saamen kirjaimia korvaavat erikoiskirjaimet muutetaan oikeiksi kirjaimiksi. Vähän käsipeliä, mutta mun mielestä tämä kannattaisi tehdä.

Offline

#34 2012-05-04 12:23:29

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

LKajan wrote:

Ehdottaisin, että koko aineisto käännetään nyt utf-8:ksi ja nämä saamen kirjaimia korvaavat erikoiskirjaimet muutetaan oikeiksi kirjaimiksi. Vähän käsipeliä, mutta mun mielestä tämä kannattaisi tehdä.

Eikö siinä olisi aika vähän käsipeliä, jos vie ensin kaiken ISO-8859-10 -oletuksella Spatialiteen, jolloin ja päivittää sitten ne muutamat harvinaiset kirjaimet oikeiksi utf-8 -merkeiksi?  Spatialitehän käyttää sisäisesti utf-8:aa.  Ongelma kuitenkin taitaa vaikuttaa vain teksteihin eli t-loppuisiin shapefileihin, vai onko noita erikoisempia kirjaimia muuallakin?

Minun täytyy sitten ilmeisesti tarkistaa ja päivittää ne samat kirjaimet paikannimistötietokantaan ja laittaa sitten korjattu versio ladattavaksi http://latuviitta.org/Lataukset.php#6.

Offline

#35 2012-05-04 13:15:05

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Almost there, torrent jako valmistuu... ihan kohta...

Offline

#36 2012-05-04 13:21:11

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Done: http://laillisettorrentit.net/index.php … f1f2962003

Käyttäkää ja jakaa antaumuksella. Kun jakajia rupeaa olemaan, niin kerron tästä julkisuuteen (SOME, blog ja muutama ohjekin tulossa)...

Seuraavaksi sitten peruskarttarasterit. Onko jollain nopeaa nettiä viikonloppuna käytössä?

Offline

#37 2012-05-04 13:44:46

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

JRA wrote:
LKajan wrote:

Ehdottaisin, että koko aineisto käännetään nyt utf-8:ksi ja nämä saamen kirjaimia korvaavat erikoiskirjaimet muutetaan oikeiksi kirjaimiksi. Vähän käsipeliä, mutta mun mielestä tämä kannattaisi tehdä.

Eikö siinä olisi aika vähän käsipeliä, jos vie ensin kaiken ISO-8859-10 -oletuksella Spatialiteen, jolloin ja päivittää sitten ne muutamat harvinaiset kirjaimet oikeiksi utf-8 -merkeiksi?  Spatialitehän käyttää sisäisesti utf-8:aa.  Ongelma kuitenkin taitaa vaikuttaa vain teksteihin eli t-loppuisiin shapefileihin, vai onko noita erikoisempia kirjaimia muuallakin?

Minun täytyy sitten ilmeisesti tarkistaa ja päivittää ne samat kirjaimet paikannimistötietokantaan ja laittaa sitten korjattu versio ladattavaksi http://latuviitta.org/Lataukset.php#6.

Ajattelin että oikeiden korvaavien merkkien kaivamiseen menisi hetki, mutta nekin löytyi tuolta paikannimirekisterin mukana tulevasta pdf:stä.
Kaivoin nyt samalla vielä vastaavat utf-8 koodit ja noi 8859-10:n kirjaimet.

iso-8859-10         utf-8    
    #      hex           unicode-hex  utf-8-hex     
ë   235    EB       ǧ    U+01E7       c7a7      Latin small letter G with caron
Ë   203    CB       Ǧ    U+01E6       c7a6      Latin capital letter G with caron
ę   234    EA       ǥ    U+01E5       C7A5      Latin small letter G with stroke
Ę   202    CA       Ǥ    U+01E4       c7a4      Latin capital letter G with stroke
ė   236    EC       ǩ    U+01E9       c7a9      Latin small letter K with caron
Ė   204    CC       Ǩ    U+01E8       01e8      Latin capital letter K with caron
ō   242    F2       Ʒ    U+0292       ca92      Latin small letter EZH
Ō   210    D2       Ʒ    U+01B7       c6b7      Latin capital letter EZH
ó   243    F3       ǯ    U+01EF       c7af      Latin small letter EZH with caron
Ó   211    D3       Ǯ    U+01EE       c7ae      Latin capital letter EZH with caron

Offline

#38 2012-05-04 13:58:41

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

posiki wrote:

Done: http://laillisettorrentit.net/index.php … f1f2962003

Käyttäkää ja jakaa antaumuksella. Kun jakajia rupeaa olemaan, niin kerron tästä julkisuuteen (SOME, blog ja muutama ohjekin tulossa)...

Seuraavaksi sitten peruskarttarasterit. Onko jollain nopeaa nettiä viikonloppuna käytössä?

Hienoa!
Mulle pitäisi tänään tulla postissa pikkupalvelin, jolla voin sitten jakaa 24/7. Netissä mulla on jakonopeutena 10Mbps, parempi kun mega, mutta ei nyt kuitenkaan firmojen 100 megaa vastaava.
Edit: Tai sitten Otaniemeläisten nopeuksia vastaava. Sieltä näyttää tulevan aika haipakkaa noita bittejä.

Last edited by LKajan (2012-05-04 14:23:35)

Offline

#39 2012-05-04 18:06:12

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

LKajan wrote:
JRA wrote:

Minun täytyy sitten ilmeisesti tarkistaa ja päivittää ne samat kirjaimet paikannimistötietokantaan ja laittaa sitten korjattu versio ladattavaksi http://latuviitta.org/Lataukset.php#6.

Ajattelin että oikeiden korvaavien merkkien kaivamiseen menisi hetki, mutta nekin löytyi tuolta paikannimirekisterin mukana tulevasta pdf:stä.
Kaivoin nyt samalla vielä vastaavat utf-8 koodit ja noi 8859-10:n kirjaimet.

iso-8859-10         utf-8    
    #      hex           unicode-hex  utf-8-hex     
ë   235    EB       ǧ    U+01E7       c7a7      Latin small letter G with caron
Ë   203    CB       Ǧ    U+01E6       c7a6      Latin capital letter G with caron
ę   234    EA       ǥ    U+01E5       C7A5      Latin small letter G with stroke
Ę   202    CA       Ǥ    U+01E4       c7a4      Latin capital letter G with stroke
ė   236    EC       ǩ    U+01E9       c7a9      Latin small letter K with caron
Ė   204    CC       Ǩ    U+01E8       01e8      Latin capital letter K with caron
ō   242    F2       Ʒ    U+0292       ca92      Latin small letter EZH
Ō   210    D2       Ʒ    U+01B7       c6b7      Latin capital letter EZH
ó   243    F3       ǯ    U+01EF       c7af      Latin small letter EZH with caron
Ó   211    D3       Ǯ    U+01EE       c7ae      Latin capital letter EZH with caron

Periaatteessahan tekstitiedostosta (kun kaikki on kunnossa ja menee hyvin), perlillä on helppo sitten ISO-8859-10 => UTF-8 -käännöksen jälkeen muuntaa nuo merkit oikeiksi, tähän tyyliin (muistakaa testata kunnolla):

perl -CS -i.bak -pe 'tr/ëËęĘėĖōŌóÓ/ǧǦǥǤǩǨʒƷǯǮ/' tiedosto.txt

Selitys: -CS tarkoittaa, että syöttö ja tulostus on UTF-8:a, -i.bak tekee varmuuskopion tiedostosta, -pe sitten suorittaa  tiedoston joka rivillä '-merkkien sisällä olevan korvausoperaation.

Sitten siinä maastotietokannan jakomuodossa tekstit ovat dbf-tiedostoissa, joita ei yhtä suoraan voi käsitellä.

Offline

#40 2012-05-04 19:15:02

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

posiki wrote:

Olen käynyt useita keskusteluja ja todennut monessa paikassa, että MTK:sta ajetaan osia OSM:n. Ei ole ongelma MML:n päässä.

Tuo maininta MML:n aineiston käytöstä vaan tänne: http://www.openstreetmap.org/copyright. Niin asia on rasiassa.

Niin no, eihän tässä siitä olekaan koskaan ollut kysymys etteikö se MML:lle sopisi. Heillehän se toki käy (niin kauan kuin heidän lisenssiehdot täyttyvät, tietenkin). ...Ongelma on pikemminkin toisinpäin jos on (siis: kelpaako lisäys suorittaa noilla MML:n asettamilla ehdoilla vai ei).

--
i.

Offline

#41 2012-05-05 00:35:38

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Onko näin, että tiennimistö & osoitenumerointi ei nyt kuitenkaan ole avattavan datan joukossa? Ensimmäisessä testitorrentissa olevassa lxxxxxxv.shp -aineistoissa näyttää olevan tyhjää täynnä teiden TEKSTI -sarake.

Meinaan vaan, että maastotietokannan sivulla http://www.maanmittauslaitos.fi/digituo … tietokanta mainitaan maastotietokanta avoimeksi, ja tietosisältöluettelossa maastotietokannan sisällöksi mainitaan mm. "Tiestö osoitteilla" - tämän perusteella näyttää, että tiestökin kuuluisi avattavan datan joukkoon.

Näyteaineistosivulta http://www.maanmittauslaitos.fi/node/3406 ladattavassa tiedostossa kyllä sitten on tiedosto, josta löytyy u311109Av.shp jossa osoitteet & talonnumerot ovat mukana.

Offline

#42 2012-05-05 09:14:36

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

jkp wrote:

Onko näin, että tiennimistö & osoitenumerointi ei nyt kuitenkaan ole avattavan datan joukossa? Ensimmäisessä testitorrentissa olevassa lxxxxxxv.shp -aineistoissa näyttää olevan tyhjää täynnä teiden TEKSTI -sarake.

Meinaan vaan, että maastotietokannan sivulla http://www.maanmittauslaitos.fi/digituo … tietokanta mainitaan maastotietokanta avoimeksi, ja tietosisältöluettelossa maastotietokannan sisällöksi mainitaan mm. "Tiestö osoitteilla" - tämän perusteella näyttää, että tiestökin kuuluisi avattavan datan joukkoon.

Pitäisi sen tietääkseni olla avointa. Ilmeisesti se jostain syystä ei nyt ole torrenttina jakoon tulleessa mukana..? Joka tapauksessa "tiestö osoitteilla" -sivullakin lukee "Aineistosta ei peritä käyttöoikeusmaksuja. Tiedostolatauspalvelusta itsepalveluna aineistoja ladattaessa ei peritä myöskään tietoväline-, käsittely- eikä toimituskuluja."

Offline

#43 2012-05-05 10:05:17

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Zer wrote:
jkp wrote:

Onko näin, että tiennimistö & osoitenumerointi ei nyt kuitenkaan ole avattavan datan joukossa? Ensimmäisessä testitorrentissa olevassa lxxxxxxv.shp -aineistoissa näyttää olevan tyhjää täynnä teiden TEKSTI -sarake.

Meinaan vaan, että maastotietokannan sivulla http://www.maanmittauslaitos.fi/digituo … tietokanta mainitaan maastotietokanta avoimeksi, ja tietosisältöluettelossa maastotietokannan sisällöksi mainitaan mm. "Tiestö osoitteilla" - tämän perusteella näyttää, että tiestökin kuuluisi avattavan datan joukkoon.

Pitäisi sen tietääkseni olla avointa. Ilmeisesti se jostain syystä ei nyt ole torrenttina jakoon tulleessa mukana..? Joka tapauksessa "tiestö osoitteilla" -sivullakin lukee "Aineistosta ei peritä käyttöoikeusmaksuja. Tiedostolatauspalvelusta itsepalveluna aineistoja ladattaessa ei peritä myöskään tietoväline-, käsittely- eikä toimituskuluja."

Nähtävästi MML:llä tapahtunut tässä pieni kämmi. Aiemmin ainakin osoitteita ei ole tullut maastotietokanta-tuotteen mukana, vaan tiestö osoitteilla on ollut oma erikseen tilattava tuotteensa. Tätä aina ihmettelin ja tuntui aika rahastukselta, sillä tiestön geometria oli kuitenkin identtinen.
Nyt nähtävästi tuotteita ei ole kuitenkaan osattu/hoksattu järjestetty uudestaan, niin kuin tuolla on ilmoitettu.
Tästä kannattaa olla yhteydessä mml:ään.
Ennen kuin nimistö ja osotteet saadaan mukaan, niin ei mun mielestä kannata teitä OSMiin ladata.

Offline

#44 2012-05-05 10:18:42

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Toivottavasti näinpäin, että virhe on tiedon sisällyttämisessä eikä aineiston kuvauksessa.

Offline

#45 2012-05-05 12:09:21

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

En saanut mainitsemaani yhden rivin perliä toimimaan oikein, joten panen nyt jakoon aikaisemmin tekemäni, paikannimirekisterin UTF-8:ksi muuttavan perl-skriptin. Tämä toimii Linuxilla (sekä Windowsin rivinlopuilla että natiivi-Linux-rivinlopuilla), ja testannen viikonlopun aikana Windowsissa sekä Cygwinissä että Strawberry Perlissä.

http://pastebin.com/emkzmGst

Tallenna skripti esim. nimellä mml-pnr-utf8.pl ja aja se tähän tyyliin -- tulostus pitää ohjata uuteen tiedostoon:

perl mml-pnr-utf8.pl PNR_2011_01.TXT > PNR_2011_01-utf8.TXT

Joka tapauksessa on toistettava, että maastotietokannan nimistön muunnos ei onnistu tällä skriptillä, koska itse tietokannan kentät ovat dbf-tiedostoissa.

Offline

#46 2012-05-05 14:34:07

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Skriptiä voi luultavasti käyttää, jos muuntaa shapefilet ensin johonkin tekstipohjaiseen tiedostomuotoon ogr2ogr-ohjelmalla.  Noista tulee ensimmäisinä mieleen GML ja Mapinfo mid/mif.  Prosessi voisi mennä suurin piirtein näin:
- Asetetaan GDL:lle SHAPE_ENCODING -muuttuja ja sille arvo ISO-8859-10
- muunnetaan shapefile GML-muotoon komennolla
"ogr2ogr -f GML output.GML input.SHP --config OGR_FORCE_ASCII no"
- Ajetaan output.GML mml-pnr-utf8.pl -skriptin läpi

Nyt GML-tiedoston pitäisi olla kunnossa ja sitä voi käyttää seuraavien muunnosten syötteenä.  Testaamatta tätä ei kannata kuitenkaan uskoa.   Vähän samantapaiseen aiheeseen liittyviä kokemuksia on ohjeessa http://latuviitta.org/documents/Mapinfo … _UTF-8.pdf

Offline

#47 2012-05-05 15:38:50

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Toinen torrentti, ilmeisesti tämä on nyt se kaivattu nimistö osoitteilla:

http://laillisettorrentit.net/index.php … d1defca112

Offline

#48 2012-05-05 23:24:50

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Tuli tässä mieleen kun torrentit näyttävät ainakin tällä haavaa toimivan varsin mukavasti jakelukanavana, että yksi tapa lähestyä tätä OSM:ään syöttämis -asiaa olisi protoilla OSM-muotoon muunnetulla MML-datalla niin, että pistettäisiin OSM-muotoon muunnettua dataa torrent-jakeluun.

Itse kukin voisi sitten omilla OSM-dataa käyttävillä työkaluillaan testata, miltä OSM-muodossa välitetty MML-data käytännössä näyttää ja tuntuu arkisilla OSM-välineillä, ja tämänkin perusteella sitten voisi arvioida, mitkät osat datasta on mielekästä varsinaiseen OSM-kantaan syöttää.

Onko kukaan laskenut, minkä verran tilaa mahtaisi viedä pbf-muodossa maastotietokannan koko Suomen aineisto OSM-muotoon muutettuna, sisällyttäen a) kaikki kentät tai b) sellaiset joita tyypilliset OSM-ohjelmat osaavat käsitellä? (eli minkä kokoinen mml-maastotietokanta.pbf)  9,8 gigan zipissä ei ollut tiennimiä, joten varmaan käytännössä tuo todennäköisesti yli 10 gigan menisi jos kaikki sisällytetään, tosin pbf-pakkaus saattaisi kyllä vähentää tilantarvetta (vrt. .pbf:n / .osm.bz2:n kokoero)

Muoks: Jos OSM:n lisenssiehdoista tulee OSM:ään sisällyttämiseen ongelmia (johon mahdollisuuteen aiemmissa viesteissä on viitattu), erillinen OSM-muotoisen MML-datan jakelu välttäisi tämän.

Last edited by jkp (2012-05-05 23:29:30)

Offline

#49 2012-05-06 13:34:38

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Onko noista osoitteista mitään tulkintaohjeita missään?

Ilmeisesti ne luetaan teiden FROMLEFT, FROMRIGHT, TOLEFT ja TORIGHT attribuuteista?

(EDIT: Oheinen ohje löytyi manuaalista:
Osoitetiedot
Tien niminä tallennetaan kunnan virallisen osoitejärjestelmän mukaiset tieni-met. Osoitetiedot määritetään tieviivasegmentille vasemman ja oikean puolen maksimi- ja minimiosoitenumeroina. Haja-asutusalueilla osoitenumeroiden kasvu tapahtuu etäisyyden suhteessa kuntakohtaisesti (kunnasta riippuen joko 10 m tai 100 m matka kasvattaa osoitenumeroa  yhdellä). Samoin kuntakohtai-sesti määräytyy, millä puolella (oikea – vasen) on parilliset ja parittomat osoite-numerot. )

Last edited by teollisuus (2012-05-06 13:51:31)

Offline

#50 2012-05-06 19:21:10

Re: Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Zer wrote:

ja testannen viikonlopun aikana Windowsissa sekä Cygwinissä että Strawberry Perlissä.

http://pastebin.com/emkzmGst

Tallenna skripti esim. nimellä mml-pnr-utf8.pl ja aja se tähän tyyliin -- tulostus pitää ohjata uuteen tiedostoon:

perl mml-pnr-utf8.pl PNR_2011_01.TXT > PNR_2011_01-utf8.TXT

Joka tapauksessa on toistettava, että maastotietokannan nimistön muunnos ei onnistu tällä skriptillä, koska itse tietokannan kentät ovat dbf-tiedostoissa.

Toimii se Windowsissakin: sekä Strawberry Perlillä (5.14.2) (käytin portable-versiota) että Cygwinin alla (perl 5.10.1).

Kaiken kaikkiaan tästä voi pienellä vaivalla muokata mitä tahansa tekstitiedostoja muuntavan skriptin.

Offline

Board footer

Powered by FluxBB 1.4.8
Hosting sponsored by Oxilion