MML road import

Terve,

Viimeistä kutsua menossa tällä hetkellä imports@:lla: https://lists.openstreetmap.org/pipermail/imports/2013-December/002491.html
…Joten ehkä jo tällä viikolla tässä aloitellaan.


i.

Oletko miettinyt, mitä tehdä, jos Digiroad vapautuu ensi vuonna?

Ei, mutta geometrioillahan kaiken voi matchata silloin ku tavarat on about kohdillaan. Lisäksi minulle on väitetty myös että nuo geometriat olisivat jopa samoja anyway, joten mtk geometria pitäisi suoraan olla verrattavissa digiroad geometriaan osmista riippumatta (olettaen että eivät ole hukanneet bittejä matkan varrella). Mtk-diffit nyt joutuu kuitenkin virittämään jo pelkän mml:n päivitysrumban takia, joten lienee menee samantyylisellä tagidiffauksella nuokin jos geometriat on samat?


i.

En ole varma, riittääkö ihmisen ikä tuollaiseen mätsäykseen. Digiroadilla on hyvin paljon rikkaampi tietomalli kuin siitä maastotietokantaan otetulla otoksella
http://www.digiroad.fi/aineisto/fi_FI/aineisto/_files/85531682803618800/default/Digiroad_tietolajien_kuvaus_35.pdf

Digiroadin nopeusrajoitukset ja tiedot yksisuuntaisista teistä ja kääntymisrajoituksista olisivat hyvää tietoa myös OSM:iin. Ehkä Digiroad kuitenkin kannattaisi muuntaa OSM:in muotoon ihan erillisenä projektina. Joku vaan pystyttämään tyhjä OSM:n tietokantaympäristö ja viemään sinne pelkkä Digiroad hienosti solmutettuna ja kääntymisrajoitukset OSM:in kääntymisrelaatioiksi muutettuina. Kaikki OSM:in ympärille syntyneet navigointisovellukset pystyisivät sitten käyttämään Digiroadia navigointiin, ja tuotteen voisi julkistaa millä tahansa lisenssillä, minkä tuleva Digiroadin lisenssi sallii.

Elikkä nyt lukee koordinointityökalussa näin:

“Please read the workflow documentation before starting! You may upload now but please follow the process as outlined in the document!”

Ja olkaapa lapset kiltisti sitten älkääkä alkako soveltamaan eli oikomaan ohjeesta, kiitos :-). Ja muistakaa myös tarkkailla subnetin ympäristöä, josko jo aiemmin piirretystä datasta löytyy jotain käsin korjattavaa (niin saadaan koko Suomen data samalla hiukan paremmaksi! Niitä vikoja todellakin löytyy myös OSMin datasta, koska olen itsekin nähnyt niitä jo tutkiessani MML:n verkkoja tässä kuluneiden kuukausien aikana).

Tein tuollaisen highway=track ja highway=service presetin, josta voi laittaa napiksi JOSMiin: http://ijjarvin.kapsi.fi/osm/presets/highway (tai keyboard shortcutin taaksekin ilmeisesti jos JOSM on r5954 tai uudempi).

Pitäkää hauskaa, verkkoja kyllä riittää vaikket ihan heti pääsisikään mukaan (niitä on hiukan yli 160000).


i.

Nuo subnetit on varmaan tarkoitus siirtää OSMiin yksitellen mutta onko luvallista siirtää monta peräkkäin import-tunnuksilla ja sitten korjailla kaikki kerralla virallisilla tunnuksilla?

Import-tunnuksen sähköpostin saa Gmailin käyttäjät muuten helposti lisäämällä perus sähköpostiosoitteeseensa tunnuksen ja @:n väliin esim “+nls” eli “tunnus+nls@gmail.com”. Mahdolliset sähköpostit tulee perille omaan osoitteeseen ja tarvittaessa voi vaikka tehdä jonkun filtterin noille.

Manu

“Luvallista” on varsin kyseenalainen ilmaus siinä mielessä, että ainakaan minä en halua vahtia sitä missä järjestyksessä kukakin asiat tekee, kunhan ne tulevat tehdyksi. Nähdäkseni erityisesti pienien subnettien tapauksessa tuo mainitsemasi lähestymistapa lienee huomattavasti nopeampi kuin “virallisen” ohjeen mukainen järjestys (en kuitenkaan suosittele tätä ennenkuin itse kullekin on kertynyt riittävästi tuntumaa normaalista prosessissa). Tehkää pliis se importti osa kuitenkin verkko kerrallaan uppien, eli näin: ekan subnetin käsittely, uppaus import tunnarilla, josmin nollaus, seuraava subnetti käsittelyyn, uppaus import tunnarilla, jne. ja viimeisenä sitten niiden kaikkien yhdistäminen kerralla normitunnuksilla. Jos toimit noin, kannattaa kuitenkin olla erityisen varovainen changesetin tagien kanssa, koska JOSM sekoilee vielä enemmän silloin kun se saa kahdet, keskenään ristiriidassa olevat changeset tagit (eri ID:t) ellei sitten aina käynnistä josmia välissä uusiksi (itselläni yleensä tapana vain putsata tasot pois).

Itseasiassa pidin tuota mainitsemaasi käyttötapausta jopa niin todennäköisenä, että tuossa koordinointityökalussa tuon importin kohdalla oli alusta pitäen mahdollista varata max. 10 verkkoa kerrallaan (perus OSMTM:ssä limitti oli vain yksi taski kerrallaan). En siis missään nimessä sano, ettei niin saa tehdä, mutta jokainen varmasti ymmärtää että mitä enemmän kasaa kerralla tehtävää, sitä todennäköisemmäksi tulevat myös virheet (joten pysähtykää miettikää tarkkaan pieni hetki ennenkuin painatte sen upload napin pohjaan :-)).


i.

Asia selvä. Taidan jatkaa aloittamallani linjalla, eli yksi subnetti kerrallaan “julkaisukuntoon” ja vasta sitten siirryn seuraavaan. Murphyä mukaillen homma pissii kintuille jossain vaiheessa kuitenkin, eipähän mene joulunpyhät monen verkon ongelmien korjailuun.

Tänä iltana tai mahdollisesti vasta puolenyön jälkeen tulee olemaan lyhyt katko pienien korjauspäivitysten takia. Kesto on parin minuutin luokkaa. Tuo koordinointityökalu on siinä mielessä aika tilaton, että kunhan ei satu juuri silloin tekemään mitään sen puolella (JOSMissa voi toki tehdä ihan mitä huvittaa), kun se serveripää käy alhaalla, hommat jatkuu täsmälleen siitä mihin jäivät. Katkon aikana jos koitaa jotain tehdä niin siitä tulee yleensä joku hämärännäköinen popuppi mutta silloin pitää vain hetki odottaa ja koittaa sitten uudestaan.

Katkon ajankohta: 00:30-00:32 oli ja meni.


i.

Häntien jatkamisen validoinnissa on vielä yksi tunnettu bugi, jonka takia verkko saattaa jäädä punaiseksi vaikka hännät ovat piirretyt ok. Toisen virheen jo korjasinkin (postgis antoi siinä yllättävän tuloksen). Periaatteessa tuohon ekaankin virheeseen minulla on jo korjaus olemassa, mutta en vielä tällä hetkellä halua sitä deployata.


i.

Parantelin vielä hiukan algoritmiani, ja laitoin ajoon. Tuonkin pitäisi nyt olla pois päiväjärjestyksestä.


i.

Keski-Suomessa autovalidaattori ahkeroi verkot sileäksi, valitettavasti hiukan ennen aikojaan tosin. Ongelma koskettaa MML:n ruutuja sekä niiden välitöntä lähiympäristöä: N34, N41, N42, N43, N44, N51, N52, N53, N54 (http://docs.jhs-suositukset.fi/jhs-suositukset/JHS154_liite6/JHS154_liite6.html). Ongelmaa korjataan parhaillaan, mutta työskentelyä voi jatkaa muilla alueilla vapaasti korjauksen aikana.

There’s a major issue in auto-validation affecting subnets in Middle Finland. The affected NLS.fi squares are listed above. The import can proceed elsewhere while the fix is being implemented on those broken grid squares or very near to them. The fix is currently being implemented but it will take some time to recalculate the subnets correctly. Thank you for your patience.


i.

Ongelma on tärkeimmiltä osin korjattu. Statsit ovat vielä väärin ja sekä jotain extra validoituja subnettejä (overlappaavat tekemättömien kanssa). Jälkimmäinen ongelma on lähinnä kosmeettinen eli ne tekemättömät pitäisi voida huoletta tehdä (validaattori ei bugin aikana osannut poistaa oikein esim. käsin piirtelyn aiheuttamia jakautuneita verkkoja koska ne muuttuivat validoiduiksi kadottuaan kokonaan).

Validaattoria ajetaan varovaisemmin tällä hetkellä, eli siinä voi myös esiintyä vielä viivettä.


i.

Tänä iltana 23:00-01:00 välillä pieniä päivityksiä tiedossa. Tarkka ajankohta vielä auki, mutta tuolle välille asettunee. Ilmoitellaan tarkempi ajankohta lähempänä.

Kuten yleensä, itse katkon kesto pitäisi olla muutamia minuutteja ja hommia voi jatkaa sellaisenaan kunhan ei juuri katkon aikana satu klikkailemaan mitään osmtm:n suuntaan.


i.

Yhdentoista tienoilla päivitellään.


i.

Katko on nyt ohi.


i.

Auto-validaattori kerhää vielä yhden syklin läpi, sen jälkeen päivän parin tauko auto-validoinnissa (ennen klo 9 perjantaita tehdyt muutokset pitäisivät vielä auto-validoitua). Muu toiminnallisuus pitäisi säilyä normaalina koko ajan.


i.

En tiedä ovat kaikki importtiin osallistuvat jo tietoisia tästä, mutta tuolta löytyy häntäanalyysin debuglistaus:
http://ijjarvin.kapsi.fi/qa/osmtm/lazyextenders.html
Elikkä kun epähuomiossa jostakin verkosta jää joku yhteys jatkamatta, ne kertyvät tuohon listaan (eli siis punaiseksi jääneitä verkkoja ei välttämättä tarvitse metsästää OSMTM:n kautta). Toki tuon listan soveltamisen kanssa pitää olla hiukan varovainen eli ei vaan piirretä päättömästi kaikkia jotta poistuisivat listalta (jos yhteyttä ei ole oikeasti olemassa). IMHO taas pienikin viite siitä että tie selvästi menee kuten peruskartta taustalta voi nähdä (esim. selvä risteys näkyvissä ilmakuvassa vaikka muuten yhteys olisi puiden peitossa), niin eikun yhdistykseen.

Lisäksi tuolla on kuntakohtaisia listoja tekemättömistä verkoista, mutta lisään niitä vaan pyynnöstä tai kun huomaan että joku alue alkaa tulemaan valmiin oloiseksi (ja pyynnöstähän seuraa automaattisesti myös naapurikuntien lisäys listalle ns. “kaupanpäälle”):
http://ijjarvin.kapsi.fi/qa/osmtm/kunnat/


i.

Saisiko tuonne Savonlinnan (+naapurien) tekemättömät solmut? Toki jos työmäärä kasvaa suhteessa generoitaviin tiedostoihin, myös enklaavi-Enonkosken solmut kelpaa, kun kerran ollaan ainoa naapuri.

Manu

Toiveesi on nyt täytetty.


i.