You are not logged in.

#51 2020-01-22 23:48:43

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Imaš na  https://opendata.geosrbija.rs/ (ako se registruješ), a okačio sam i ja na https://kokanovic.org/opendata-rgz.7z. Trebaju ti naselja.csv. Druga kolona su matični brojevi. Ja za sad što nalazim, to su na tri mesta bili premale površine da bi ih skripta unela (ali dobra su naselja bila inače) i onda još 3 naselja koja su bila pridružena pogrešnim opštinama (pa ih zato skripta nije našla). Primeri takvi i kako sam ih premestio (bez JOSM-a ovde ništa!):
https://www.openstreetmap.org/changeset/79940649
https://www.openstreetmap.org/changeset/79940160
https://www.openstreetmap.org/changeset/79939812

Samo dodaj "RGZ_Import" za source kada commit-uješ changeset.

Offline

#52 2020-01-23 12:42:00

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Sredio sam jedno pola. U amanet ti ostavljam niške i beogradske gradske opštine, pojma nemam šta bih s njima. hmm U suštini, administracija je tu na silu pocepala gradove na naselja, iako je sve to prirodno jedno naselje.

Offline

#53 2020-01-23 12:50:41

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Lepo si ti ovo pokidao. Cepam ja ostatak, ne znam ni ja sta da radimo sa gradovima...

Offline

#54 2020-01-23 13:28:26

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Što se tiče gradova (Beograda i Niša pre svega), imam sledeći predlog:

* Uneti i granice gradskih "naselja" kao admin_level=9, ali im ne stavljati admin_centre. (Napominjem da ovo nije isto što i gradske opštine, jer se jedna opština tipično sastoji od "gradskog naselja" i nekoliko susednih sela.) Time ostajemo 1:1 sa RGZ podacima. U Nišu je neko uneo dve relacije unutar opštine Palilula (Bubanj i Ćele kula) koje, rekao bih, nisu nikako zvanične pa ih treba pretvoriti u nešto drugo.

* Spoljne granice ovakvih naselja povezati u jedan multipoligon tipa place=city koji će predstavljati samo gradsko naselje. Neko je to već uneo za Beograd ali šusterski, jer je napravio isto što i Beogradski okrug, uz napomenu "not to disturb with Belgrade District!" pa su mu se u "gradu" između ostalog našli i kopovi Kolubare i kosmajske šume.

Offline

#55 2020-01-24 16:55:43

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Duja wrote:

Spoljne granice ovakvih naselja povezati u jedan multipoligon tipa place=city koji će predstavljati samo gradsko naselje. Neko je to već uneo za Beograd ali šusterski, jer je napravio isto što i Beogradski okrug, uz napomenu "not to disturb with Belgrade District!" pa su mu se u "gradu" između ostalog našli i kopovi Kolubare i kosmajske šume.

Ćutanje je znak odobravanja... https://www.openstreetmap.org/relation/2728438

Beograđani, slažete li se da je ovo "gradsko jezgro" Beograda? Mislim da je to ono što je uneto u popisne knjige da se računa kao "". Nisam jedino 100% siguran da li se Kaluđerica računa u Beograd, za ostale uglavnom jesam.

Offline

#56 2020-01-25 19:56:03

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Duja wrote:

Beograđani, slažete li se da je ovo "gradsko jezgro" Beograda?

Kao Beograđanin se osećam prozvan, ali nemam neko jako mišljenje. Deluje OK, šta znam:)

Evo novosti što se tiče RPJ-a - možemo da se pohvalimo da imamo sva naselja kao na RPJ-u i da sva naselja imaju ref:sr:maticni_broj! Ali geometrije nisu još tačne.

Popravio sam malo skriptu da radi sa eksklavama i uradio deljenje sa brojem tačaka (što je bio bug kod računice  srednje udaljenosti, druga metoda koju je predložio mpele). Nova verzija gde su sad sva naselja nađena sa novim rezultatima je ovde: http://kokanovic.org/osm/rpj-analysis-v2.csv. Trenutno nam je preciznost na 96.5% (average) i 98.03% (median).

Ono što je sad ostalo (po meni):
* Popraviti granicu sa Kosovom (već sam u diskusiji sa njima, našli smo par mesta gde se stvari ne podudaraju, to neću da diram, ali peglam to ovih dana)
* Pitati za granice sa drugim zemljama, da vidimo da li to možemo da popravljamo, ako imaju neke otvorene podatke. Dobrovoljci za države?
* Automatizovano ili poluautomatizovano popraviti sve granice, treba napisati skriptu, ima mpele jedno rešenje, a probaću i ja nešto, videćemo
* Istu skriptu koju imamo za naselja, sada nam treba sve isto i za opštine, gradove i okruge. Slično kao i ovo - da pronađe sve, da izračuna neslaganje i jednokratna skripta da unese ref:sr:maticni_broj. Da li ima dobrovoljaca, može da se proširi i postojeća skripta da radi sve, a može i nova?
* Uneti subarea za okruge, gradove i opštine (ka level-u ispod)

Offline

#57 2020-01-30 23:04:14

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Evo malo svežih vesti od mene.

1. Napravio sam program koji treba da radi conflate, tj. da pomera puteve tako da izjednači geometrije između RPJ i OSM. Sav kod je na Gitlabu i pre nego što bilo šta uradi te lepo pita i prikaže grafički kako se putevi iz RPJ-a i OSM-a razlikuju. Radi i u režimu davanja izveštaja, treba mu oko 4 dana da izbaci rezultate. Rezultate možete da vidite na ovoj finoj strani od 4MB. Išao sam na to da analiziram svaki put iz RPJ-a zasebno (put može da ima granicu sa dva naselja ili samo sa jednim), da probam da ga nađem u OSM-u i da vidim da li može da se pomeri i zašto ne može. Kao što se vidi, 61% ćemo moći da automatizujemo, ali i dalje ima ovih 7000 koji se ne daju. Zapravo, ni tih 7000 me ne plaše, za sve mislim da može da se dosta automatizuje osim za ove 4000 greške pod imenom "ERROR_WAY_NOT_FOUND" i "ERROR_END_POINTS_FAR_APART". U tim slučajevima - put između dva naselja ne postoji i to uglavnom zato što ima "gap" između ta dva naselja. To mora ručno da se postavi (ne mora precizno) da bi ga skripta našla. Sve ostale greške ili mogu da popravim, ili ne mogu nikako da se poprave ili ih ima mizerno malo da mogu ručno da se isprave (pitajte me ako vas neki tip grešaka baš mnogo interesuje šta je, mada ima u legendi kratko objašnjenje). Pitanje za sve je - da li ima dobrovoljaca da pomažu sa dodavanjem ovih puteva i kako ih najefikasnije dodavati, imate li ideja?

2. Odradio sam i skriptu za opštine. CSV sa analizom možete preuzeti ovde. Kao i kod naselja, jako smo dobri, skoro savršeni. Ono što je skripta otkrila je gomila gradova (od Subotice do Užica) gde RPJ ima po jedan red i u gradovima i u opštinama za ta mesta. Šta mislite šta ovde da radimo - da imam jedan relation i za admin_level 8 i još jedan za admin_level 7 ili da uzmemo samo za manji? Ne pričamo o Beogradu koji za jedan grad ima više opština (kao i Požarevac koji ima 2 opštine - Kostolac i Požarevac), već baš za mesta koje imaju jedan unos za grad i jedan za opštinu (sa istim imenom). Da li držati sve u OSM ili prekočiti opštinu? Takođe samo popravio i kolonu "points_diff", sad daje vrednost u metrima (koliko je u proseku svaka tačka iz RPJ poligona udaljena od OSM poligona).

3. Pitao sam komšije iz Hrvatske i nemaju open dataset za granice, tako da tu nećemo ništa dirati. Nastavljam da pitam i za ostale (ako neko želi da pita neke određene komšije - slobodno, mene to ionako smara, radije bih popravljao ove puteve:)

Sledeće šta mi je u planu:
* Srediti granicu sa Kosovom (sad kad sam završio skriptu, biće više vremena)
* Pitati preostale komšije za granice
* Uneti ref:sr:maticni_broj za opštine (pošto se dogovorimo šta je opština, a šta je grad:)
* Kad unesemo ref:sr:maticni_broj, mogu da unesem onda i subarea
* Peglati ovih 11.000 puteva koji se zapravo daju pomeriti, dok neko ne smisli neko rešenje za ovih 4000 grešaka

Offline

#58 2020-01-31 09:26:02

mpele
Member
Registered: 2012-02-25
Posts: 245

Re: RGZ otvorio registar prostornih jedinica - plan za import

Branko Kokanovic wrote:

i pre nego što bilo šta uradi te lepo pita i prikaže grafički kako se putevi iz RPJ-a i OSM-a razlikuju.

Поред свих ових провера које се раде, мислим да није непотребно тражити од корисника ручну потврду визуелног да је све у реду. У најгорем случају и ако није, исправиће се у следећој итерацији.

Branko Kokanovic wrote:

Pitanje za sve je - da li ima dobrovoljaca da pomažu sa dodavanjem ovih puteva i kako ih najefikasnije dodavati, imate li ideja?

Оно што бих ја предложио је да се аутоматски ураде измене које је могуће безбедно урадити, а да се генерише и неки вид фајла који је могуће учитати у QGIS/JOSM ради лакше визуелне анализе. Овај преглед би требало да садржи само податке тамо где постоји разлика.

Branko Kokanovic wrote:

Ono što je skripta otkrila je gomila gradova (od Subotice do Užica) gde RPJ ima po jedan red i u gradovima i u opštinama za ta mesta. Šta mislite šta ovde da radimo - da imam jedan relation i za admin_level 8 i još jedan za admin_level 7 ili da uzmemo samo za manji?

Ја бих задржао оба. Једино тако би цела површина Србије била комлетна уколико неко извлачи податке за неки административни ниво.


Branko Kokanovic wrote:

Takođe samo popravio i kolonu "points_diff", sad daje vrednost u metrima (koliko je u proseku svaka tačka iz RPJ poligona udaljena od OSM poligona).

Бранко, да ли си сигуран да су овде јединице метри? Превише су мале вредности па ми је неочекивано. Морам само да те замолим да смањиш прецизност ове вредности - све ипод треће децимале (или ти милиметра) је апсурдно. Знам да се и РЗГ фрља са овиме и то ми баш смета sad

Offline

#59 2020-01-31 16:11:08

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Branko Kokanovic wrote:

Evo malo svežih vesti od mene.

1. Išao sam na to da analiziram svaki put iz RPJ-a zasebno (put može da ima granicu sa dva naselja ili samo sa jednim), da probam da ga nađem u OSM-u i da vidim da li može da se pomeri i zašto ne može. Kao što se vidi, 61% ćemo moći da automatizujemo, ali i dalje ima ovih 7000 koji se ne daju. Zapravo, ni tih 7000 me ne plaše, za sve mislim da može da se dosta automatizuje osim za ove 4000 greške pod imenom "ERROR_WAY_NOT_FOUND" i "ERROR_END_POINTS_FAR_APART". U tim slučajevima - put između dva naselja ne postoji i to uglavnom zato što ima "gap" između ta dva naselja. To mora ručno da se postavi (ne mora precizno) da bi ga skripta našla. Sve ostale greške ili mogu da popravim, ili ne mogu nikako da se poprave ili ih ima mizerno malo da mogu ručno da se isprave (pitajte me ako vas neki tip grešaka baš mnogo interesuje šta je, mada ima u legendi kratko objašnjenje).

Nešto mi je bre 4000 jako mnogo, hajde ti to molim te malo proveri. Ja sam onako poprilično gledao te podatke, i ima par naselja gde na OSM nisu ucrtane eksklave (to su ove što imaju pokrivenost ispod 60%, npr. Davidovac); ima tek poneki "gap", od kojih su neki i uneti (granica između Pinosave i Rušnja je naročito sumanuta, sa tri odvojena procepa širine tek desetinu metara). Ali mi je nemoguće da 4000 granica ne može da se upari.

Branko Kokanovic wrote:

2. Odradio sam i skriptu za opštine. CSV sa analizom možete preuzeti ovde. Kao i kod naselja, jako smo dobri, skoro savršeni. Ono što je skripta otkrila je gomila gradova (od Subotice do Užica) gde RPJ ima po jedan red i u gradovima i u opštinama za ta mesta. Šta mislite šta ovde da radimo - da imam jedan relation i za admin_level 8 i još jedan za admin_level 7 ili da uzmemo samo za manji? Ne pričamo o Beogradu koji za jedan grad ima više opština (kao i Požarevac koji ima 2 opštine - Kostolac i Požarevac), već baš za mesta koje imaju jedan unos za grad i jedan za opštinu (sa istim imenom). Da li držati sve u OSM ili prekočiti opštinu? Takođe samo popravio i kolonu "points_diff", sad daje vrednost u metrima (koliko je u proseku svaka tačka iz RPJ poligona udaljena od OSM poligona).

O ovome smo već raspravljali, ja sam protiv da se unosi admin_level 8 tek da bi bili uniformni. Povećaće se količina relacija, a napravićemo dodatni problem na Nominatimu, jer će svaka adresa u Novom Sadu glasiti ulica, Novi Sad (naselje), Novi Sad (opština), Grad Novi Sad, ... .

Branko Kokanovic wrote:

3. Pitao sam komšije iz Hrvatske i nemaju open dataset za granice, tako da tu nećemo ništa dirati. Nastavljam da pitam i za ostale (ako neko želi da pita neke određene komšije - slobodno, mene to ionako smara, radije bih popravljao ove puteve:)

* Pitati preostale komšije za granice

Ja sam granicu Vojvodine i Rumunije peglao ručno, bila je u katastrofalnom stanju (dole ide Dunavom pa nije problem). Al ni ja baš ne volontiram da pitam komšije, ne radim to ni kad mi usfali šećera tongue

Offline

#60 2020-01-31 16:31:46

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Duja wrote:

Nešto mi je bre 4000 jako mnogo, hajde ti to molim te malo proveri. Ja sam onako poprilično gledao te podatke, i ima par naselja gde na OSM nisu ucrtane eksklave (to su ove što imaju pokrivenost ispod 60%, npr. Davidovac); ima tek poneki "gap", od kojih su neki i uneti (granica između Pinosave i Rušnja je naročito sumanuta, sa tri odvojena procepa širine tek desetinu metara). Ali mi je nemoguće da 4000 granica ne može da se upari.

Za ilustraciju, superponirao sam granice sela Ljupten sa OSM preko Geosrbije, i poklapanje je odlično, dok su kod tebe sve do jedne označene sa ERROR_WAY_NOT_FOUND. Da nije možda problem što je na granici okruga, otkud znam?

Offline

#61 2020-01-31 21:39:43

mpele
Member
Registered: 2012-02-25
Posts: 245

Re: RGZ otvorio registar prostornih jedinica - plan za import

Duja wrote:

O ovome smo već raspravljali, ja sam protiv da se unosi admin_level 8 tek da bi bili uniformni. Povećaće se količina relacija, a napravićemo dodatni problem na Nominatimu, jer će svaka adresa u Novom Sadu glasiti ulica, Novi Sad (naselje), Novi Sad (opština), Grad Novi Sad, ... .

У оволиком броју релација та једна релација неће направити никакву разлику. Што се тиче Номинатијума, ако је то тачно, зашто некога ускраћивати са додатним податком - ово ми личи на унос података само ради рендера.

Offline

#62 2020-01-31 22:51:34

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Pa prosto, ja ne živim u opštini Novi Sad. Ne postoji opština Novi Sad. Postoji naselje Novi Sad i administrativna jedinica grad Novi Sad.

Offline

#63 2020-02-02 18:56:12

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Update: sredio sam granicu sa Kosovom. Sad nam je granica sa Kosovom 99.9% ista kao u RPJ-u! (onih 0.01% je granica na Kopaoniku gde se razlikujemo, pa su unete obe kao "claimed_administrative"). Pošto je OSM granica bila mala povučena ka nama, dobili smo ovde još površine u OSM-u:) (tipa, neka naselja, kao Ranatovce i Madjare, su imala samo 20% teritorije u Srbiji, ostatak je bio na Kosovu).

mpele wrote:

Бранко, да ли си сигуран да су овде јединице метри? Превише су мале вредности па ми је неочекивано. Морам само да те замолим да смањиш прецизност ове вредности - све ипод треће децимале (или ти милиметра) је апсурдно.

To je prosečna vrednost odstupanja svake tačke. 30m znači kao kad bi neko pomerio ceo krug za 30m u neku stranu. Meni na par primera deluje da jesu stvarno metri. Ako imaš neki primer, bilo bi lakše, pa da ga prodiskutujemo. Apropos preciznosti, smanjiću preciznost sledeći put kad budem generisao, nije namerno, nego prosto nisam se setio da zaokružim brojeve:)


Duja wrote:

Nešto mi je bre 4000 jako mnogo, hajde ti to molim te malo proveri.

Gledaću, ali stvarno mi je to poslednja stvar da gledam, hoću prvo sredim ove zicere. Kod Ljuptena je slučaj ono što sam pričao - granica jeste solidno precizna, ali postoji gap bukvalno sa svim naseljima, između naselja Rosica, Vukanja, Kulina i Kamenica i moja skripta onda ne može da bude sigurna šta da conflate-uje jer očekuje da pomeri put koji nema naselje na drugoj strani, a jedini nađen put ima drugo naselje na drugoj strani jer u OSM-u nema gapa, nego su spojena naselja i skripta odustaje, jer ako bi pomerala taj put, efektivno bi pomerala i drugo naselje. Ako filtriraš po "Ljupten" na onom mom izveštaju, videćeš da u koloni "Granična naselja" ima upisan samo Ljupten, ne i naselje sa "druge strane". Ako otvoriš .osm, videćeš jasno te gap-ove. Slobodno možeš ti da uzmeš par primera, pa da vidiš da li je svuda taj problem (čemu sam pravio izveštaj onda:D), tj. da li su gap-ovi stvarno problem svuda, kao što ja sumnjam. Dakle, nije 4000, nego 2000 (svaki put je prijavljen sa obe strane da ne može da se nađe) i da - izgleda da imamo 2000 gap-ova po Srbiji:/ Ne kažem da je problem nerešiv i da ne može opet skripta da ga rešava, samo sam ga ostavio za kasnije. Opet - ako neko želi da pomogne (što pisanjem skripte koja bi razdeljivala ove puteve, što pisanjem uputstva da se skupimo i delimo ih ručno...), slobodno!

Duja wrote:

Pa prosto, ja ne živim u opštini Novi Sad.

mpele wrote:

У оволиком броју релација та једна релација неће направити никакву разлику

Pričao sam malopre sa Guillaume-om na Telegram srpskoj grupi. On kaže da treba dodavati i grad i opštinu samo ako fizički ili pravno ti koncepti postoje odvojeni (tipa ako Jagodina ili Novi Sad ima i gradonačelnika grada i predsednika opštine). Ako ti koncepti ne postoje, onda ne treba dodavati level 8 samo radi dodavanja. Prokomentarisao je i da je mana tog pristupa da neko ko želi da izvuče sve levele 8 neće moći. Ispravite me ako grešim, ali ovi gradovi nemaju i gradonačelnika i predsednika opštine. Čak, novosadski wiki kaže da su opštine samo formalno i statistički postojale. Čak i ja naginjem da ne stavljamo level 8 (mada će mi to oteža pisanje skripte:). Sačekao bih da vidim da li ima još neko da se javi na ovu temu pre nego što nastavim ovako (ignorisanje levela 8, opština, ako je iznad nje grad, a to je jedina opština i ima istu geometriju kao i grad).

Offline

#64 2020-02-03 10:44:31

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Branko Kokanovic wrote:

Gledaću, ali stvarno mi je to poslednja stvar da gledam, hoću prvo sredim ove zicere. Kod Ljuptena je slučaj ono što sam pričao - granica jeste solidno precizna, ali postoji gap bukvalno sa svim naseljima, između naselja Rosica, Vukanja, Kulina i Kamenica i moja skripta onda ne može da bude sigurna šta da conflate-uje jer očekuje da pomeri put koji nema naselje na drugoj strani, a jedini nađen put ima drugo naselje na drugoj strani jer u OSM-u nema gapa, nego su spojena naselja i skripta odustaje, jer ako bi pomerala taj put, efektivno bi pomerala i drugo naselje. Ako filtriraš po "Ljupten" na onom mom izveštaju, videćeš da u koloni "Granična naselja" ima upisan samo Ljupten, ne i naselje sa "druge strane". Ako otvoriš .osm, videćeš jasno te gap-ove.

Auu... ja se sad stvarno dvoumim da li da importujemo te podatke, unećemo gomilu đubreta koje je teže održavati nego ovo što već imamo. Nemam JOSM (a i ne instalira mi se, sve radim preko iD) pa ne mogu da vidim koliki su ti procepi, ali mi to sad već deluje kao greška u podacima, tj. da su i oni odnekud importovali bez previše naknadnih QA intervencija. Gledam na Geosrbiji konkretno Ljupten, i ti gapovi se ne vide ni pri najvećem zumu.

Sad te već mučim, ali možeš li da napraviš i nekakvu metriku koliki su ti gapovi?

Offline

#65 2020-02-03 10:54:49

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Ti gapovi su ispravni, bar što se tiče države (Nemanja je na Telegram grupi pričao da je to zato što nijedno naselje nije htelo neki deo, npr. put, šumu...). Ti gapovi nisu veliki, 2-3m mislim, ali nemam sad komp pri ruci, tako da uzmi ovu informaciju sa rezervom. Stvarno bi trebalo da uzmeš JOSM, proučiš i pogledaš ga (prosto ne mogu da verujem da ozbiljne izmene preko 5km radijusa i mnogo relacija mogu da se prave sa iD editorom, to je bre čist mazohizam), malo nema smisla ni da ja izigravam sekretaricu i da igramo gluvih telefona i da ti ja prenosim i screenshot-ujem vrednosti... Poenta je - ako želimo 100.0% precizne geomtrije, moramo da uračunamo i ove gap-ove. Ako želimo "good enough" situaciju, onda možemo da ih ignorišemo... Ja mislim da želimo 100% precizne geometrije, a time dobijamo u miraz i gap-ove.

Offline

#66 2020-02-08 01:35:58

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Update:
* Nisam tu do marta, tako da prestajem sa radom na ovome do daljnjeg:)
* Završio sam dodavanje ref:sr:maticni_broj na sve opštine!
* Dodao sam subarea na sve veze opština<=>naselje (level 8<=>9)! PeđaS, pogledaj, da li je ovako dovoljno dobro?

TODO:
* Pitati preostale komšije za granice (Kosovo, Hrvatska gotovi)
* Peglati ovih 11.000 puteva koji se zapravo daju pomeriti, dok neko ne smisli neko rešenje za ovih 4000 grešaka
* Srediti gradove (odraditi procenu razlike površina, dodati ref:sr:maticni:broj, dodati subarea ka opštinama)
* Srediti okruge (Duja je predložio "ref" za šifre okruga, hoćemo sa tim da idemo za okruge, neko nešto protiv da li ima?, dodati subarea ka gradovima/opštinama)

Ostalo je pitanje fantomskih opština (koje su zapravo gradovi). Ako niko nema ništa da doda, da ih brišemo onda i ostavljamo samo gradove. Međutim, time otvaramo još jedan sličan problem "fantomskih naselja" - naime, imamo 8 opština koji imaju samo jedno naselje. To su:
['ВРАЧАР', 'ЗВЕЗДАРА', 'НОВИ БЕОГРАД', 'РАКОВИЦА', 'САВСКИ ВЕНАЦ', 'СТАРИ ГРАД', 'СЕВОЈНО', 'СРЕМСКИ КАРЛОВЦИ']

Po istoj logici ("da li postoji i predsednik opštine Rakovica i predsednik naselja Rakovica?"), mogli bismo i njih da spojimo u jedan entitet - da samo ostavimo opštinu? Ne znam da li je ovo pametno jer ne znam da li uopšte postoji koncept predsednika naselja? Zna li neko? Ja bih rekao da osim poštanskog broja, nema ništa drugo specifično? Ako postoji koncept predsednika, onda Rakovica ima predsednika naselja? A ako ne postoji, onda su sva naselja od starta fantomski entiteti, pa i ako postoji Rakovica naselje ili ne, nije ni bitno mnogo. Sa druge strane, Čukarica i Sopot i sl. opštine imaju gomilu "stvarnih" naselja ispod sebe, pa ne vidim zašto Čukarica može da ima level 9, a Novi Beograd da nema i da za Novi Beograd naselje nestaje i spaja se sa opštinom, nije mi konzistentno. Možda bih čak ovde ostavio sve da bude kao u RGZ-u (za razliku od fantomskih opština), tj. da ostavimo administrativna fantomska naselja. Ako ih ostavimo, onda bi ja kao Novobeograđanin živeo u "Omladinskih Brigada, Novi Beograd, Opština Novi Beograd, Beograd", što jeste glupo. Vaše mišljenje, da ostavljamo fantomska naselja ili da i njih spajamo sa opštinama, kao fantomske opštine što smo rekli da ćemo sa gradovima?

Jedna zanimljivost - da li je greška ili ne, ali u RGZ-u svi okruzi imaju oblik "NNN управни округ" ("Severnobanatski upravni okrug", "Jablanički upravni okrug"...) osim Braničevskog koji se u RGZ-u zove prosto... "Браничевски округ". Eto, malo mi poremetilo skriptu, ali kod nas u OSM-u je od početka "pravilnije" (ako pravilnosti ovde može da se kaže da postoji uopšte:)

Offline

#67 2020-02-27 22:56:11

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Update:
* Odradio sam conflation 11000 puteva, to je ono sto je zicer moglo. Novi izvestaj stanja je ovde.
* Novi CSV sa stanjima naselja je ovde. Average je sada 99.42%, a median je 100%. Sto znaci da smo skoro pa savrseni:) Ispravio sam ono sto je Pedja trazio (da se zaokruzuju metri). Takodje sam uneo novi metriku "area_not_shared" koja malo bolje racuna sta nije deljeno izmedju poligona A i B kao: P((A \ B) ∪ (B \ A)) / P(A ∪ B). Najbolje je nacrtati da se vidi sta je pisac hteo da kaze:)

Ono sto nas trenutno najvise muci su pogresne geometrije, tj. u vecini slucajeva postojanje gap-ova koji ne postoje u OSM-u, a i ima losih spojeva (OSM ili RGZ ima dodatnu liniju koja deli poligone i sl.). Ovo mora da se rucno rascivija. Ako neko zeli da pomogne, dovoljno je da otvori ovaj HTML izvestaj iznad, da nadje ove neresene slucajeva i da prati https://wiki.openstreetmap.org/wiki/Ser … t/Uputstvo. Ja cu to isto da radim koliko stignem u slobodnom vremenu.

Offline

#68 2020-03-19 19:28:14

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Nisam se dugo javio, evo novi update:

* Sređena granica sa Rumunijom (oni su imali open dataset isto, jako su slični, nije bilo neslaganja, poklopio sam ga koliko sam mogao)
* Napravio sam program i odlepio gomilu node-ova i way-ova od drugih node-ova, way-ova i relacija (762 komada). Time smo rešili kategorije problema "ERROR_NODE_IN_OTHER_WAYS" i "ERROR_NODE_IN_OTHER_RELATION"
* Sve node-ove koji su imali neke dodatne tagove (semafor i sl.) su ispravljeni isto. Time je rešena kategorija problema "ERROR_UNEXPECTED_TAG" i "ERROR_NODES_WITH_TAGS"
* Popravio sam program da može da conflate-uje way-ove koji su imali više tačaka u OSM-u nego što ih imaju u RGZ-u (nisam taj deo bio ispitao, pa sam ga tek sad uključio). Time je rešena kategorija "ERROR_OSM_WAY_IS_MORE_COMPLEX" (663 way-a).
* Koristio sam novu verziju podataka sa RGZ-a, od marta. Nema nekih velikih promena.
* To je to bilo od lakih stvari. Sve što je ostalo su gap-ovi, koji moraju da se reše ručno. Ja bar ne znam kako, ako neko zna - slobodno!
* Ako treba ja da prelomim, prelamam da nemamo opštine gde nema nijedna druga opština pod gradom (ostavimo grad, izbrišemo opštinu). To ću da radim na dalje. Isto važi i za naselja - gde ima opština samo sa jednim naseljem, da brišemo naselje (to je slučaj danas sa sledećih 8 naselja - Vračar, Zvezdara, Novi Beograd, Rakovica, Savski Venac, Stari Grad, Sevojno i Sremski Karlovci).


Statistike:

* Popeli smo se sa 63% conflated puteva na 69%
* Procenat NEDELJENE terotorije (koja se ne slaže) po svim naseljima je popravljen sa 1.16% na 0.37% (idelno treba da je 0, jelte). 75. percentil je bio 1.098%, sad je 0.011%
* Ne postoji nijedno naselje koje ima grešku veću od 10%


Evo ovde novih fajlova:

Izveštaj conflate-a (šta je urađeno, šta fali i razlog zašto fali)
Statistike naselja (CSV deljenih/nedeljnih površina naselja)
Statistike opština (CSV deljenih/nedeljnih površina naselja)
.shp i .osm (123MB) (Svi generisani shapefile-ovi i .osm fajlovi, za celu Srbiju i po okruzima!)


Šta dalje:

Sredio sam sve programski koliko je moglo. Ostale su teške koske. Ručno sam sredio sve tako da nema nijedno naselje preko 10%. Ako pogledate .csv, ostalo je još 69 naselja koje imaju neslaganje preko 5%, a 532 preko 1%. Svako neslaganje mora da se otvori, dobro razmisli kako da se geometrija najbolje sredi i popravi. Dobra stvar je što je sve odlepljeno, tako da ne morate da se bojite da ćete pomeriti neku ulicu, nacionalni park, semafor, reku... Druga dobra stvar je što kad sređujete jedno naselje, zapravo sređujete i sve susede, tako da će ići duplo brže nego što izgleda:) Sredio sama uputstvo i ažurirao ga. Ako želite da se podelimo, javite se ovde ili na Telegram, rado ću pomoći, objasniti u početku, ali ovo nije posao za jednu osobu sad. Nije ništa ultra komplikovano, ali nije ni da se samo klikće, treba mozak malo uključiti:) Pozivam vas sve - ako neko može da se uključi, bilo bi super!

Uputstvo je ovde: https://wiki.openstreetmap.org/wiki/Ser … t/Uputstvo

To je to od mene, tu sam da pomognem, ali nemam više šta pametno da radim, osim da generišem ove fajlove iznova i da popravljam ova naselja kad mi je dosadno:)

Offline

#69 2020-03-19 22:20:09

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Hvala, Branko.

Nadam se da ću moći da se uključim, mada (uprkos vanrednoj situaciji) i nemam puno vremena u poslednje vreme. U međuvremenu sam bio quality assurance / dežurno zajebavalo / levo smetalo (nepotrebno precrtati) za tvoje changesetove, nadam se da sam ipak bio od koristi. Ali svako ima svoj projektić ovde, moj je da mapiram Bačku pa za njom Srem u nivo detalja koji bar odgovara starim topografskim kartama.

Elem, obećavam da ću u narednom periodupogledati  linkove koje si dao. Kao štivo relevantno za ovu temu, hteo bih da preporučim sledeću prepisku na OSM-talku:

https://lists.openstreetmap.org/piperma … 84427.html

Ima tu raznih mišljenja, nijedno posebno ne podržavam, ali sve više imam sumnje u vrednost ovakvog importa. Sudeći po tvom izveštaju, dosta smo popravili kvalitet OSM podataka o granicama naselja, ali mi se sve više čini da su ti gapovi sranje. To po meni u realnosti ne postoji, nema praktičnu vrednost, namučićemo se da ih napravimo radi importa, a osećam da će za par godina RGZ da se predomisli i pročisti svoj dataset da bi ih eliminisao.

Jel ima nešto pametnije da radimo, na primer, kad god se dohvatim neke šume iz Corine importa vidim da su joj granice čisto đubre... ili da definišemo landuse=residential po centralnoj Srbiji... ili... razumeš, nisam baš tako entuzijasta za ovaj projekat...

Offline

#70 2020-03-20 04:24:55

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 416
Website

Re: RGZ otvorio registar prostornih jedinica - plan za import

Svaka čast, neumoran si.

Offline

#71 2020-03-27 12:10:29

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 416
Website

Re: RGZ otvorio registar prostornih jedinica - plan za import

Čini mi se da se posle ažururanja adminsitrativnih granica pojavilo dosta adminsitrativnih jedinica iz okolnih zemalja koje su zašle u okvir naše teritorije.

Na http://editor.osmsrbija.iz.rs/?dataset= … ne-granice gde je filter granica Srbije se vidi dosta stranih objekata na mapi.

Možda nešto nije ažurirano?

Offline

#72 2020-03-31 19:35:03

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Update: uradio sam video uputstvo (day 19 karantina:D), mislim da ima dosta prednosti - plastično pokaže ceo proces conflate-ovanja granica, možda pokupite usput i neke fore koje niste znali, i poslednje - ako niste nikad koristili JOSM, da vidite kakav je osećaj otprilike.

https://peertube.live/videos/watch/d5ef … 95e853eca7
https://vimeo.com/401994061 (dupli link, ako zub vremena odnese ovaj prvi)

Pedja wrote:

Možda nešto nije ažurirano?

Imamo dva prepletanja (claimed boundaries nam se ne slažu) - 1) sa Kosovom oko Kopaonika , i 2) sa Hrvatskom na dva-tri mesta, oko onih Ada.

Ovde mogu da se vide duple granice:
* https://www.openstreetmap.org/#map=14/43.2598/20.8042
* https://www.openstreetmap.org/#map=14/45.2627/19.2541
* https://www.openstreetmap.org/#map=12/45.7283/18.9439

Ako su ti te administrative jedinice iz drugih zemalja koje upadaju u Srbiju neke od ovih odavde, to je onda nesrećno, ali očekivano. Prosto zato što query vidi srpsku granicu i onda vidi te admin. jedinice koje su delom unutar naše granice i misli da su naše:) Ako mi pokažeš query, možemo da radimo zajedno da ga popravimo. Ako nije zbog toga (npr. na ovom tvom linku ja vidim da piše "Grandas de Salime" što nema nikakve veze sa vezom:), onda ne znam šta bi moglo biti (ali ne vidim kako je povezano sa ovim granica što radim)

Duja wrote:

...ali mi se sve više čini da su ti gapovi sranje...a osećam da će za par godina RGZ da se predomisli...

Uf, misliš da ja nisam imao svojih sumnji dok sam ovo peglao?:) Ja ovde vidim dva pravca - ili "priznajemo" te autoritativne podatke kao dobre, ili ne? Ako ih priznajemo, onda možemo da se cimamo da ih napravimo kako su tačno, ili da ih odokativno unesemo. Trenutno su "good enough", i ostavljeno je da ih budži ko hoće, kad hoće. Verovatno će RGZ da ih menja, ali šta da se radi (koliko sam razumeo Nemanju na Telegramu, nemaju nameru da ukidaju gap-ove jer ne zavisi od njih). Usvajanje ovih podataka ima još jednu prednost, a to je da gradimo međusobno poverenje sa RGZ-om, što nam obostrano koristi, pa možda jednog dana dobijemo i neke druge dataset-ove, npr. ulice;)

Duja wrote:

Jel ima nešto pametnije da radimo

Evo sad ću da okačim nešto oko etimologije, ali u principu - svako radi šta misli da ima najviše smisla (ili da će da mu najbolje ubije vreme u samoizolaciji:D)

Offline

#73 2020-03-31 21:25:01

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 416
Website

Re: RGZ otvorio registar prostornih jedinica - plan za import

Meni se čini da ima adminstrativnih jedinica iz svih zemalja sa kojima se graničimo koje nekako uđu u filter po granici.


Overpass Query:

[out:json][timeout:25];
(
  area
    ["name"="Србија"]
    [admin_level=2]
    -> .country;

  (
    rel(area.country)[admin_level~".*"]  -> .relations;
  );

);

out;



http://editor.osmsrbija.iz.rs/?dataset= … ne-granice

Offline

#74 2020-04-01 08:56:27

Duja
Member
Registered: 2019-03-13
Posts: 46

Re: RGZ otvorio registar prostornih jedinica - plan za import

Mislim da se iza tog upita negde krije neki bag. Već sam nekoliko puta kliktao, a vidim da je i Branko, i svaki put iskoči neka druga administrativna jedinica drugde u belom svetu (Ukrajina, Poljska, Italija). Sad mi izbacuje Batote kod Brusa, niđe veze... sad

Offline

#75 2020-04-01 16:46:04

Branko Kokanovic
Member
Registered: 2017-10-02
Posts: 97

Re: RGZ otvorio registar prostornih jedinica - plan za import

Probaj ovako nesto:

[out:json][timeout:25];
area["name"="Србија"][admin_level=2] -> .country;
(
  rel["boundary"="administrative"][admin_level](area.country);
);
out;

Izbacio sam zagrade viska i prebacio ovaj "area.country" na kraj i dodao "boundary" i izbacio ovaj regex (ne treba, ti samo zelis postojanje taga "admin_level"). Meni sad vraca samo nase granice (+ ove sto su sporne). Ako radi - ne pitajte me zasto radi, nemam pojma:)

Offline

Board footer

Powered by FluxBB