You are not logged in.

#26 2012-03-10 09:10:55

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

kmilos wrote:

Nadam se samo da nećeš biti isključiv za zakrpe u budućnosti.

Искључивост је завршена оног момента када је код објављен под GPL-ом. Од тог тренутка мени остаје само да се борим за своје идеје. Када се процени да је плагин довољно зрео он иде у званичан репоситориј ЈОСМа а онда је баш свачији. Пре тога ће бити и "консултације" у вези изгледа и осталих указаних замерки.


E sad, što se prijave greške tiče, mislim da sam bio dovoljno detaljan. Za svaki slučaj evo i par slika, a koraci su još jedanput sledeći:

Опет проблем у комуникацији. Нисам разумео да се то дешава за сваки објекат, пошто је постојала (постоји) могућност да се у зависности од тагова догоди исти ефакат.

Исправио сам неколико багова и сада по први пут се добија употребљив алат. За сада се проблематични објекти грубо занемарију што значајно повећава стабилност рада. Од новина су ту:
- не ажурира се таг name:en иако се приказује у табели
- предлажу се измене само где је то потребно

Offline

#27 2012-03-10 14:39:45

kmilos
Member
Registered: 2012-02-28
Posts: 179

Re: Preslovljavanje (Transliteration)

mpele wrote:

Исправио сам неколико багова и сада по први пут се добија употребљив алат.

Potvrđujem, svaka čast.

Offline

#28 2012-03-21 15:08:41

Drazha
Moderator
Registered: 2012-02-24
Posts: 113

Re: Preslovljavanje (Transliteration)

Na neki fazon uopste mi nije prijavio ovaj thread. Sad sam se sub.

Bot moze da se pokrene sa moje server masine koja tera linux.

Offline

#29 2012-03-21 15:22:36

misabrzi
Member
From: Serbia
Registered: 2012-02-10
Posts: 136
Website

Re: Preslovljavanje (Transliteration)

Ja sam mislio da se ova diskusija odnosi samo na plugin za JOSM, bot je spomenut 3 puta u celoj diskusiji i to samo od strane jednog člana, niko drugi nije obrato pažnju na to, tako da i nije izneneđenje što se to provuklo ne opaženo. Ali zašto ne odvojiti diskusiju o ovome ipak su to dve različite stvari i ako koriste isti algoritam.

Offline

#30 2012-03-21 15:39:48

Drazha
Moderator
Registered: 2012-02-24
Posts: 113

Re: Preslovljavanje (Transliteration)

Pozdrav svima,

Sad sam precesljao ceo thread, pa da udarim par komentara:

1) name:en sam stavio u predlog zato sto nekoliko programa (tipa OSMAND) ima opciju da koristi englesku verziju name taga umesto samog name taga. Tamo gde postoji ocigledno englesko ime za toponim, tipa Belgrade, koristiti engleski, a ako nema, koristiti celavu latinicu. "Gospodar Jovanova" sigurno nece biti "Master Jovan's" smile

2) Sto se tice botova... u pitanju je samo nesrecan naziv korisnika koji je otvoren u datom momentu. Ocigledno da je u pitanju plugin, koji ipak nadgleda ljudska ruka, i dobro je da sve izmene budu u vlasnistvu individualca koji izmene vrsi, zbog mogucnosti da se kasnije udje u trag vlasniku promena ukoliko nesto sporno postoji.

3) Algoritam: koliko sam ja shvatio, a cini mi se, a mozda i gresim, i svi ostali, algoritam je: Cirilica u name:sr, i onda iz tog taga transliteracija baca u name, u name:sr_Latn, i u name:en. Ako ima nesto sporno u vezi toga, da otvorimo poseban thread na tu temu gde cemo da to do detalja da izbambusamo?

I na kraju, izvinjavam se ako je moj post delovao/zvucao/citao kao suvise napadan, to niti je bila namera, niti zelja, zaista sam odusevljen svom trudu i energiji koju su ljudi ovde ulozili, da vas sve sada ne pominjem poimence.

Samo pici dalje!

Pozz/D

Offline

#31 2012-03-21 16:01:57

misabrzi
Member
From: Serbia
Registered: 2012-02-10
Posts: 136
Website

Re: Preslovljavanje (Transliteration)

Drazha wrote:

Pozdrav svima,

Sad sam precesljao ceo thread, pa da udarim par komentara:

1) name:en sam stavio u predlog zato sto nekoliko programa (tipa OSMAND) ima opciju da koristi englesku verziju name taga umesto samog name taga. Tamo gde postoji ocigledno englesko ime za toponim, tipa Belgrade, koristiti engleski, a ako nema, koristiti celavu latinicu. "Gospodar Jovanova" sigurno nece biti "Master Jovan's" smile

2) Sto se tice botova... u pitanju je samo nesrecan naziv korisnika koji je otvoren u datom momentu. Ocigledno da je u pitanju plugin, koji ipak nadgleda ljudska ruka, i dobro je da sve izmene budu u vlasnistvu individualca koji izmene vrsi, zbog mogucnosti da se kasnije udje u trag vlasniku promena ukoliko nesto sporno postoji.

3) Algoritam: koliko sam ja shvatio, a cini mi se, a mozda i gresim, i svi ostali, algoritam je: Cirilica u name:sr, i onda iz tog taga transliteracija baca u name, u name:sr_Latn, i u name:en. Ako ima nesto sporno u vezi toga, da otvorimo poseban thread na tu temu gde cemo da to do detalja da izbambusamo?

I na kraju, izvinjavam se ako je moj post delovao/zvucao/citao kao suvise napadan, to niti je bila namera, niti zelja, zaista sam odusevljen svom trudu i energiji koju su ljudi ovde ulozili, da vas sve sada ne pominjem poimence.

Samo pici dalje!

Pozz/D

Ok, sad su neke stvari jasnije, smile . A sa dugačkim thredovima lako nešto promakne, naročito kada je diskusija živa i ima više odgovora u kratkom vremenu.
A sa ovom temom sam pomislio da je neko od admina kontaktirao tebe direktno po tom pitanju, pa je stvar delovala ozbiljnije nego što jeste.
U svakom slučaju, pozdrav & Keep up the good work wink

Offline

#32 2012-03-21 16:13:40

Drazha
Moderator
Registered: 2012-02-24
Posts: 113

Re: Preslovljavanje (Transliteration)

Sletela mala pticica da mi nesto kaze/pita na "tu" temu, ali to smo ishendlovali sada, i "nema za dzhema vise problema".

Offline

#33 2012-03-21 16:25:49

misabrzi
Member
From: Serbia
Registered: 2012-02-10
Posts: 136
Website

Re: Preslovljavanje (Transliteration)

Ok, a sad na glavnu temu.
isprobao sam plugin i nisam primetio neke nedostatke do sada, i lepo izlazi na kraj i sa onim dvostrukim nazivima sa zagradama.

Offline

#34 2012-03-21 17:17:54

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

Drazha wrote:

3) Algoritam: koliko sam ja shvatio, a cini mi se, a mozda i gresim, i svi ostali, algoritam je: Cirilica u name:sr, i onda iz tog taga transliteracija baca u name, u name:sr_Latn, i u name:en. Ako ima nesto sporno u vezi toga, da otvorimo poseban thread na tu temu gde cemo da to do detalja da izbambusamo?

Први корак баш и није тако тривијалан, или можемо рећи суштина проблема је баш у њему. Како на поуздан начин попунити name:sr ?
Ево изнећу пар варијанти који се серећу. Ради једноставности приказа претпоставка је да постоји само таг name .
1. Јована Јовановића - све је ћирилица и само се копира
2. ОШ "Јован Јовановић" - комбинација латиница/ћирилица
3. Јована Јовановића (Jovana Jovanovića) - комбинација латиница/ћирилица
4. Петра Петровића V прилаз - римска слова опет комбинација латиница/ћирилица
5. Jovana Jovanovića - латиница где постоји "ć" као знак да је коришћена "права" латиница
6. Jovana Jovanovica - celava latinica
7. Petra Petrovića V prilaz
8. Petra Petrovica V prilaz
...

Од оперативних ствари тренутно могу да одредим:
1. да ли има латинице у називу
2. да ли има ћирилице у називу
3. да ли је само ћирилица
4. да ли је само латиница
5. да ли има наших латиничних знакова

Дакле, задатак је дефинисати када се недвосмислено може одредити name:sr. Остале случајеве бих касније решавао уз евентуалну људску корекцију. Добра ствар је што могу филтрирати базу па се јасно види који подаци ће бити обрађени, и на који начин.

Offline

#35 2012-03-21 17:20:28

misabrzi
Member
From: Serbia
Registered: 2012-02-10
Posts: 136
Website

Re: Preslovljavanje (Transliteration)

Napravio sam wiki stranicu Preslovljavača http://wiki.openstreetmap.org/wiki/JOSM … sliterator mislim da sada već možemo da stavimo sve informavije oko Translitera tu.

Last edited by misabrzi (2012-03-21 17:20:46)

Offline

#36 2012-03-22 00:36:49

kmilos
Member
Registered: 2012-02-28
Posts: 179

Re: Preslovljavanje (Transliteration)

Ako sam dobro razumeo, plan automatskog bota za preslovljavanje se sprovodi u dve faze?

1. i teža: pravljenje 'name:sr' naziva iz postojećih 'name' (u toku)

2. i lakša: kopiranje nazad u 'name' i izvođenje 'name:sr-Latn' (dolazi kasnije?)

Što se tiče iznetih problema sa prvom fazom, mislim da nam nema druge do ručnog lektorisanja. Jedino što pomaže je da se izdvoje stavke gde automatsko generisani 'name:sr' naziv ranije nije postojao ili se razikuje od postojećeg jer samo one moraju biti proverene.

Offline

#37 2012-03-22 07:57:32

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

Мислим да није паметно да се таг name мења са бот-ом, бар не на серверу. За личне потребе ОК али за измене на серверу бих тај посао оставио човеку (плагин-у).

Ајд да мало појасним шта бот ради. Тренутно се ручно скида http://download.geofabrik.de/osm/europe/serbia.osm.bz2 и распакује се serbia.osm. Овај фајл се обрађује са истом класом као и записи у плугину.
Постоје два принципа рада која могу и истовремено да се користе:
- генерише се нови фајл, копија serbia.osm, са свим изменама. Касније овај фајл се упоређује са оригиналним и из њега се генерише фајл са разликама, који се после дели на фајлове са јединичним разликама.
- директно се генеришу јединичне разлике

Касније се ови фајлови са јединичним разликама у петљи шаљу на сервер.

Оно што сте приметили на серверу је тест свих ових корака на најопрезнији могући начин где се мењао само један таг. Бот још није спреман за масовну употребу јер се разлика броја фајлова са изменама разликује за пар стотина (~1800 - ~1500) за чисте ћириличне записе. Док не разумем овај феномен не бих се превише играо.

Када бот буде пуштен за озбиљно нема разлога да се одваја попуњавање name:sr и name:sr-Latn.

Offline

#38 2012-03-22 11:13:24

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 456
Website

Re: Preslovljavanje (Transliteration)

Уз ризик да лупим пошто нисам баш мног искусан са ЈОСМ, предложио бих да се просто уведе правило (а како сам прочито то и јесте) да се сви називи уносе на ћирилици. Програм тада не треба да се масира са транслитерацијом из латинице већ само да упозори на оне тагов екоји треба да буду попуњени ћирилицом а нису. Корисник у том случају мора прво да исправи на ћирилицу па тек онда да се обави транслитерација. Тако ће се решити и проблем недоследног уноса од раније.

Једини проблем може бити ако неки специфични уноси морају да садрже латиницу. Ту би решење могло да буде да се не инсиситра да сав садржај тага буде ћириличан, али да мора да има део написан ћирилицом. То би омогућило да се уноси мешан текст, што има смисла, а у коме би се транслитеровао само ћирилични део.

Не знам д али је дозволјено да се уведе неко специфичан таг који би значио: дозволи латиницу у ћириличном тагу. То би лепо решило те изузетке када назив треба да садржи латиницу.

Offline

#39 2012-03-22 11:20:01

Drazha
Moderator
Registered: 2012-02-24
Posts: 113

Re: Preslovljavanje (Transliteration)

Offline

#40 2012-03-22 18:25:01

kmilos
Member
Registered: 2012-02-28
Posts: 179

Re: Preslovljavanje (Transliteration)

mpele wrote:

Бот још није спреман за масовну употребу јер се разлика броја фајлова са изменама разликује за пар стотина (~1800 - ~1500) за чисте ћириличне записе. Док не разумем овај феномен не бих се превише играо

Samo ideja: proveri da nisu slučajno uneti mešoviti nazivi, npr. često se dešava da poneko a, e, o, j budu uneti u latiničnom kodnom rasporedu, a ta slova se razlikuju od ćiriličnih u unikodu.

Offline

#41 2012-03-22 19:44:55

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

Што више сагледавам проблематику све иде ка томе да већину пресловљавања мора човек прегледати, и сада размишљам да се постави сајт који би заинтересованом кориснику достављао ограничени број "спорних" објеката да их прегледа. Или другим речима, "лектор" оде на сајт и преузме фајл од 50-100 објеката са називима, прегледа / поправи их на начин као што то ради у плагину и пошаље их на сервер. Пошто је успешност пресловљавања релативно велика посао би се сводио на спорадичну интервенцију.

Offline

#42 2012-03-22 23:34:30

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 456
Website

Re: Preslovljavanje (Transliteration)

мпеле, ја бих ти радо помогао али не трошим џаву. Могу само да ти дам неке сугестије генералне природе а имам искуства јер сам се доста бавио пресловљавањем.

Offline

#43 2012-03-23 00:14:36

kmilos
Member
Registered: 2012-02-28
Posts: 179

Re: Preslovljavanje (Transliteration)

@mpele
Tako nekako. Što se mene tiče, može to i jednostavan diff na staroj i novoj osm datoteci da bude, onda mogu odmah da vidim gde postoje izmene, a i direktno zakrpu da ispravim i vratim.

Offline

#44 2012-03-23 08:59:21

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

Pedja wrote:

мпеле, ја бих ти радо помогао али не трошим џаву. Могу само да ти дам неке сугестије генералне природе а имам искуства јер сам се доста бавио пресловљавањем.

Имењаче, упознат сам са са твојим радом још од ере пре интернета и сваки савет је добродошао.
Овде је проблем концептуално друге природе од стандардног проблема пресловљавања јер није императив добити пресловљавање са што већом тачношћу, већ одредити ситуације где је пресловљавање успешно 100%.


Како тренутно стоје ствари кристалише се идеја да бот прочешља базу и ако је laitinica(name:sr)==latinica(name) онда је објекат коректно обрађен и нема потребе за даљом обрадом. Овиме би се покрио случај када је лектор то прогласио коректним (раније сам размишљао и о посебном тагу за посебне ситуације, али сада не могу да се сетим ситуације када би он био неопходан).

Ако није задовољен претходни услов онда имамо две варијанте:
- чиста ћирилица - бот све сам заврши
- остало - шаље се на лектуру.

Слање на лектуру би подразумевало дневно генерисање osm фајлова са "двосмисленим ситуацијама" који би били доступни преко веб интерфејса. Тај фајл би се учитавао у ЈОСМ и уз плаг-ин обрађивао.

Offline

#45 2012-03-23 09:10:38

Drazha
Moderator
Registered: 2012-02-24
Posts: 113

Re: Preslovljavanje (Transliteration)

Iskreno receno mislim da bi za pocetak bilo dobro da konacnu odluku donosi korisnik, a ne bot. Kasnije kad se situacija malo iskristalise dalja automatizacija moze da se ukljuci. Zelja da se sve unapred predvidi odlicnim programiranjem je cesta zamka u ovom poslu, i bilo bi bezveze da se suvise puno vremena ulozi u nesto sto ce na kraju da propadne kao projekat. Ja predlazem "sitne" korake. Mozda je i najbolje za pocetak da se usavrsi plugin i da svako koristi taj plugin onda, i posle pregleda izmena iste gurne u bazu... Time se stvara i... "accountability"...

(Ma, srpski lengvidzh mi je svetinja)

Offline

#46 2012-03-23 09:20:57

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

Управо то и јесте костур идеје, али ја предлажем и малу надоградњу, тј. да корисник не мора да лута по мапи и тражи где фали таг name:sr већ да му се то сервира.

Offline

#47 2012-03-23 11:14:32

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 456
Website

Re: Preslovljavanje (Transliteration)

Naravno, bot treba da reši sam sve što je očigledno i da se automatski rešiti prema definisanim pravilima, a ono što je nejasno treba da ostavi nama i da nam izdvoji šta treba da se uradi. Čak i ono što odradi automatski može a prikaže da ipak neko može da pregleda ieventualno popravi ak se pojavi kakva greška.

Jesi li to napravio lapsus? Zar name:sr ne treba da sadrži ćirilični naziv?

Offline

#48 2012-03-23 12:20:11

mpele
Member
Registered: 2012-02-25
Posts: 256

Re: Preslovljavanje (Transliteration)

Pedja wrote:

Zar name:sr ne treba da sadrži ćirilični naziv?

Брендирана имена, по мени, треба да остану на латинициi u name:sr тагу: Taxi, MAXI, OMV, McDonalds, Beneton...

Offline

#49 2012-03-23 12:41:23

Drazha
Moderator
Registered: 2012-02-24
Posts: 113

Re: Preslovljavanje (Transliteration)

ЕјСи ДиСи НиЗаДиСиНиСи

Offline

#50 2012-03-23 15:21:02

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 456
Website

Re: Preslovljavanje (Transliteration)

mpele wrote:
Pedja wrote:

Zar name:sr ne treba da sadrži ćirilični naziv?

Брендирана имена, по мени, треба да остану на латинициi u name:sr тагу: Taxi, MAXI, OMV, McDonalds, Beneton...

То да.

Онда би алгоритам могао да буде овакав:

- ако је попуњен name:sr а name није није исти као name:sr онда се name:sr преписује у name
- ако је попуњен name ћириличним текстом, а name:sr је празан, онда се преписује name у name:sr
- ако name садржи нећириличне знакове а name:sr је празан, онда се пријављује да је потребна интервенција
- у name:sr-Latn се преписује садржај name:sr пресловљен у латиницу

Ако је потребна интервенција, корисник треба да у name:sr упише тачан назив. Може да га упише и у name, мада ако то не уради, то ће урадити бот у следећем пролазу.

Мислим да би то покрило све случајеве.

Постоји ли могућност да бот убаци неки кастом таг којим би могао да назначи какав је статус уноса? Ако би то могло онда не би морали да посебно извлачимо објекте које треба прегледати него бисмо их простом претрагом по том тагу извукли.

Last edited by Pedja (2012-03-23 16:57:00)

Offline

Board footer

Powered by FluxBB