You are not logged in.

#51 2008-10-26 10:22:12

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Jakub Klawiter wrote:

No to mamy pierwszy ZONK, z tym kolesiem. [...]

Chcia?bym po pierwsze zauwa?y?, co by?o prawdziw? przyczyn? problemu. smile
Problem by?o to, ?e nasze forum prowadzimy po polsku, nie informuj?c ludzi obcoj?zycznych co tak naprawd? ma tu miejsce. Jak rozumiem, do tej pory, wszyscy polskoj?zyczni osmerzy, maj? ?wiadomo?? w jakim stanie s? polskie drogi (te w OSM te? smile ), weszli na forum, zobaczyli ?e WRAK jest genialny (@Jakub Klawiter: bo jest!) i nie maj?, ?adnych ale.

Zatem http://forum.openstreetmap.org/viewtopic.php?id=1762 jest prawie rozwi?zaniem, bo b?dziemy mieli feedback od s?siadów.
Ewentualnie, mo?e nale?a?oby przet?umaczy? te? http://wiki.openstreetmap.org/index.php/Pl:WRAK

Oczywi?cie faux pas te? po stronie hasse_osm_korinthenkacker, ?e wsz?dzie, nie tylko na lokalnym forum, u?ywa j?zyka ojczystego, podczas gdy lingua franca OSM jest angielski.

Jednak alv, na niemieckim forum, zauwa?y? bardzo istotn? rzecz:

Anyone using the osm data expects that the name on the street signs is what's entered in the tag "name". It's what people could use to navigate. Standing on the street anyone wouldn't care what the persons name was if he couldn't find that name anywhere.

Je?li kto? nie zna j?zyka kraju który odwiedza i stoi na obcej ulicy, to ma nadziej?, ?e jego przeno?ne OSM poka?e mu dok?adnie tak? sam? nazw? - literka w literk?, znaczek w znaczek, bez rozumienia o co chodzi. By?em zagubiony za granic? i wiem o czym mówi?. tongue

Dalej.

Jakub Klawiter wrote:

[...]To nie jest ?adne rozwi?zanie, musimy jako? t? sytuacj? wykorzysta? aby zbudowa? plan dzia?ania przy takich problemach.

Musz? si? zastanowi?. Wydaje mi si? jednak, ?e nici z tej naszej Wielkiej Normalizacji. Jak przypuszcza?em: tak samo jak GUS, nie powinni?my si? miesza? w to, ?e ró?ni ludzie, ró?nie nazywaj?, tych samych ludzi. lol
Na t? chwil? proponuj?:

1) Skupi? si? na tym, aby do ko?ca wypleni? ulice.bez.GUStu tzn. literówki, WTF, wielko?? liter itp.
2) Ulice kontrowersyjne, jak roweckiego uzna? za wyj?tek, gdzie jedynie jednocz?onow? (na pewno z??) zamieniamy na 'w naszej opinii' najlepsz? wersj?. Zatem nie:

genera?a Stefana "Grota" Roweckiego, stefana roweckiego, roweckiego, grota-roweckiego, stefana "grota" roweckiego

tylko:

genera?a Stefana "Grota" Roweckiego, roweckiego

3) reszt? wrak-dict.csv zostawi? jak jest, jecha? po wszystkim WRAKiem z koksem, i si? nie przejmowa?! big_smile

Offline

#52 2008-10-26 20:06:38

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

Malowa?em dzi? t? Wart? - przy okazji dokonuj?c kolejnego odkrycia, ?e podk?ad Yahoo nie jest wsz?dzie, a nawet jest go mniej ni? wi?cej. Pó?niej bawi?em si? z hackerem i troch? si? nad problemem zastanawia?em, a przede wszystkim emocje mi opad?y i doszed?em do podobnych wniosków. Zreszt? podejrzewam, ?e gdyby kolega z niemiec zmieni? nazw? ulicy na tak? jak w bazie GUS problemu by nie by?o wcale. Teraz jest tam równie nieprawid?owa nazwa jak nasza.

Zgadzam si?, ?e "nasi" widz?c ba?agan w nazwach ulic ?atwiej zrozumiej? co tak na prawd? robimy i ?e szkodzimy mniej ni? poprawiamy, a nade wszystko nie robimy nic ostatecznego. K?opot tak na prawd? robi? nam tylko ludzie którzy b?d? rewertowali zmiany WRAKa nie informuj?c nas o tym, wtedy g?upi automag b?dzie z nimi walczy? nei maj?c ?wiadomo?ci, ?e poprawia co? po raz 150 ... jedyny sposób na takich to czeka?, a? sami si? zdenerwuj? i spróbuj? na nas nakrzycze?, wtedy wyt?umaczymy i poprawimy s?ownik WRAKa.

Inny problem:

TomDalek wrote:

Anyone using the osm data expects that the name on the street signs is what's entered in the tag "name". It's what people could use to navigate. Standing on the street anyone wouldn't care what the persons name was if he couldn't find that name anywhere.

Je?li kto? nie zna j?zyka kraju który odwiedza i stoi na obcej ulicy, to ma nadziej?, ?e jego przeno?ne OSM poka?e mu dok?adnie tak? sam? nazw? - literka w literk?, znaczek w znaczek, bez rozumienia o co chodzi. By?em zagubiony za granic? i wiem o czym mówi?. tongue

A co z ulicami gdzie tabliczki z nazw? wyst?puj? w kilku odmianach? A takich miejsc jest wiele. Jeszcze gorzej je?li poza tabliczkami wliczy? nazwy pisane na domach (tak jak cz?sto na osiedlach). I we? to wyt?umacz komu? kto mieszka w kraju gdzie takie rzeczy dzia?aj? normalnie? big_smile

Tak czy inaczej wychodzi, ?e przynajmniej na razie WRAKa modyfikowa? nie trzeba (od d?u?szego czasu nie wprowadza?em ?adnych zmian w skrypcie). Mam pytanie, czy powiesi? skrypt gdziekolwiek i za?o?y?, ?e nikt nie b?dzie nim próbowa? nam zrobi? QQ, czy chcemy go rozprowadzi? jako? tajnymi kana?ami? Nie jest to mo?e skrypt którego nie mo?na co chwil? pisac od nowa, ale nie ma takiej potrzeby skoro dzia?a. Poza tym praktyka mówi, ?e je?li udost?pni? skrypt to w ci?gu kilku godzin znajd? ewidentne b??dy które teraz siedz? cicho i czekaj? na release. big_smile

K?opot mam z manualem, bo jak ja zaczn? pisa? jak tego u?ywam to wyjdzie mi powie??. big_smile No ale jak trzeba to si? napisze big_smile Najwy?ej napisz? krótko jak tego u?ywam i dlaczego, a pó?niej odpowiem na pytania.

Co trzeba zrobi? to w ko?cu napisa? szersz? informacj? o tym co robimy, to zrobi? bo cz??? ju? mam i by? mo?e to samo przet?umaczy? na j?zyk Królowej Eli licz?c na feedback od reszty ludzko?ci.

W szeroko rozumianym mi?dzyczasie spróbuj? zmontowa? GUStawowi jakiego? brata, który potrafi?by powiedzie? gdzie pojawiaj? si? poszczególne wariacje nazwy, tak aby pytaj?c go o tego ca?ego Roweckiego dosta? informacj?, ?e w Policach to on jest Stefan, a w Szczecinie Stefan "Grot" (dobrze pami?tam?). Bo jak rozumiem zak?adamy, ?e przynajmniej GUS si? nie myli.

OK to id? synchronizowa? s?owniki ;-)

Offline

#53 2008-10-27 02:17:50

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

Przegl?daj?c now? wersj? ulic.bez.GUStu zauwa?y?em, ?e nasz kolega z Niemiec 'poprawi?' ju? prawie 200 dróg, które nie mia?y ?adnej nazwy. Niestety nowa nazwa to "Droga" i nie b?dzie ju? widoczna w wartwie NoName...

Offline

#54 2008-10-27 10:58:50

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

antblant wrote:

Przegl?daj?c now? wersj? ulic.bez.GUStu zauwa?y?em, ?e nasz kolega z Niemiec 'poprawi?' ju? prawie 200 dróg, które nie mia?y ?adnej nazwy. Niestety nowa nazwa to "Droga" i nie b?dzie ju? widoczna w wartwie NoName...

ROTFL big_smile
Mo?esz z nim o tym pogada? ... ja te? bym móg?, ale obawiam si?, ?e on mnie nie lubi big_smile

UPDATE
Dosta?em kolejn? wiadomo?? ... google translator radzi sobie z nia kiepsko raczej big_smile

> Please if you want to continue this chat do it on forum:

Ich hab keine Zeit mich für so ein Schwachsinn auseinader zu setzen...

Als ich in Pölitz war, sah ich auf den Straßen (in West-Pommern)
genau von mir genannte Namen, auch solche Namen stehen auf
dort aufgestellte Ortschaftspläne, die Einwohner kennen leider
keine anderen Namen, wie die überall dort zu sehen sind.

Geschäftlich war ich mehrmahls in Nord- West- Polens, dabei
hatte (gleichzeitig) 3 GPS-Logger verwendet (mit unterschiedlichen
einstellungen, hatte auch Stimmaufnahmegerät (Diktiergerät) und
somit gut ausgerüstet könnte genau wissen was los war und was _genau_ ist.
Ich unterstütze namen-blödsin von eueren Notar-Namen-Teorie nicht.

Das was ich sehe, ist auch für jedermann "WAR /IST" und so landet
in der OSM-Datenbank.

Hören Sie auf mit dem blödsin und interesseiren sich um dass
was i Posen (Poznan) und Umgebung geschieht, unterlassen Sie
den Unfug in Ihnen fremden Land wie Woiwodschaft Westpommern,
dort gibt es genügend OSM'ler...

mfg RambaZamba

Zaczyna mnie to po ma?u strasznie bawi? big_smile Zrobi?em kilka fotek tabliczek na ulicach ... tylko BT w kompie odmawia chwilowo pos?usze?stwa ... mam nadziej?, ?e kolega nei wpadnie na genialny pomys? odwiedzenia Poznania, bo mo?e go od tego g?owa rozbole? big_smile

Last edited by Jakub Klawiter (2008-10-27 14:24:14)

Offline

#55 2008-10-27 17:57:13

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Debugger ;-)

antblant wrote:

Przegl?daj?c now? wersj? ulic.bez.GUStu zauwa?y?em, ?e nasz kolega z Niemiec 'poprawi?' ju? prawie 200 dróg, które nie mia?y ?adnej nazwy. Niestety nowa nazwa to "Droga" i nie b?dzie ju? widoczna w wartwie NoName...

Na pewno to on? Mo?e da si? mu konto zablokowa? za wandalizm :PPP Rzu? jakim linkiem...
Swoj? drog? my?l?, ?e pomys? alv z u?ywaniem nat_name nie jest taki z?y, zostawiaj?c jako name tylko najpowszechniejsze nazwy.
Gdyby bra? tylko to co na tabliczkach jest napisane to ja mam u siebie w mie?cie ile? kamienic, które maj? tabliczki z nazwami ostatni raz u?ywanymi w latach 80...

Offline

#56 2008-10-27 19:51:53

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

Przy okazji tej afery zosta?em wykryty i dosta?em anga? na poprawianie WTFów ... ale ja nie o tym, wa?niejsze info jest jakgdyby z boku:

> Done, but please don't change the unicode REPLACEMENT char's to question
>marks in future. We are searching for the REPLACEMENT characters and
>correcting name after name.
10x!
Unfortunately this character can cause osmosis failure in mysql insert request after 4-8 hour of work.
I hope the following sql requests contain many objects you are searching. Something I have fixed, but a less than 1/3 of all.

Czyli to nei jest tak jak my?leli?my, ?e WTFy sa po prostu brzydkie, one autentycznie szkodz?. No i ca?y czas sie pojawiaj?, warto by wi?c chyba wróci? do pomys?u, przelecenia iconvem wszystkich plików z UMP. Tylko nie wiem czy to mo?liwe, znaczy czy jest jaki? kontakt z w?a?cicielem serwera, czy co?.

Offline

#57 2008-10-27 21:45:38

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Jakub Klawiter wrote:

ROTFL big_smile
Mo?esz z nim o tym pogada? ... ja te? bym móg?, ale obawiam si?, ?e on mnie nie lubi big_smile

ROTFL lol
Dobra, ?eby nie by?o ?e brak nam poprawno?ci politycznej, napisa?em do Niego i kurtuazyjnie zainsynuowa?em, ?e nie jeste?my wybitnie zachwyceni dzia?alno?ci? Kolegi... cho? nie wiem jaki to ma sens, je?li jak mówisz On nie zna angielskiego. yikes

Jakub Klawiter wrote:

[...] warto by wi?c chyba wróci? do pomys?u, przelecenia iconvem wszystkich plików z UMP. Tylko nie wiem czy to mo?liwe, znaczy czy jest jaki? kontakt z w?a?cicielem serwera, czy co?.

Tak, kontakt jest. Autorem UMP2OSM jest Damian http://wiki.openstreetmap.org/index.php/User:Damian i niedawno pisa?em do Niego, bo co?tam apropos i bardzo sympatycznie, pisa? ?e jest teraz raczej zaj?ty, ale ?e fajnie i ok i w ogóle. big_smile Wiec jak Go poprosi? to powinno by? chyba OK. Spróbuj?.

EDIT
Cho? musz? przyzna?, ?e nie bardzo zrozumia?em o co chodzi z tym, ?e http://en.wikipedia.org/wiki/Replacement_character 'mo?e wyk?ada? mysql po paru godzinach pracy'. Albo go wyk?ada, albo nie. Nie skuma?em.

Last edited by TomDalek (2008-10-27 22:09:52)

Offline

#58 2008-10-27 22:04:17

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Debugger ;-)

Jakub Klawiter wrote:

Malowa?em dzi? t? Wart? - przy okazji dokonuj?c kolejnego odkrycia, ?e podk?ad Yahoo nie jest wsz?dzie, a nawet jest go mniej ni? wi?cej.

Nie wiem czy nie trzeba by usun?? te dziwne podzia?y w Warcie (jak przy w?z?ach nr 037518717 i 18). Testowo usun??em w dwóch miejscach przy ?remie i zobaczymy czy si? nie rozjedzie wink

Offline

#59 2008-10-27 22:30:10

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

Jakub Klawiter wrote:

Mo?esz z nim o tym pogada? ... ja te? bym móg?, ale obawiam si?, ?e on mnie nie lubi big_smile

Ju? wczoraj do niego napisa?em, po ang. + pó? niemieckim z translatora. Narazie brak odpowiedzi.
Ten od "Dróg" to hasse_osm_korinthenkacker, a Ty piszesz z RambaZamba, chyba, ?e to ta sama osoba jest...

Offline

#60 2008-10-27 22:35:17

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Myślę że RambaZamba to alterego hasse_osm_korinthenkacker, bo zmieniając np tę drogę http://www.openstreetmap.org/browse/way … 77/history przezornie poprawił też created_by z JOSM na RambaZamba

Offline

#61 2008-10-27 22:35:24

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

TomDalek wrote:

Cho? musz? przyzna?, ?e nie bardzo zrozumia?em o co chodzi z tym, ?e http://en.wikipedia.org/wiki/Replacement_character 'mo?e wyk?ada? mysql po paru godzinach pracy'. Albo go wyk?ada, albo nie. Nie skuma?em.

Nie znam szczegó?ów ale rozumiem, ?e chodzi sobie Osmosis i co? tam wycina pobieraj?c po kawa?ku dane z bazy. Chodzi tak chodzi kilka godzin, trafia na WTF'a i si? wyk?ada, nie serwer bazy danych a Osmosis w?a?nie. Nie wiem czy o to chodzi, ale ja to tak zrozumia?em.

Killn??em w?a?nie kolejn? porcj? WTFów i trafi?em na ZONKA nie lada big_smile

Jest sobie w bazie:
<tag k="name" v="D?bskiego"/>

jest ich wi?cej i by?oby fajnie, ale:

$ grep -i "^d.bskiego" stat.txt 
D?bskiego;Jakuba ;ul.                             :    1
D?bskiego;Jana ;ul.                               :    2
D?bskiego;Macieja ;ul.                            :    1

kwalifikuje si? do r?cznej poprawki, bo co innego spierniczy? imi? jesli jest samo nazwisko, ale spierniczy? nazwisko to gorzej, szczególnie, ?e ma si? 25% szans na pud?o big_smile

Offline

#62 2008-10-28 19:15:21

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Debugger ;-)

Jakub Klawiter wrote:

kwalifikuje si? do r?cznej poprawki, bo co innego spierniczy? imi? jesli jest samo nazwisko, ale spierniczy? nazwisko to gorzej, szczególnie, ?e ma si? 25% szans na pud?o big_smile

IMHO poprawi? WTF char na "?" i da? na openstreetbugs - jak kto? w?adny si? znajdzie to poprawi...

Offline

#63 2008-10-28 20:40:14

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

deejay1 wrote:

IMHO poprawi? WTF char na "?" i da? na openstreetbugs - jak kto? w?adny si? znajdzie to poprawi...

Nie no bez przesady damy rad? ... co my nie damy? big_smile

Ale ja nie o tym, ca?y czas gadam, ?e wrzuc? opis na stron? dyskusji WRAKA do doszlifowania i gadam, ale jako? nie mam weny chyba, ?eby to wyg??adzi? przed pierwsz? publikacj?. Wi?c wys?a?em jak mam, trzeba to dopracowa? ?eby by?o wiadomo o co nam chodzi i jak chcemy to zrobi?, sprawdzi? czy nie nak?ama?em gdzie? z abardzo i pó?niej mo?e umie?ci? w bardziej widocznym miejscu.

UPDATE!
OK kiedy? trzeba to w ko?cu powiedzie? ... cho?by w skrócie. Jak dzia?a WRAK?
Po pierwsze WRAK generuje pliki które pó?niej umieszczam tutaj: http://wariat.org.pl/smietnik/OpenStreetMap/ powstaj? podczas uruchomienia za pomoc? skryptu runwrak.sh jaki pojawi? si? w tym w?tku i jest cz??ci? wraka, nie b?d? wi?c szczegó?owo opisywa? jak dzia?aj? opcje: --showignored oraz --showvalid
Z wrodzonej lubo?ci do zachowania jakiejkolwiek tajemnicy nie napisz? te? jak dzia?a opcja --help, nie powiem i ju?! big_smile

Wspomn? tylko, ?e wrak standardowo otwiera plik poland.osm, ale nie musi mo?na mu powiedzie? --OSMfile=plik.osm i on pos?ucha

To tytu?em wst?pu, w codziennym je?d?eniu przydaj? si? co najmniej 3 terminale (na screenie lub je?li kto? woli jakkolwiek inaczej). U mnie w pierwszym terminalu otwarty jest jeden z plików wygenerowanych za pomoc? skryptu runwrak.sh (by?o o nim wy?ej). W drugim pracuje sam wrak jako taki, w trzecim podr?cznym odpytuj? baz? GUStawa i inne takie. Samego wraka napuszcza si? na ulice w co najmniej dwóch przebiegach.

Najpierw odpalamy go tak:

$ ./OSM-wrak --OSMlogin=foo@example.com --OSMpassword=dupa.8 --filter="Ko?ciuszki"

http://www.openstreetmap.org/browse/way/22966331   D DEPTAK KOSCIUSZKI -> Deptak Tadeusza Ko?ciuszki

Login/Has?o wiadomo, nie s? tu do niczego potrzebne ale warto je wpisa? jak si? za chwil? oka?e. Kluczowy jest filtr. To RegExp dopi?ty do ko?ca poprawionej nazwy (w powy?szym przypadku nazwa porównywana jest ze wzorcem /Ko?ciuszki$/ ). Tak odpalony WRAK zaproponuje zmiany nazw ulic tylko takich których PRAWID?OWA nazwa ko?czy si? stringiem "Ko?ciuszki". Dodatkowa informacja to "D" przed nazw? nieprawid?ow?, oznacza, ?e zmiana nazwy pochodzi ze s?ownika, a nie ze zgadywania WRAKa. Link mo?na otworzy? i sprawdzi? co tam w okolicy, czy na przyk?ad kto? nie rewertuje uparcie zmian WRAKa, je?li tak najlepiej sobie odpu?ci?.
Ale skoro to regexp to nie musi by? tak, ?e jest tam tylko jedna nazwa, mo?na te?:

$ ./OSM-wrak --OSMlogin=foo@example.com --OSMpassword=dupa.8 --filter="(Ko?ciuszki|Gryfi?ska|Politechniki)"

http://www.openstreetmap.org/browse/way/22966331   D DEPTAK KOSCIUSZKI -> Deptak Tadeusza Ko?ciuszki 
http://www.openstreetmap.org/browse/way/23428212     Al. Politechniki -> Aleja Politechniki 
http://www.openstreetmap.org/browse/way/23428214     Al. Politechniki -> Aleja Politechniki 
http://www.openstreetmap.org/browse/way/23522475   D Gryfinska -> Gryfi?ska 
http://www.openstreetmap.org/browse/way/23522576   D gryfinska -> Gryfi?ska

tu przy okazji wida?, ?e z Alej? Politechniki WRAK poradzi? sobie tym razem bez udzia?u s?ownika. Tak czy inaczej, te zaproponowane zmiany nale?y przejrze?, klikn?? w niektóre odno?niki upewni? si?, ?e zaproponowana zmiana nam odpowiada etc. Gdyby wyników mia?o by? du?o warto pipowa? je do less'a ale co ja Wam b?d? t?umaczy?.
Je?li zmiany s? prawid?owe wystarczy na ko?cu dopisa? --upload (to dlatego warto mie? na sta?e wcze?niej wpisany login i has?o) czyli:

$ ./OSM-wrak --OSMlogin=foo@example.com --OSMpassword=dupa.8 --filter="(Ko?ciuszki|Gryfi?ska|Politechniki)" --upload

http://www.openstreetmap.org/browse/way/22966331   D DEPTAK KOSCIUSZKI -> Deptak Tadeusza Ko?ciuszki * Upload
http://www.openstreetmap.org/browse/way/23428212     Al. Politechniki -> Aleja Politechniki * Upload
http://www.openstreetmap.org/browse/way/23428214     Al. Politechniki -> Aleja Politechniki * Upload
http://www.openstreetmap.org/browse/way/23522475   D Gryfinska -> Gryfi?ska 
http://www.openstreetmap.org/browse/way/23522576   D gryfinska -> Gryfi?ska * Upload

Czyli posz?o. Warto zauwa?y?, ?e przy pierwszej Gryfi?skiej nie pojawi?o si? "* Upload" co oznacza dok?adnie tyle, ?e WRAK nie uploadowa? nowej wersji. Nie dlatego, ?e mu si? nei chcia?o a dlatego, ?e wykry? niezgodno??.
Zmiana jest wytypowana na podstawie pliku poland.osm je?li w rzeczywisto?ci na serwerach OSM nazwa ulicy by?a inna ni? w pliku poland.osm WRAK nie uploaduje nowej nazwy, bez wzgl?du na to, czy obecna nazwa jest prawid?owa czy nie. Je?li zmieni?a si? ze z?ej na równie z?? op prostu tzreba poczeka? na nowy plik poland.osm (do jutra) i wtedy przeleci.

ostatnia opcja, w?a?ciwie nie potrzebna to --showdictionary, jest to zasz?o?? historyczna z czasów kiedy WRAK powstawa? i zosta?a bo nikomu nie wadzi. Wywala ona po prostu s?ownik podmian, dzi?ki niej mo?na si? dowiedzie? np jakie stringi zostan? rozpoznane jako godne zmiany na string "Tadeusza Ko?ciuszki":

$ ./OSM-wrak --showdictionary | grep -i ko?ciuszki | sort
ko?ciuszki                                   : Tadeusza Ko?ciuszki
kosciuszki                                   : Tadeusza Ko?ciuszki
ko?ciuszki                                   : Tadeusza Ko?ciuszki
tadeusza ko?ciuszki                          : Tadeusza Ko?ciuszki
tadeusza kosciuszki                          : Tadeusza Ko?ciuszki

WRAK zapisuje plik wrak.log który jest archiwum wprowadzonych zmian, ten log ma tylko jedn? wa?n? funkcj? pozwala dowiedzie? si?, ?e przez troch? ponad po?ow? ?ycia wraka (wcze?niej nie by?o loga) wrak wykona?:

$ wc -l wrak.log 
2184 wrak.log

zmian w bazie.

Tyle o samym wraku, na koniec moje sposoby na poszukiwanie celów (jak wspomnia?em na pierwszym terminalu) kolejno?? przypadkowa:
1. grep " D " wrak-TEST.txt | less
da zmiany jakie wrak wprowadzi?by zgodnie ze s?ownikiem, wystarczy przejrze?, je?li to co proponuje jest ok odpali? go z gigantycznym regexpem w filtrzem przejrze? raz jeszcze i uploadowa?

2. grep ? wrak-TEST.txt | less
to generalnie kandydaci do s?ownika w 100% przypadków, cho? nie zawsze si? udaje ... rzeczy na które nei mam pomys?u po prostu zostawiam, jest tyle nazw do zmiany, ?e b?dzie czas zastanawia? si? nad przypadkami specjalnymi

3. less wrak-TEST.txt
to generalnei zmiany jakie chcia?by wprowadzi?, cz??? jest ok ot tak po prostu, cz??? nie jest prawid?owa i wtedy zwykle wymaga aktualizacji s?ownika. W tym momencie bardzo cz?sto ju? pojawia si? potzreba sprawdzenia bazy GUStawa na okoliczno?? konkretnych nazw ulic.

4. $ less wrak-VALID-UNIQUE.bez.wrak-dict.txt
W?a?ciwie jak wy?ej

5. ulice bez GUStu by TomDalek http://storage.neostrada.pl/OSM/ulice.bez.GUStu.html
Tu zmian jest stosunkowo najmniej, warto po prostu aktualizowa? s?ownik nazwami zawieraj?cymi polskie znaki i nazwiskami ludzi.

NAJWA?NIEJSZE TO ZAWSZE PRZEJRZE? PROPONOWANE PRZEZ WRAKa ZMIANY PRZED --upload NAWET JE?LI TO NUDNE OGL?DA? JE PO RAZ 12 BO 11 RAZY POPRAWIA?O SI? S?OWNIK. IM MNIEJ NAZW NA RAZ (w regexpie) TYM SZYBCIEJ IDZIE CZASAMI!

Poruszamy si? w unikodzie ... mo?e si? okaza?, ?e nie wsz?dzie skrypt b?dzie chcia? pracowa?, nie wiem, nie mam do?wiadczenia ze skryptami które pracuj? tu i tam ... tu pracuje dobrze ;-)

W obecnej wersji WRAK nie wysy?a Waszych adresów e-mail i hase? do ?adnych spamerów ... negocjacje s? wci?? w toku big_smile

No to ... Komu WRAKa?

P.S. Uprzedzaj?c ogólne zgorszenie, mnie te? si? kod WRAKa nie podoba, ale dzia?a ... kiedy? si? przepisze big_smile


UPDATE2
Jest te? nowa idea je?li chodzi o ?wi?tych, genera?ów, prezydentów, doktorów, whatever. Krótko mówi?c o "funkcj?". Mo?na potraktowa? je jako prefiks czyli dok?adnie tak jak wrak w tej chwili obs?uguje s?owa typu Aleja, Skwer, Plac ... i wiele innych. To znaczy je?li ono jest to zostaje co najwy?ej rozwini?te ze skrótu do pe?nej wersji, ale nie mamy nad tym kontroli via s?ownik.
W ten sposób my definiujemy imi? do nazwiska, a tytu? pojawi si? tylko wtedy je?li b?dzie si? on ju? znajdowa? w bazie. By? mo?e to lepszy pomys? ni? to co robimy w tej chwili? Zmiana we WRAKu na oko kosmetyczna, s?ownik to jeszcze mniejszy problem, tracimy automagiczn? kontrol? ale ... mo?e w?a?nie tak powinni?my? Co my?licie?

Last edited by Jakub Klawiter (2008-10-29 01:20:11)

Offline

#64 2008-10-29 11:40:59

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Jakub Klawiter wrote:

No to ... Komu WRAKa?

Mi mi mi mi! big_smile
Na razie chyba bałbym się go używać, ale po prostu muszę go przeczytać! tongue
Zaraz Ci mojego maila zapodam.

Offline

#65 2008-10-29 13:20:33

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

Po raz kolejny dotkn??em sprawy u s?siadów tym razem dodaj?c troch? fotograficznego funu big_smile http://forum.openstreetmap.org/viewtopi … 165#p10165 Boj? si?, ?e je?li zrozumiej? w czym na prawd? pojawia si? problem gotowi pomrze? ze ?miechu big_smile

P.S. tagów UMP_Level w poland.osm ju? nie ma ...

UPDATE
Zabra?em si? za DEBUGI (na razie teoretycznie) i chcia?bym ponowi? pytanie które ju? pad?o.
tagi DEBUG poajwiaj? si? w w?z?ach <node /> importowanych z UMP. Z za?o?enia te same w?z?y zawieraj? tag source, przy czym ten sam tag source znajduje si? w drogach <way /> tworzonych przez te w?z?y.

Zastanawiam si?, czy z w?z?ów tego source te? nie mo?na by si? pozby?. Informacja o pochodzeniu drogi i tak znajduje si? w <way />, a skoro szeroko zakrojonym celem jest pod?o?enie pod wszystkie drogi GPX'a i w rezultacie usuni?cie informacji o pochodzeniu z UMP czy nie by?oby wygodniej gdyby trzeba by?o r?cznie modyfikowa? tylko drog?, a nie wszystkie w?z?y sk?adaj?ce si? na drog?.

Chodzi o na prawd? du?e ilo?ci danych, które co chwil? pobieramy kompletnie bez sensu, bo i tak nikt nie ogl?da ustawie? poszczególnych w?z?ów tworz?cych drog? wi?c technicznie rzecz bior?c IMO nie narusza to licencji w sposób praktyczny, co najwy?ej od strony technicznej.

$ ./OSM-cleaner.pl poland.osm

Nodes:
     74878 debug
    261792 source: UMP-PL

UPDATE 2
Dosta?em odpowied? u s?siadów ... to mnie opad?a szcz?ka big_smile

Last edited by Jakub Klawiter (2008-10-29 15:03:22)

Offline

#66 2008-10-29 20:02:52

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Debugger ;-)

Jakub Klawiter wrote:

Po raz kolejny dotkn??em sprawy u s?siadów tym razem dodaj?c troch? fotograficznego funu big_smile http://forum.openstreetmap.org/viewtopi … 165#p10165 Boj? si?, ?e je?li zrozumiej? w czym na prawd? pojawia si? problem gotowi pomrze? ze ?miechu big_smile

P.S. tagów UMP_Level w poland.osm ju? nie ma ...

UPDATE
Zabra?em si? za DEBUGI (na razie teoretycznie) i chcia?bym ponowi? pytanie które ju? pad?o.
tagi DEBUG poajwiaj? si? w w?z?ach <node /> importowanych z UMP. Z za?o?enia te same w?z?y zawieraj? tag source, przy czym ten sam tag source znajduje si? w drogach <way /> tworzonych przez te w?z?y.

Co prawda ja mam same idiotyczne pomys?y/pytania ostatnio, ale PPNMSP wink
Mysl? ?e najlepszym rozwi?zaniem by?oby usuni?cie tagów source/debug tylko w przypadku gdy wszystkie drogi przechodz?ce przez dany w?ze? nie maj? tych?e tagów. W sensie
if ( (node:source="UMP") && way:source!="UMP) remove_source_tag();

Offline

#67 2008-10-29 21:45:00

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

deejay1 wrote:

Mysl? ?e najlepszym rozwi?zaniem by?oby usuni?cie tagów source/debug tylko w przypadku gdy wszystkie drogi przechodz?ce przez dany w?ze? nie maj? tych?e tagów. W sensie
if ( (node:source="UMP") && way:source!="UMP) remove_source_tag();

Popieram smile Nie narazimy si? nikomu licencyjnie, a naprawd? zb?dne tagi source znikn?.

Offline

#68 2008-10-29 23:59:04

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

OK czyli w skrócie ... postaram si? jutro wyklika? znikanie DEBUGów i zastanawia? si? jak bez zb?dnego kombinowania pozby? si? na prawd? niepotrzebnych tagów source, co w tej chwili wydaje si? by? nie trywialne (w sposób w jaki przegl?dam plik osm) ale mo?e nie b?dzie tak ?le jak do tego podej?? na powa?nie.

Offline

#69 2008-10-30 17:36:49

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Debugger ;-)

Po przeczytaniu w miart? dok?adnie tego w?tku pojawi?y mi si? w g?owie dwie rzeczy:
1. Wg mnie wszelkie automaty powinny mie? "wy??cznik" przeciwdzia?aj?cy "naprawieniu ?le". Widz?c te wszystkei podmianki, które wykonuje skrypt, mnogo?? odmian jednej nazwy w obr?bie kraju oraz w obr?bie jednej ulicy, wydaje mi si?, ?e powinna by? opcja wy??czenia skryptu na danej ulicy.
Konkretnie: je?li trzymamy si? bazy GUS lub czego? podobnego, uznaj?c te nazwy za prawd? objawion?, mo?e by? tak, ?e skrypt zmieni "im." które tam jest na "imienia", co b?dzie zonkiem, bo nie ma nic lepszego ni? cz?owiek który si? opiekuje danym fragmentem i sprawdzi to dok?adnie.
Podsumowuj?c, g?osuj? za wstawieniem jakiej? flagi "nie rusza?" i flagi "ruszane", ?eby mo?na by?o szybko sprawdzi? zmiany i poprawia? je. Jako "ruszane" mo?na by uzna? wszystkie edycje dokonane przez bota o znanej nazwie - w JOSM to si? pi?knie wyszukuje. "Nie rusza?" da si? pewnie rozwi?za? tylko tagiem...

2. NIE USUWA? TAGÓW SOURCE!
One si? autentycznie <b> przydaj?</b>. Historia z ?ycia wzi?ta - dane z UMP maj? niejasn? sytuacj? (prawdopodobnie kopia komercyjnych danych). Dane zaimportowane do OSM. Naniesione sporo poprawek do mapy. W tym momencie dowiedzia?em si?, o tym, ?e mog? by? kopi?. Co zrobi?? Zaznaczy? wszystkie dane z tagiem source: UMP i usun??.

Druga sytuacja: Mam kilka ?ladów pewnej ulicy, rozje?d?aj? si? lekko z tym, co jest na mapie. Nie wiem, czy trzeba poprawia?, bo nie ma ?adnego tagu source. Gdyby by?, móg?bym sprawdzi? i upewni? si?, ?e nie powinienem tego dotyka?. Innymi s?owy, tag source:traces by?by oznaczeniem punktów których nie powinno si? zmienia?.

Offline

#70 2008-10-30 22:48:32

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

Generalnie ca?? akcj? wyobra?a?em sobie od pocz?tku tak, ?e po pierwsze by? mo?e troch? psuj?c wyeliminujemy ewidentne b??dy, co teraz si? dzieje. Owszem, mo?e si? zda?y?, ?e zmienimy ulic? która wg. GUS, mieszka?ców i ufoludków nazywa si? Ko???taja na Hugona Ko???taja. Ale to IMO mniejszy problem ni? ulica która na mapie nazywa?a by si? "Ko???taja", a nawet "Kollataja". My?l?, ?e tu si? wszyscy zgodzimy.

Chodzi?o o to, ?eby ruszy? i znacz?co podnie?? jako?? nazw w OSM:Poland co si? udaje. W znacz?cym stopniu wyeliminowali?my WTF'y z bazy, jest nawet marna szansa, ?e w jutrzejszym poland.osm ich nie b?dzie (!). Oczywi?cie pojawi? si? kolejne je?li nie uda si? przekonwertowa? na UTF-8 plików bazowych z UMP. Tak czy siak, to pierwszy sukces po mniej wi?cej trzech tygodniach zabawy w naprawianie.

Nie wiem jak blisko jeste?my z nazwami napisanymi polskawymi, nie jest ?atwo to sprawdzi?, ale w tej dziedzinie wydaje si?, ?e te? jest co najmniej nie?le.

Etap kolejny to dopieszczenie wszystkeigo tak aby by?o zgodne w 100% z rzeczywisto?ci?, cho? mówi? to troszeczk? wbrew sobie, o czym mo?e za chwil?. W ka?dym razie wyobra?a?em sobie, ?e kiedy przelecimy masówk? tak aby zobaczy? efekty b?dziemy mogli zacz?? bawi? si?  w szczegó?y.


Je?li chodzi o zasady to tak na prawd? wszystko jest do ustalenia.
Mnie podobaj? si? nazwy gdzie skróty rozwini?te s? do pe?nej postaci. Jest to czytelniejsze i ?adnie wygl?da, mapa jest elektroniczna nie ma problemu z miejscem. Ale to nie jest moja mapa, je?li wi?kszo?? woli "pl. im. gen. Józefa Bema" nie ma najmniejszego problemu. WRAK mo?e skrótów nie rozwija?, mo?e je ignorowa? czy wreszcie mo?e wszystko co rozwini?te przekszta?ci? na skrót. Wystarczy, ?e podejmiemy tu jak?? decyzj? i nie ma problemu.

Je?li chodzi o stopnie wojskowe itp. coraz bardziej sk?aniam si? ku wersji o której pisa?em niedawno, aby WRAK w nie nie ingerowa?. Pierwotnie by?em przekonany, ?e tak trzeba, ale teraz po czasie sp?dzonym na przegl?daniu s?ownika, bazy GUSu i dyskusji z Krzy?akami chyba zmieniam zdanie.
Ale to te? trzeba przedyskutowa?, poprawi? automaga (zmiana raczej banalna) i ju?. My?l? o wersji kiedy WRAK przepisuje tytu? je?li go znajdzie w istniej?cej nazwie, ale sam do nazwiska doda? go nie potrafi.

Zostaje problem Nazwisko bez imienia. Moim zdaniem takie ulice (a widz? gapi?c si? teraz po kilka godzin dziennie w baz? GUS, ?e problem istnieje na szerok? skal?) to wynik bezmy?lno?ci czy raczej niedouczenia tych którzy nadaj? ulicom nazwy. W ko?cu je?li chodzi o uhonorowanie osoby to powinno si? j? przedstawia? tak aby by?o wiadomo o kogo chodzi. I tu gdyby to zale?a?o ode mnie trzyma?bym si? wersji, ?e zawsze kiedy wiadomo na 100% jak mia? na imi? patron ulicy to imi? powinno si? tam znale??, ale rozumiem ?e tu jestem w mniejszo?ci i si? z tym pogodzi?em. By? mo?e w przysz?o?ci wykorzystamy tu pomys? kolegów z forum niemieckiego, aby w takich przypadkach podawa? pe?ne brzmienie nazwiska patrona ulicy w osobnym tagu.
Nie trzeba ?adnych zmian w automagu, wystarczy zmodyfikowa? s?ownik i problem przestanie istnie?, a w?a?ciwie zmieni si? w problem dok?adnie odwrotny. Ulice z UMP w wi?kszo?ci nie zawieraj? imienia nawet je?li ono si? tam znale?? powinno, pomijaj?c wi?c idealn? sytuacj? kiedy ka?d? ulic? zaopiekuje si? powa?nie jaki? u?ytkownik takie podej?cie spowoduje po prostu odwrócenie proporcji b??dów w bazie.

Na koniec ... czy baza GUS to dane w 100% wiarygodne? Nie wiem, ale na razie wydaje si?, ?e jest to najlepsze ?ród?o do jakiego mamy dost?p.

To tyle literatury, teraz dwie sprawy bardziej techniczne.
O flagach my?lalem od samego pocz?tku i nie ma problemu z ich wprowadzeniem, cho? IMO nale?y to opó?nia? tak d?ugo jak si? da, bo by? mo?e uda si? dopracowa? algorytm tak, aby WRAK nie blokowany w ?aden sposób nie pope?nia? b??dów. Flaga blokuj?ca zmiany to pój?cie na ?atwizn? i przy okazji ryzyko, ?e kto? ustawi z za?o?enia z?? nazw? i ukryje j? przed automagiem.

Kasowanie tagów source. By? mo?e ?le zrozumia?em inne dyskusje tu prowadzone, ale zrozumia?em tak, ?e idea?em jest pod?o?enie pod wszystkie ulice w OSM tracków. Po ich pod?o?eniu i dostosowaniu drogi do nich jak zrozumia?em kasujemy tag source, bo nie jest on ju? bezpo?rednio zwi?zany z danymi w bazie. Jest to ulica namalowana wzd?u? tracka czyli w ?aden sposób nie powi?zana z jakimikolwiek zewn?trznymi ?ród?ami. To czy pod spodem jest track czy go nie ma zawsze mo?na sprawdzi? wi?c w?tpliwo?ci te? by? nie powinno. Ale generalnie pomys? z kasowaniem source z w?z?ów (nie dróg!) nie przeszed? wi?c temat jest przynajmniej chwilowo nieaktualny.

Offline

#71 2008-10-31 09:52:08

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Jakub Klawiter wrote:

Oczywi?cie pojawi? si? kolejne je?li nie uda si? przekonwertowa? na UTF-8 plików bazowych z UMP.

http://forum.openstreetmap.org/viewtopi … 248#p10248

Jakub Klawiter wrote:

Na koniec ... czy baza GUS to dane w 100% wiarygodne? Nie wiem, ale na razie wydaje si?, ?e jest to najlepsze ?ród?o do jakiego mamy dost?p.

Wydaje mi si?, ?e baza GUS ma jedynie ten bajer, ?e ma wszystko w jednym, i nomen omen powinni?my jej u?ywa? wy??cznie do celów statystycznych. Prawdziwie ufaj?c jedynie oficjalnym spisom na stronach Urz?dów danych Miast. np: http://www.sopot.pl/eGmina/pl/cityzone/ … index.html
Tym bardziej, ?e jak rozumiem spisy z urz?du s? w domenie publicznej. Czy nie?

Offline

#72 2008-10-31 14:26:11

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Debugger ;-)

Jakub Klawiter wrote:

Kasowanie tagów source. By? mo?e ?le zrozumia?em inne dyskusje tu prowadzone, ale zrozumia?em tak, ?e idea?em jest pod?o?enie pod wszystkie ulice w OSM tracków. Po ich pod?o?eniu i dostosowaniu drogi do nich jak zrozumia?em kasujemy tag source, bo nie jest on ju? bezpo?rednio zwi?zany z danymi w bazie. Jest to ulica namalowana wzd?u? tracka czyli w ?aden sposób nie powi?zana z jakimikolwiek zewn?trznymi ?ród?ami. To czy pod spodem jest track czy go nie ma zawsze mo?na sprawdzi? wi?c w?tpliwo?ci te? by? nie powinno. Ale generalnie pomys? z kasowaniem source z w?z?ów (nie dróg!) nie przeszed? wi?c temat jest przynajmniej chwilowo nieaktualny.

Hm, wychodzi?em z nieco innego za?o?enia - ulice bez tagu source s? traktowane jako niepewne - dodawane przez przypadkowych ludzi, którzy rob? je cz?sto na bazie jednego-dwóch ?ladów albo, co gorsza, z pami?ci.
To samo w sobie nie jest problemem, jesli mamy ?lady w bazie - zawsze mo?na sprawdzi? czy droga ma w nich poparcie.
Wszystko jest pi?knie dopóki za?o?ymy, ?e wszyscy podsy?aj? ?lady. Ja sam tego nie robi? i nie b?d? robi? (lekka paranoja by? mo?e wink), a chcia?bym jako? zaznaczy?, ?e droga jest stuprocentowo pewna na bazie kilkunastu ?ladów.
No to powiedzia?em co uwa?a?em, a jesli temat nieaktualny to zawsze mo?na mnie zignorowa? smile.

Offline

#73 2008-10-31 15:36:02

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Temat tagu source proponuje osobno http://forum.openstreetmap.org/viewtopic.php?id=1795

Offline

#74 2008-10-31 20:10:10

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

TomDalek wrote:
Jakub Klawiter wrote:

Na koniec ... czy baza GUS to dane w 100% wiarygodne? Nie wiem, ale na razie wydaje si?, ?e jest to najlepsze ?ród?o do jakiego mamy dost?p.

Wydaje mi si?, ?e baza GUS ma jedynie ten bajer, ?e ma wszystko w jednym, i nomen omen powinni?my jej u?ywa? wy??cznie do celów statystycznych. Prawdziwie ufaj?c jedynie oficjalnym spisom na stronach Urz?dów danych Miast. np: http://www.sopot.pl/eGmina/pl/cityzone/ … index.html
Tym bardziej, ?e jak rozumiem spisy z urz?du s? w domenie publicznej. Czy nie?

Hmmm jako? nie chce mi si? wierzy?, ?eby te dane by?y oficjalnie PD, ale mo?e ... Inne sprawa, ?e warto tak? list? porówna? jako? z baz? GUS bo mo?e to te same dane. Czy na pewno nie?

Zupe?nie bokiem:
http://www.openstreetmap.org/browse/way/28082246 8-]

Offline

#75 2008-11-01 11:49:26

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Debugger ;-)

Jakub Klawiter wrote:

WTF? Ten Pan sobie zaczyna jaja robić...

Offline

Board footer

Powered by FluxBB