You are not logged in.

#26 2008-10-17 00:15:11

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

TomDalek wrote:

Lub, taka sama lista Top50, ale po odfiltrowaniu wszystkiego co ju? jest we wrak-dict.csv

grep -v \;\; stat.txt | sort -t : -k 2 -r -n | grep -i -v $(grep -v -e ^# -e ^\ *$ wrak-dict.csv | cut -d \, -f 1 | sed -r 's/([^ ]*)$/-e \1/' | sed -r 's/^.* -e/-e/') | head -n 50

yikes Co oczywi?cie zakrawa na perwersje. tongue

Przesta? bo w nast?pnym kroku napiszesz WRAKa 3.0 w formie jednolinijkowca, nie by?oby mo?e w tym nic z?ego, ale to mo?e doprowadzi? Ci? do stanu umys?u w którym kolejne wersje b?d? si? nazywa?y: 95, 98, Millenium, XP i Vista big_smile

Hmmmmm geofabric si? chyba popsu?o i nie serwuje nowych plików sad Nie ?eby to jakie? wi?ksze nieszcz??cie ale jednak. I tu pytanie, czy jest jakie? inne ?ród?o pliku OSM z polsk? w ?rodku, a reszt? ?wiata obok? Znaczy wiem, mog? pobra? sobie planet.osm i wyci?? osmosis, ale to troch? du?e ... zanim sko?cz? pobiera? dane b?d? nieaktualne big_smile

Last edited by Jakub Klawiter (2008-10-17 09:38:41)

Offline

#27 2008-10-17 12:28:09

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

Jestem za tym, aby w takich sytuacjach

# Daszy?skiego SET wi?kszo?? to Ignacy 100szt, Jan i Feliks maj? po jednej ulicy, Daszy?ski nieznany (bez imienia) 42szt. 
Daszy?skiego, daszy?skiego
Ignacego Daszy?skiego
Jana Daszy?skiego
Feliksa Daszy?skiego

...zak?ada?, ?e je?li jest bez imienia to chodzi o tego, który jest znacz?co popularniejszy (to po polsku jest?:P). Pozosta?e s? w s?owniku, wi?c zmiany r?czne nie zostan? utracone. Wychodz? tu z za?o?enia, ?e w?adze danego miasta, nadaj?c nazw? samym nazwiskiem, zwyczajnie nie wiedzia?y (nie pami?ta?y), ?e byli te? inni. Zatem musia?o im chodzi? o najpopularniejszego. Je?li natomiast w?adze nada?y nazw? ku pami?ci kogo? mniej popularnego, na pewno wiedzia?y, ?e trzeba poda? te? imi?, bo ka?dy pomy?li, ?e chodzi o Tego Popularnego. smile

zatem proponuje:

Ignacego Daszy?skiego, Daszy?skiego, daszy?skiego

Last edited by TomDalek (2008-10-17 12:30:30)

Offline

#28 2008-10-17 12:55:48

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

TomDalek wrote:

...zak?ada?, ?e je?li jest bez imienia to chodzi o tego, który jest znacz?co popularniejszy (to po polsku jest?:P). Pozosta?e s? w s?owniku, wi?c zmiany r?czne nie zostan? utracone. Wychodz? tu z za?o?enia, ?e w?adze danego miasta, nadaj?c nazw? samym nazwiskiem, zwyczajnie nie wiedzia?y (nie pami?ta?y), ?e byli te? inni. Zatem musia?o im chodzi? o najpopularniejszego. Je?li natomiast w?adze nada?y nazw? ku pami?ci kogo? mniej popularnego, na pewno wiedzia?y, ?e trzeba poda? te? imi?, bo ka?dy pomy?li, ?e chodzi o Tego Popularnego. smile

Racja. Przecie? je?li zmienimy samo nazwisko na imi? i nazwisko to w ?aden sposób nie spowodujemy zmian w nazwach ulic gdzie imi? jest inne. Przy takich dysproporcjach ilo?ciowych mamy bardzo ma?e szanse spud?owa? zreszt?.

Zaraz zmerguj? zmiany które wprowadzi?e?, a pó?niej czekaj?c na nowy plik poland.osm (kiedy? si? chyba pokapuj?, ?e si? toto nie generuje) spróbuj? dopisa? na wiki co? w stylu "kanonu nazewniczego" gdzie ?atwiej nam b?dzie ustali? jak to w rzeczywisto?ci powinno wygl?da? z wielkimi/ma?ymi literkami, nazwiskami i cudami. Jak b?dziemy to mieli spisane w punktach ?atwiej b?dzie znale?? b??dy lub "s?abe pomys?y".

EDIT:
OK zmiany pos?ane, te kilkana?cie nazwisk które doda?e? da?o w sumie 392 zmiany w bazie :>
Zgodnie z sugesti? zdegradowa?em Traugutta, cho? nie jestem przekonany czy wiem dlaczego. big_smile Anyway nie jest to nieodwracalna zmiana.
Mam te? loga zmian, którego na razie jedynym zastosowaniem jest sprawdzenie ile ich by?o big_smile.

W trakcie ??czenia s?owników nasz?a mnie tak genialna jak prosta my?l, ?e wersje stringów do zamiany zawieraj?ce <WTF character> skrypt spokojnie mo?e sobie sam generowa? z wersji z polskimi znakami, wystarczy je zamieni? i ju?, plik s?ownika b?dzie przejrzystszy i ?atwiejszy w edycji. W ko?cu to ?adne halo, ?eby on sobie sam z "?ó?tej ?aby" wygenerowa? dodatkowo "???tej ?aby". To ja si? teraz tym zajm? big_smile

No to jest:
WRAK-0.2 z wpisem zawieraj?cym WTFcharater w s?owniku:

$ ./OSM-wrak --showdict | grep -i pi?sudskiego
marszalka jozefa pilsudskiego                : Marsza?ka Józefa Pi?sudskiego
pi?sudskiego                                 : Marsza?ka Józefa Pi?sudskiego
jozefa pilsudskiego                          : Marsza?ka Józefa Pi?sudskiego
józefa pi?sudskiego                          : Marsza?ka Józefa Pi?sudskiego
pilsudskiego                                 : Marsza?ka Józefa Pi?sudskiego
pi?sudskiego                                 : Marsza?ka Józefa Pi?sudskiego

WRAK-0.3 BEZ WTFcharacter w s?owniku:

$ ./OSM-wrak --showdict | grep -i pi?sudskiego
pilsudskiego                                 : Marsza?ka Józefa Pi?sudskiego
pi?sudskiego                                 : Marsza?ka Józefa Pi?sudskiego
j?zefa pi?sudskiego                          : Marsza?ka Józefa Pi?sudskiego
marszalka jozefa pilsudskiego                : Marsza?ka Józefa Pi?sudskiego
marsza?ka j?zefa pi?sudskiego                : Marsza?ka Józefa Pi?sudskiego
pi?sudskiego                                 : Marsza?ka Józefa Pi?sudskiego
jozefa pilsudskiego                          : Marsza?ka Józefa Pi?sudskiego
józefa pi?sudskiego                          : Marsza?ka Józefa Pi?sudskiego

to id? poprawi? s?ownik i uaktualni? wiki.

Ha! jest plik z geofabric, lepiej pó?no ni? pó?niej smile Pobior? i uaktualni? pliki w: http://wariat.org.pl/smietnik/OpenStreetMap/

Last edited by Jakub Klawiter (2008-10-17 15:09:09)

Offline

#29 2008-10-17 16:41:26

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

A do #Ulice wpisujecie wszystkie ulice, czy te z polskimi literkami/wielocz?onowe, czy jakie? wink
Wpisuj?c wszystkie poprawne mo?na pó?niej generowa? list? wszystkich ulic nie pasuj?cych do ?adnego wzorca i ?atwo wy?apa? literówki i dysortografie wink

Offline

#30 2008-10-17 17:28:05

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

No w?a?nie, dobre pytanie.

Na pewno potrzebne s? te z polskimi znakami, bo to ? i bez ogonków s? jak rozumiem generowane tylko dla tych w s?owniku

Jakub Klawiter wrote:

8. Dla nazw z poza s?ownika idziemy dalej ... Wielko?? liter w nazwi jest zamieniana na "Title Case", czyli ka?de s?owo z Wielkiej Litery i dalej ma?ymi.

9. S?owa sk?adaj?ce si? ze znaków "ivx" w dowolnej kombinacji traktowane s? jako liczbu rzymskie i zamieniane na KAPITALIKI, co powoduje k?opot przy nazwach jak "?wirki i Wigury", ale wystarczy doda? pilotów do s?ownika i problem przestaje istnie? (jeste?my na etapie gdzie istniej?ce w s?owniku nazwy nie bywaj?).

Dla tego musi te? by? Jacek i Agatka, Bolek i Lolek i inni.

Ale z (8) wynika ?e nie musia?by by? np. '1 Maja', który doda?em... eee... dlatego, ?e podobnie jak antblant uwa?am, ?e dobrym pomys?em jest kompletny s?ownik. smile

EDIT
Z drugiej strony dzi?ki GUStawowi mamy referencyjny plik s?ownika, do odfiltrowywania tego co bardzo z?e:

$ grep ';ul.' stat.txt | cut -d ';' -f 1 | uniq

Taki s?ownik to circa 300kB. Nie wiem co WRAK na to, gdyby wrak-dict.csv mia? mie? tyle pozycji? (a to przecie? tyko pierwsze pole)
Odci?cie tych z bez, lub z ma?? ilo?ci? powtórze? poprawia troch? spraw? (ok 100kB bez pojedynczych, czy 60kB bez poj. i podw.) , ale po co taki s?ownik w ogóle? Mo?e lepiej niech wrak-dict.csv ma tylko to co niezb?dne? Trzeba pomy?le?.

Last edited by TomDalek (2008-10-17 18:17:31)

Offline

#31 2008-10-17 18:54:54

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

No w sumie masz racje, mo?na szuka? b??dów na podstawie tego co ma GUS. My?l?, ?e nie z?amiemy licencji,  przecie? nikt nie ka?e podawa? ?ród?a w jakim s?owniku ortograficznym znalaz?o si? b??d...

Piszemy ?wi?tego, ?wi?tego, czy mo?e ?w. ? ?wi?ty to #ulica z nazwiskiem czy #ulica? I czy ma to jakie? znaczenie? smile

Rozumiem, ?e wystarczy pisa? 'z??' nazw? z polskimi znakami, a ta bez polskich jest generowana? 

Zaczynam si? gubi? roll

Offline

#32 2008-10-17 19:27:41

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

Bo to jest tak ... mo?na tam wrzuci? wszystko jak leci oczywi?cie, ale IMO i tak nie uzbieramy pe?nej listy, no i IMO jej nie potrzebujemy o czym za chwilk? ;-)

Moim zdaniem s?ownik na pewno powinien zawiera? wszystkie nazwy sk?adaj?ce si? z wielu s?ów co do których mamy pewno?? lub przynajmniej powa?ne podejrzenia, ?e zostan? one wpisane na ró?ne sposoby, chodzi tu o mo?liwie dalek? normalizacj?. W tej kategorii znajduj? si? te? daty bo "1 Maja" to w ko?cu dwa s?owa s? z technicznego punktu widzenia, praktycznie pojawiaj?ce si? jako: "1-ego Maja", "1 Maja" "1ego Maja" i huk wie co tam jeszcze...
Musimy te? wpisa? tam s?owa które WRAK ze wzgl?du na niedoskona?o?? algorytmu unifikuj?cego nazwy b?dzie mia? ochot? popsu?, jak cho?by przytoczone tu Jacek, Agatka, Bolek i reszta klasy politycznej III PRL ;-)
Nie koniecznie ju?, ale niezmiernie wygodnie jest poda? nazwy zawieraj?ce polskie znaki diakrytyczne, bo to dziedzina gdzie jest masa b??dów wynikaj?cych cz?sto z przyzwyczaje? u?ytkowników (wiem po sobie, jakie? 2 lata zabra?o mi zanim nauczy?em si? pisa? w sieci z "ogonkami" i nadal ró?nie z tym bywa czasami) i innych takich.

Ogranicza nas to ile s?ownik zajmuje w pami?ci podczas dzia?ania, w tej chwili jest to jakie? 700MB co nie powoduje u komputera wi?kszej czkawki ale to dopiero pocz?tek. Gdyby si? zacz??o przytyka? co? si? wymy?li. Ostatecznie s?ownik mo?e by? czytany z dysku przy ka?dym przej?ciu ale to rozwi?zanie klasy masakra roku.

Ale ... przecie? to jest tak, ?e wchodzi string: "Kacza". System nie znajduje s?owa w s?owniku, bo string jest "niegro?ny" przechodzi wi?c do procedury optymalizuj?cej nazw? robi z ni? cuda i sam stwierdza czy jest ok, czy nie. Przyjmijmy, ?e zamiast Kacza kto? wpisa? Kacxa ... i mamy byka a o tym nie wiemy bo nazwa nadal wygl?da dobrze i przechodzi. I tu niespodzianka, wystarczy w chwili kiedy uznamy, ?e trzeba si? zaj?c klasycznymi literówkami dokona? mikroskopijnej zmiany i w momencie kiedy WRAK chcia?by uzna? string za prawid?owy wys?a? go do pliku. Uzyskamy w ten sposób poka?ny plik tekstowy zawieraj?cy tylko nazwy które "przechodz?". Tniemy go?cia na kawa?ki, ?eby si? nie przem?cza?, przepuszczamy przez jakiego? aspella tak, ?eby odfiltrowa? to co istnieje w s?ownikach (bardziej prawdziwych), dla pewno?ci otwieramy OO.o i ka?emy podkre?li? literówki, to co znalaz?, a my potwierdzimy naocznie dopisujemy do s?ownika:
Kacza, kacxa
bzyk i po robocie, po czym t? sekcj? s?ownika mo?na najzwyczajniej w ?wiecie usun?? bo jakie mamy szanse na dwie identyczne literówki?

Dok?adnie w ten sam sposób mo?emy wygenerowa? list? istniej?cych nazw, policzy?, posortowa?, wydrukowa? w formie fototapety... big_smile

Ja jeszcze jaki? czas chcia?bym potrzyma? WRAKa w jednej instancji, troch? go oczy?ci? ... by? mo?e fragmenty przepisa?, bo s? tam miejsca w które wstyd zagl?da?, a co dopiero pokazywa?, a pó?niej ka?dy b?dzie móg? sobie go pomalowa? na dowolny kolor i dostosowa? do wybranej funkcji. Przy czym wydaje mi si?, ?e nie powinno si? go wiesza? tak zupe?nie na wierzchu, bo to narz?dzie którego obs?ugi nie powinno si? raczej uczy? na w?asnych b??dach we wspólnej bazie danych. Znacznie lepiej je?li kto? b?dzie chcia? zgada? si? via jabber, email whatever pogada? i mie? pewno??, ?e nikt (z zewn?trz) nie zapu?ci go z regexpem w stylu s/.*/Tu kiedy? by?a nazwa ulicy/ A meni te? si? przyda je?li kto? go obejrzy i powie mi co i dlaczego spierdzieli?em.

UPDATE:

Rozumiem, ?e wystarczy pisa? 'z??' nazw? z polskimi znakami, a ta bez polskich jest generowana?

Zaczynam si? gubi?

tak ... ka?da nazwa z polskimi znakami jest zamieniana na dwie dodatkowe, tak? bez polskich znaków w sensie ? -> a, i tak? gdzie s? one zast?pione przez "WTF character".

Dla przyk?adu dwa wiersze ze s?ownika:

Z?otej Kaczki
?ó?tej Ci?emki, ci?emki ?ó?tej

spowoduj? wygenerowanie s?ownika który zamieni na prawid?owe odpowiedniki:

zlotej kaczki
z?otej kaczki
zoltej cizemki
???tej ci?emki
ci?emki ?ó?tej
cizemki zoltej
ci?emki ???tej

tak?e ze wszelkimi wariacjami Wielkich/Ma?ych liter

to w której sekcji znajduje si? nazwa, ulica z nazwiskiem czy rzeka nei ma ?adnego znaczenia, one tam s? tylko po to, ?eby by?o je ?atwiej znale?? kiedy chce si? co? dopisa?, ale znaczenia to nie ma ?adnego.

Last edited by Jakub Klawiter (2008-10-17 19:38:23)

Offline

#33 2008-10-17 20:29:44

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

To ja przechodz? na t? drug? stron? mocy wink Nie potrzebujemy pe?nej listy ulic, a do wyszukiwania nazw b??dnych najlepszy b?dzie xml z GUS.

Pozwólcie, ?e troch? si? poczepiam smile

Jakub Klawiter wrote:

1. sprawdza czy przypadkiem nazwa nie wyst?puje na li?cie nazw do zignorowania, je?li tak pobiera kolejn?. Nazwy ignorowane to takie o których wiemy, ?e wyst?puj? sporadycznie, oznaczaj? co? konkretnego i s? napisane prawid?owo. Kilka przyk?adów: "SK,PL", "D - POL", (swoj? drog? granice te? mo?na by jako? znormalizowa?), "By?a Wytwórnia Lotnicza "Motolux"", "Wydzia? Architektury PW", etc.

W pliku http://wariat.org.pl/smietnik/OpenStree … ignore.txt s? nazwy które IMHO s? nieprawid?owe, tzn:
-UW, SGGW, MSWiA,DS to skróty, dla jednych zrozumia?e, dla innych nie. My?l?, ?e powinny by? rozwijane ( POD to skrót? smile )
-(schody),(?cie?ka piesza),(k?adka) to nazwy z UMP, w OSM to b?dzie highway=steps,highway=cycleway,bridge=yes itp.
-DK5, to nie jest nazwa drogi, a jej numer, wi?c wpisujemy go w tagu ref (bez DK). Przyk?ad jak tego nie robi? smile http://www.openstreetmap.org/?lat=52.58 … rs=B000FTF

Offline

#34 2008-10-17 21:08:02

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

antblant wrote:

To ja przechodz? na t? drug? stron? mocy wink Nie potrzebujemy pe?nej listy ulic, a do wyszukiwania nazw b??dnych najlepszy b?dzie xml z GUS.

Pozwólcie, ?e troch? si? poczepiam smile
W pliku http://wariat.org.pl/smietnik/OpenStree … ignore.txt s? nazwy które IMHO s? nieprawid?owe, tzn:
-UW, SGGW, MSWiA,DS to skróty, dla jednych zrozumia?e, dla innych nie. My?l?, ?e powinny by? rozwijane ( POD to skrót? smile )
-(schody),(?cie?ka piesza),(k?adka) to nazwy z UMP, w OSM to b?dzie highway=steps,highway=cycleway,bridge=yes itp.
-DK5, to nie jest nazwa drogi, a jej numer, wi?c wpisujemy go w tagu ref (bez DK). Przyk?ad jak tego nie robi? smile http://www.openstreetmap.org/?lat=52.58 … rs=B000FTF

Masz racj? a ja si? nieprecyzyjnie wyrazi?em ... no i koncepcja si? zmieni?a. Po pierwsze pierwotnie my?la?em o doprowadzeniu s?ownika do wersji kiedy poprawi on wszystko co umie, szybko stwierdzi?em, ?e to nierealne i w tej chwili wrak dzia?a inaczej, ale nade wszystko mój opis pliku by? nieprecyzyjny.
Plik z ignorami to raczej baza nazw które identyfikuj? drogi <way /> ktorymi automag ma si? nie zajmowa? i zawiera m.in.

- nazwy które s? dobre lub prawie dobre i jednocze?nie wyst?puj? raz wi?c nawet je?li chcie? poprawi? to MSWiA to jedyny rozs?dny sposób to otworzy? zadany fragment mapy w potlach czy innym JOSM i po prostu poprawi?.
- nazwy z którymi nie mia?em poj?cia co zrobi? (te wszystkie schody, ?cie?ki cuda wianki). Automag móg?by poprawi? je co najwy?ej ze z?ych na gorsze, a tak s? zmagazynowane w pliku z ignorami i wiadomo, ?e mo?na si? nimi zaj?? je?li kto? b?dzie wiedzia? jak i mia? ochot?

Je?li jest taka potrzeba mog? zmontowa? plik gdzie ka?dy wpis z listy ignorowanych (która mo?e zyska? now? funkcj?) zostanie przypisany do drogi <way /> której odpowiada. Wystarczy tylko, ?e znajdzie si? kto? kto b?dzie wiedzia? co z tym nale?y zrobi? (w sensie jak powinno by? zrobione) no i b?dzie mu si? chcia?o.

UPDATE
A nawet je?li ta lista si? jednak mia?aby nie przydac to ... jest tu: http://wariat.org.pl/smietnik/OpenStree … NORUJE.txt ;-)

UPDATE 2
By?bym zapomnia?, s? te? drogi które ignoruj? bez pomocy pliku z ignorami zawieraj? numery dróg w atrybucie name. Sam numerek, albo jakie? E50 czy A8. Je?li to te? nieprawid?owo to mog? je wszystkie (drogi) zadenuncjowa? ;-)

Last edited by Jakub Klawiter (2008-10-17 21:31:53)

Offline

#35 2008-10-17 22:02:10

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

antblant wrote:

...mo?na pó?niej generowa? list? wszystkich ulic nie pasuj?cych do ?adnego wzorca i ?atwo wy?apa? literówki i dysortografie wink

Zacz??em si? nad tym zastanawia? i stwierdzi?em, ?e taka lista by?aby ju? teraz przydatna:
http://storage.neostrada.pl/OSM/ulice.bez.GUStu.txt
To lista nazw ulic z poland.osm (od geofabrik), które nie zawieraj? w sobie wzorca z pierwszego pola wyników GUStawa.

Dzi?ki temu wida?, ?e np. dla Pi?sudskiego, w b??dnych powinni?my mie? te? Pi?sudzkiego. tongue

PS: Nie ufa?bym wszystkiemu co jest na tej li?cie, bo to pogl?dowy hack. (na pewno z <way, ale tylko prawie na pewno maj? te? tag highway)

Offline

#36 2008-10-17 22:20:12

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

TomDalek wrote:
antblant wrote:

...mo?na pó?niej generowa? list? wszystkich ulic nie pasuj?cych do ?adnego wzorca i ?atwo wy?apa? literówki i dysortografie wink

Zacz??em si? nad tym zastanawia? i stwierdzi?em, ?e taka lista by?aby ju? teraz przydatna:
http://storage.neostrada.pl/OSM/ulice.bez.GUStu.txt
To lista nazw ulic z poland.osm (od geofabrik), które nie zawieraj? w sobie wzorca z pierwszego pola wyników GUStawa.

Dzi?ki temu wida?, ?e np. dla Pi?sudskiego, w b??dnych powinni?my mie? te? Pi?sudzkiego. tongue

PS: Nie ufa?bym wszystkiemu co jest na tej li?cie, bo to pogl?dowy hack. (na pewno z <way, ale tylko prawie na pewno maj? te? tag highway)

Tak orty i literówki s?, i je?li si? tak? zauwa?y mo?na spokojnie dopisa? do s?ownika, z czasem si? usunie albo nie ... je?li ulic "Pi?udzkiego" jest wi?cej to nie ma ?adnego powodu, ?eby szuka? ich r?cznie ... cho? nie jest to te? przecie? trudne.
Poza tym cz??? Twojego pliku zniknie po poprawieniu nazw z polskimi znakami ... je?li dodamy do s?ownika "Ch?odna" to z poland.osm zniknie "Chlodna" której zapewne GUS nie przewidzia?, bandyci jedni ;-)

Je?li to mo?e pomóc mog? w ka?dej chwili wygenerowa? list? wszystkich nazw jakie WRAK spotyka sformatowan? analogicznie do tej ze stringami z IGNORE. Wtedy nazwa jest na pocz?tku wiersza wi?c mo?na bez cudowania list? sortowa? ...

Przy okazji dociera do meni po ma?u, ze to nie jest tak, ?e sobie teraz usi?dziemy i naprawimy ... bo z ka?dym dniem okazuje si?, ?e jest wi?cej i wi?cej. Przynajmniej jest weso?o smile

I sprawa o której zapomnia?em ... poland.osm z geofabric to nie ca?a polska. Zupe?nie o tym zapomnia?em. By?em latem na wakacjach na Helu, przed wyjazdem wgra?em do GPS map? z geofabric w?a?nie i nagle okaza?o si?, ?e kawa?ek za Gdyni? mapa mi si? sko?czy?a ... nie dam sobie nic uci??, ale W?adys?awowa ju? chyba nie by?o. Trzeba o tym pami?ta?, a najlepiej znale?? jakie? doj?cie do tych krzy?aków co to wycinaj? i poda? im bardziej aktualne granice Polski ... tak?e na pó?noc od Malborka big_smile

Offline

#37 2008-10-17 23:46:56

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

Jakub Klawiter wrote:

By?bym zapomnia?, s? te? drogi które ignoruj? bez pomocy pliku z ignorami zawieraj? numery dróg w atrybucie name. Sam numerek, albo jakie? E50 czy A8. Je?li to te? nieprawid?owo to mog? je wszystkie (drogi) zadenuncjowa? ;-)

Zadenun-co?! big_smile Znalaz?em 147 takich przypadków i chyba wszystkie wyt?pilem, jutro si? oka?e z nowym wydaniem poland.osm wink


TomDalek: ?wietna ta lista, nic tylko usi??? i poprawia? big_smile

Offline

#38 2008-10-18 00:06:06

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

W bazie jest też trochę takich:
http://www.openstreetmap.org/browse/way/24228397

i jak mam być szczery nie mam pomysłu co z tym robić ... to jak rozumiem dwie ulice w jednej, czyli gdzieś po środku nazwa się zmienia, ale gdzie?

Offline

#39 2008-10-19 16:34:18

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

Aleja ksi?dza biskupa W?adys?awa Bandurskiego jest na lewo od DK1, a Aleja Adama Mickiewicza na prawo. I wcale nie ?ciaga?em z 'mapy', tylko z http://pl.wikipedia.org/wiki/Aleja_Adam … za_w_?odzi smile
Du?o jest takich przypadków? Chyba tylko r?cznie mo?na to edytowa?.

Hmm, w tym konkretnym przypadku by?o tak, ?e pierwsza nazwa (ta przed ?rednikiem) by?a prawid?owa. Tzn. kto? przez pomy?k? po??czy? te drogi, ale ta po prawej to by?a Adama Mickiewicza; ks. bp. W. Bandurskiego, a po lewej na odwrót. Je?li tak jest ze wszystkimi to wystarczy wywali? nazw? za ?rednikiem.

Last edited by antblant (2008-10-19 16:37:54)

Offline

#40 2008-10-19 21:07:40

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

antblant wrote:

Aleja ksi?dza biskupa W?adys?awa Bandurskiego jest na lewo od DK1, a Aleja Adama Mickiewicza na prawo. I wcale nie ?ciaga?em z 'mapy', tylko z http://pl.wikipedia.org/wiki/Aleja_Adam … za_w_?odzi smile
Du?o jest takich przypadków? Chyba tylko r?cznie mo?na to edytowa?.

Nie, nie ma tego raczej du?o ... wst?pne, niedoskona?e przeszukanie plików wskaza?o 25 potencjalnych kandydatów. Przy czym szuka?em nazw ze ?rednikiem po prostu. I tak, to s? miejsca gdzie mo?na poprawi? tylko r?cznie, nie jedyne zreszt?. Przed chwil? trafi?em na ulic? Jo?ciuszki ... wpisywanie tego jako synonim Ko?ciuszki do s?ownika by?oby przegi?ciem, a tak system przepuszcza jako prawid?ow?, bo sk?d ma wiedzie? ?e nie big_smile

Wrzucam na serwer plik wrak-VALID.txt to zestaw stringów które WRAK przepu?ci? jako prawid?owe. Przy czym to nie oznacza, ?e one s? prawid?owe a tylko ?e:

1. by?y w s?owniku w tej formie -> s? OK
2. nie by?o ich w s?owniku, ale wygl?daj? OK

Wystarczy tam spojrze? ?eby zobaczy?, ?e nie jest tak dobrze jak si? WRAKowi wydaje, cz??? z tych nazw to potencjalne ?ród?o do rozwoju s?ownika, cz??? wymaga r?cznego poprawienia.

W dyskusji na stronie WRAKA zacz??em pisa? draft naszego "Kanonu nazewniczego" (to zacz??em pisa? lokalnie u siebie i nie za?adowa?em jeszcze) i kilka propozycji do dyskusji dotycz?cych pisowni, nie po to, ?eby decydowa? si? na cokolwiek teraz, a bardziej, ?eby nie umkn??o.

UPDATE!
Czy chcieliby?my aby cudzys?owy w nazwach by?y poprawione na polskie, tzn. otwieraj?cy cudzys?ów na dole, zamykaj?cy u góry? W s?owniku i gdziekolwiek nadal wpisywaliby?my po prostu "string w cudzys?owie" oczywi?cie, a nie jakie? unikodowe krzaki, ca?o?? z powodzeniem mo?e wykona? WRAK.
Czy s? jakie? przeciwwskazania?

UPDATE 2
http://wariat.org.pl/smietnik/OpenStree … UNIQUE.txt to lista wszystkich nazw które przesz?y przez WRAK jako poprawne ale odfiltrowana, to znaczy ka?dy string tylko raz i bez linka. Zacz??em przegl?da? (od ko?ca) i nawet bez u?ycia skomplikowanych automatów ?atwo odkry? czego brakuje w s?owniku.

Teoretycznie mo?na z tej listy usun?? stringi które si? w s?owniku pojawi?y bo te s? na pewno poprawne ale i tak reszt? trzeba po prostu przeczyta?.
Dobra wiadomo?? jest taka, ?e je?li ta lista zostanie poprawiona to b?dziemy prawie na ko?cu zabawy... albo ja nie zauwa?am jakiego? innego problemu ;-)

Last edited by Jakub Klawiter (2008-10-20 22:53:15)

Offline

#41 2008-10-23 17:31:49

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

Jakby? odfiltrowa? z tej listy stringi ze s?ownika to przyjemniej by si? to czyta?o. Im krótsze s? takie listy, tym wi?kszy mam zapa? do ich poprawiania wink Wyci??e? mo?e debugi i UMP_Level? Nie widzia?em protestów wink

TomDalek: móg?by? od?wie?y? ulice.bez.GUStu?

Offline

#42 2008-10-23 17:56:57

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

antblant wrote:

Jakby? odfiltrowa? z tej listy stringi ze s?ownika to przyjemniej by si? to czyta?o. Im krótsze s? takie listy, tym wi?kszy mam zapa? do ich poprawiania wink Wyci??e? mo?e debugi i UMP_Level? Nie widzia?em protestów wink

Dok?adnie tego samego mi troch? brakuje. Pliki w tej chwili powstaj? w ten sposób:

#!/bin/bash

./OSM-wrak --showignored > wrak-TEST.txt 2> /tmp/wrak-IGNORED.txt
./OSM-wrak --showvalid > /dev/drzewo 2> /tmp/wrak-VALID.txt

sort /tmp/wrak-IGNORED.txt > wrak-IGNORED.txt
sort /tmp/wrak-VALID.txt > wrak-VALID.txt
sed s/http:.*// /tmp/wrak-VALID.txt | sort -u > wrak-VALID-UNIQUE.txt

Lista o któr? chodzi powstaje w ostatnim wierszu i oczywi?cie mo?e zosta? odfiltrowana ... i jak tylko zrozumiem jednolinijkowca jakiego zapoda? tu TomDalek który robi co? podobnego jak rozumiem to tak j? uaktualni? ... tylko na razie mi nie wychodzi big_smile

Hmmm dosta?em w?a?nie wiadomo?? via OSM ... tylko ona jest po krzy?acku hmm

Hi Jakub Klawiter,

hasse_osm_korinthenkacker has sent you a message through OpenStreetMap with the subject "Warnung":

==
Bitte unterlassen von jegliche und dauernde falsche Benennung
der Straßennamen in der Ortschaft Pölitz (Police); nördlich von
Stettin.

--
RambaZamba

google translate t?umaczy to strasznie ?miesznie, ale chyba chodzi mu o WRAKa ... tylko czego on sie czepia naszej strony granicy? No chyba, ?e WRAK nabroi? po ich stronie big_smile

Last edited by Jakub Klawiter (2008-10-23 20:12:28)

Offline

#43 2008-10-24 10:12:50

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

No to mamy pierwszy ZONK, z tym kolesiem. Przy czym nie do ko?ca rozumiem dlaczego cz?owiek który najwyra?niej potrafi rozmawia? tylko po niemiecku (odes?a? mi wiadomo?? przet?umaczon? googlem) czepia si? nazw ulic w .pl

Jest tak: jedna z ulic o które m chodzi to ta:
http://www.openstreetmap.org/browse/way/27885208

wg. bazy GUS ona nazywa si? Stefana Roweckiego, "GROT" to pseudionim, my zmieniamy nazw? na genera?a Stefana "Grota" Roweckiego, kole? na Grota-Roweckgo, czyli nie tyle poprawia po WRAKU co psuje inaczej.
W tej chwili i tak nei ma nowych danych z Geofabric wi?c WRAK dzi? nie je?dzi, ale problem trzeba rozwi?za? jako? czy raczej wymy?li? co robimy. Je?li nie zmienia? nazwy po naszemu to IMO jak ju? dostosowa? do bazy GUS.
Za?o?? w?tek na niemieckim forum, ?eby da? zna?, ?e wiemy co robimy i dlaczego, bo nie chodzi nam o "wojn? edycyjn?", ?e u?yj? terminu z wikipedii, a po prostu o normalizacj? nazw w .pl.

Nie wiem na ile czytelne jest to co nabazgra?em, ale posz?o: http://forum.openstreetmap.org/viewtopic.php?id=1762

Last edited by Jakub Klawiter (2008-10-24 11:23:02)

Offline

#44 2008-10-24 16:22:40

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Debugger ;-)

Jakub Klawiter wrote:

No to mamy pierwszy ZONK, z tym kolesiem. Przy czym nie do ko?ca rozumiem dlaczego cz?owiek który najwyra?niej potrafi rozmawia? tylko po niemiecku (odes?a? mi wiadomo?? przet?umaczon? googlem) czepia si? nazw ulic w .pl

Jest tak: jedna z ulic o które m chodzi to ta:
http://www.openstreetmap.org/browse/way/27885208

wg. bazy GUS ona nazywa si? Stefana Roweckiego, "GROT" to pseudionim, my zmieniamy nazw? na genera?a Stefana "Grota" Roweckiego, kole? na Grota-Roweckgo, czyli nie tyle poprawia po WRAKU co psuje inaczej.
W tej chwili i tak nei ma nowych danych z Geofabric wi?c WRAK dzi? nie je?dzi, ale problem trzeba rozwi?za? jako? czy raczej wymy?li? co robimy. Je?li nie zmienia? nazwy po naszemu to IMO jak ju? dostosowa? do bazy GUS.
Za?o?? w?tek na niemieckim forum, ?eby da? zna?, ?e wiemy co robimy i dlaczego, bo nie chodzi nam o "wojn? edycyjn?", ?e u?yj? terminu z wikipedii, a po prostu o normalizacj? nazw w .pl.

Nie wiem na ile czytelne jest to co nabazgra?em, ale posz?o: http://forum.openstreetmap.org/viewtopic.php?id=1762

Hmm, ca?kiem mo?liwe ?e facet spisa? z terenu, u mnie na blokach np jest napisane "Grota-Roweckiego" i zazwyczaj tak si? okre?la t? ulic?. W podobny sposób podawa?em te? u siebie w mie?cie, dodawszy "Stefana" wcze?niej. My?l?, ?e form? "Stefana Grota-Roweckiego" stosuje si? cz??ciej, i tak bym to poprawi? - oczywi?cie przyda?by si? ? w Unicode zamiast -

Offline

#45 2008-10-24 20:17:29

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

deejay1 wrote:

Hmm, ca?kiem mo?liwe ?e facet spisa? z terenu, u mnie na blokach np jest napisane "Grota-Roweckiego" i zazwyczaj tak si? okre?la t? ulic?. W podobny sposób podawa?em te? u siebie w mie?cie, dodawszy "Stefana" wcze?niej. My?l?, ?e form? "Stefana Grota-Roweckiego" stosuje si? cz??ciej, i tak bym to poprawi? - oczywi?cie przyda?by si? ? w Unicode zamiast -

Kole? jest dziwny. Gada do mnie w kó?ko po swojemu i nie do ko?ca kumam czego on si? tak czepi? ulic za granic?. Chwilowo przestan? je?dzi? WRAKiem bo w sumie jest to problem którego oczekiwali?my i dobry moment ?eby?my ustalili wspólne stanowisko raz jeszcze, przy okazji wymy?laj?c jak dyskutowa? z tym kolesiem.

Ja nadal jestem zdania, ?e nale?y poprawia? nazwy zgodnie z za?o?eniami które tu ustalili?my, bo lepsze nawet czasami lekko nadmiarowe dane ni? powa?na braki, o literówkach i spierdzielonym kodowaniu nie wspominaj?c. Przez ostatni tydzie? WRAK poprawi? 1600 nazw czego by?my r?cznie za chiny ludowe nie zrobili w tak krótkim czasie.
On jest z Niemiec i tam mo?e maj? porz?dek, ale u nas wiadomo ... znam wiele ulic w Poznaniu gdzie co tabliczka to inna forma zapisu nazwy co tylko umacnia mnie w przekonaniu, ?e nic  niew?a?ciwego nie robimy. No a to, ?e w bazie GUS jest inna nazwa ni? ta na któr? si? nasz kolega upiera tylko dodaje sprawie smaczku.

Pewne jest, ?e nie ma co chwilowo a? do rozwi?zania tego problemu kontynuowa? zmian (s?ownik mo?na rozwija? oczywi?cie) bo to nie ma ?adnego sensu. Tak czy siak trzeba wymy?li? co dalej. Spróbuj? go przyci?gn?? na forum, mo?e co? si? wyja?ni.


P.S. W sprawie UMP layer jest tak, ?e od kilku dni znikaj? w ma?ych porcjach i z pocz?tkowych ponad 6000 sztuk zosta?o ju? ko?o 2000. Jak si? tego pozb?dziemy zaczn? kasowa? debugi. Poza tym przenosz? g?ówn? aktywno?? na malowanie Warty big_smile


Szybki UPDATE

Ja mu, ?e w bazie GUS jest jak jest a on mi tak:

On Fri Oct 24 14:33:01 +0100 2008 Jakub Klawiter wrote:

> Correct name is "Stefana Roweckiego"

Sobald die Straßenschilder in Pölitz (Stettin, ...) gewechselt werden,
(Straßenschild  - z.B. http://tinyurl.com/6z4467 )
die Name der Straße (für OSM) sollte genauso heißen was auf dem Schild
steht..., sonst es wird weiter bedeuten dass die OSM'er Märchen-Namen
sich ausdenken.
Was in Polen in der Theorie steht, muss immer noch nicht die Wahrheit
in der Praxis bedeuten(entsprächen/heißen).

Sind Sie schon in Pölitz (Police), Stettin (Szczecin) gewesen?
Wie viel Track's haben Sie dort aufgezeichnet?


Nicht umsonst unterzeichne mich: 'hasse_osm_korinthenkacker'

http://translate.google.pl/ gdyby kto? chcia? to przeczyta? a zna? niemiecki jak ja czyli wcale to troch? pomaga big_smile

Na dodatek chyba OSM pad?o i mu nie odpisz?.

Last edited by Jakub Klawiter (2008-10-24 20:21:42)

Offline

#46 2008-10-24 21:00:59

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Debugger ;-)

Mo?e ci??ko jest komu? z tak uporz?dkowanego kraju zrozumie?, ?e to co u nas wida? na tabliczce, a to jak si? nazywa ulica to mog? by? 2 ró?ne rzeczy. Wiem, ?e mamy racj?, ale nie bardzo wiem jak go do niej przekona? wink
Mo?e napisz mu, ?e ludzie którzy mieszkaj? na tej ulicy maj? w dowodzie 'nasz?' nazw?, wi?c w praktyce (i teorii) to ona obowi?zuje?

Offline

#47 2008-10-25 10:09:25

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

antblant wrote:

Mo?e ci??ko jest komu? z tak uporz?dkowanego kraju zrozumie?, ?e to co u nas wida? na tabliczce, a to jak si? nazywa ulica to mog? by? 2 ró?ne rzeczy. Wiem, ?e mamy racj?, ale nie bardzo wiem jak go do niej przekona? wink
Mo?e napisz mu, ?e ludzie którzy mieszkaj? na tej ulicy maj? w dowodzie 'nasz?' nazw?, wi?c w praktyce (i teorii) to ona obowi?zuje?

To nie jest ?adne rozwi?zanie, musimy jako? t? sytuacj? wykorzysta? aby zbudowa? plan dzia?ania przy takich problemach. opisa?em wszystko raz jeszcze na forum niemieckim, przy czym jako? nie jestem przekonany czy to wszystko dotrze do celu.
Zastanów si? czy nie masz jakich? znajomych w tych Policach, to w ko?cu blisko sam jestem ciekaw ile wariacji nazwy uda si? znale?? na tej ulicy. big_smile

Napisa?em te? do niego, ?eby poda? list? ulic gdzie nie zgadza si? z WRAKiem, bo nie mo?na za?o?y?, ?e on myli si? wsz?dzie, nasz s?ownik wci?? jest niedoskona?y, cho? z drugiej strony lepszy niedoskona?y s?ownik ni? ten ba?agan który mamy gdzieniegdzie w OSM:Poland big_smile

Offline

#48 2008-10-25 17:18:01

pavko
Member
From: Szczecin, Poland
Registered: 2008-07-23
Posts: 12

Re: Debugger ;-)

OK, ja to znam z autopsji... Mieszkam w Szczecinie przy ulicy Gen. Grota-Roweckiego (zapis oficjalny z UM), koleżankę mam z Polic i w adresie zameldowania miała Stefana Roweckiego (bez Grota). Co ciekawe o ten przypadek chciałem zapytać już wcześniej ale jak widzę temat sam wypłynął. IMHO w wyświetlanej nazwie ulicy powinno być tak jak oficjalnie to urząd zapisuje. Do wyszukiwania natomiast powinno być "Roweckiego, Grota, Stefana, generała"...

Offline

#49 2008-10-25 19:55:32

TomDalek
Member
From: Sopot, Poland
Registered: 2008-09-28
Posts: 28
Website

Re: Debugger ;-)

antblant wrote:

TomDalek: móg?by? od?wie?y? ulice.bez.GUStu?

Oczywi?cie smile
http://storage.neostrada.pl/OSM/ulice.bez.GUStu.html
Tym razem to wersja bez ?adnych szybkich haków. Za to z linkiem - ?eby nie szuka?. Z userem - ?eby si? ze wstydu pali? i w?asne czym pr?dzej poprawia?. I z info czy z UMP - ?eby usprawiedliwia?, siebie i innych, ?e to niby nie nasza dysortografia tylko to Ci Kolesie z UMP tak narobili. tongue

Dalej:

Jakub Klawiter wrote:
antblant wrote:

Jakby? odfiltrowa? z tej listy stringi ze s?ownika to przyjemniej by si? to czyta?o. Im krótsze s? takie listy, tym wi?kszy mam zapa? do ich poprawiania wink [...]

[...]Lista o któr? chodzi powstaje w ostatnim wierszu i oczywi?cie mo?e zosta? odfiltrowana ... i jak tylko zrozumiem jednolinijkowca jakiego zapoda? tu TomDalek który robi co? podobnego jak rozumiem to tak j? uaktualni? ... tylko na razie mi nie wychodzi big_smile

Ten jednolinijkowiec jest istotnie paskudny i oczywi?cie nie nale?y go nawet próbowa? zrozumie?! Kajam si?. big_smile

Ale innymi s?owy, po ludzku, i u?ywaj?c pliku zamiast $(),  mo?na od czego? odci?? jaki? s?ownik tak:

#!/bin/bash

# Z pliku 'wrak-dict.csv' zróbmy sobie s?ownik 'slownik.wrak.txt',
# odcinaj?c linie komentarza i linie puste z ewentualnymi spacjami,
# a potem wybieraj?c tylko pierwsze pole - tzn. wersje poprawn?.
grep -v -e '^#' -e '^\ *$' wrak-dict.csv | cut -d \, -f 1 > slownik.wrak.txt

# Przeszukajmy, które linie z 'wrak-VALID-UNIQUE.txt'
# _nie_ zawieraj? wzorca ze s?ownika 'slownik.wrak.txt'
grep -v -f slownik.wrak.txt wrak-VALID-UNIQUE.txt > wrak-VALID-UNIQUE.bez.wrak-dict.txt

lub ewentualnie grep -i ?eby nie porównywa? wielko?ci znaków.

Offline

#50 2008-10-25 20:16:16

Jakub Klawiter
Member
From: Poznań
Registered: 2008-10-01
Posts: 60
Website

Re: Debugger ;-)

pavko wrote:

OK, ja to znam z autopsji... Mieszkam w Szczecinie przy ulicy Gen. Grota-Roweckiego (zapis oficjalny z UM), kole?ank? mam z Polic i w adresie zameldowania mia?a Stefana Roweckiego (bez Grota). Co ciekawe o ten przypadek chcia?em zapyta? ju? wcze?niej ale jak widz? temat sam wyp?yn??. IMHO w wy?wietlanej nazwie ulicy powinno by? tak jak oficjalnie to urz?d zapisuje. Do wyszukiwania natomiast powinno by? "Roweckiego, Grota, Stefana, genera?a"...

W mojej g?owie plan by? taki, aby w pierwszym przebiegu (który potrwa raczej kilka miesi?cy ni? dni) nada? wszystkim takim ulicom jedn? nazw?, tak? któr? uznamy za najpopularniejsz?, najw?a?ciwsz?. Lepsz? wydaje sie mi by? sytuacja kiedy ulica nazwana oficjalnie: Stefana Roweckiego zostanie przez nas nazwana Genera?a Stefana "Grota" Roweckiego, ni? kiedy wszystkie ulice nazwane imieniem tego cz?owieka nazywaj? si? "Roweckiego" a generalnie tak w wielu przypadkach w tej chwili wygl?da OSM:Poland.
W drugim przebiegu mogliby?my zmodyfikowa? s?ownik WRAKa tak, ?e nie poprawia?by niektórych nazw czyli mo?na by uci?? w tym wypadku rang? i pseudonim a WRAK by tego nie poprawi?. To wszystko umiemy zrobi? i zadzia?a. By? mo?e powinni?my zrobi? tak ju? teraz, nie wiem. Mnie ten genera? i pseudonim w niczym by nie przeszkadza?, soft do routingu i tak szuka po dowolnym kawa?ku stringa wi?c te dodatkowe s?owa nic nie psuj?. WRAK stoi w gara?u, ja maluj? Wart? ... mo?emy radzi? big_smile

@TomDalek: dzi?ki za ten kawa?ek basha ... kolejna wersja plików materia?ów s?ownikotwórczych big_smile b?dzie bez zb?dnych stringów.

Offline

Board footer

Powered by FluxBB