Narzędzie do wykrywania niespójnych nazw ulic

RicoElectrico · 2018-03-23 20:59:30

Mam coś bardzo fajnego

http://81.190.124.187:31337/QA_map/mism … names.html

Szuka w promieniu 50 m (no dobra, mniej, bo Merkator) ulic o podobnych, lecz nie tych samych nazwach.

Narzędzie powstawało z ograniczenia mrówek. Czasami mały fragment ulicy z dobrą nazwa im wystarczy, podczas gdy reszta jest niepoprawna.

Polecam przy poprawianiu konsultować się z TERYT-em. Czasem też się zdarza, że "Ulica XXX" i "Plac XXX" jest w tym samym mieście. Albo że istnieją adresy odnoszące się do obu nazw i trzeba to poprawić. Beware

Update co ok. godzinę. Na dole liczba pozycji.

Last edited by RicoElectrico (2018-03-23 23:22:38)

rmikke · 2018-03-24 01:08:14

RicoElectrico wrote:

Mam coś bardzo fajnego big_smile
http://81.190.124.187:31337/QA_map/mism … names.html
Szuka w promieniu 50 m (no dobra, mniej, bo Merkator) ulic o podobnych, lecz nie tych samych nazwach.

Zaiste, bardzo fajne. Ale co właściwie miał robić link "Edytuj"? Bo u mnie nie robi nic...

RicoElectrico · 2018-03-24 04:41:13

Otworzyć JOSM

Popatrz jaki błąd ci wywala w konsoli przeglądarki.

RicoElectrico · 2018-03-24 11:19:32

Uwaga: teraz narzędzie przez parę godzin będzie pokazywać nieaktualne dane. Muszę się cofnąć z replikacją bazy do 22 marca, bo mam nieścisłości.

rmikke · 2018-03-24 12:08:27

RicoElectrico wrote:

Otworzyć JOSM
Popatrz jaki błąd ci wywala w konsoli przeglądarki.

No właśnie nic nie wywala, dlatego pytam.

Może warto link opisać "Edytuj w JOSM", albo po prostu "JOSM"? Poza tym tego typu edycje bardzo wygodnie i sprawnie robi się w iD, może warto dać też taki link? Korzystałbym.

A narzędzie naprawdę przydatne, kiedyś sugerowałem tu że przydałoby się dokładnie coś takiego

EDIT: Po obejrzeniu paru pierwszych z brzegu przypadków stwierdzam, że do tych edycji JOSM jest sensowniejszym wyborem. Ale są też przypadki, gdzie iD byłby o tyle lepszy, że można sprawdzić gdzie to i próbować dotrzeć do urzędowej nazwy.

RicoElectrico · 2018-03-24 15:13:37

Spoko, po naprawie bazy dalej będę rzeźbił.
Z rzeczy, które chciałbym dodać:
* szukałka i sortowanie z List.js (łatwe), ale...
* nie wiem jak sprytnie dodać geokodowanie (województwo/powiat/gmina/miejscowość) bez tworzenia instancji Nominatima
* mapę, ale tu musiałbym generować kafle wektorowe - bo pewnie GeoJSON z całą tabelą ważyłby kilkadziesiąt MB - nie oceniłem istniejących rozwiązań pod kątem bycia armatą na komary
* bardzo przydatną rzecz: podpowiedź, czy jest zgrzyt w adresach

Last edited by RicoElectrico (2018-03-24 15:14:31)

rmikke · 2018-03-24 16:06:54

RicoElectrico wrote:

Z rzeczy, które chciałbym dodać:

A wyłapywanie literówek innych, niż brak diakrytyków? Np. "Boała" zamiast "Biała"? Bo widzi mi się, że obecna wersja tego nie robi.

RicoElectrico · 2018-03-24 16:21:02

Testowałem to. Wydajność była o wiele za mała i dużo więcej fałszywych alarmów. Ale fakt, dało się wyłapać trochę literówek.
Pomyślę jak to zoptymalizować, żeby móc zapuścić chociaż ręcznie raz na jakiś czas.

rmikke · 2018-03-25 19:42:00

A umiesz podejrzeć, czym się różnią dwie wersje nazwy ulicy Alfreda Witolda Oruby (oruby)?

Jest kilka takich przypadków, kiedy obie wersje wydają się identyczne.

RicoElectrico · 2018-03-25 20:00:31

Podwójna spacja - nie widać tego w normalnym widoku, ale jeśli wejdziesz w źródło to tak. Co zrobić. ¯\_(ツ)_/¯

Last edited by RicoElectrico (2018-03-27 20:59:05)

RicoElectrico · 2018-03-26 08:46:52

rmikke wrote:

A wyłapywanie literówek innych, niż brak diakrytyków? Np. "Boała" zamiast "Biała"? Bo widzi mi się, że obecna wersja tego nie robi.

Dla testów zaimportowałem Pomorze do wirtualki. Jako że większość danych byla zapewne cache'owana w RAM-ie, a nazwane ulice wrzuciłem do osobnej tabeli, import i analiza trwały bardzo szybko.

W rezultacie dostałem 600 par ulic. No przyznam, że trochę z nich to były faktyczne błędy, ale większość to szum. Ale pewnie taka natura indeksu pg_trgm i jego funkcji similarity().

W każdym razie - zeszliśmy z 787 do 501 ulic! Dobra robota!

rmikke · 2018-03-26 09:50:38

RicoElectrico wrote:

W każdym razie - zeszliśmy z 787 do 501 ulic! Dobra robota!

Taaa, my zeszliśmy

maraf24 · 2018-03-26 12:42:26

RicoElectrico wrote:

W każdym razie - zeszliśmy z 787 do 501 ulic! Dobra robota!

Niezupełnie, na pierwszej liście z linkami do JOSMa było 801 lub 803 pozycji

EDIT:
Pierwszy false positive: https://www.openstreetmap.org/way/114341329 i https://www.openstreetmap.org/way/115165896

Last edited by maraf24 (2018-03-26 15:31:02)

rmikke · 2018-03-26 16:21:27

maraf24 wrote:

Pierwszy false positive: https://www.openstreetmap.org/way/114341329 i https://www.openstreetmap.org/way/115165896

A czemu to false positive? TERYT twierdzi, że jest tam wyłącznie ulica Brata Alberta.

maraf24 · 2018-03-26 16:29:11

A gdzie w TERYT sprawdzałeś?

rmikke · 2018-03-26 16:33:45

maraf24 wrote:

A gdzie w TERYT sprawdzałeś?

http://eteryt.stat.gov.pl/eTeryt/rejest … st=default
Wpisać "Brata Alberta" jako fragment nazwy, województwo śląskie, powiat częstochowski, wyszukać. Jeden wynik.

rmikke · 2018-03-26 16:51:40

Twierdzę, że co się dało poprawić bez wiedzy, gdzie to właściwie jest, zostało obskoczone. Plus parę przypadków, gdzie wiedzę o położeniu dało się bez większego śledztwa wyciągnąć z tagów lub podkładu PRNG.

Teraz proszę o wersję z lokalizacją.

Ciekawostka: ulica, która wylazła pod nazwami "Kunickiego"/"Doktora Kunickiego" rzeczywiście oficjalnie nazywa się "Doktora Kunickego". Z prawdopodobieństwem graniczącym z pewnością chodzi o Adama Kunickiego, ale skoro oficjalnie (wg TERYT) gość miał na imię Doktor...

A co byście zrobili z przypadkiem "Bednarska"/"Bednarska ?"? Jest parę takich...

maraf24 · 2018-03-26 17:14:00

rmikke wrote:

Wpisać "Brata Alberta" jako fragment nazwy, województwo śląskie, powiat częstochowski, wyszukać. Jeden wynik.

Powiat częstochowski nie obejmuje Częstochowy.

1. http://mykanow.e-mapa.net/
Wybrać Wierzchowisko i Brata Alberta.

2. http://e.czestochowa.pl/geoportaltoolkit/map.php
W "Zbliż do" wybrać "Ulicy" i z listy "ŚW. BRATA ALBERTA".

Porównać 1. i 2.

rmikke · 2018-03-26 18:12:10

maraf24 wrote:

rmikke wrote:
Wpisać "Brata Alberta" jako fragment nazwy, województwo śląskie, powiat częstochowski, wyszukać. Jeden wynik.
Powiat częstochowski nie obejmuje Częstochowy.

1. http://mykanow.e-mapa.net/
Wybrać Wierzchowisko i Brata Alberta.
2. http://e.czestochowa.pl/geoportaltoolkit/map.php
W "Zbliż do" wybrać "Ulicy" i z listy "ŚW. BRATA ALBERTA".
Porównać 1. i 2.

Bomba.

Kiedy rzuciłem okiem, co tam się w JOSM otwiera, to byłem przekonany, że to ten odstający w bok kawałek nazywa się inaczej, bo tak.
A tymczasem on się nie nazywa wcale i nie wiem czemu jest podstawiany do edycji (chyba że w międzyczasie ktoś mu usunął nazwę?).

Natomiast część tego długiego ciągu ma name="Brata Alberta";name:right="Świętego Brata Alberta", a część - name="Świętego Brata Alberta";name:left="Brata Alberta". Oznaczenia wydają się równoważne - ta sama ulica po lewej stronie ma jedną nazwę , a po prawej drugą. To ja to może jednak ujednolicę?

I oczywiście dzięki za czujność

maraf24 · 2018-03-26 18:21:09

Ja to właśnie "ujednoliciłem", czyli nadałem nazwy zgodnie z granicami między miastem a powiatem. Na tej liście ulica wciąż będzie wyskakiwała, ale na mrówkach nie.
Tam już wcześniej ktoś bez pełnej wiedzy o skomplikowaniu sprawy poprawiał, i dodał nazwę do ulicy bez nazwy, zapewne ze względu na mrówki.

rmikke · 2018-03-26 19:49:55

maraf24 wrote:

Ja to właśnie "ujednoliciłem", czyli nadałem nazwy zgodnie z granicami między miastem a powiatem. Na tej liście ulica wciąż będzie wyskakiwała, ale na mrówkach nie.
Tam już wcześniej ktoś bez pełnej wiedzy o skomplikowaniu sprawy poprawiał, i dodał nazwę do ulicy bez nazwy, zapewne ze względu na mrówki.

To ja nadal czegoś nie rozumiem. Jak dla mnie w tej chwili z tagów wynika, że granica cały czas leci środkiem tego nieutwardzonego odcinka, po jednej stronie ulica ma jedną nazwę, a po drugiej drugą. Czemu więc część odcinka jest oznakowana name i name:right, a część name i name:left?

maraf24 · 2018-03-26 22:23:00

Ulica jest raz po jednej stronie granicy, raz po drugiej. Nie ma tu praktycznie takiej sytuacji, by szła środkiem. Stąd taki zabieg - w name jest ta nazwa, jaka wynika z własności terenu. Nazwa dla adresów jest wówczas podana w name:left lub name:right.
Możnaby tu użyć tylko name:left|right i usunąć name, ale to jest kombinacja, którą mało co obsłuży.

Prościej by było, gdyby się władze tam dogadały i ujednoliciły pisownię. Albo gdybyśmy my w name nie trzymali tych wszystkich świętych,generałów,błogosławionych itp.

A jak chcesz przykład drogi z granicą pośrodku i to nie byle jaką oraz dwiema nazwami, to też mogę podrzucić:)

rmikke · 2018-03-26 22:58:15

maraf24 wrote:

A jak chcesz przykład drogi z granicą pośrodku i to nie byle jaką oraz dwiema nazwami, to też mogę podrzucić:)

Ja takie ciekawostki zawsze chętnie

maraf24 · 2018-03-26 23:26:28

Wyślę na priva.

RicoElectrico · 2018-05-19 23:10:14

Mała aktualizacja.
Na chwilę obecną mamy 100 ulic w raporcie. Dodałem kolumnę z uwagami (z tagu note=*), aby można było zaznaczyć przypadki, których nie należy poprawiać, bo w graniczących miejscowościach przyjęto inną nazwę (są mi znane 3 takie).

Zapraszam do poprawiania, niewiele zostało

Gdy zejdziemy np. do 50 to powiększę promień sprawdzania, teraz jest to 30 metrów i niektóre nienazwane mosty przerywające ciąg nazwanej ulicy mogą przeszkodzić w wykryciu błędu.

Last edited by RicoElectrico (2018-05-19 23:10:44)

Announcement

#1 2018-03-23 20:59:30

Re: Narzędzie do wykrywania niespójnych nazw ulic

#2 2018-03-24 01:08:14