OpenStreetMap Forum

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Na prośbę Mateusza rozbijam prośby na poszczególne wątki.

Co chciałbym zrobić:
1. Usunąć w całej Polsce błędne tagi city jeśli =place dla wszystkich adresów zawierających housenumber i nie zawierających street. Zmiany przeprowadzić bbox-em o powierzchni pozwalającej objąć obszar województwa w kilku powtórzeniach po kilka tysięcy zmian. Próbka w województwach pomorskim i kujawsko-pomorskim wykazała ok. 25-30 tys. zmian na województwo.

2. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie. Próbka na powyższych województwach wykazała ok. 100-150 lokalizacji duplikatów na województwo. Aby nie komplikować sprawy proponuję, że po usunięciu błędnego tagu dla danego województwa usunę duplikaty i dopiero przejdę do następnego województwa.

Rozpoczęcie działania w danym województwie będę zgłaszał w tym wątku ok. godziny przed działaniem.

Kwerenda Overpass dla powyższego działania https://overpass-turbo.eu/s/138N

Last edited by Piotr_J (2021-02-03 14:29:06)

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme

Jestem przeciw.

Mamy https://taginfo.openstreetmap.org/tags/ … chronology i https://taginfo.openstreetmap.org/tags/ … chronology od lat

Dodanie fixme nic nie pomaga jeśli jest to automatycznie wykrywalne.

Nie lepiej najpierw przerobić te 33 000 fixme przed dodawaniem nowych?

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Usunąć w całej Polsce błędne tagi city jeśli =place dla wszystkich adresów zawierających housenumber i nie zawierających street.

Jakie jest dokłądnie zapytanie?

Czy chodzi o "Usunąć w całej Polsce błędne tagi addr:city jeśli są takie same jak addr:place dla wszystkich adresów zawierających addr:housenumber i nie zawierających addr:street"?

Jeśli tak to nie mam opini i jeśli o mnie chodzi to taka edycja jest OK.

PS Pamiętaj by dać ludziom czas na odpowiedź, ja staram się dwa tygodnie przed edycją poczekać. I pamiętaj by w opisie zmian ewetualnej edycji podlinkować tą dyskusję.

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Jestem przeciw.

Ten tag fixme mogę opisać jako np. "duplikat adresu wykryty podczas poprawy tagów addr: w dniu.... Kontakt: user:Piotr_J"
Tak, jak wspomniałem - będę te duplikaty usuwał zanim przejdę do kolejnych województw. Ilość ok. 100-150 duplikatów na województwo da się obrobić. Częściowo pokryją się z istniejącymi tagami fixme. Takie dodanie tagu fixme pomoże mi w szybkiej filtracji błędów do poprawienia.

Nie lepiej najpierw przerobić te 33 000 fixme przed dodawaniem nowych?

To również sukcesywnie robię. Jedno drugiemu nie przeszkadza. Spójrz na woj. pomorskie i porównaj z innymi województwami.

Czy chodzi o "Usunąć w całej Polsce błędne tagi addr:city jeśli są takie same jak addr:place dla wszystkich adresów zawierających addr:housenumber i nie zawierających addr:street"?

Tak, dokładnie o to. Przepraszam za skrót myślowy w opisie. Składnię kwerendy podałem. Wykrywa dokładnie opisany przez Ciebie problem.

Pamiętaj by dać ludziom czas na odpowiedź

Co masz na myśli? Czas na odpowiedź na forum?

Jeśli dostanę zgodę, to kolejność działania będzie następująca:

1. pomorskie - usunięcie tagów, sprzątanie duplikatów.
2. kujawsko-pomorskie - usunięcie tagów, sprzątanie duplikatów.
3. warmińsko-mazurskie - usunięcie tagów, sprzątanie duplikatów.

Potrwa to na pewno kilka tygodni. Jest czas na dyskusję. Jeszcze nie zaczynam.
Następne województwa będę komunikował z wyprzedzeniem.

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Ten tag fixme mogę opisać jako np. "duplikat adresu wykryty podczas poprawy tagów addr: w dniu.... Kontakt: user:Piotr_J"
Tak, jak wspomniałem - będę te duplikaty usuwał zanim przejdę do kolejnych województw. Ilość ok. 100-150 duplikatów na województwo da się obrobić

Korzystasz z JOSMa, prawda? Ja sobie z takimi rzeczami robię przez

a)

użycie Overpass Turbo i otwieranie danych obiektów JOSMie do edycji (ewentualnie w iD)

b)

- zainstalowanie pluginu TODO
- pobranie obiektów do poprawy
- włączenia filtru blokującego punkty
- dodanie wszystkich rzeczy do listy TODO
- wyłączenia filtru blokującego punkty
- przerabianie ich po kolei, pobierając w danym rejonie dane
- przerwa
- pobranie obiektów do poprawy - teraz tylko punkty będą
- dodanie wszystkich rzeczy do listy TODO
- przerabianie ich po kolei, pobierając w danym rejonie dane

pozwala to na przejrzenie wszystkich rzeczy bez dodawania fixme

c) utworzenia zadania maprouelette z znanych problemów

Czy coś z tego byłoby przynajmniej tak udane jak dodawanie tymczasowych fixme? (jak coś z tego jest niejasne - daj znać a wytłumaczę lepiej)

To również sukcesywnie robię

Dzięki! Ta zaraza długo wisiała bez istotnej poprawy, widze że ostatnio się coś ruszyło - dzięki za pomoc w tym

Last edited by Mateusz Konieczny (2021-02-03 14:40:24)

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Korzystasz z JOSMa, prawda?

Owszem - do podstawowych operacji. Jeszcze dużo nauki, ale jest zdecydowanie lepiej, niż miesiąc temu.

użycie Overpass Turbo i otwieranie danych obiektów JOSMie do edycji (ewentualnie w iD)

I tu jest problem, bo jeśli nie opiszę tych duplikatów tagiem, to Overpass mi ich nie pokaże.

Proponuję układ - dajcie mi spróbować. Jeśli nawalę, tu usunięcie tych moich tagów fixme dla jednego województwa zajmie kilka sekund. A układ jest taki, że przechodzę do następnego województwa, kiedy wyczyszczę bieżące.

- zainstalowanie pluginu TODO

Powoli Do pluginów pewnie kiedyś dojdę.

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

2. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą.

W praktyce tylko ty z tego skorzystasz. Nie ma więc sensu pchanie tego do bazy osm. Znalezione duplikaty przez JOSMa możesz zapisać sobie w pliku i potem przerobić.

Próbka na powyższych województwach wykazała ok. 100-150 lokalizacji duplikatów na województwo.

Czy mogłbyś podać linki do takich duplikatów? Ciekawy jestem, skąd się wzięły.

Rozpoczęcie działania w danym województwie będę zgłaszał w tym wątku ok. godziny przed działaniem.

..o 3 nad ranem?

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Po wczorajszej długiej rozmowie z Cristoffs, za którą bardzo dziękuję, stworzyłem brudnopis wiki opisującej powyższe zmiany. Jako żółtodziób wiki posiłkowałem się szablonem Mateusza. Skoro opcja z fixme jest mocno niepożądana, to znajdę inny sposób na duplikaty.

https://wiki.openstreetmap.org/wiki/Use … _in_Poland

Proszę o ocenę. Jeśli wszystko jest dobrze, to przerzucę na docelową stronę wiki i usunę brudnopis.

W praktyce tylko ty z tego skorzystasz.

Jeśli tak twierdzisz... Sporo by mi to ułatwiło, a może jednak znalazłby się ktoś chętny do pomocy. Nie upieram się. Jeśli to przeszkadza, to będę te błędy eliminował inaczej.

Czy mogłbyś podać linki do takich duplikatów?

Niestety nie. Zmiany są wycofane przez Mateusza, a ja nie zapisałem pliku z błędami w JOSM. Problem dotyczył obszarów na np. Kaszubach, gdzie ostatni import adresów był robiony ok. 6 lat temu przez użytkownika:Przemas.

..o 3 nad ranem?

Raz się zdarzyło... Ale wtedy jeszcze nie wiedziałem, że muszę kogoś zawiadomić.   Możemy wydłużyć okienko powiadomień. Jakaś sugestia jaki czas będzie optymalny?

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

[...]błędny tag addr:city

Imho, 500K wystąpień w całej Polsce i to od lat oraz brak skarg na te duplikaty sugeruje, że to nie jest problem dla konsumentów danych.
Jest to wiec bardziej czyszczenie bazy danych, niż eliminacja błędu.

W praktyce tylko ty z tego skorzystasz.

Jeśli tak twierdzisz... Sporo by mi to ułatwiło, a może jednak znalazłby się ktoś chętny do pomocy. Nie upieram się. Jeśli to przeszkadza, to będę te błędy eliminował inaczej.

Skoro sam chcesz czyścić i to w krótkim czasie. Bo fixme nie jest odpowiednie dla szybkich poprawek, gdyż nie zwraca na siebie uwagi. 
Gdybyś nie chciał sam poprawiać duplikatów, to przy kilkuset duplikatach na województwo dodanie fixme mogłoby być ok.

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Imho, 500K wystąpień w całej Polsce i to od lat oraz brak skarg na te duplikaty sugeruje, że to nie jest problem dla konsumentów danych.
Jest to wiec bardziej czyszczenie bazy danych, niż eliminacja błędu.

Może to super mało istotny błąd który nie szkodzi mocno, ale dalej błąd (jeśli trzymamy się schematu addr:city + addr:street vs addr:place).

"Duplicating {{Key|addr:city}} with {{Key|addr:place}}  removing is not recommended" - "removing" pewnie do skasowania.

(przy okazji: dokumentacja edycji w Polsce może być po polsku, ja używam angielskiego bo wtedy mogę ten sam szablon użyć też do edycji zagranicznych)

Last edited by Mateusz Konieczny (2021-02-04 12:42:45)

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

500K wystąpień w całej Polsce i to od lat oraz brak skarg na te duplikaty sugeruje, że to nie jest problem dla konsumentów danych

Opieram się tylko na komunikatach, które dostawałem swego czasu przy każdej zmianie ze zduplikowanym addr:city=addr:place z abakus_uploader. Wychodzi na to, że takie zestawienie jest jednak dla konsumenta danych niepożądane:

Otrzymujesz ten komentarz, ponieważ dodałeś lub zmodyfikowałeś adres, który jest niepełny lub błędny.
Adres powinien zawierać minimum trzy znaczniki: addr:city=[nazwa_miejscowosci] + addr:street=[nazwa_ulicy] + addr:housenumber=[numer_porządkowy].
Wyjątkiem są miejscowości bez nazwanych ulic - wtedy stosujemy znaczniki: addr:place=[nazwa_miejscowosci] + addr:housenumber=[numer_porządkowy].
Bez poprawnego oznaczenia adresów, nie będą one brane pod uwagę przez wyszukiwarki, dlatego warto je dostosować do ww. schematu (w zależności od sytuacji).

Dodam tylko, że to nie ja byłem źródłem duplikatu, ale wystarczyło, że np. poprawiłem geometrię budynku z takim tagowaniem i otrzymywałem komunikat.

Czy jest to naprawa błędu, czy tylko czyszczenie bazy danych, to jest to tylko kwestia nazewnictwa. Działanie wyeliminuje potrzebę zwracania uwagi na ten duplikat przez innych użytkowników przy okazji innych edycji. Przeoczenie duplikatu zwraca komunikat z abakus_uplodera, który niepotrzebnie odrywa nas od pracy nad ważniejszymi edycjami.

Gdybyś nie chciał sam poprawiać duplikatów, to przy kilkuset duplikatach na województwo dodanie fixme mogłoby być ok.

Jak najbardziej chcę je poprawiać. Jednocześnie nie uzurpuję sobie prawa do poprawy samodzielnej. Stąd pomysł z fixme. Ale, jak już wspomniałem, nie upieram się.

Last edited by Piotr_J (2021-02-04 12:44:08)

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

"Duplicating {{Key|addr:city}} with {{Key|addr:place}}  removing is not recommended" - "removing" pewnie do skasowania.

Poprawione, dzięki za wyłapanie.

(przy okazji: dokumentacja edycji w Polsce może być po polsku, ja używam angielskiego bo wtedy mogę ten sam szablon użyć też do edycji zagranicznych)

Dzięki za podpowiedź. W zasadzie nie robi mi to wielkiej różnicy. Może asem językowym nie jestem, ale jakieś proste zdanie mogę napisać i po angielsku. Zwłaszcza, że skopiowałem Twój czytelny szablon.

Czy mogę przerzucać na normalną wiki?

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Czy mogę przerzucać na normalną wiki?

Takie coś od razu można pod docelowym adresem robić (przynajmniej ja tak robię)

Changeset would be described and tagged with tags that mark it as automatic, provide link to discussion approving edit, link repository with source code etc. It would include at least

Wiesz jak dodać tagi do changesetu?

"link repository with source code" na pewno do zdjęcia bo nie edytujesz skryptem.

Last edited by Mateusz Konieczny (2021-02-04 13:50:26)

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

A, jeszcze jedno - jak tego nie ma to wspomnij że edycje będą tylko w Polsce (i uważaj by za Polskę nie wyleźć)

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Takie coś od razu można pod docelowym adresem robić (przynajmniej ja tak robię)

Pierwszy raz wolałem nie eksperymentować. Za dużo ostatnio namieszałem

Wiesz jak dodać tagi do changesetu?

Wydaje mi się, że tak. Sprawdzę wieczorem na malutkiej próbce.

"link repository with source code" na pewno do zdjęcia bo nie edytujesz skryptem.

Poprawione.

wspomnij że edycje będą tylko w Polsce

Jest w tytule wiki, ale dodałem jeszcze w "What"
Dzięki za pomoc

Oficjalnie:
https://wiki.openstreetmap.org/wiki/Mec … _in_Poland

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Próbka zmian z odpowiednim otagowaniem do oceny:
https://www.openstreetmap.org/changeset/98726397

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Opieram się tylko na komunikatach, które dostawałem swego czasu przy każdej zmianie ze zduplikowanym addr:city=addr:place z abakus_uploader. Wychodzi na to, że takie zestawienie jest jednak dla konsumenta danych niepożądane:

[...]

E tam, przecież Abakus od lat korzysta z tych danych i jakoś nie przeprowadzał akcji ich czyszczenia    Czyli radzi sobie z nimi.

Przeoczenie duplikatu zwraca komunikat z abakus_uplodera, który niepotrzebnie odrywa nas od pracy nad ważniejszymi edycjami.

Tu masz rację, ale to znany problem tego bota, że nie sprawdza, kto jest autorem duplikatu i wysyła komunikat każdemu kto "dotknie" obiektu.
I to jest chyba największy pożytek z czyszczenia, które chcesz przeprowadzić -  te komunikaty trafiały czasem do niewinnych osób.

Próbka zmian z odpowiednim otagowaniem do oceny:
https://www.openstreetmap.org/changeset/98726397

Jest ok.

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Próbka zmian z odpowiednim otagowaniem do oceny:
https://www.openstreetmap.org/changeset/98726397

Jest OK z tego co widzę, aż mnie wciągnęło w drobne poprawki.

Ewentualnie możesz w osobnym tagu changesetu dokumentację na wiki podlinkować - lub dać link do pierwszego posta.

Last edited by Mateusz Konieczny (2021-02-05 23:04:23)

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

osobnym tagu changesetu

Jaki konkretny tag będzie odpowiedni?

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Ja daję osm_wiki_documentation_page - ale nie jest to jakikolwiek standard

Link w opisie zmian też byłby ok

https://www.openstreetmap.org/changeset/98383858

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Dziś w godzinach wieczornych chciałbym rozpocząć poprawianie województwa pomorskiego.

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Jutro w godzinach popołudniowych chciałbym rozpocząć poprawianie województwa kujawsko-pomorskiego.

Edit: zmiany nastąpią wieczorem 22.02.

Last edited by Piotr_J (2021-02-22 20:55:18)

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Rozpoczynam poprawianie woj. wielkopolskiego, zachodniopomorskiego, warmińsko-mazurskiego, podlaskiego.

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Rozpoczynam poprawianie woj. mazowieckiego, lubuskiego, lubelskiego, łódzkiego.

Piotr_J

Member

Registered: 2021-01-14

Posts: 198

Re: Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Rozpoczynam poprawianie pozostałych województw.