Prośba o zgodę na zmiany automatyczne - błędny tag addr:city

Na prośbę Mateusza rozbijam prośby na poszczególne wątki.

Co chciałbym zrobić:

  1. Usunąć w całej Polsce błędne tagi city jeśli =place dla wszystkich adresów zawierających housenumber i nie zawierających street. Zmiany przeprowadzić bbox-em o powierzchni pozwalającej objąć obszar województwa w kilku powtórzeniach po kilka tysięcy zmian. Próbka w województwach pomorskim i kujawsko-pomorskim wykazała ok. 25-30 tys. zmian na województwo.

  2. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie. Próbka na powyższych województwach wykazała ok. 100-150 lokalizacji duplikatów na województwo. Aby nie komplikować sprawy proponuję, że po usunięciu błędnego tagu dla danego województwa usunę duplikaty i dopiero przejdę do następnego województwa.

Rozpoczęcie działania w danym województwie będę zgłaszał w tym wątku ok. godziny przed działaniem.

Kwerenda Overpass dla powyższego działania https://overpass-turbo.eu/s/138N

Jestem przeciw.

Mamy https://taginfo.openstreetmap.org/tags/fixme=Duplicate%20address%20in%20import%20(zdublowany%20adres%20w%20promieniu%20100%20metr%C3%B3w%3B%20do%20weryfikacji)#chronology i https://taginfo.openstreetmap.org/tags/fixme=Duplicate%20address%20in%20import%20(zdublowany%20adres%20w%20promieniu%20100%20metr%C3%B3w)#chronology od lat

Dodanie fixme nic nie pomaga jeśli jest to automatycznie wykrywalne.

Nie lepiej najpierw przerobić te 33 000 fixme przed dodawaniem nowych?

Jakie jest dokłądnie zapytanie?

Czy chodzi o “Usunąć w całej Polsce błędne tagi addr:city jeśli są takie same jak addr:place dla wszystkich adresów zawierających addr:housenumber i nie zawierających addr:street”?

Jeśli tak to nie mam opini i jeśli o mnie chodzi to taka edycja jest OK.

PS Pamiętaj by dać ludziom czas na odpowiedź, ja staram się dwa tygodnie przed edycją poczekać. I pamiętaj by w opisie zmian ewetualnej edycji podlinkować tą dyskusję.

Ten tag fixme mogę opisać jako np. “duplikat adresu wykryty podczas poprawy tagów addr: w dniu… Kontakt: user:Piotr_J”
Tak, jak wspomniałem - będę te duplikaty usuwał zanim przejdę do kolejnych województw. Ilość ok. 100-150 duplikatów na województwo da się obrobić. Częściowo pokryją się z istniejącymi tagami fixme. Takie dodanie tagu fixme pomoże mi w szybkiej filtracji błędów do poprawienia.

To również sukcesywnie robię. Jedno drugiemu nie przeszkadza. Spójrz na woj. pomorskie i porównaj z innymi województwami.

Tak, dokładnie o to. Przepraszam za skrót myślowy w opisie. Składnię kwerendy podałem. Wykrywa dokładnie opisany przez Ciebie problem.

Co masz na myśli? Czas na odpowiedź na forum?

Jeśli dostanę zgodę, to kolejność działania będzie następująca:

  1. pomorskie - usunięcie tagów, sprzątanie duplikatów.
  2. kujawsko-pomorskie - usunięcie tagów, sprzątanie duplikatów.
  3. warmińsko-mazurskie - usunięcie tagów, sprzątanie duplikatów.

Potrwa to na pewno kilka tygodni. Jest czas na dyskusję. Jeszcze nie zaczynam.
Następne województwa będę komunikował z wyprzedzeniem.

Korzystasz z JOSMa, prawda? Ja sobie z takimi rzeczami robię przez

a)

użycie Overpass Turbo i otwieranie danych obiektów JOSMie do edycji (ewentualnie w iD)

b)

  • zainstalowanie pluginu TODO
  • pobranie obiektów do poprawy
  • włączenia filtru blokującego punkty
  • dodanie wszystkich rzeczy do listy TODO
  • wyłączenia filtru blokującego punkty
  • przerabianie ich po kolei, pobierając w danym rejonie dane
  • przerwa
  • pobranie obiektów do poprawy - teraz tylko punkty będą
  • dodanie wszystkich rzeczy do listy TODO
  • przerabianie ich po kolei, pobierając w danym rejonie dane

pozwala to na przejrzenie wszystkich rzeczy bez dodawania fixme

c) utworzenia zadania maprouelette z znanych problemów

Czy coś z tego byłoby przynajmniej tak udane jak dodawanie tymczasowych fixme? (jak coś z tego jest niejasne - daj znać a wytłumaczę lepiej)

Dzięki! Ta zaraza długo wisiała bez istotnej poprawy, widze że ostatnio się coś ruszyło - dzięki za pomoc w tym :slight_smile:

Owszem - do podstawowych operacji. Jeszcze dużo nauki, ale jest zdecydowanie lepiej, niż miesiąc temu. :slight_smile:

I tu jest problem, bo jeśli nie opiszę tych duplikatów tagiem, to Overpass mi ich nie pokaże.

Proponuję układ - dajcie mi spróbować. Jeśli nawalę, tu usunięcie tych moich tagów fixme dla jednego województwa zajmie kilka sekund. A układ jest taki, że przechodzę do następnego województwa, kiedy wyczyszczę bieżące.

Powoli :slight_smile: Do pluginów pewnie kiedyś dojdę. :wink:

W praktyce tylko ty z tego skorzystasz. Nie ma więc sensu pchanie tego do bazy osm. Znalezione duplikaty przez JOSMa możesz zapisać sobie w pliku i potem przerobić.

Czy mogłbyś podać linki do takich duplikatów? Ciekawy jestem, skąd się wzięły.

…o 3 nad ranem? :wink:

Po wczorajszej długiej rozmowie z Cristoffs, za którą bardzo dziękuję, stworzyłem brudnopis wiki opisującej powyższe zmiany. Jako żółtodziób wiki posiłkowałem się szablonem Mateusza. Skoro opcja z fixme jest mocno niepożądana, to znajdę inny sposób na duplikaty.

https://wiki.openstreetmap.org/wiki/User:Piotr_J/Draft:Mechanical_Edits/Piotr_J-removing%27addr:city%27_tag_where_it_duplicates_%27addr:place%27_tag_in_Poland

Proszę o ocenę. Jeśli wszystko jest dobrze, to przerzucę na docelową stronę wiki i usunę brudnopis.

Jeśli tak twierdzisz… Sporo by mi to ułatwiło, a może jednak znalazłby się ktoś chętny do pomocy. Nie upieram się. Jeśli to przeszkadza, to będę te błędy eliminował inaczej.

Niestety nie. Zmiany są wycofane przez Mateusza, a ja nie zapisałem pliku z błędami w JOSM. Problem dotyczył obszarów na np. Kaszubach, gdzie ostatni import adresów był robiony ok. 6 lat temu przez użytkownika:Przemas.

Raz się zdarzyło… :slight_smile: Ale wtedy jeszcze nie wiedziałem, że muszę kogoś zawiadomić. :slight_smile: Możemy wydłużyć okienko powiadomień. Jakaś sugestia jaki czas będzie optymalny?

Imho, 500K wystąpień w całej Polsce i to od lat oraz brak skarg na te duplikaty sugeruje, że to nie jest problem dla konsumentów danych.
Jest to wiec bardziej czyszczenie bazy danych, niż eliminacja błędu.

Skoro sam chcesz czyścić i to w krótkim czasie. Bo fixme nie jest odpowiednie dla szybkich poprawek, gdyż nie zwraca na siebie uwagi.
Gdybyś nie chciał sam poprawiać duplikatów, to przy kilkuset duplikatach na województwo dodanie fixme mogłoby być ok.

Może to super mało istotny błąd który nie szkodzi mocno, ale dalej błąd (jeśli trzymamy się schematu addr:city + addr:street vs addr:place).

“Duplicating {{Key|addr:city}} with {{Key|addr:place}} removing is not recommended” - “removing” pewnie do skasowania.

(przy okazji: dokumentacja edycji w Polsce może być po polsku, ja używam angielskiego bo wtedy mogę ten sam szablon użyć też do edycji zagranicznych)

Opieram się tylko na komunikatach, które dostawałem swego czasu przy każdej zmianie ze zduplikowanym addr:city=addr:place z abakus_uploader. Wychodzi na to, że takie zestawienie jest jednak dla konsumenta danych niepożądane:

Dodam tylko, że to nie ja byłem źródłem duplikatu, ale wystarczyło, że np. poprawiłem geometrię budynku z takim tagowaniem i otrzymywałem komunikat.

Czy jest to naprawa błędu, czy tylko czyszczenie bazy danych, to jest to tylko kwestia nazewnictwa. Działanie wyeliminuje potrzebę zwracania uwagi na ten duplikat przez innych użytkowników przy okazji innych edycji. Przeoczenie duplikatu zwraca komunikat z abakus_uplodera, który niepotrzebnie odrywa nas od pracy nad ważniejszymi edycjami.

Jak najbardziej chcę je poprawiać. Jednocześnie nie uzurpuję sobie prawa do poprawy samodzielnej. Stąd pomysł z fixme. Ale, jak już wspomniałem, nie upieram się.

Poprawione, dzięki za wyłapanie.

Dzięki za podpowiedź. W zasadzie nie robi mi to wielkiej różnicy. Może asem językowym nie jestem, ale jakieś proste zdanie mogę napisać i po angielsku. Zwłaszcza, że skopiowałem Twój czytelny szablon.

Czy mogę przerzucać na normalną wiki?

Takie coś od razu można pod docelowym adresem robić (przynajmniej ja tak robię)

Wiesz jak dodać tagi do changesetu?

“link repository with source code” na pewno do zdjęcia bo nie edytujesz skryptem.

A, jeszcze jedno - jak tego nie ma to wspomnij że edycje będą tylko w Polsce (i uważaj by za Polskę nie wyleźć)

Pierwszy raz wolałem nie eksperymentować. Za dużo ostatnio namieszałem :slight_smile:

Wydaje mi się, że tak. Sprawdzę wieczorem na malutkiej próbce.

Poprawione.

Jest w tytule wiki, ale dodałem jeszcze w “What”
Dzięki za pomoc :slight_smile:

Oficjalnie:
https://wiki.openstreetmap.org/wiki/Mechanical_Edits/Piotr_J_-removing%27addr:city%27_tag_where_it_duplicates_%27addr:place%27_tag_in_Poland

Próbka zmian z odpowiednim otagowaniem do oceny:
https://www.openstreetmap.org/changeset/98726397

E tam, przecież Abakus od lat korzysta z tych danych i jakoś nie przeprowadzał akcji ich czyszczenia :slight_smile: Czyli radzi sobie z nimi.

Tu masz rację, ale to znany problem tego bota, że nie sprawdza, kto jest autorem duplikatu i wysyła komunikat każdemu kto “dotknie” obiektu.
I to jest chyba największy pożytek z czyszczenia, które chcesz przeprowadzić - te komunikaty trafiały czasem do niewinnych osób.

Jest ok.

Jest OK z tego co widzę, aż mnie wciągnęło w drobne poprawki.

Ewentualnie możesz w osobnym tagu changesetu dokumentację na wiki podlinkować - lub dać link do pierwszego posta.

Jaki konkretny tag będzie odpowiedni?

Ja daję osm_wiki_documentation_page - ale nie jest to jakikolwiek standard

Link w opisie zmian też byłby ok

https://www.openstreetmap.org/changeset/98383858