You are not logged in.

#1 2021-02-01 13:53:22

Piotr_J
Member
Registered: 2021-01-14
Posts: 145

Prośba o zgody na zmiany automatyczne

Moi drodzy. W związku z wczorajszymi komentarzami do moich zmian oficjalnie proszę społeczność o wyrażenie zgody na przeprowadzanie zmian automatycznych na dużych zestawach danych. Nauczyłem się już składni Overpass, podstaw obsługi JOSM, szczególnie w zakresie obsługi tagów dla większych grup danych. Zmiany są przemyślane i nie naruszają danych. W szczególności nie usuwają informacji prawidłowych.

Co chciałbym zrobić:

1. Usunąć w całej Polsce błędne tagi city jeśli =place dla wszystkich adresów zawierających housenumber i nie zawierających street. Zmiany przeprowadzić województwami. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

2. Usunąć w całej Polsce błędne tagi place jeśli =city dla wszystkich adresów zawierających housenumber i zawierających street<> od city/place. Zmiany przeprowadzić województwami. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

3. Usunąć w całej Polsce błędne tagi street jeśli = city/place dla wszystkich adresów zawierających housenumber. Dla poprawianych adresów usunąć tag city i pozostawić place jeśli city=place. Dla city<>place ustawić tag fixme. Zmiany przeprowadzić województwami. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

4. Sukcesywnie dodawać i poprawiać kody pocztowe na podstawie aktualnych danych Poczty Polskiej. Zmiany będą dotyczyć jedynie miast, wsi lub gmin, gdzie występuje jeden kod pocztowy dla całej miejscowości lub gminy. Nie będę ingerował w kody pocztowe w miejscowościach o zmiennym kodzie w zależności od ulicy.

5. Zmieniać błędne nazwy ulic w przypadku zauważenia niezgodności pomiędzy nazwą ulicy a nazwami użytymi w adresacji. Zauważyłem tego typu błędy jako pozostałości np. po zmianach dekomunizacyjnych. Zmiany mogą obejmować od kilku do kilkudziesięciu pozycji. Będą przeprowadzane poprzez odpowiednią kwerendę, weryfikację z geoportalem i grupową zmianę tagu, więc mogą zostać uznane za automatyczne.

Z góry dzięki za akceptację.

Offline

#2 2021-02-01 16:48:44

szydzio
Member
Registered: 2016-07-28
Posts: 617

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Zmiany przeprowadzić województwami.

Po pierwsze takie edycje trzeba by robić na mniejszych porcjach danych. Edytowanie naraz 10k obiektów (czyli górny limit dozwolonej ilości w changeset-ie) mocno utrudnia analizę zestawu zmian. Myślę, że edycja powiatami byłaby sensowniejsza.

Piotr_J wrote:

Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. [...] Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

Jak konkretnie zamierzasz je poprawiać ?

Co będzie dla Ciebie poprawnym odniesieniem ?

Baza PRG?

Lokalne bazy danych gmin?

Czy WMS-y bazujące na tych danych?

Żeby uzmysłowić o co mi chodzi wpisz do Geoportalu adres: Somonino, Wolności 50c.

Dostaniesz 2 adresy (różnica w wielkości liter), z tego jeden jeden dublem – czy możesz orzec który ?

Teraz odpal http://somonino.e-mapa.net/ i wpisz to samo – masz już tylko jeden adres, bo drugi został po moim zgłoszeniu usunięty.

Ale aktualizacja bazy PRG jest robiona co jakiś czas, więc w PRG masz jeszcze nieaktualne dane.

Podobnie WMS z Krajowej Integracji wciąż pokazuje 2 w/w adresy.

Teraz wpisz w Geoportal adres: Kaplica 27b.

Dostaniesz znów 2 adresy (różnica w wielkości liter) – okazuje się że obydwa są poprawnie nadane (potwierdzone w urzędzie gminy), choć już przy wpisywaniu adresu na http://somonino.e-mapa.net/ serwis będzie Cię kierował tylko na ten na działce 129/3.

Zatem ostrożnie z kasowaniem danych!

Piotr_J wrote:

Sukcesywnie dodawać i poprawiać kody pocztowe na podstawie aktualnych danych Poczty Polskiej.

Jak to wygląda od strony licencyjnej?

Masz uzgodnione z Pocztą Polską wykorzystanie ich danych?

Nie wiem czy masz świadomość ale kody pocztowe są zasobem Poczty Polskiej - i tak wiem, że są również dostępne w Geoportalu, ale często są to inne kody niż podaje PP, więc jeśli zamierzasz wprost korzystać ze strony PP ( tak jak piszesz) to upewnij się że oni się na to godzą.

Piotr_J wrote:

Zauważyłem tego typu błędy jako pozostałości np. po zmianach dekomunizacyjnych.

Zalecam ostrożność w tym temacie. Samorządy często kierują sprawy do Sądów Administracyjnych które Zarządzenia Zastępcze ostatecznie uchylają.

EDIT:
Warto też abyś udostępnił kwerendy Overpass które będziesz wykorzystywał do identyfikacji opisanych punktów.

Last edited by szydzio (2021-02-01 16:53:25)

Offline

#3 2021-02-01 17:12:37

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,173

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Usunąć w całej Polsce błędne tagi place jeśli =city dla wszystkich adresów zawierających housenumber i zawierających street<> od city/place (...) Dla city<>place ustawić tag fixme

Przy jakim dokładnie filtrze?

W Nowej Hucie w Krakowie są adresy jak https://www.openstreetmap.org/node/1951084752 które są w pełni poprawne (adres nie odnosi się do ulicy, są osiedla gdzie są nazwane ulice które nie pojawiają w adresach, adresy są osiedlem indeksowane)

Dla city<>place ustawić tag fixme

Masowo wstawiane fixme dla automatycznie wykrywalnych problemów nie ma sensu.

https://taginfo.openstreetmap.org/tags/ … chronology jest od 2016

Razem z https://taginfo.openstreetmap.org/tags/ … chronology mamy 33 000 fixme które czekają, dodanie więcej nie pomoże.

Piotr_J wrote:

1. Usunąć w całej Polsce błędne tagi city jeśli =place dla wszystkich adresów zawierających housenumber i nie zawierających street. Zmiany przeprowadzić województwami. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

2. Usunąć w całej Polsce błędne tagi place jeśli =city dla wszystkich adresów zawierających housenumber i zawierających street<> od city/place. Zmiany przeprowadzić województwami. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

Mamy 33 000 fixme - więcej automatycznie dodanych fixme w niczym nie pomoże.

Last edited by Mateusz Konieczny (2021-02-01 17:18:18)

Offline

#4 2021-02-01 17:14:03

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,173

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Zmieniać błędne nazwy ulic w przypadku zauważenia niezgodności pomiędzy nazwą ulicy a nazwami użytymi w adresacji.

Ręcznie czy botem?

Ręcznie przy weryfikacji co się robi nie wymaga to zgody.


Przy automatyzacji - jak będzie wybierana poprawna wersja?

Offline

#5 2021-02-01 17:15:13

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,173

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Sukcesywnie dodawać i poprawiać kody pocztowe na podstawie aktualnych danych Poczty Polskiej

Jaka jest licencja tych danych?

Offline

#6 2021-02-01 17:18:26

Piotr_J
Member
Registered: 2021-01-14
Posts: 145

Re: Prośba o zgody na zmiany automatyczne

szydzio wrote:

Myślę, że edycja powiatami byłaby sensowniejsza.

Jeśli taka będzie wola społeczności... Zmienia to liczbę operacji dla proponowanych punktów 1. 2. 3. z 16 x 3 na 380 x 3. Ale ok, podporządkuję się.

szydzio wrote:

Jak konkretnie zamierzasz je poprawiać ?
Zatem ostrożnie z kasowaniem danych!

Spotkałem się już z podobnymi przypadkami. Szczerze mówiąc popawiałem tylko te adresy, które nie budziły wątpliwości, np. pochodziły z bardzo starych importów z EMUiA i nie pokrywały się zarówno z portalem gminnym e-mapa.net, jak i geoportalem. Jeśli te dwa źródła pokazywały zgodność i poprawny adres w miejscu duplikatu, to poprawiałem. Jeśli była wątpliwość, to nie dokonywałem zmian. Teraz dodatkowo będę oznaczał takie adrsy tagiem fixme. Mam nadzieję, że takie postępowanie jest poprawne?

szydzio wrote:

Jak to wygląda od strony licencyjnej?

Masz uzgodnione z Pocztą Polską wykorzystanie ich danych?

Dobra uwaga, zgłębię temat.

Offline

#7 2021-02-01 18:58:25

Piotr_J
Member
Registered: 2021-01-14
Posts: 145

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Ręcznie czy botem?

Ręcznie przy weryfikacji co się robi nie wymaga to zgody.


Przy automatyzacji - jak będzie wybierana poprawna wersja?

Nie używam żadnego bota. Przykład działania:
1. Przy imporcie z budynki.opoenstreetmap.orgp.pl zauważyłem dodanie adresów o błędnej nazwie np. "M. Kopernika" czy "Kopernika" zamiast "Mikołaja Kopernika".
2. Sprawdzam wszystkie lokalizacje, których dotyczy błąd i po upewnieniu się, że w danych lokalizacjach nazwa "Mikołaja Kopernika" jest poprawna tworzę odpowiednie zapytanie w Overpass.
3. Eksportuję kwerendę do JOSM.
4. W JOSM zmieniam nazwę w odpowiednim tagu street dla wszystkich uzyskanych lokalizacji z zapytania.
5. Waliduję dane i usuwam możliwe do usunięcie błędy.
6. Oznaczam niemożliwe do usunięcia duplikaty tagiem fixme.
6. Wysyłam poprawione dane.

Taka operacja może dotyczyć nawet kilkuset adresów. Również w różnych miejscowościach jednocześnie. Mam nadzieję, że takie dzianie nie będzie traktowane jako automatyczna zmiana.

Offline

#8 2021-02-01 19:01:48

Piotr_J
Member
Registered: 2021-01-14
Posts: 145

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Przy jakim dokładnie filtrze?

W Nowej Hucie w Krakowie są adresy jak https://www.openstreetmap.org/node/1951084752 które są w pełni poprawne (adres nie odnosi się do ulicy, są osiedla gdzie są nazwane ulice które nie pojawiają w adresach, adresy są osiedlem indeksowane)

Te adresy nie spełniają kryteria place=city więc nie są brane pod uwagę.

Offline

#9 2021-02-01 20:04:53

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,173

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

Taka operacja może dotyczyć nawet kilkuset adresów. Również w różnych miejscowościach jednocześnie. Mam nadzieję, że takie dzianie nie będzie traktowane jako automatyczna zmiana.

To zależy od tego czy na ślepo się to robi czy patrzy się co się zmienia.

Jak przeglądasz wszystkie wykonane zmiany to jest to OK i nie jest to automatyczna edycja.

Jak masowa zamiana bez przejrzenia obiektów to jest to automatyczna edycja. Jeśli np. nie zauważysz że zamieniasz też obiekt w innej miejscowości to była to automatyczna edycja.

Last edited by Mateusz Konieczny (2021-02-01 20:05:43)

Offline

#10 2021-02-01 22:10:28

Piotr_J
Member
Registered: 2021-01-14
Posts: 145

Re: Prośba o zgody na zmiany automatyczne

Piotr_J wrote:

1. Usunąć w całej Polsce błędne tagi city jeśli =place dla wszystkich adresów zawierających housenumber i nie zawierających street. Zmiany przeprowadzić województwami. Adresy oznaczone w JOSM jako duplikaty oznaczyć tagiem fixme. Będą widoczne dla wszystkich zainteresowanych poprawą. Ze swojej strony deklaruję się poprawiać je w najbliższym czasie.

Odpowiednia kwerenda dla woj. pomorskiego. Oczywiście mogę zmniejszyć obszar, ale po przemyśleniu proponuję bbox wielkości trochę ponad powiat.

[out:xml]/*fixed by auto repair*/[timeout:25];
// fetch area “pomorskie” to search in
{{geocodeArea:pomorskie}}->.searchArea;
// gather results
(
  node["addr:street"!~".*"]["addr:housenumber"]["addr:city"]["addr:place"](if: t["addr:city"] == t["addr:place"])(area.searchArea);
  way["addr:street"!~".*"]["addr:housenumber"]["addr:city"]["addr:place"](if: t["addr:city"] == t["addr:place"])(area.searchArea);
  relation["addr:street"!~".*"]["addr:housenumber"]["addr:city"]["addr:place"](if: t["addr:city"] == t["addr:place"])(area.searchArea);
);
// print results
out meta;/*fixed by auto repair*/
>;
out meta qt;/*fixed by auto repair*/

Jak widać nie ma tu zagrożenia uszkodzenia czegoś. Eliminujemy tylko czysty duplikat city jeśli =place.

Offline

#11 2021-02-02 19:33:32

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,173

Re: Prośba o zgody na zmiany automatyczne

@Piotr_J

Zrobisz osobny wątek na jedną z planowanych edycji tam gdzie jest wszystko wyjaśnione? Bo teraz łatwo się w tym wątku pogubić ze względu na omawianie importu i kilka niezależnych edycji równocześnie.

Offline

Board footer

Powered by FluxBB