Prośba o import adresów

Zmiana numeracji miejscowość Chmielów gmina Nowa Dęba

http://sip.gison.pl/nowadeba

Myślałem o tym jednak w *description *często już coś jest więc wtedy powstaje pytanie jak to zapisać (ze średnikiem? po przecinku? w jakiej kolejności?), wybrałem zatem intuicyjnie note. Ale OK, mogę przy tego typu zmianach stosować też schemat=> old_addr:housenumber + old_addr:place

Zrobione => https://www.openstreetmap.org/changeset/76363175 + https://www.openstreetmap.org/changeset/76364621

Dawne wartości punktów adresowych zachowane w old_addr:housenumber + old_addr:place .

Cześć,

przygotowałem sobie zbiór adresów będący różnicą pomiędzy PRG, a OSM.
Wyszło mi że jest około 670 tys. adresów, które można by dodać z dużym prawdopodobieństwem, że się nic nie zduplikuje/popsuje etc.

Paczka do przejrzenia: http://ttomasz.owncube.com/index.php/s/LQf9LaWKRod3Xe3

PRG było ze stanu 2019-08-14, OSM trochę świeższe, ale podobnie więc nie są to najnowsze dane, ale mimo wszystko myślę, że warto by je dodać.

Mogę spróbować samemu to zaimportować jednak przy tej skali wolałem się skonsultować tutaj.
Jaki proces można by tutaj przyjąć, albo jak podzielić pracę żeby było dobrze?

Mogę przygotować te dane w dowolnej formie.

A ja się obawiam że z dużym prawdopodobieństwem będzie bardzo dużo duplikatów i dość sporo się popsuje.
Po pierwsze - w PRG jest mnóstwo błędów.
Przyjrzałem się ostatnio przykładowo danym PRG dla miasta Gniezno – dla 358 punktów adresowych nie ma w ogóle przypisanej ulicy (urzędnik po prostu nie dopisał i jest np. Gniezno 6), trzeba się domyślać jaka to może być ulica.
Poza tym mamy np. takie 2 kwiatki jak: Gniezno Karola Aleje Marcinkowskiego 20. i Gniezno Karola Aleje Marcinkowskiego 24. (tak, tak adres jest formalnie z kropką) – wbijcie sobie na Geoportalu i zobaczcie gdzie Wam je pokaże (dla tych którym się nie chce uchylę rąbka tajemnicy – w Kępnie!).
Ostatnio np. cała Mosina była gdzieś w województwie śląskim, gdyż „jest błąd w rejestrze PRG w GUGIK, gdyż gmina źle go zasiliła” takich przykładów jest mnóstwo. Jak je wychwycisz ?

Po drugie - surowe dane PRG nie są kompatybilne z OSM – choćby takie Św. tak ulubione w danych PRG to może być Świętego, Świętej albo Święty, to trzeba każdorazowo zweryfikować i poprawnie dopasować! Nie mówiąc już że jak masz ulicę J. Zielińskiego to domyśl się czy chodzi o Jana a może Józefa a może Jędrzeja.

Po trzecie - sporo adresów de facto w OSM nie brakuje a po prostu nie zostały zaktualizowane / poprawione.
Analizując wprost dane OSM v.s. PRG dojdziemy do wniosku że brakuje np. wszystkich punktów Poznań ul. Jana Keplera. A w istocie ich nie brakuje tylko są niepoprawnie opisane jako Johannesa Keplera.
Jeszcze ciekawiej wygląda sytuacja kiedy numeracja się zmienia.
Weźmy przytoczoną w tym wątku miejscowość Chmielów, gmina Nowa Dęba. Wrzucając wprost punkt Chmielów Tarnobrzeska 56 (którego obecnie brakuje), tylko zdublujesz dotychczasowy adres Chmielów 110, który należy zaktualizować do nowej wartości (tak aby była zachowana historia).

Reasumując – problemem nie jest wrzucenie punktów do bazy (całą gminę z PRG można wrzucić do OSM w kilka minut), problem to:

  1. weryfikacja poprawności danych
  2. dopasowanie danych do standardu OSM
  3. pożenienie wrzucanych danych z już istniejącymi punktami.

Zatem bardzo ostrożnie z masowym wrzucaniem punktów do bazy, ale sama analiza jest jak najbardziej cenna - pozwoli zobaczyć gdzie potencjalnie są braki / konieczność poprawy danych OSM.
Możesz z tego zrobić np. jakiś wykres/statystykę lub wizualizację a-la mrówki ?

@tomczk: Powiem ci, że ostatnio sam miałem dokładnie taki pomysł jak Ty :wink: Też zauważyłem, że importowanie adresacji nieco kuleje.

Ponieważ ewidencja adresów leży w kompetencji gminy, najlepiej więc podsumować to wg gmin.

Importy przy użyciu softu który napisał WiktorN, a które w większości robił Zbigniew Czernik, były robione właśnie pojedynczo dla danej gminy.
Był to proces półautomatyczny: najpierw były pobierane adresy z OSM, potem z gminy, następnie program wypluwał plik .osm do załadowania w JOSM-ie. Tam importujący przeglądał go, w razie potrzeby podmieniał nazwy ulic, robił inne czyszczenia, scalał z budynkami i potem wysyłał.
Niestety Zbyszek nie mapuje już regularnie w OSM, jednak narzędzia cały czas są na GitHubie. Ja próbowałem je odpalić, lecz miałem z nimi pewien problem i za mało determinacji, żeby z Wiktorem te błędy rozwiązać. Ale skoro jest popyt…
Na pewno warto skorzystać z nich, bo w tym procesie jest osadzony kawał wiedzy na temat tego, co gminy mogą “zgotować” oraz jak postępować z adresami.

Narzędzie Wiktora do importu z gminnych SIP-ów prowadzonych w systemie iMPA [gmina.e-mapa.net], przynajmniej w wersji on-line, działa bezproblemowo. Faktycznie, bywały problemy, ale po moim zgłoszeniu ich do Wiktora zostały szybko rozwiązane.
Nie wiem, jak wygląda sprawa z importem adresów z gmin prowadzących bazę w systemie/standardzie EMUiA.

Najważniejszą rzeczą jest właściwa interpretacja tagów fixme w pliku .osm z importu.
Przeprowadzanie importów jest tylko dla doświadczonych użytkowników, ponieważ przez nieświadome działania można rozwalić całą adresację w gminie (świetnie opisał to @szydzio).

Warto nie być “samolubnym” i zgłaszać problemy z adresami, które zostały wykryte podczas importu, przez zgłoszenie w SIP-ie gminy. Zaoszczędzi to czasu przy następnych importach i często pomoże różnym służbom, które korzystają bezpośrednio z bazy PRG.
W gminach korzystających z systemu iMPA (gmina.e-mapa.net), odpowiedź i rozwiązanie problemu następuje zazwyczaj następnego dnia roboczego.
Ogólnie rzecz biorąc, to w gminach korzystających z tego systemu jest (dużo) większy porządek i mała liczba błędów po stronie gminy, w odróżnieniu od wielu gmin korzystających z EMUiA - przynajmniej z mojegodoświadczenia :).

To prawda, że PRG ma dużo błędów.
Są adresy w miastach bez wpisanych nazw ulic albo z ulicą ‘???’ (trójmiasto).
Są adresy z numerem porządkowym zero, minus lub kilka takich znaków.
Są adresy z numerami ze spacjami ‘1 1’ itp.
Są adresy z numerami będącymi dokładnie nazwą ulicy. (Pewnie ktoś chciał sobie w emuia dodać w danym punkcie nazwę ulicy na mapie :slight_smile:
Są adresy zawierające w numerze słowo ‘test’, ‘brak’, ‘BN’, ‘B.N.’ itp.
Są adresy z numerami opisowymi jak ‘84CAMPING’.
Są adresy wpisane jako zakresy z przecinkami ‘1,2,3,4’ albo ‘42 do 45’.
Są adresy zduplikowane.
Kiedyś były 3 całe miasta zduplikowane bo ktoś kiedyś zmieniał system i stare obiekty nie zostały poprawnie zamknięte w PRG więc sobie wisiały. Ale to poprawili chyba w końcu po zgłoszeniu.
Są nieustandaryzowane znaczki w numerach: każdy rodzaj apostrofu (włącznie z kodowaniem xmlowym "), backslashe, losowe kropki albo kreski ‘|’, spacje na początku lub końcu.
W ramach jednego pliku nazwy miejscowości/ulic nie zgadzają się miedzy tym co jest w rekordzie z adresem i tym co jest w rekordzie z daną ulicą miejscowością.
Błędne kody teryt i pocztowe (00-000 bo kiedyś to było pole wymagane).
Stare nazwy ulic/miejscowości.
Oraz wiele innych błędów których nawet nie da się przewidzieć.
Są gminy które prowadziły lepiej lub gorzej rejestr w EMUiA, a potem ktoś odszedł z pracy i nikt inny nie umiał obsłużyć programu i wrócili do excela/worda i już nie akutalizują PRG.

Ale jak połączyć z TERYTem który teoretycznie jest najbardziej oficjalną bazą nazw miejscowości i ulic, bo teoretycznie pracownicy spisują nazwy ulic z uchwał gmin, a miejscowości z rozporządzenia; odfiltrować wszystko co się nie połączy lub co wygląda na niepoprawne to nie jest to bardzo tragiczny zbiór.

Zgadza się, że zmiana numeracji to spory problem. Jeżeli w gminie zmieniała się numeracja no to niestety inaczej niż ręcznie się nie poprawi.

Jeżeli chodzi o wizualizację to nie mam pomysłu na coś co da więcej informacji niż wrzucenie pliku podlinkowanego do QGIS. A nie bardzo mam czas robić z tego stronę.

Top10 po wycięciu dodatkowych adresów które są w pobliżu budynków z numerami. Pozbawia to dodatkowych adresów typu 1A, ale i powinno wyciąć większość przypadków adresów gdzie zmieniła się numeracja:
terc6 gmina liczba

326201 Szczecin 12038
101201 Radomsko 5700
126101 Kraków 5380
106101 Łódź 4848
106201 Piotrków Trybunalski 4779
306101 Kalisz 4730
121609 Tarnów 4101
121002 Chełmiec 3487
086101 Gorzów Wielkopolski 3407
086201 Zielona Góra 3206
Dla Szczecina z jakiegoś powodu w paczce OSM którą pobierałem w sierpniu prawie nie było adresów dlatego tutaj tak dużo wyszło, ale z tego co sprawdzałem to teraz już te adresy są.

Przykładowe pliczki osm zrobione na szybko jak ktoś woli w josm przeglądać: http://ttomasz.owncube.com/index.php/s/FCrKEgMQdNpk9kT

@RicoElectrico jak chcesz skrypty którymi robiłem swoje porównania między dwoma zbiorami to mogę podesłać

Nie jest to ustawowy obowiązek?

Obowiązek może i jest, ale czy sankcje za niewypełnienie jakieś są w ustawę wpisane? :slight_smile:
Zresztą GUGIK tego wcześniej nie specjalnie kontrolował. W końcu to obowiązek gminy nie ich żeby wrzucać coś do tego PRG. Teraz może jest inaczej, bo przecież to jest idealny klient do wdrożenia IMPA :slight_smile:

Gminy są pod tym względem trochę biedne, bo muszą wysyłać kopię swoich adresów do GUGIK żeby je do PRG dodać i jednocześnie do GUSu, bo oni mają swój własny rejestr NOBC z adresami. Oczywiście do obu w innej formie. Więc mamy dwa rejestry państwowe z adresami. Oba różnie aktualizowane zależnie czy gmina wysyła aktualizacje w jedno, oba czy żadne miejsce.

Bardzo fajne pliki pokazujące, gdzie brakuje adresów. Po porównaniu z ortofotomapą wiadomo, gdzie warto dodać, bo jest budynek lub budowa.
Jedyny błąd jaki zauważyłem, to zły tag z nazwą miejscowości, gdy nie ma ulicy. Powinien być addr:place, a jest użyty addr:city.

Dodatkowo: tag ref:addr jest zbędny.

Poprawiłem addr:city/place
pogrupowane po terc: http://ttomasz.owncube.com/index.php/s/Qz887NzYxw4oc87
pogrupowane po simc: http://ttomasz.owncube.com/index.php/s/K5aEQCiA6ffJcmW

zostawiłem addr:city:simc bo z tego co widziałem tylko ze 2-3 gminy mają addr:place:simc a reszta nie (http://overpass-turbo.eu/s/NDU)

Zrobione => https://www.openstreetmap.org/changeset/76553115 + https://www.openstreetmap.org/changeset/76575256
Dawne wartości punktów adresowych zachowane w old_addr:housenumber + old_addr:place .

Zrobiłem sobie pomocnicze narzędzie do danych wcześniej wspomnianych: http://51.77.58.206/#15/50.67116/22.67076
Wrzuciłem tam te punkty adresowe.
Można dynamicznie wygenerować kawałek z punktami z zakresu widoku mapy w formacie josm.

Dodałem do tego też obrysy budynków zrobione na podstawie Modeli budynków 3D z geoportalu (LOD1), które nie stykają się z budynkami z OSM. Również można dynamicznie wygenerować kawałek z widoku mapy w formacie josm.
Z tego co wyczytałem w tej ich licencji nie powinno być problemu z importem do OSM dopóki jest podawane źródło.
Na tę chwilę nie ogarnąłem jeszcze wszystkich kafelków wektorowych i budynki wyświetlają się tylko na pewnym poziomie “zoom” (czerwone poligony).

Przykłady:
http://51.77.58.206/#15/50.66809/22.62611
http://51.77.58.206/#17.05/50.711777/22.396902

Rewelacyjne narzędzie. Bardzo przydatne i łatwo dostępne brakujące dane na OSM :slight_smile:

Zrobione => https://www.openstreetmap.org/changeset/76956424

Jak często się odświeża?

Tak.

To było pytanie do mapy od @tomczk, a nie poprzedniego postu :wink:

Na razie wygląda na to, że dane się nie odświeżają.

Trzeba pamiętać, że to jest źródło nieaktualne - przed wrzucieniem budynków do OSM należy zweryfikować ich istnienie.