kilka pytań na temat importów adresów i obrysów

janog · 2015-11-04 21:37:30

Mam kilka pytań związanych z importami danych adresowych i obrysów budynków.

1. Czemu nikt nie przeprowadzi importów dla całej Polski?

Z tego co rozumiem procedura importów wygląda tak, że ktoś wyraża w temacie na forum prośbę o przeprowadzenie importu i zazwyczaj taki import jest przeprowadzony. Czy nie lepiej by było pominąć proszenie i po prostu zaimportować wszystko?

2. Gdzie znajdę listę (a najlepiej mapę) pokazującą, w których miastach importy zostały już przeprowadzone?

Znalazłem jakąś listę na wiki, ale zdaje się nie jest ona aktualizowana. Czemu?

3. Czy jest sens dodawania samemu adresów w miastach, w których import nie został przeprowadzony?

Po pierwsze to trochę bezsensowna praca skoro może to zrobić automat. Po drugie, co się dzieje jak się importuje adresy na te które już istnieją? Nie spowoduje to duplikatów albo innych problemów?

4. A czy jest sens obrysowywać domy?

5. Czy narzędzie do importów można używać do innych rzeczy niż importy?

Np. jakiś czas temu zwróciłem uwagę, że w Łodzi jest pełno zdublowanych adresów. Odpowiedzią na zgłoszenie nie było poprawienie tych adresów tylko poinformowanie mnie, że import adresów został przeprowadzony starą wersją narzędzia i dlatego są tam duplikaty. Czy nie można wziąć tego narzędzia teraz i usunąć te duplikaty nie robiąc żadnego importu?

Na forum też pojawia się informacja o tym, że narzędzie merguje dane adresowe z obrysami budynków. Czy nie można teraz zaraz zmergować wszystkich adresów w całej Polsce z budynkami, na których one leżą?

6. Jaka jest przyszłość importów?

Czy to są jednorazowe akcje, takie że już raz zrobione nie będą powtarzane? Czy może jest plan np. co 5 lat usuwać zdeaktualizowane adresy oraz dodawać te nowo powstałe?

Jeśli jakiś trol w dyskusji będzie jedynie wypowiadał się na temat ortografii, to prosiłbym moderatora o usuwanie takich postów. Dzięki!

marimil · 2015-11-04 22:01:07

Odpowiem na niektóre pytania.

Importy przeprowadzane są cały czas. Dane pobierane są z różnych źródeł i są różnej jakości. Raczej nie ma porządnych danych dla całej PL.

Mapa dostępna jest pod adresem http://osmapa.pl/w/adresy/. Dodatkowo warstwa http://osmapa.pl/w/adresy/?lat=52.3&lon … oom=7&ol=P pokazuje kompletność adresów na gminę.

Co do aktualizacji - jeśli dane pochodzą z aktualizowanych źródeł to i w OSM mają szansę zostać zaktualizowane.

Jeśli chodzi o duble - są dwojakie:
1. niektóre pochodzą z danych adresowych obiektów (np. POI) wprowadzonych do OSM,
2. niektóre pochodzą z oryginalnych źródeł (np. dwie części tego samego budynku mają przypisany adres).

Last edited by marimil (2015-11-04 22:03:02)

Zibior2 · 2015-11-04 22:27:59

@janog: wzbudziłeś we mnie chęć odpowiedzi na Twoje pytania (trochę tych adresów zaimportowałem i trochę ogarniam temat), ale ostatnim zdaniem zabiłeś ją, bo sobie przypomniałem, że masz jakiś dziwnie roszczeniowy stosunek do OSM.

janog · 2015-11-04 23:03:56

marimil wrote:

Importy przeprowadzane są cały czas. Dane pobierane są z różnych źródeł i są różnej jakości. Raczej nie ma porządnych danych dla całej PL.

Dzięki za wyjaśnienia. Przy czym wciąż nie jest dla mnie jasne czy jest sens mapować adresy i budynki ręcznie, samemu. Pewnie nie ma porządnych danych z jednego źródła, ale pewnie wcześniej czy później będą?

marimil wrote:

Mapa dostępna jest pod adresem http://osmapa.pl/w/adresy/. Dodatkowo warstwa http://osmapa.pl/w/adresy/?lat=52.3&lon … oom=7&ol=P pokazuje kompletność adresów na gminę.

Fajne wizualizacje. Czyli w zasadzie wychodzi na to, że brakuje tych kilkudziesięciu gmin żeby mieć całą Polskę.

marimil wrote:

Co do aktualizacji - jeśli dane pochodzą z aktualizowanych źródeł to i w OSM mają szansę zostać zaktualizowane.

Czyli fakt, że import w danym miejscu się odbył, nie oznacza, że teraz jest pora żeby ręcznie poprawić dane. Tylko lepiej czekać na kolejny reimport?

marimil wrote:

Jeśli chodzi o duble - są dwojakie:
1. niektóre pochodzą z danych adresowych obiektów (np. POI) wprowadzonych do OSM,
2. niektóre pochodzą z oryginalnych źródeł (np. dwie części tego samego budynku mają przypisany adres).

Czyli jak na mapie są dwa takie same adresy obok siebie, to może to oznaczać, że mogą to być dwie części tego samego budynku i nie powinno się z tym nic robić?

Zbigniew_Czernik wrote:

@janog: wzbudziłeś we mnie chęć odpowiedzi na Twoje pytania (trochę tych adresów zaimportowałem i trochę ogarniam temat), ale ostatnim zdaniem zabiłeś ją, bo sobie przypomniałem, że masz jakiś dziwnie roszczeniowy stosunek do OSM.

Intencją ostatniego zdania było spowodowanie, żeby osoby niemające nic do powiedzenia w temacie adresów, siedziały cicho. Szkoda, że tego nie zrozumiałeś. Swoją drogą, uważam, że postawa w stylu "wiem, ale nie powiem", jest jeszcze bardziej żenująca niż czepianie się błędów ortograficznych.

Zibior2 · 2015-11-04 23:19:58

janog wrote:

Swoją drogą, uważam, że postawa w stylu "wiem, ale nie powiem", jest jeszcze bardziej żenująca niż czepianie się błędów ortograficznych.

Cieszę się, że masz swoje zdanie. Jednakże moja wiedza jest moją wiedzą i nie mam obowiązku się nią dzielić :-)

WiktorN · 2015-11-04 23:22:43

janog wrote:

Mam kilka pytań związanych z importami danych adresowych i obrysów budynków.
1. Czemu nikt nie przeprowadzi importów dla całej Polski?

To by zajęło dużo czasu. Import jednej gminy, w zależności od tego - w jakim jest stanie wymaga pracy od 15 minut do jednej godziny pracy. 2500 gmin oznacza +/- osoborok pracy. Więc robimy na raty, gmina po gminie.

janog wrote:

Z tego co rozumiem procedura importów wygląda tak, że ktoś wyraża w temacie na forum prośbę o przeprowadzenie importu i zazwyczaj taki import jest przeprowadzony. Czy nie lepiej by było pominąć proszenie i po prostu zaimportować wszystko?

Nie, procedura tak nie wygląda. Wszystko zależy od danych. Jeżeli dana gmina zacznie prowadzić ewidencję adresów w iMPA, to pewnie po niedługim czasie Zibi zaimportuje dane z tej gminy. Generalnie - z tego co się orientuję, to (prawie) wszystkie gminy, które są w iMPA, są zaimportowane do OSM.

Natomiast są gminy, które prowadzą ewidencję adresów w innych narzędziach - w takich przypadkach wiąże się to z wysłaniem prośby do gminy o udostępnienie danych i ewentualny import, czy też pobieranie danych z EMUiA GUGiK, którego jakoś jest bardzo różna, w zależności od gminy. Jedną z możliwości uruchomienia tego procesu jest prośba na forum.

To jest drugi argument za tym, że nie został zrobiony import dla całej Polski - każda gmina może prowadzić swoją ewidencję w inny sposób, co utrudnia taką masową akcję.

janog wrote:

2. Gdzie znajdę listę (a najlepiej mapę) pokazującą, w których miastach importy zostały już przeprowadzone?

Wizualizacja marimila wiele pokazuje, ja może w końcu przysiądę do tego, by pokazać rozjazd między tym co jest w OSM, a tym co jest w danych źródłowych. Ale czasu brakuje, pomoc by się przydała.

janog wrote:

3. Czy jest sens dodawania samemu adresów w miastach, w których import nie został przeprowadzony?

To zależy. Nie zawsze adresy są w danych źródłowych, więc może na taki trafisz. Z drugiej strony - to zależy, jakie źródła są dostępne w danej gminie.

janog wrote:

Po pierwsze to trochę bezsensowna praca skoro może to zrobić automat.

Jeżeli dostępne są adresy, to rzeczywiście szkoda czasu na to.

janog wrote:

Po drugie, co się dzieje jak się importuje adresy na te które już istnieją? Nie spowoduje to duplikatów albo innych problemów?

Sporo o tym, jak działa mechanizm importu starałem się opisać tutaj:
http://wiki.openstreetmap.org/wiki/Talk … rty/Adresy

Generalnie, istniejące adresy nie powinny powodować duplikatów, mogą natomiast powodować przesunięcia i tego typu problemu.

janog wrote:

5. Czy narzędzie do importów można używać do innych rzeczy niż importy?
Np. jakiś czas temu zwróciłem uwagę, że w Łodzi jest pełno zdublowanych adresów. Odpowiedzią na zgłoszenie nie było poprawienie tych adresów tylko poinformowanie mnie, że import adresów został przeprowadzony starą wersją narzędzia i dlatego są tam duplikaty. Czy nie można wziąć tego narzędzia teraz i usunąć te duplikaty nie robiąc żadnego importu?

Narzędzie do importu nie tworzy duplikatów (poza pewnymi wyjątkami), natomiast nie usuwa duplikatów, które są w bazie. Więc narzędzie w usuwaniu duplikatów Ci nie pomoże. Wiąże się to z tym, że jest wiele przypadków (szczególnie często występuje to w EMUiA GUGiK) - kiedy wiele budynków ma przypisany adres. I w sumie trudno mi powiedzieć, czy to jest dobrze, czy źle.

janog wrote:

Na forum też pojawia się informacja o tym, że narzędzie merguje dane adresowe z obrysami budynków. Czy nie można teraz zaraz zmergować wszystkich adresów w całej Polsce z budynkami, na których one leżą?

W zestawie narzędzi jest narzędzie to przeprowadzania takiej operacji. Ale by ta operacja zadziałała poprawnie, warto sprawdzić wpierw, czy budynki są dobrze narysowane oraz czy adresy są poprawnie naniesione na OSM. Trudno to na raz sprawdzić dla całej Polski. Na obszarze jednej gminy jest to do zweryfikowania w krótkim czasie.

janog wrote:

6. Jaka jest przyszłość importów?
Czy to są jednorazowe akcje, takie że już raz zrobione nie będą powtarzane? Czy może jest plan np. co 5 lat usuwać zdeaktualizowane adresy oraz dodawać te nowo powstałe?

Moim marzeniem jest, by udostępnić narzędzie do importu dla mas, tak byśmy byli w stanie utrzymać aktualność danych adresowych na poziomie 1-2 lata. Stąd pomysł na stworzenie wizualizacji, jakie są różnice między źródłami a OSM, a stąd droga do linka, który by ładował rzeczy do modyfikacji do JOSM-a nie jest daleka. No ale trzeba zacząć od wizualizaji.

balrog-kun · 2015-11-05 09:59:15

WiktorN wrote:

janog wrote:
Po drugie, co się dzieje jak się importuje adresy na te które już istnieją? Nie spowoduje to duplikatów albo innych problemów?
Sporo o tym, jak działa mechanizm importu starałem się opisać tutaj:
http://wiki.openstreetmap.org/wiki/Talk … rty/Adresy
Generalnie, istniejące adresy nie powinny powodować duplikatów, mogą natomiast powodować przesunięcia i tego typu problemu.

Jesli sa to dane zweryfikowane przez uzytkownikow, to takie przesuniecie nie powinno byc "problemem" tylko stanem poprawnym.

janog wrote:

Czyli fakt, że import w danym miejscu się odbył, nie oznacza, że teraz jest pora żeby ręcznie poprawić dane. Tylko lepiej czekać na kolejny reimport?

Zdecydowanie mozna poprawiac. Nie wiadomo czy i kiedy gmina poprawi swoje dane. Mozna jej zglosic bledy ale z efektami jest roznie.

Generalnie w OSM rzeczywiste dane wniesione przez uzytkownikow maja wieksza wartosc niz mirrory innych baz danych.

WiktorN wrote:

janog wrote:
5. Czy narzędzie do importów można używać do innych rzeczy niż importy?
Np. jakiś czas temu zwróciłem uwagę, że w Łodzi jest pełno zdublowanych adresów. Odpowiedzią na zgłoszenie nie było poprawienie tych adresów tylko poinformowanie mnie, że import adresów został przeprowadzony starą wersją narzędzia i dlatego są tam duplikaty. Czy nie można wziąć tego narzędzia teraz i usunąć te duplikaty nie robiąc żadnego importu?
Narzędzie do importu nie tworzy duplikatów (poza pewnymi wyjątkami), natomiast nie usuwa duplikatów, które są w bazie. Więc narzędzie w usuwaniu duplikatów Ci nie pomoże. Wiąże się to z tym, że jest wiele przypadków (szczególnie często występuje to w EMUiA GUGiK) - kiedy wiele budynków ma przypisany adres. I w sumie trudno mi powiedzieć, czy to jest dobrze, czy źle.

Mozna uzyc tez skryptow do importow adresow (nie tych samych, o ktorych pisze WiktorN) do usuwania duplikatow, ale wlasnie nie wiadomo czy zawsze nalezy je usuwac i jesli tak, to ktory adres zostawic. Mozna ich natomiast uzyc do znalezienia duplikatow i recznej pracy.

WiktorN wrote:

Moim marzeniem jest, by udostępnić narzędzie do importu dla mas, tak byśmy byli w stanie utrzymać aktualność danych adresowych na poziomie 1-2 lata. Stąd pomysł na stworzenie wizualizacji, jakie są różnice między źródłami a OSM, a stąd droga do linka, który by ładował rzeczy do modyfikacji do JOSM-a nie jest daleka. No ale trzeba zacząć od wizualizaji.

Bardzo sie boje takich narzedzi, w historii OSM bylo juz ich kilka i prowadza one do efektu czerwonych i zielonych punktow. Czerwone punkty (czerwone symbolicznie -- moze to byc np. lista "dziwnych" tagow, albo cokolwiek innego co w jakis sposob wskazuje palcem na konkretne obiekty), nawet jesli wedlug autora czy dokumentacji nie oznaczaja bledu a tylko jakis status obiektu, dla uzytkownika sa sygnalem o "bledzie" i impulsem do "wyczyszczenia" swojego obszaru. W wielu przypadkach to prowadzi do usuwania dobrych danych i przyjeciu stanu np. urzedowego za rzeczywistosc.

Last edited by balrog-kun (2015-11-05 10:01:20)

janog · 2015-11-05 19:51:05

Dziękuje za wyjaśnienia. Przy czym wciąż nie jest jasna dla mnie najważniejsza kwestia - czy jest sens mapować adresy i obrysy budynków. Z dyskusji wynika, że może mieć to sens, ale też równie dobrze może być to niepotrzebna praca. Niestety odnoszę wrażenie, że nie da się uzyskać na to jednoznacznej odpowiedzi. Szkoda.

Domiss · 2015-11-05 20:14:24

Obrysy budynków zawsze warto narysować.

Jeśli w danej gminie nie ma (lub prawie nie ma) adresów, to pewnie warto najpierw zapytać o możliwość importu. Jeśli jej nie ma, lub jeśli większość adresów już jest, tylko czegoś brakuje lub się nie zgadza, to jest sens uzupełnić/poprawić to ręcznie. Ja wprowadziłem ręcznie adresy dla małego miasteczka zbierając te dane w terenie i wcale nie żałuję potrzebnego na to czasu

WiktorN · 2015-11-05 21:21:02

balrog-kun wrote:

WiktorN wrote:
Moim marzeniem jest, by udostępnić narzędzie do importu dla mas, tak byśmy byli w stanie utrzymać aktualność danych adresowych na poziomie 1-2 lata. Stąd pomysł na stworzenie wizualizacji, jakie są różnice między źródłami a OSM, a stąd droga do linka, który by ładował rzeczy do modyfikacji do JOSM-a nie jest daleka. No ale trzeba zacząć od wizualizaji.
Bardzo sie boje takich narzedzi, w historii OSM bylo juz ich kilka i prowadza one do efektu czerwonych i zielonych punktow. Czerwone punkty (czerwone symbolicznie -- moze to byc np. lista "dziwnych" tagow, albo cokolwiek innego co w jakis sposob wskazuje palcem na konkretne obiekty), nawet jesli wedlug autora czy dokumentacji nie oznaczaja bledu a tylko jakis status obiektu, dla uzytkownika sa sygnalem o "bledzie" i impulsem do "wyczyszczenia" swojego obszaru. W wielu przypadkach to prowadzi do usuwania dobrych danych i przyjeciu stanu np. urzedowego za rzeczywistosc.

Ja wychodzę z założenia, że OSM nie poradzi sobie bez importów. Zebranie i wprowadzenie adresów w jednej gminie to pewnie wysiłek na >100rbh. A co więcej, wydaje mi się, nie ma sensu tego robić, jeżeli ktoś inny (a w szczególności - Państwo) to zrobił. Z drugiej strony - zostawianie takich importów w rękach paru wybrańców wydaje mi się sprzeczne z ideą OSM.

Celem dla mnie nie jest, by dane w OSM były zgodne ze stanem urzędowym i to chyba jest kwestia przyjęcia odpowiednich standardów, jak i komunikacji z użytkownikiem na stronie QA.

Z drugiej strony, jak ostatnio robiłem aktualizacje danych adresowych w Warszawie, to przeróżne kwiatki widziałem - i nie mówię o błędach wynikających ze słabych danych parę lat temu, ale też o tym, że użytkownicy OSM czasem też wprowadzali bzdury. Ciekawe też jest to, że po imporcie który robiłeś, przez 7 lat nikt tych błędów nie poprawił, a niektóre były oczywiste (typu - nagle wzdłuż ulicy pojawiają się adresy z inną nazwą ulicy, która jest oddalona o 500m-1000m - typowy błąd danych źródłowych, a nie widać go na mrówkach).

Bez narzędzi, to jedyny moment w którym jesteś w stanie to zauważyć, to gdy wbijesz adres w nawigacje i poprowadzi Cię nie tam gdzie trzeba. A to jest chyba za późno...

No bo kto mapując ulice/chodniki/czy cokolwiek innego, sprawdza przy okazji, czy adresy są zgodne z ulicami? Chyba trudno tego oczekiwać od mapowiczów.

rmikke · 2015-11-05 22:55:03

WiktorN wrote:

nagle wzdłuż ulicy pojawiają się adresy z inną nazwą ulicy, która jest oddalona o 500m-1000m - typowy błąd danych źródłowych, a nie widać go na mrówkach.

A czemu nie wyłazi w mrówkach?

WiktorN · 2015-11-05 23:02:33

rmikke wrote:

WiktorN wrote:
nagle wzdłuż ulicy pojawiają się adresy z inną nazwą ulicy, która jest oddalona o 500m-1000m - typowy błąd danych źródłowych, a nie widać go na mrówkach.
A czemu nie wyłazi w mrówkach?

Definicja żółtej mrówki: "> 1.5km do ulicy z taką nazwą". A tu akurat mieliśmy mniej niż 1.5km. Kłopot jest taki, że w terenach wiejskich trzeba by używać innych reguł niż w terenach silnie zurbanizowanych :-S

rmikke · 2015-11-05 23:24:48

WiktorN wrote:

rmikke wrote:
WiktorN wrote:
nagle wzdłuż ulicy pojawiają się adresy z inną nazwą ulicy, która jest oddalona o 500m-1000m - typowy błąd danych źródłowych, a nie widać go na mrówkach.
A czemu nie wyłazi w mrówkach?
Definicja żółtej mrówki: "> 1.5km do ulicy z taką nazwą". A tu akurat mieliśmy mniej niż 1.5km. Kłopot jest taki, że w terenach wiejskich trzeba by używać innych reguł niż w terenach silnie zurbanizowanych :-S

Hmm, a nie dałoby się zrobić reguły "trzy najbliższe ulice nazywają się inaczej"?

balrog-kun · 2015-11-06 10:15:09

WiktorN wrote:

Celem dla mnie nie jest, by dane w OSM były zgodne ze stanem urzędowym i to chyba jest kwestia przyjęcia odpowiednich standardów, jak i komunikacji z użytkownikiem na stronie QA.

O to tez mi chodzi, celem zwykle jest znalezienie i poprawienie bledow (albo aktualizacja danych tak jak w tym przypadku), ale to ma duzy efekt uboczny. Jestem ciekaw czy przez odpowiednia komunikacje da sie tego uniknac, ale doswiadczenie OSM wskazuje na to, ze nie.

WiktorN wrote:

Bez narzędzi, to jedyny moment w którym jesteś w stanie to zauważyć, to gdy wbijesz adres w nawigacje i poprowadzi Cię nie tam gdzie trzeba. A to jest chyba za późno...
No bo kto mapując ulice/chodniki/czy cokolwiek innego, sprawdza przy okazji, czy adresy są zgodne z ulicami? Chyba trudno tego oczekiwać od mapowiczów.

Tu chyba wracamy do dyskusji, ktora byla w innym watku o importowaniu adresow. Mysle, ze lepszy efekt niz laczenie w jednej wizualizacji QA i aktualizacji ma rozdzielenie tego: wizualizacja na potrzeby aktualizacji powinna pokazywac tylko zmiany w zrodle od czasu ostatniej aktualizacji informacji. W szczegolnosci nie powinna brac pod uwage roznic miedzy OSM a zewnetrzna baza, ktore moga wynikac z edycji.

A QA to mrowki, nawet jesli strona ma jeszcze pewne problemy.

Last edited by balrog-kun (2015-11-06 10:18:25)

WiktorN · 2015-11-06 10:58:35

balrog-kun wrote:

Tu chyba wracamy do dyskusji, ktora byla w innym watku o importowaniu adresow. Mysle, ze lepszy efekt niz laczenie w jednej wizualizacji QA i aktualizacji ma rozdzielenie tego: wizualizacja na potrzeby aktualizacji powinna pokazywac tylko zmiany w zrodle od czasu ostatniej aktualizacji informacji. W szczegolnosci nie powinna brac pod uwage roznic miedzy OSM a zewnetrzna baza, ktore moga wynikac z edycji.

Patrząc tylko na to, nie wyłapałbym błędnie zmienionych nazw ulic w OSM. Także patrzenie tylko na zmiany w źródle, to w mojej opinii za mało. W szczególności problem często dotyka budynków narożonych :-)

balrog-kun · 2015-11-06 14:37:17

WiktorN wrote:

balrog-kun wrote:
Tu chyba wracamy do dyskusji, ktora byla w innym watku o importowaniu adresow. Mysle, ze lepszy efekt niz laczenie w jednej wizualizacji QA i aktualizacji ma rozdzielenie tego: wizualizacja na potrzeby aktualizacji powinna pokazywac tylko zmiany w zrodle od czasu ostatniej aktualizacji informacji. W szczegolnosci nie powinna brac pod uwage roznic miedzy OSM a zewnetrzna baza, ktore moga wynikac z edycji.
Patrząc tylko na to, nie wyłapałbym błędnie zmienionych nazw ulic w OSM. Także patrzenie tylko na zmiany w źródle, to w mojej opinii za mało. W szczególności problem często dotyka budynków narożonych :-)

Ale zmienione nazwy ulic to kwestia QA, tu juz nie masz po co patrzec na zrodlo (zakladajac, ze dane adresowe zostaly wpierw zaktualizowane w OSM) a przynajmniej nie powinno to byc pomieszane z aktualizowaniem danych.

WiktorN · 2015-11-06 18:55:11

balrog-kun wrote:

WiktorN wrote:
Patrząc tylko na to, nie wyłapałbym błędnie zmienionych nazw ulic w OSM. Także patrzenie tylko na zmiany w źródle, to w mojej opinii za mało. W szczególności problem często dotyka budynków narożonych :-)
Ale zmienione nazwy ulic to kwestia QA, tu juz nie masz po co patrzec na zrodlo (zakladajac, ze dane adresowe zostaly wpierw zaktualizowane w OSM) a przynajmniej nie powinno to byc pomieszane z aktualizowaniem danych.

No ale takie rzeczy wyłapuję właśnie w procesie aktualizacji, bo wychodzi mi, że adres w OSM jest inny niż w źródle. I to jest przyczynek do tego, by sprawdzić, jak sprawa wygląda na miejscu. Bez odniesienia się do źródła, nigdy by nie przyszło mi do głowy, by to sprawdzić.

A to by oznaczało, że QA musi patrzeć na dane źródłowe.

rmikke · 2015-11-06 19:09:07

WiktorN wrote:

balrog-kun wrote:
WiktorN wrote:
Patrząc tylko na to, nie wyłapałbym błędnie zmienionych nazw ulic w OSM. Także patrzenie tylko na zmiany w źródle, to w mojej opinii za mało. W szczególności problem często dotyka budynków narożonych :-)
Ale zmienione nazwy ulic to kwestia QA, tu juz nie masz po co patrzec na zrodlo (zakladajac, ze dane adresowe zostaly wpierw zaktualizowane w OSM) a przynajmniej nie powinno to byc pomieszane z aktualizowaniem danych.
No ale takie rzeczy wyłapuję właśnie w procesie aktualizacji, bo wychodzi mi, że adres w OSM jest inny niż w źródle. I to jest przyczynek do tego, by sprawdzić, jak sprawa wygląda na miejscu. Bez odniesienia się do źródła, nigdy by nie przyszło mi do głowy, by to sprawdzić.
A to by oznaczało, że QA musi patrzeć na dane źródłowe.

A nie powinniśmy w wypadku, kiedy stwierdzamy, że dane rzeczywiste są różne od źródła importu, zostawiać gdzieś informacji co zostało zaimportowane? Choćby po to, żeby mozna było odsiać przy kolejnym porównaniu ze źródłem.

WiktorN · 2015-11-06 19:37:37

rmikke wrote:

WiktorN wrote:
balrog-kun wrote:
Ale zmienione nazwy ulic to kwestia QA, tu juz nie masz po co patrzec na zrodlo (zakladajac, ze dane adresowe zostaly wpierw zaktualizowane w OSM) a przynajmniej nie powinno to byc pomieszane z aktualizowaniem danych.
No ale takie rzeczy wyłapuję właśnie w procesie aktualizacji, bo wychodzi mi, że adres w OSM jest inny niż w źródle. I to jest przyczynek do tego, by sprawdzić, jak sprawa wygląda na miejscu. Bez odniesienia się do źródła, nigdy by nie przyszło mi do głowy, by to sprawdzić.
A to by oznaczało, że QA musi patrzeć na dane źródłowe.
A nie powinniśmy w wypadku, kiedy stwierdzamy, że dane rzeczywiste są różne od źródła importu, zostawiać gdzieś informacji co zostało zaimportowane? Choćby po to, żeby mozna było odsiać przy kolejnym porównaniu ze źródłem.

Ja to oznaczam teraz jako:
source:addr=survey

Co przy narzędziach do mergowania, przy obecnych algorytmach, wymaga krótkiej akcji. Idealnie by było mieć ref:addr (co jak się okazuje - w Czechach jest praktykowane), ale nie znalazłem zbyt wielu zwolenników takiego podejścia.

balrog-kun · 2015-11-06 19:57:18

WiktorN wrote:

balrog-kun wrote:
WiktorN wrote:
Patrząc tylko na to, nie wyłapałbym błędnie zmienionych nazw ulic w OSM. Także patrzenie tylko na zmiany w źródle, to w mojej opinii za mało. W szczególności problem często dotyka budynków narożonych :-)
Ale zmienione nazwy ulic to kwestia QA, tu juz nie masz po co patrzec na zrodlo (zakladajac, ze dane adresowe zostaly wpierw zaktualizowane w OSM) a przynajmniej nie powinno to byc pomieszane z aktualizowaniem danych.
No ale takie rzeczy wyłapuję właśnie w procesie aktualizacji, bo wychodzi mi, że adres w OSM jest inny niż w źródle. I to jest przyczynek do tego, by sprawdzić, jak sprawa wygląda na miejscu. Bez odniesienia się do źródła, nigdy by nie przyszło mi do głowy, by to sprawdzić.
A to by oznaczało, że QA musi patrzeć na dane źródłowe.

Przeciez mrowki wlasnie to, miedzy innymi, sprawdzaja. I jesli robisz aktualizacje to w OSM po niej masz dane przynajmniej tak dobre jak w zrodle, wiec do czego mialbys patrzec na dane zrodlowe?

WiktorN · 2015-11-06 20:02:43

balrog-kun wrote:

Przeciez mrowki wlasnie to, miedzy innymi, sprawdzaja. I jesli robisz aktualizacje to w OSM po niej masz dane przynajmniej tak dobre jak w zrodle, wiec do czego mialbys patrzec na dane zrodlowe?

Bo po roku - już nie są aktualne. Może ktoś zmienił nazwę na adresie, może ktoś coś usunął przez przypadek. Dopiero porównanie ze źródłem - pozwoli takie coś wychwycić. Patrzenie tylko na to, co się zmieniło w źródle, nigdy tego nie wyłapie.

Domiss · 2015-11-06 20:07:31

Aby zrobić to wszystko dobrze, potrzebna jest jeszcze jedna baza z adresami po drodze: z jednej strony porównuje, co zmieniło się w źródle, z drugiej strony jest w stanie porównać, co zmieniło się w tym czasie w OSM. Jakaś suma tych dwóch zbiorów daje adresy, którym w ogóle warto się przyglądać (zakładając, że w kopii stanu OSM trzymamy już przejrzane po ostatnim imporcie/aktualizacji adresy).

WiktorN · 2015-11-06 20:16:54

Domiss wrote:

Aby zrobić to wszystko dobrze, potrzebna jest jeszcze jedna baza z adresami po drodze: z jednej strony porównuje, co zmieniło się w źródle, z drugiej strony jest w stanie porównać, co zmieniło się w tym czasie w OSM. Jakaś suma tych dwóch zbiorów daje adresy, którym w ogóle warto się przyglądać (zakładając, że w kopii stanu OSM trzymamy już przejrzane po ostatnim imporcie/aktualizacji adresy).

Takie podejście wykluczam, bo znacząco utrudnia forkowanie projektu OSM. Moim zdaniem - wszystkie takie rzeczy powinniśmy umieć ogarnąć w ramach jednej bazy. Bo adresy to tylko jeden szczególny przypadek. Jest mnóstwo otwartych danych, z których moglibyśmy korzystać, ale dopóki nie nauczymy się sensownie korzystać z takich danych, to będziemy polegać na tytanicznej pracy społeczności, która może być czuć się zdemotywowana tym, że powtarza pracę, która już została wykonana.

Domiss · 2015-11-06 20:26:10

Chodzi właśnie o to, by pracy NIE powtarzać:
1) Konstruujemy Z jako zbiór tych adresów, które zmieniły się w źródle
2) Konstruujemy O jako zbiór tych adresów, które zmieniły się w OSM

Wyrzucamy z Z to, co już w OSM jest na właściwym miejscu (w odległości mniejszej, niż zadana). Wyrzucamy z O to, co zgadza się ze źródłem. Reszta to rzeczy nowe, które są tylko w źródle lub tylko w OSM - można tu być może zastosować jeszcze jakieś reguły specyficzne dla sprawdzania poprawności danych adresowych, ale zasadniczo większość tego trzeba zweryfikować ręcznie. Po ręcznej weryfikacji uaktualniamy kopię bazy adresów OSM.

Zamiast kopii adresów z OSM wystarczy zapewne pamiętać (dla każdej gminy osobno) datę (zakończenia) ostatniej aktualizacji adresów i na tej podstawie wyciągać z OSM zbiór O.

rmikke · 2015-11-06 21:31:51

WiktorN wrote:

Domiss wrote:
Aby zrobić to wszystko dobrze, potrzebna jest jeszcze jedna baza z adresami po drodze: z jednej strony porównuje, co zmieniło się w źródle, z drugiej strony jest w stanie porównać, co zmieniło się w tym czasie w OSM. Jakaś suma tych dwóch zbiorów daje adresy, którym w ogóle warto się przyglądać (zakładając, że w kopii stanu OSM trzymamy już przejrzane po ostatnim imporcie/aktualizacji adresy).
Takie podejście wykluczam, bo znacząco utrudnia forkowanie projektu OSM. Moim zdaniem - wszystkie takie rzeczy powinniśmy umieć ogarnąć w ramach jednej bazy. Bo adresy to tylko jeden szczególny przypadek. Jest mnóstwo otwartych danych, z których moglibyśmy korzystać, ale dopóki nie nauczymy się sensownie korzystać z takich danych, to będziemy polegać na tytanicznej pracy społeczności, która może być czuć się zdemotywowana tym, że powtarza pracę, która już została wykonana.

Da się zrobić, ale trzeba wprowadzić koncepcję importu jako nazwanego zbioru nierenderowanych danych i wrzucać dane z importu jako taki import, do osobnych obiektów. I potem te obiekty porównywać ze źródłem przy kolejnym imporcie z niego.

Announcement

#1 2015-11-04 21:37:30

kilka pytań na temat importów adresów i obrysów

#2 2015-11-04 22:01:07

Re: kilka pytań na temat importów adresów i obrysów

#3 2015-11-04 22:27:59

Re: kilka pytań na temat importów adresów i obrysów

#4 2015-11-04 23:03:56

Re: kilka pytań na temat importów adresów i obrysów

#5 2015-11-04 23:19:58

Re: kilka pytań na temat importów adresów i obrysów

#6 2015-11-04 23:22:43

Re: kilka pytań na temat importów adresów i obrysów

#7 2015-11-05 09:59:15

Re: kilka pytań na temat importów adresów i obrysów

#8 2015-11-05 19:51:05

Re: kilka pytań na temat importów adresów i obrysów

#9 2015-11-05 20:14:24

Re: kilka pytań na temat importów adresów i obrysów

#10 2015-11-05 21:21:02

Re: kilka pytań na temat importów adresów i obrysów

#11 2015-11-05 22:55:03

Re: kilka pytań na temat importów adresów i obrysów

#12 2015-11-05 23:02:33

Re: kilka pytań na temat importów adresów i obrysów

#13 2015-11-05 23:24:48

Re: kilka pytań na temat importów adresów i obrysów

#14 2015-11-06 10:15:09

Re: kilka pytań na temat importów adresów i obrysów

#15 2015-11-06 10:58:35

Re: kilka pytań na temat importów adresów i obrysów

#16 2015-11-06 14:37:17

Re: kilka pytań na temat importów adresów i obrysów

#17 2015-11-06 18:55:11

Re: kilka pytań na temat importów adresów i obrysów

#18 2015-11-06 19:09:07

Re: kilka pytań na temat importów adresów i obrysów

#19 2015-11-06 19:37:37

Re: kilka pytań na temat importów adresów i obrysów

#20 2015-11-06 19:57:18

Re: kilka pytań na temat importów adresów i obrysów

#21 2015-11-06 20:02:43

Re: kilka pytań na temat importów adresów i obrysów

#22 2015-11-06 20:07:31

Re: kilka pytań na temat importów adresów i obrysów

#23 2015-11-06 20:16:54

Re: kilka pytań na temat importów adresów i obrysów

#24 2015-11-06 20:26:10

Re: kilka pytań na temat importów adresów i obrysów

#25 2015-11-06 21:31:51

Re: kilka pytań na temat importów adresów i obrysów

Board footer