OpenStreetMap Forum

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Masowy import zabytków archeologicznych

Zamierzam dodać węzły z częścią zabytków z listy nid https://dane.gov.pl/dataset/210,rejestr … 0&q=&sort=

Pozycję każdego zabytku określam na podstawie mapy lidar, przy okazji upewniam się że nie powstaje duplikat.

Każdemu węzłowi nadam tagi na podstawie tej listy csv, a konkretnie:

heritage=2
heritage:operator=nid
historic=archaeological_site
historic:period=medieval
name=Grodzisko
description=Grodzisko z epoki średniowiecza
nid:inscription_date=1971-11-10
ref:inspire=PL.1.9.ZIPOZ.NID_A_32_AR.37760
ref:nid=691 z 1971-11-10
site_type=hill_fort
url=https://zabytek.pl/pl/obiekty/g-289741

historic:period – to będzie kolumna ‘chronologia’ (wartości będą w odpowiednim języku)

site_type – to kolumna ‘funkcja’ a stamtąd:

grób = burial
kopiec = earthworks
fortalicja, fortyfikacje = fortification
cmentarzysko = grave_field
grodzisko = hill_fort
osada = settlement
megalit = megalith
kurhan = tumulus

Do name nie chcę używać kolumny ‘nazwa’ z csv – one mówiłyby coś tylko archeologom, zamiast tego w name dam kolumnę ‘funkcja’ – to pozwoli od razu zorientować się co to za zabytek.

Nie wiem czy dodawać tag description – tam chciałem dać połączenie kolumn ‘funkcja’ i ‘chronologia’ – ale one i tak będą w tagach, z tym że po angielsku – a description jest po polsku.

Pozostałe tagi są standardowe.

Dla porządku dodam jeszcze:

source=nid
source:date=2020-04-22

Każdy węzeł będzie miał identyfikator inspire, jeśli ktoś będzie dodawał podobne rzeczy później – będzie mógł łatwo się zorientować które już istnieją.

Kiedy skończę z pozycjami dodam tu linka do gotowego osm.

Last edited by Stefan Paluch (2020-04-22 22:08:50)

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Masowy import zabytków archeologicznych

Do name nie chcę używać kolumny ‘nazwa’ z csv – one mówiłyby coś tylko archeologom, zamiast tego w name dam kolumnę ‘funkcja’ – to pozwoli od razu zorientować się co to za zabytek.

To, co jest w name, wygląda na ref i ja bym to dał np. jako ref:name.
To co jest w funkcji nie nadaje się na name, to są opisy i dają się wywnioskować z pozostałych tagów. Szczególnie taki twór jak "stanowisko archeologiczne". Natomiast "grodzisko" mogłoby być.

Nie wiem czy dodawać tag description – tam chciałem dać połączenie kolumn ‘funkcja’ i ‘chronologia’ – ale one i tak będą w tagach, z tym że po angielsku – a description jest po polsku.

Zbędne, skoro będą w innych tagach w bardziej przystępnej formie.

Pozycję każdego zabytku określam na podstawie mapy lidar, przy okazji upewniam się że nie powstaje duplikat.

Rozumiem, że jeśli nic nie widać na lidarze i na orto, to pominiesz zabytek?
Szczególnie nie widzę sensu dodawać cmentarzysk i stanowisk archeologicznych.

Kiedy skończę z pozycjami dodam tu linka do gotowego osm.

Podziel dane na mniejsze części, np. województwami. Ew. wg funkcji lub funkcja+województwo. Mniejsze pliki łatwiej sprawdzić i skorygować dane.

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Masowy import zabytków archeologicznych

historic=archaeological_site
name=Grodzisko
site_type=hill_fort

Po konsultacji z wiki, grodzisko powinno być oznaczone tagami:

historic=archaeological_site
site_type=fortification 
fortification_type=ringfort

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Po konsultacji z wiki, grodzisko powinno być oznaczone tagami:

historic=archaeological_site
site_type=fortification 
fortification_type=ringfort

O, dzięki - też bym tak wolał - to jest szczegółowe; tych grodzisk mają trzy typy:

Grodzisko stożkowe: te wyglądają jak 'ringfort' niemal wszystkie są ładnie okrągłe i wysokie

Grodzisko pierścieniowate: te też są okrągłe ale otacza je kilka linii takich wałów, jakby fosy takie, rowy z wodą

Grodzisko: tą etykietę wpisywali bardzo różnie - tak oznaczone są okrągłe, prostokątne, jakieś podwójne, potrójne, poczwórne jakieś

Patrzyłem w wikipedii - tam piszą o ringfort https://en.wikipedia.org/wiki/Ringfort - to zdaje się nazwa jakiegoś konkretnego rodzaju tych budowli - spotykane w północnej europie; w wiki osm jest też 'hill_fort' https://en.wikipedia.org/wiki/Hillfort - te wszystkie grodziska są tak jakoś na wzgórzach, dopiero te średniowieczne zaczęli na płaskim sypać wały - ja bym im wszystkim dał 'hill_fort'.

Do tych tagów wszystkich wszystkich dodam też :

source:geometry=isok

Gdyby ktoś przyszedł z reklamacją - że tam nic nie ma bo w orto widać tylko trawę.

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Przejrzałem wszystkie węzły i zrobiłem pliki osm (https://send.firefox.com/download/e2b14 … 9sgNtVD-Dw) - jeden ze wszystkimi i kilka mniejszych wg gatunku i numeru inspire.

Węzły z osm najlepiej przeglądać na podkładzie isok - w orto widać drzewa, trawę, jeśli już coś uda się wypatrzyć - to tylko jakiś cień, w lidar widać wszystko dokładnie - zdarza się że w okolicy węzła jest coś co wygląda identycznie - nie dodawałem takim miejscom nowych węzłów - są tylko te które mają identyfikatory inspire.

Wartości ‘name’ są z kolumny ‘funkcja’ csv, chyba że ciekawsze były na zabytek.pl; jedna nazwa jest z osm .

Pozycje węzłów różnią się od tych które można znaleźć na mapy.zabytek.gov.pl - poprzesuwałem je na miejsca gdzie faktycznie coś widać w lidar - wydaje mi się że nid miał na myśli właśnie te lokalizacje i identyfikatory dotyczą tych rzeczy (nie chcę ich ustawiać tam gdzie ma je nid - niech w osm wskazują pozycje gdzie są jakieś pozostałości a nie środek ulicy, albo postronny pagórek).

Zdarzało się że w wybranych miejscach były już jakieś węzły albo coś - ale żadnego z rodzaju historic= (z wyjątkiem jednego zamku, ale to nie duplikat - węzeł dotyczył całego ‘wzgórza’, a zamek - tylko zamku), zdarza się że na wzgórzu z grodziskiem stoi kościół - to też nie duplikat moim zdaniem; węzły starałem się ustawiać w oddaleniu od innych jeśli były - ale na obszarze zabytku. Bywało też że w dalszej okolicy nowego węzła było coś historic= - jeśli było blisko nowej pozycji i miało znajomy typ czy nazwę - uznawałem że to jest to i nie dodawałem nowego węzła.

Cmentarzyska - takie kurhanowe - łatwo zidentyfikować w lidar (im dałem site_type=tumulus i field=yes), gorzej z innymi - tym przesunąłem wskaźnik na najbliżej do nich znajdujące się wertepy, podobnie z jakimiś kopalniami itp. te potraktowałem podobnie do cmentarzysk - jeśli to jest nie do przyjęcia to pousuwam je całkiem.

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Ja bym chciał to wrzucić do osm jeśli nie ma przeciwwskazań.

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Masowy import zabytków archeologicznych

Ja mam kilka uwag, ale potrzebuję trochę czasu, by je spisać:)

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

O - to super - dzięki

Wcześniej pytałem nid czy można wykorzystać ich csv z dane.gov w osm - odpisali teraz że tagi (source... itd.) są ok w sensie "Warunków ponownego wykorzystywania informacji" (https://dane.gov.pl/dataset/210,rejestr … logicznych)

Last edited by Stefan Paluch (2020-04-30 18:03:12)

Cristoffs

Member

From: Łódź

Registered: 2018-11-27

Posts: 315

Re: Masowy import zabytków archeologicznych

Pisałeś z kimś konkretnym z NID?

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Pisałeś z kimś konkretnym z NID?

Wysłałem maila na ogólny @nid.pl, a odpisał gis@ po jakimś czasie

Cristoffs

Member

From: Łódź

Registered: 2018-11-27

Posts: 315

Re: Masowy import zabytków archeologicznych

Pytam, bo było by faine powalczyć z całą ich bazą ... robiłem podejście przez otwartezabytki.pl bo mają Bazę danych z koordynatami ale za Chiny nie mogę jej spiąć z danymi nid ...

Last edited by Cristoffs (2020-05-01 17:32:22)

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Pytam, bo było by faine powalczyć z całą ich bazą ... robiłem podejście przez otwartezabytki.pl bo mają Bazę danych z koordynatami ale za Chiny nie mogę jej spiąć z danymi nid ...

Na otwartezabytki.pl faktycznie nie mają inspire - ale mają 'Numer w rejestrze:' - te wyglądają jak kolumna 'WYKAZ_DOKUMENTOW' z csv (https://dane.gov.pl/dataset/210,rejestr … 0&q=&sort=  zmienili te numery od czasu kiedy je widziałem ostatnio - pododawali "/Arch") gdyby te były unikalne to udałoby się je połączyć wszystkie całkowicie :)

Cristoffs

Member

From: Łódź

Registered: 2018-11-27

Posts: 315

Re: Masowy import zabytków archeologicznych

Udało mi się skontaktować z NID. Istnieje szansa na otrzymanie danych bezpośrednio od nich. W formie SHP. Trzeba by tylko kilka spraw omówić jak technicznie się do tego zabrać. No i nie wszytkie dane mogą być "ogólnie dostepne", szczególnie te związane ze stanowiskami archeologicznymi z wiadomych względów. Natomiast wydaje się, że są otwarci na rozmowy w tym temacie.

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

To by było jeszcze lepiej

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Pododaję te punkty do osm, tylko zaktualizuje im numery bo się pozmieniały

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Masowy import zabytków archeologicznych

Stopniowe będę tu zamieszczał uwagi:

source=dane.gov.pl
source:date=2020-04-22

Te dane nie są potrzebne w węzłach, wystarczy je umieścić w danych całego zestawu. To jest aktualnie rekomendowane rozwiązanie przy importach.

source:geometry=isok

To są węzły, a nie obszary, więc poprawny klucz to source:position=isok.
To też bym przeniósł do zestawu, bo powtarza się on w każdym węźle.

name=Kurhan
historic=archaeological_site
site_type=tumulus

Czy pojedynczy kurhan nie powinien być oznaczony jako historic=tomb + tomb=tumulus, a tak jak podane wyżej tylko grupy kurhanów?

Czy nazwy w name, które są wzięte z kolumny funkcja i tak naprawdę są nazwami rodzajowymi a nie własnymi mogłyby być małymi literami? Tj. "grodzisko" zamiast "Grodzisko".
Czy opisy w nazwach mogłyby trafić do tagu description - np. "Cmentarzysko kurhanowe zwane dawniej Fodersdorfer Forst"?

cdn.

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Dzięki:)

source=dane.gov.pl
source:date=2020-04-22

Te są jako "czas pozyskania informacji" i "źródło informacji" (tego wymaga regulamin ponownego użycia z dane.gov - ale rzeczywiście nie muszą być przy każdym węźle)

source:geometry=isok

Faktycznie 'position' lepiej odzwierciedla naturę tej wartości - ten tag bym zostawił przy każdym węźle - ludzie autentycznie będą pisać komentarze o tym że nic nie ma w tej lokalizacji, że same krzaki i usuwać węzły - informacja o tym żeby patrzyli na podkład lidar może wiele z nich ocalić

Czy pojedynczy kurhan nie powinien być oznaczony jako historic=tomb + tomb=tumulus, a tak jak podane wyżej tylko grupy kurhanów?

E - tak - nie wiem czemu tak ich nie potraktowałem

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Masowy import zabytków archeologicznych

Czy dla tych danych mamy pewność że te miejsca istnieją? Czy zawierają one również przypadki gdy były wykopaliska a następnie lokalizacja została zniszczona (np. wykopem pod budowę autostrady).

name=Kurhan

jest błędne, to nazwa opisowa. Nie powinny być raczej dodane.

"tego wymaga regulamin ponownego użycia z dane.gov" czy nie wystarczy na opisie zmian? Jeśli muszą być na danym obiekcie to nie można ich do OSM zaimportować. Dane muszą być możliwe do przetworzenia w dowolnym sposób.

Chciałem przejrzeć plik OSM ale link wygasł. Może wrzuć na Github/Google Drive/pastebin, one tam dłużej żyją?

A, jeśli nie znacz to przejrzyj https://wiki.openstreetmap.org/wiki/Import/Guidelines (chyba że posta na liście imports i stronę na Wiki już zrobiłeś)

Last edited by Mateusz Konieczny (2020-05-26 20:51:09)

maraf24

Member

From: Wrocław

Registered: 2015-03-07

Posts: 2,114

Re: Masowy import zabytków archeologicznych

Czy dla tych danych mamy pewność że te miejsca istnieją? Czy zawierają one również przypadki gdy były wykopaliska a następnie lokalizacja została zniszczona (np. wykopem pod budowę autostrady).

To są dane z NID, nie powinno tam być takich błędów. Poza tym budowę drogi na stanowisku łatwo wykryć dzięki ortofomapie.

name=Kurhan

jest błędne, to nazwa opisowa. Nie powinny być raczej dodane.

Jest to nazwa opisowa, ale lokalnie taka nazwa obiektu może funkcjonować. Gorzej z innymi obecnymi tam nazwami, jak np. "Cmentarzysko ciałopalne".

Ja mam jednak zastrzeżenia do tych danych i ich weryfkacji.
Np. jest tam cmentarzystko z epoki brązu, w tym miejscu (na Google lepiej widać - to bielsze pole).
Czy to się nadaje do importu? To cmentarzysko jest pod ziemią, widać tylko pole uprawne.

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Masowy import zabytków archeologicznych

Czy dla tych danych mamy pewność że te miejsca istnieją? Czy zawierają one również przypadki gdy były wykopaliska a następnie lokalizacja została zniszczona (np. wykopem pod budowę autostrady).

To są dane z NID, nie powinno tam być takich błędów. Poza tym budowę drogi na stanowisku łatwo wykryć dzięki ortofomapie.

Pytanie czy to baza aktualnie istniejących miejsc czy zawiera też już nieistniejące. Możliwe że baza jest nie tyle błędna tyle że zawiera nie tylko to co nadal istnieje.

Poświęciłem sporo czasu (z 30? 70 godzin?) na odimportowanie 40 000 obiektów które były zaznaczone jako nieistniejącej w bazie którą ktoś zaimportował na ślepo.

Cmentarze w zalewach, kościoły na parkingach, szkoły na skrzyżowaniach... Np https://www.openstreetmap.org/node/358230694/history "Lille Post Office (historical)"

https://wiki.openstreetmap.org/wiki/Mec … added_them

Ja mam jednak zastrzeżenia do tych danych i ich weryfkacji.
Np. jest tam cmentarzystko z epoki brązu, w tym miejscu (na Google lepiej widać - to bielsze pole).
Czy to się nadaje do importu? To cmentarzysko jest pod ziemią, widać tylko pole uprawne.

Jestem przeciw importowi tego typu miejsc jeśli nawet tabliczki na miejscu nie ma.

https://wiki.openstreetmap.org/wiki/Verifiability

Last edited by Mateusz Konieczny (2020-05-27 00:36:55)

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Pytanie czy to baza aktualnie istniejących miejsc czy zawiera też już nieistniejące. Możliwe że baza jest nie tyle błędna tyle że
zawiera nie tylko to co nadal istnieje.

Sprawdziłem w lokalizacji każdego z węzłów czy na lidar coś widać i zostały tylko punkty gdzie coś jest

Ja mam jednak zastrzeżenia do tych danych i ich weryfkacji.
Np. jest tam cmentarzystko z epoki brązu, w tym miejscu (na Google lepiej widać - to bielsze pole).
Czy to się nadaje do importu? To cmentarzysko jest pod ziemią, widać tylko pole uprawne.

To rozsądne - wywaliłem wszystkie cmentarzyska inne niz kurhanowe - o tych wiadomo napewno że istnieją bo kurhan sterczy z ziemi i to widac w lidar

Jestem przeciw importowi tego typu miejsc jeśli nawet tabliczki na miejscu nie ma.

Nie przypuszczam żeby wszystkie miały własne tabliczki - ale jeśli widać je w lidar, i są w bazie NID to jest wystarczającym dowodem ich istnienia

Nowa wersja jest tutaj: https://send.firefox.com/download/af6cb … Dws_VMU-gA nazwy są powywalane niemal wszystkie, cmentarzyska powywalane (chyba że kurhanowe - te zostały)

Mateusz Konieczny

Member

Registered: 2013-09-22

Posts: 2,698

Re: Masowy import zabytków archeologicznych

Jestem przeciw importowi tego typu miejsc jeśli nawet tabliczki na miejscu nie ma.

Nie przypuszczam żeby wszystkie miały własne tabliczki - ale jeśli widać je w lidar, i są w bazie NID to jest wystarczającym dowodem ich istnienia

Jeśli na lidarze widać to powinno być OK.

edc22

Member

From: Kraków, Poland

Registered: 2018-07-09

Posts: 7

Re: Masowy import zabytków archeologicznych

Pozwolę sobie wtrącić się do dyskusji i przedstawić swój punkt widzenia na temat importu tej części obiektów listy która nie jest widoczna na powierzchni.

Proponuje zaimportować obiekty znajdujące się pod ziemią używając tagów do tego przeznaczonych, czyli:
location=underground i covered=yes (ewentualnie layer=-1)

Potraktowalibyśmy wtedy te przypadki analogicznie jak inne obiekty podziemne których nie widać na zdjęciach orto lub lidar (np: man_made=pipeline, power=cable) a które są mapowane.

Dane zaimportowane do osm byłyby wtedy bardziej kompletne, umożliwiając bardziej szczegółowe i kompletne wyszukiwania.
(A w opisanym przypadku ktoś mógłby się dowiedzieć dlaczego akurat, w tym miejscu, ta część pola uprawnego różni się wyglądem od innych pól.)

Weryfikowalność danych, w moim odczuciu, odnosi się do danych źródłowych wymienionych w tagu source.
Gdyby w tagu source było podane "survey" (a nie jest) to wtedy inny maper, mając te same dane (czyli będąc w tym samym fizycznym miejscu) mapując zgodnie z zasadami, uzyskałby ten sam wynik w osm.
Jeżeli w tagu source mamy "isok" (lidar) to wtedy inny maper, mając te same dane (czyli analizując dane z lidar) uzyskuje ten sam wynik.
Natomiast gdy korzystamy z dostępnej bazy danych, i w source mamy nazwę tej bazy to wtedy inny maper, mając te same dane (czyli analizując ten sam źródłowy zestaw danych) uzyskuje ten sam wynik.
Chce przez to powiedzieć, że weryfikowalność nie zawsze odnosi się do tego co widać w terenie ale w tym przypadku odnosi się do tego co widać w danych źródłowych (które uznajemy za równie wiarygodne)
Niewidocznych obiektów podziemnych wogóle nie da się weryfikować w terenie lecz jedynie poprzez dostęp do danych źródłowych innych niż zdjęcia powierzchni ziemi.

szydzio

Member

Registered: 2016-07-28

Posts: 785

Re: Masowy import zabytków archeologicznych

Chce przez to powiedzieć, że weryfikowalność nie zawsze odnosi się do tego co widać w terenie ale w tym przypadku odnosi się do tego co widać w danych źródłowych (które uznajemy za równie wiarygodne)

W tym sęk, że takich danych nie należy z automatu uznawać za wiarygodne. Gdybyśmy zawsze łatwowiernie wierzyli we wszystkie dane z jakiś baz danych mielibyśmy na przykład dziesiątki albo i setki kilometrów przejezdnych dróg (szczególnie tych lokalnych), które w gminnych serwisach widnieją jako istniejące podczas gdy w terenie są jeszcze mnóstwem zarośli.

Niewidocznych obiektów podziemnych wogóle nie da się weryfikować w terenie lecz jedynie poprzez dostęp do danych źródłowych innych niż zdjęcia powierzchni ziemi.

Niekoniecznie. Podziemne parkingi często są niewidoczne (z satelity) ale mogę tam wjechać autem i przekonać się, co tam jest. Co więcej, drugi maper też może tam wjechać i zweryfikować czy moje uzupełnienie było prawidłowe.
Ale jeśli podobno gdzieś coś jest, ale nikt nie może tego niezależnie zweryfikować, to takie coś nie powinno się znaleźć w OSM-ie.

Stefan Paluch

Member

Registered: 2019-05-12

Posts: 26

Re: Masowy import zabytków archeologicznych

Proponuje zaimportować obiekty znajdujące się pod ziemią używając tagów do tego przeznaczonych, czyli:
location=underground i covered=yes (ewentualnie layer=-1)

Potraktowalibyśmy wtedy te przypadki analogicznie jak inne obiekty podziemne których nie widać na zdjęciach orto lub lidar (np: man_made=pipeline, power=cable) a które są mapowane.

To dobry pomysł - ale już nie będę dręczył tych węzłów - zostawię tylko te które widać :)

Z tymi rzeczami są interesujące historie - kiedy je przeglądałem zauważyłem że sporo starych cmentarzysk zmieniło się w nowożytne cmentarze, na miejscach wielu grodzisk pobudowali kościoły; to w ogóle jest bardzo częste - stoi jakiś stary kopiec - a obok kościół (jakby miał "neutralizować" diabelski kurhan).

Najciekawsze były te kurhany które są na polach - często są zaorane tak że tylko zostało z nich małe wzniesienie, ale bardzo dużo jest takich które ocalały - przez pokolenia zostawiali sobie na środku pola kopiec gdzie rosną jakieś drzewa zamiast go spłaszczyć i odzyskać kawałek pola.

Last edited by Stefan Paluch (2020-06-03 20:11:38)