Masowy import zabytków archeologicznych

Zamierzam dodać węzły z częścią zabytków z listy nid https://dane.gov.pl/dataset/210,rejestr-zabytkow-archeologicznych/resource/21154/table?page=1&per_page=20&q=&sort=

Pozycję każdego zabytku określam na podstawie mapy lidar, przy okazji upewniam się że nie powstaje duplikat.

Każdemu węzłowi nadam tagi na podstawie tej listy csv, a konkretnie:

heritage=2
heritage:operator=nid
historic=archaeological_site
historic:period=medieval
name=Grodzisko
description=Grodzisko z epoki średniowiecza
nid:inscription_date=1971-11-10
ref:inspire=PL.1.9.ZIPOZ.NID_A_32_AR.37760
ref:nid=691 z 1971-11-10
site_type=hill_fort
url=https://zabytek.pl/pl/obiekty/g-289741

historic:period – to będzie kolumna ‘chronologia’ (wartości będą w odpowiednim języku)

site_type – to kolumna ‘funkcja’ a stamtąd:

grób = burial
kopiec = earthworks
fortalicja, fortyfikacje = fortification
cmentarzysko = grave_field
grodzisko = hill_fort
osada = settlement
megalit = megalith
kurhan = tumulus

Do name nie chcę używać kolumny ‘nazwa’ z csv – one mówiłyby coś tylko archeologom, zamiast tego w name dam kolumnę ‘funkcja’ – to pozwoli od razu zorientować się co to za zabytek.

Nie wiem czy dodawać tag description – tam chciałem dać połączenie kolumn ‘funkcja’ i ‘chronologia’ – ale one i tak będą w tagach, z tym że po angielsku – a description jest po polsku.

Pozostałe tagi są standardowe.

Dla porządku dodam jeszcze:

source=nid
source:date=2020-04-22

Każdy węzeł będzie miał identyfikator inspire, jeśli ktoś będzie dodawał podobne rzeczy później – będzie mógł łatwo się zorientować które już istnieją.

Kiedy skończę z pozycjami dodam tu linka do gotowego osm.

To, co jest w name, wygląda na ref i ja bym to dał np. jako ref:name.
To co jest w funkcji nie nadaje się na name, to są opisy i dają się wywnioskować z pozostałych tagów. Szczególnie taki twór jak “stanowisko archeologiczne”. Natomiast “grodzisko” mogłoby być.

Zbędne, skoro będą w innych tagach w bardziej przystępnej formie.

Rozumiem, że jeśli nic nie widać na lidarze i na orto, to pominiesz zabytek?
Szczególnie nie widzę sensu dodawać cmentarzysk i stanowisk archeologicznych.

Podziel dane na mniejsze części, np. województwami. Ew. wg funkcji lub funkcja+województwo. Mniejsze pliki łatwiej sprawdzić i skorygować dane.

Po konsultacji z wiki, grodzisko powinno być oznaczone tagami:

historic=archaeological_site
site_type=fortification 
fortification_type=ringfort

O, dzięki - też bym tak wolał - to jest szczegółowe; tych grodzisk mają trzy typy:

Grodzisko stożkowe: te wyglądają jak ‘ringfort’ niemal wszystkie są ładnie okrągłe i wysokie

Grodzisko pierścieniowate: te też są okrągłe ale otacza je kilka linii takich wałów, jakby fosy takie, rowy z wodą

Grodzisko: tą etykietę wpisywali bardzo różnie - tak oznaczone są okrągłe, prostokątne, jakieś podwójne, potrójne, poczwórne jakieś

Patrzyłem w wikipedii - tam piszą o ringfort https://en.wikipedia.org/wiki/Ringfort - to zdaje się nazwa jakiegoś konkretnego rodzaju tych budowli - spotykane w północnej europie; w wiki osm jest też ‘hill_fort’ https://en.wikipedia.org/wiki/Hillfort - te wszystkie grodziska są tak jakoś na wzgórzach, dopiero te średniowieczne zaczęli na płaskim sypać wały - ja bym im wszystkim dał ‘hill_fort’.

Do tych tagów wszystkich wszystkich dodam też :

source:geometry=isok

Gdyby ktoś przyszedł z reklamacją - że tam nic nie ma bo w orto widać tylko trawę.

Przejrzałem wszystkie węzły i zrobiłem pliki osm (https://send.firefox.com/download/e2b141d508fb793a/#Uhs2ipjyRCgB9sgNtVD-Dw) - jeden ze wszystkimi i kilka mniejszych wg gatunku i numeru inspire.

Węzły z osm najlepiej przeglądać na podkładzie isok - w orto widać drzewa, trawę, jeśli już coś uda się wypatrzyć - to tylko jakiś cień, w lidar widać wszystko dokładnie - zdarza się że w okolicy węzła jest coś co wygląda identycznie - nie dodawałem takim miejscom nowych węzłów - są tylko te które mają identyfikatory inspire.

Wartości ‘name’ są z kolumny ‘funkcja’ csv, chyba że ciekawsze były na zabytek.pl; jedna nazwa jest z osm :).

Pozycje węzłów różnią się od tych które można znaleźć na mapy.zabytek.gov.pl - poprzesuwałem je na miejsca gdzie faktycznie coś widać w lidar - wydaje mi się że nid miał na myśli właśnie te lokalizacje i identyfikatory dotyczą tych rzeczy (nie chcę ich ustawiać tam gdzie ma je nid - niech w osm wskazują pozycje gdzie są jakieś pozostałości a nie środek ulicy, albo postronny pagórek).

Zdarzało się że w wybranych miejscach były już jakieś węzły albo coś - ale żadnego z rodzaju historic= (z wyjątkiem jednego zamku, ale to nie duplikat - węzeł dotyczył całego ‘wzgórza’, a zamek - tylko zamku), zdarza się że na wzgórzu z grodziskiem stoi kościół - to też nie duplikat moim zdaniem; węzły starałem się ustawiać w oddaleniu od innych jeśli były - ale na obszarze zabytku. Bywało też że w dalszej okolicy nowego węzła było coś historic= - jeśli było blisko nowej pozycji i miało znajomy typ czy nazwę - uznawałem że to jest to i nie dodawałem nowego węzła.

Cmentarzyska - takie kurhanowe - łatwo zidentyfikować w lidar (im dałem site_type=tumulus i field=yes), gorzej z innymi - tym przesunąłem wskaźnik na najbliżej do nich znajdujące się wertepy, podobnie z jakimiś kopalniami itp. te potraktowałem podobnie do cmentarzysk - jeśli to jest nie do przyjęcia to pousuwam je całkiem.

Ja bym chciał to wrzucić do osm jeśli nie ma przeciwwskazań.

Ja mam kilka uwag, ale potrzebuję trochę czasu, by je spisać:)

O - to super - dzięki

Wcześniej pytałem nid czy można wykorzystać ich csv z dane.gov w osm - odpisali teraz że tagi (source… itd.) są ok w sensie “Warunków ponownego wykorzystywania informacji” (https://dane.gov.pl/dataset/210,rejestr-zabytkow-archeologicznych)

Pisałeś z kimś konkretnym z NID?

Wysłałem maila na ogólny @nid.pl, a odpisał gis@ po jakimś czasie

Pytam, bo było by faine powalczyć z całą ich bazą … robiłem podejście przez otwartezabytki.pl bo mają Bazę danych z koordynatami ale za Chiny nie mogę jej spiąć z danymi nid …

Na otwartezabytki.pl faktycznie nie mają inspire - ale mają ‘Numer w rejestrze:’ - te wyglądają jak kolumna ‘WYKAZ_DOKUMENTOW’ z csv (https://dane.gov.pl/dataset/210,rejestr-zabytkow-archeologicznych/resource/21154/table?page=1&per_page=20&q=&sort= zmienili te numery od czasu kiedy je widziałem ostatnio - pododawali “/Arch”) gdyby te były unikalne to udałoby się je połączyć wszystkie całkowicie

Udało mi się skontaktować z NID. Istnieje szansa na otrzymanie danych bezpośrednio od nich. W formie SHP. Trzeba by tylko kilka spraw omówić jak technicznie się do tego zabrać. No i nie wszytkie dane mogą być “ogólnie dostepne”, szczególnie te związane ze stanowiskami archeologicznymi z wiadomych względów. Natomiast wydaje się, że są otwarci na rozmowy w tym temacie.

To by było jeszcze lepiej

Pododaję te punkty do osm, tylko zaktualizuje im numery bo się pozmieniały

Stopniowe będę tu zamieszczał uwagi:

source=dane.gov.pl
source:date=2020-04-22

Te dane nie są potrzebne w węzłach, wystarczy je umieścić w danych całego zestawu. To jest aktualnie rekomendowane rozwiązanie przy importach.

source:geometry=isok

To są węzły, a nie obszary, więc poprawny klucz to source:position=isok.
To też bym przeniósł do zestawu, bo powtarza się on w każdym węźle.

name=Kurhan
historic=archaeological_site
site_type=tumulus

Czy pojedynczy kurhan nie powinien być oznaczony jako historic=tomb + tomb=tumulus, a tak jak podane wyżej tylko grupy kurhanów?

Czy nazwy w name, które są wzięte z kolumny funkcja i tak naprawdę są nazwami rodzajowymi a nie własnymi mogłyby być małymi literami? Tj. “grodzisko” zamiast “Grodzisko”.
Czy opisy w nazwach mogłyby trafić do tagu description - np. “Cmentarzysko kurhanowe zwane dawniej Fodersdorfer Forst”?

cdn.

Dzięki:)

Te są jako “czas pozyskania informacji” i “źródło informacji” (tego wymaga regulamin ponownego użycia z dane.gov - ale rzeczywiście nie muszą być przy każdym węźle)

Faktycznie ‘position’ lepiej odzwierciedla naturę tej wartości - ten tag bym zostawił przy każdym węźle - ludzie autentycznie będą pisać komentarze o tym że nic nie ma w tej lokalizacji, że same krzaki i usuwać węzły - informacja o tym żeby patrzyli na podkład lidar może wiele z nich ocalić

E - tak - nie wiem czemu tak ich nie potraktowałem

Czy dla tych danych mamy pewność że te miejsca istnieją? Czy zawierają one również przypadki gdy były wykopaliska a następnie lokalizacja została zniszczona (np. wykopem pod budowę autostrady).

name=Kurhan

jest błędne, to nazwa opisowa. Nie powinny być raczej dodane.

“tego wymaga regulamin ponownego użycia z dane.gov” czy nie wystarczy na opisie zmian? Jeśli muszą być na danym obiekcie to nie można ich do OSM zaimportować. Dane muszą być możliwe do przetworzenia w dowolnym sposób.

Chciałem przejrzeć plik OSM ale link wygasł. Może wrzuć na Github/Google Drive/pastebin, one tam dłużej żyją?

A, jeśli nie znacz to przejrzyj https://wiki.openstreetmap.org/wiki/Import/Guidelines (chyba że posta na liście imports i stronę na Wiki już zrobiłeś)

To są dane z NID, nie powinno tam być takich błędów. Poza tym budowę drogi na stanowisku łatwo wykryć dzięki ortofomapie.

Jest to nazwa opisowa, ale lokalnie taka nazwa obiektu może funkcjonować. Gorzej z innymi obecnymi tam nazwami, jak np. “Cmentarzysko ciałopalne”.

Ja mam jednak zastrzeżenia do tych danych i ich weryfkacji.
Np. jest tam cmentarzystko z epoki brązu, w tym miejscu (na Google lepiej widać - to bielsze pole).
Czy to się nadaje do importu? To cmentarzysko jest pod ziemią, widać tylko pole uprawne.

Pytanie czy to baza aktualnie istniejących miejsc czy zawiera też już nieistniejące. Możliwe że baza jest nie tyle błędna tyle że zawiera nie tylko to co nadal istnieje.

Poświęciłem sporo czasu (z 30? 70 godzin?) na odimportowanie 40 000 obiektów które były zaznaczone jako nieistniejącej w bazie którą ktoś zaimportował na ślepo.

Cmentarze w zalewach, kościoły na parkingach, szkoły na skrzyżowaniach… Np https://www.openstreetmap.org/node/358230694/history “Lille Post Office (historical)”

https://wiki.openstreetmap.org/wiki/Mechanical_Edits/Mateusz_Konieczny_-_bot_account/remove_objects_that_are_not_existing_according_to_source_of_import_that_added_them

Jestem przeciw importowi tego typu miejsc jeśli nawet tabliczki na miejscu nie ma.

https://wiki.openstreetmap.org/wiki/Verifiability