You are not logged in.

Announcement

*** NOTICE: After 30th of September 2022 the forum.openstreetmap.org will be retired, please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2021-05-14 22:16:50

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Polskie kafelki

Dobra wiadomość na początek weekendu - mamy wreszcie testowe wdrożenie polskich kafelków w stylu osm-carto na osmapie:

https://tiles.osmapa.pl

Na razie jest to wdrożenie testowe - z grubsza działa, ale robiłem to pierwszy raz i mogą wyjść jeszcze różne problemy. Zapraszam do zgłaszania ich w tym wątku.

Cechy szczególne (w odróżnieniu od wdrożenia na serwerach OSMF):
- kafelki obejmują tylko teren Polski
- powiększenie do z20
- odświeżanie bazy co 5 minut

Do poziomu z16 włącznie kafelki są prerenderowane, więc mapka działa dość szybko (bo to jest tylko serwowanie obrazków), a powyżej tej granicy trzeba chwilkę zaczekać aż się wyprodukują. Po jakimś czasie powinno być lepiej, bo w popularnych miejscach ktoś już przetrze szlak i kafelki też będą gotowe.

Offline

#2 2021-05-14 23:11:31

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 2,013
Website

Re: Polskie kafelki

Och, a już zdążyłem się napalić na cały świat z polskimi lub angielskimi nazwami, jeśli są...

Offline

#3 2021-05-14 23:44:12

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Spoko, ja też się napalam na wszystko, tylko wiesz - zaczynamy od jednej dobrze zdefiniowanej rzeczy i powoli dodajemy po kawałku. To ma być jednak beta, a nie PoC...

Offline

#4 2021-05-15 06:48:37

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,686

Re: Polskie kafelki

Zapisujesz gdzieś co trzeba było zrobić by serwer postawić? MIałem ochotę się za coś takiego zabrać ale przerażała mnie konieczność odkrycia tego wszystkiego.

Offline

#5 2021-05-15 10:51:12

starsep
Member
From: Warszawa
Registered: 2020-12-30
Posts: 66

Re: Polskie kafelki

Super, że coś takiego powstaje. Dzięki!

Fajnie byłoby rzeczywiście móc ten setup powtórzyć. Na Discordzie widziałem, że edytujecie configi "z palca" - może dałoby się, gdzieś je zapisać np. jakieś repozytorium na GitHubie?

Dostaję takie warningi w Firefoxie:
Loading mixed (insecure) display content “http://tiles.osmapa.pl/hot/16/36598/21586.png” on a secure page (leaflet.js:5:111025)

Offline

#6 2021-05-15 12:04:14

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Nie piszę, tylko odtwarzam, bo ktoś już napisał smile :

https://switch2osm.org/serving-tiles/ma … 20-04-lts/

Dość dokładnie podążałem za tym opisem.

Nie wszystko poszło gładko i uczę się co się może popsuć i co z tym robić. Był problem taki, że dane ze skryptu się nie wczytały całkiem, ale skrypt nie dał znać, więc byłem nieświadomy czemu brakuje części elementów. Był też jakiś problem z indeksami i wszystko chodziło strasznie powoli. Dzięki pomocy kolegów udało się znaleźć tę przyczynę i poszło - nie jestem pewien teraz ile tuningowania Postgresa było potrzebne, a ile nie, to znów wymagałoby testów i pewnie czystej instalacji.

To w sumie proste błędy, tylko debugowanie jest trudne, więc trudno to opisać. Wczoraj odkryliśmy w ramach testów, że brakowało różnych losowych elementów, np. Puszczy Darzlubskiej, granic Kampinoskiego Parku Narodowego (ale już nie obszarów chronionych wewnątrz) czy obszaru zabudowanego Karwowo w Sochaczewie - nie było ich chyba w bazie. Nad ranem zrobiłem reimport i się naprawiło. Znów - nie wiem czemu tak było, ale problem naprawiło się łatwo. Teraz aktualizacja bazy nadgania i ma już tylko z godzinę opóźnienia. Ciekaw jestem jak będą się aktualizowały wcześniejsze poziomy przybliżenia i jak szybko będzie widać zmiany w bazie. Ale to wszystko wymaga głównie obserwacji i dopasowywania, żeby się system nie zapchał. Stąd też porobiłem te prerenderowane kafelki, bo nie chciałem zarżnąć serwera i zniechęcić ludzi, że nie da się nawigować. Pewnie jakbym robił nowe wdrożenie od zera, to byłoby łatwiej.

Kafelkom poprawiłem adres na HTTPS, powinno pomóc na ten problem - u mnie Firefox pokazał zwykłą kłódeczkę. To też rzecz, którą wziąłem z gotowców i trzeba było ręcznie zmienić ze względu na lokalne warunki.

Offline

#7 2021-05-15 12:17:39

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Bardzo przepraszam, jak próbowałem naprawić mixed content, to niechcący zacząłem znów import, co natychmiast rozwaliło bazę, więc importuję jeszcze raz - to zajmuje prawie 2h...  roll

I to są takie właśnie głównie problemy - nieuwaga, pośpiech, niezrozumienie jak to działa, potrzeba jakiegoś pomocniczego skryptu.... hmm Jeśli będziecie chcieli pomocy we własnym wdrożeniu, to dajcie mi znać. Polecam zacząć od jakiegoś małego obszaru w rodzaju województwa (mazowieckie mi się wczytuje w domu w 2 minuty, więc reimport nic nie kosztuje w porównaniu z całą Polską).

Mateusz -  jeden z tych problemów, które warto naprawić, to dodanie prostych komunikatów w skrypcie pythonowym, co się udało, a co poszło nie tak, zaoszczędziłoby mi to wiele godzin:
https://github.com/gravitystorm/openstr … ssues/4358

Offline

#8 2021-05-15 15:29:53

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Już wszystko wróciło do normy.

Jeśli jakiś kafelek jest nieświeży, to działa stara metoda z "/dirty" na końcu URL-a.

Offline

#9 2021-05-15 15:39:07

maro21
Member
From: Wrocław
Registered: 2018-03-06
Posts: 1,099

Re: Polskie kafelki

rmikke wrote:

Och, a już zdążyłem się napalić na cały świat z polskimi lub angielskimi nazwami, jeśli są...

Jest przecież https://www.osmap.pl

Offline

#10 2021-05-15 17:06:11

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Jak już działa renderowanie, to kwestia odświeżania stanu bazy jest opisana tu:

https://switch2osm.org/serving-tiles/up … ople-edit/

Musiałem do tego wrócić, bo brakowało części danych i okazało się, że po reimporcie trzeba zawsze podać czas utworzenia bazy - na Geofabrik to było 2021-05-14T20:21:23Z i teraz skrypt nadrabia powoli lag - zostało jeszcze 16h. Co 5 minut nadrabia z godzinę, więc w ciągu 2h powinno być już na bieżąco.

Offline

#11 2021-05-21 01:41:44

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Właśnie wdrożyłem bardziej dyskretne wyświetlanie parkingów ulicznych, więc zapraszam do tagowania:

https://github.com/gravitystorm/openstr … /pull/4301
https://wiki.openstreetmap.org/wiki/Tag … treet_side

Od kilku dni działa też minutowe odświeżanie.

Offline

#12 2021-05-23 18:00:09

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 2,686

Re: Polskie kafelki

Dzięki, bardzo ładnie to działa!

Offline

#13 2021-05-29 09:52:57

Cristoffs
Member
From: Łódź
Registered: 2018-11-27
Posts: 314

Re: Polskie kafelki

Zrób paczkomaty big_smile (Będziesz Wielki)

Offline

#14 2021-05-29 10:31:39

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Najpierw trzeba rozwiązać problem z tagowaniem. Jest nawet sensowny projekt, który unika sztucznego wpychania paczkomatów pod vending, ale póki co mało używany:

https://wiki.openstreetmap.org/wiki/Pro … el_postbox

Skoro i tak nie jest wyświetlane, to mi wygląda jak dobry przypadek do masowego retagowania.

Offline

#15 2021-05-30 18:15:40

Krystek
Member
From: Białystok
Registered: 2012-03-20
Posts: 179

Re: Polskie kafelki

A czy jest szansa, że na OSMapa.pl wrócą mapy rodzajowe, które kiedyś były - np. mapa konturowa czarno-biała i inne?

Offline

#16 2021-06-01 12:11:02

Cristoffs
Member
From: Łódź
Registered: 2018-11-27
Posts: 314

Re: Polskie kafelki

kocio wrote:

Najpierw trzeba rozwiązać problem z tagowaniem. Jest nawet sensowny projekt, który unika sztucznego wpychania paczkomatów pod vending, ale póki co mało używany:

https://wiki.openstreetmap.org/wiki/Pro … el_postbox

Skoro i tak nie jest wyświetlane, to mi wygląda jak dobry przypadek do masowego retagowania.

a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup

może trzeba jakąś dyskusję wywołać?

Offline

#17 2021-06-01 12:13:13

Cristoffs
Member
From: Łódź
Registered: 2018-11-27
Posts: 314

Re: Polskie kafelki

Krystek wrote:

A czy jest szansa, że na OSMapa.pl wrócą mapy rodzajowe, które kiedyś były - np. mapa konturowa czarno-biała i inne?


Szansa jest tylko wszystko w swoim czasie. Wszystkie wizualizację trzeba tworzyć od początku, bo przy awarii serwera szlak większość z nich trafił.

Offline

#18 2021-06-01 12:20:43

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Cristoffs wrote:

a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup

może trzeba jakąś dyskusję wywołać?

Cóż, co do definicji paczkomaty to na 100% nie jest żaden vending (nie wrzucamy grosika żeby coś impulsowo zakupić, tylko odbieramy lub wkładamy różne rzeczy, które są opłacone inną drogą). Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending, a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie. Pech też, że to nie jest tylko nasza lokalna specyfika, więc mimo też niezbyt wielkiej ilości tagowania vendingowego (chyba ~2k), już trzeba by z tym wejść w dyskusję międzynarodową.

Offline

#19 2021-06-01 16:35:48

Cristoffs
Member
From: Łódź
Registered: 2018-11-27
Posts: 314

Re: Polskie kafelki

kocio wrote:
Cristoffs wrote:

a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup

może trzeba jakąś dyskusję wywołać?

Cóż, co do definicji paczkomaty to na 100% nie jest żaden vending (nie wrzucamy grosika żeby coś impulsowo zakupić, tylko odbieramy lub wkładamy różne rzeczy, które są opłacone inną drogą). Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending, a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie. Pech też, że to nie jest tylko nasza lokalna specyfika, więc mimo też niezbyt wielkiej ilości tagowania vendingowego (chyba ~2k), już trzeba by z tym wejść w dyskusję międzynarodową.

Biorąc pod uwagę plany InPostu oraz obecną ilość to by chyba wypadało. Tym bardziej, że mocno międzynarodowo chcą iść ...

Offline

#20 2021-06-01 16:52:09

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

Vendingu jest już ponad 3k i rośnie szybko:

https://taginfo.openstreetmap.org/tags/ … chronology

A w Polsce to już tylko ze 400:

https://taginfo.geofabrik.de/europe/pol … p#overview

Tak więc pytanie kto się weźmie za prowadzenie tej dyskusji.

Offline

#21 2021-06-01 17:23:42

Cristoffs
Member
From: Łódź
Registered: 2018-11-27
Posts: 314

Re: Polskie kafelki

Proponuje omówić to w Piątek na DS ..:D

Offline

#22 2021-06-01 22:31:48

maro21
Member
From: Wrocław
Registered: 2018-03-06
Posts: 1,099

Re: Polskie kafelki

kocio wrote:

Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending

To chyba nie ma znaczenia:) Ja też tak taguję, mimo że nie popieram tego tagowania.

kocio wrote:

a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie

Bo nikt nie rozpoczął głosowania. Jeśli tagowanie zaproponowane na https://wiki.openstreetmap.org/wiki/Pro … el_postbox jest akceptowane (nie czytałem dyskusji), to wystarczy uruchomić to głosowanie (uwzględniając zgłoszone zastrzeżenia).

Offline

#23 2021-06-06 09:50:30

Kamzor
Member
Registered: 2021-06-06
Posts: 7

Re: Polskie kafelki

To są obrazki? Są jakieś powody przeciwko użyciu mapy wektorowej? Nie wiem jak na froncie, ale MBTiles'y generujesz z protobufów regionów przy użyciu openmaptiles.

Offline

#24 2021-06-06 16:51:33

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 3,566
Website

Re: Polskie kafelki

O których obrazkach mówisz, w sensie rastra? Tak, są rastrowe, bo przejście na wersję wektorową jest zdecydowanie niebanalne przy tej ilości elementów. MBTiles albo jakiekolwiek inne wektorowe są szalenie ubogie i nie wiadomo jak wyglądałaby wydajność. Na razie jest albo styl na bazie osm-carto, ale na własnościowym silniku ArcGIS (czyli wystarczyłoby "tylko" napisać otwarty silnik zgodny z ArcGIS...), albo zaczątki portu na wersję wektorową, ale nawet na niskich poziomach niekompletne i od roku nieruszane:

https://esri.maps.arcgis.com/apps/View/ … 6ac90952a2

https://www.paulnorman.ca/blog/2020/05/ … tographic/
https://pnorman.dev.openstreetmap.org/c … #4/50/-120

Offline

#25 2021-06-07 13:45:52

Kamzor
Member
Registered: 2021-06-06
Posts: 7

Re: Polskie kafelki

W jakim sensie niebanalne? Wygenerowanie obrazków brzmi trudniej od wygenerowania wektorowych opisów geometrii. A przesyłanie ich tym bardziej.
W jakim sensie ubogie? Te opisy wektorowe są jakąś uproszczoną wersją geometrii na bazie których są tworzone? (tego nie wiem i bym na to nie wpadł). Z tego co widzę to ta twoja mapka też nie robi żadnego czary mary, a bugów nie brakuje. MBTiles to nic innego jak plik bazy SQLite zawierający głównie skompresowane gzipem protobufy kafelek*. Każda z nich składa się z warstw które akurat tak się złoży że sobie wygenerujesz pierdzieląc się z kodem SQL i YAML (albo domyślnych), a każda warstwa składa się z feature'ów otagowanych na zasadzie par key=value. Np. masz sobie w warstwie landcover feature z polygonem otagowanym jako class=grass i na tej zasadzie to co renderuje mapę wie że ma wygenerować tam trawkę. To czy coś nałoży tam teksturkę, czy wygeneruje tysiące trójkątów poruszających się na wietrze w blasku ray tracingu to już nie kwestia MBTiles'ów wink To wszystko jest dość proste, ale nie wiem dlaczego ubogie. Natomiast nie mam pojęcia na jakim poziomie jest leaflet i style, bo ja dalej podążam swoją ścieżką.

MBTiles z obecnego protobufa Polski (1.4GB) z domyślnymi warstwami dla max zooma 16 (tylko po co aż 16? domyślnie max jest 14 albo 15 i na tym poziomie używane są już oryginalne geometrie) ważyłby pewnie rzędu kilku GB i generował się 2-3h na frajerze ze starym SSD, albo do pół godziny na najnowszym wyjadaczu na Ryzenie Zen 3 i SSD M2 PCI Gen 4 wink A te obrazki ile ważą?

Generalnie w ekosystemie OSM panuje rozpierdziel i trzeba wychodzić z założenia że musisz sobie sam zrobić, a z tego co widzę to Carto stoi bo Norman się obraził że Mapbox zmienił licencję xD openmaptiles domyślnie też nie działa "najlepiej" i ciężko się doczekać nowych narzędzi.. Czekam na release z nowszym postgisem i GEOSem, a od miesiąca jakby ktoś umarł wink

https://github.com/mapbox/vector-tile-s … tile.proto

Natomiast jeśli jest tu ktoś kto ogarnia o co chodzi z prawem patentowym to będę bardzo wdzięczy jak mi wytłumaczy po co Mapbox patentuje rozwiązania i jakie są tego konsekwencje? Czy jeśli implementuje się swoje rozwiązania związane z mapami to trzeba używać "innych sposobów"?
https://patents.google.com/?assignee=Mapbox%2c+Inc

Last edited by Kamzor (2021-06-07 14:21:43)

Offline

Board footer

Powered by FluxBB