Polskie kafelki

kocio · 2021-05-14 22:16:50

Dobra wiadomość na początek weekendu - mamy wreszcie testowe wdrożenie polskich kafelków w stylu osm-carto na osmapie:

https://tiles.osmapa.pl

Na razie jest to wdrożenie testowe - z grubsza działa, ale robiłem to pierwszy raz i mogą wyjść jeszcze różne problemy. Zapraszam do zgłaszania ich w tym wątku.

Cechy szczególne (w odróżnieniu od wdrożenia na serwerach OSMF):
- kafelki obejmują tylko teren Polski
- powiększenie do z20
- odświeżanie bazy co 5 minut

Do poziomu z16 włącznie kafelki są prerenderowane, więc mapka działa dość szybko (bo to jest tylko serwowanie obrazków), a powyżej tej granicy trzeba chwilkę zaczekać aż się wyprodukują. Po jakimś czasie powinno być lepiej, bo w popularnych miejscach ktoś już przetrze szlak i kafelki też będą gotowe.

rmikke · 2021-05-14 23:11:31

Och, a już zdążyłem się napalić na cały świat z polskimi lub angielskimi nazwami, jeśli są...

kocio · 2021-05-14 23:44:12

Spoko, ja też się napalam na wszystko, tylko wiesz - zaczynamy od jednej dobrze zdefiniowanej rzeczy i powoli dodajemy po kawałku. To ma być jednak beta, a nie PoC...

Mateusz Konieczny · 2021-05-15 06:48:37

Zapisujesz gdzieś co trzeba było zrobić by serwer postawić? MIałem ochotę się za coś takiego zabrać ale przerażała mnie konieczność odkrycia tego wszystkiego.

starsep · 2021-05-15 10:51:12

Super, że coś takiego powstaje. Dzięki!

Fajnie byłoby rzeczywiście móc ten setup powtórzyć. Na Discordzie widziałem, że edytujecie configi "z palca" - może dałoby się, gdzieś je zapisać np. jakieś repozytorium na GitHubie?

Dostaję takie warningi w Firefoxie:
Loading mixed (insecure) display content “http://tiles.osmapa.pl/hot/16/36598/21586.png” on a secure page (leaflet.js:5:111025)

kocio · 2021-05-15 12:04:14

Nie piszę, tylko odtwarzam, bo ktoś już napisał :

https://switch2osm.org/serving-tiles/ma … 20-04-lts/

Dość dokładnie podążałem za tym opisem.

Nie wszystko poszło gładko i uczę się co się może popsuć i co z tym robić. Był problem taki, że dane ze skryptu się nie wczytały całkiem, ale skrypt nie dał znać, więc byłem nieświadomy czemu brakuje części elementów. Był też jakiś problem z indeksami i wszystko chodziło strasznie powoli. Dzięki pomocy kolegów udało się znaleźć tę przyczynę i poszło - nie jestem pewien teraz ile tuningowania Postgresa było potrzebne, a ile nie, to znów wymagałoby testów i pewnie czystej instalacji.

To w sumie proste błędy, tylko debugowanie jest trudne, więc trudno to opisać. Wczoraj odkryliśmy w ramach testów, że brakowało różnych losowych elementów, np. Puszczy Darzlubskiej, granic Kampinoskiego Parku Narodowego (ale już nie obszarów chronionych wewnątrz) czy obszaru zabudowanego Karwowo w Sochaczewie - nie było ich chyba w bazie. Nad ranem zrobiłem reimport i się naprawiło. Znów - nie wiem czemu tak było, ale problem naprawiło się łatwo. Teraz aktualizacja bazy nadgania i ma już tylko z godzinę opóźnienia. Ciekaw jestem jak będą się aktualizowały wcześniejsze poziomy przybliżenia i jak szybko będzie widać zmiany w bazie. Ale to wszystko wymaga głównie obserwacji i dopasowywania, żeby się system nie zapchał. Stąd też porobiłem te prerenderowane kafelki, bo nie chciałem zarżnąć serwera i zniechęcić ludzi, że nie da się nawigować. Pewnie jakbym robił nowe wdrożenie od zera, to byłoby łatwiej.

Kafelkom poprawiłem adres na HTTPS, powinno pomóc na ten problem - u mnie Firefox pokazał zwykłą kłódeczkę. To też rzecz, którą wziąłem z gotowców i trzeba było ręcznie zmienić ze względu na lokalne warunki.

kocio · 2021-05-15 12:17:39

Bardzo przepraszam, jak próbowałem naprawić mixed content, to niechcący zacząłem znów import, co natychmiast rozwaliło bazę, więc importuję jeszcze raz - to zajmuje prawie 2h...

I to są takie właśnie głównie problemy - nieuwaga, pośpiech, niezrozumienie jak to działa, potrzeba jakiegoś pomocniczego skryptu.... Jeśli będziecie chcieli pomocy we własnym wdrożeniu, to dajcie mi znać. Polecam zacząć od jakiegoś małego obszaru w rodzaju województwa (mazowieckie mi się wczytuje w domu w 2 minuty, więc reimport nic nie kosztuje w porównaniu z całą Polską).

Mateusz - jeden z tych problemów, które warto naprawić, to dodanie prostych komunikatów w skrypcie pythonowym, co się udało, a co poszło nie tak, zaoszczędziłoby mi to wiele godzin:
https://github.com/gravitystorm/openstr … ssues/4358

kocio · 2021-05-15 15:29:53

Już wszystko wróciło do normy.

Jeśli jakiś kafelek jest nieświeży, to działa stara metoda z "/dirty" na końcu URL-a.

maro21 · 2021-05-15 15:39:07

rmikke wrote:

Och, a już zdążyłem się napalić na cały świat z polskimi lub angielskimi nazwami, jeśli są...

Jest przecież https://www.osmap.pl

kocio · 2021-05-15 17:06:11

Jak już działa renderowanie, to kwestia odświeżania stanu bazy jest opisana tu:

https://switch2osm.org/serving-tiles/up … ople-edit/

Musiałem do tego wrócić, bo brakowało części danych i okazało się, że po reimporcie trzeba zawsze podać czas utworzenia bazy - na Geofabrik to było 2021-05-14T20:21:23Z i teraz skrypt nadrabia powoli lag - zostało jeszcze 16h. Co 5 minut nadrabia z godzinę, więc w ciągu 2h powinno być już na bieżąco.

kocio · 2021-05-21 01:41:44

Właśnie wdrożyłem bardziej dyskretne wyświetlanie parkingów ulicznych, więc zapraszam do tagowania:

https://github.com/gravitystorm/openstr … /pull/4301
https://wiki.openstreetmap.org/wiki/Tag … treet_side

Od kilku dni działa też minutowe odświeżanie.

Mateusz Konieczny · 2021-05-23 18:00:09

Dzięki, bardzo ładnie to działa!

Cristoffs · 2021-05-29 09:52:57

Zrób paczkomaty (Będziesz Wielki)

kocio · 2021-05-29 10:31:39

Najpierw trzeba rozwiązać problem z tagowaniem. Jest nawet sensowny projekt, który unika sztucznego wpychania paczkomatów pod vending, ale póki co mało używany:

https://wiki.openstreetmap.org/wiki/Pro … el_postbox

Skoro i tak nie jest wyświetlane, to mi wygląda jak dobry przypadek do masowego retagowania.

Krystek · 2021-05-30 18:15:40

A czy jest szansa, że na OSMapa.pl wrócą mapy rodzajowe, które kiedyś były - np. mapa konturowa czarno-biała i inne?

Cristoffs · 2021-06-01 12:11:02

kocio wrote:

Najpierw trzeba rozwiązać problem z tagowaniem. Jest nawet sensowny projekt, który unika sztucznego wpychania paczkomatów pod vending, ale póki co mało używany:
https://wiki.openstreetmap.org/wiki/Pro … el_postbox
Skoro i tak nie jest wyświetlane, to mi wygląda jak dobry przypadek do masowego retagowania.

a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup

może trzeba jakąś dyskusję wywołać?

Cristoffs · 2021-06-01 12:13:13

Krystek wrote:

A czy jest szansa, że na OSMapa.pl wrócą mapy rodzajowe, które kiedyś były - np. mapa konturowa czarno-biała i inne?

Szansa jest tylko wszystko w swoim czasie. Wszystkie wizualizację trzeba tworzyć od początku, bo przy awarii serwera szlak większość z nich trafił.

kocio · 2021-06-01 12:20:43

Cristoffs wrote:

a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup
może trzeba jakąś dyskusję wywołać?

Cóż, co do definicji paczkomaty to na 100% nie jest żaden vending (nie wrzucamy grosika żeby coś impulsowo zakupić, tylko odbieramy lub wkładamy różne rzeczy, które są opłacone inną drogą). Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending, a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie. Pech też, że to nie jest tylko nasza lokalna specyfika, więc mimo też niezbyt wielkiej ilości tagowania vendingowego (chyba ~2k), już trzeba by z tym wejść w dyskusję międzynarodową.

Cristoffs · 2021-06-01 16:35:48

kocio wrote:

Cristoffs wrote:
a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup
może trzeba jakąś dyskusję wywołać?
Cóż, co do definicji paczkomaty to na 100% nie jest żaden vending (nie wrzucamy grosika żeby coś impulsowo zakupić, tylko odbieramy lub wkładamy różne rzeczy, które są opłacone inną drogą). Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending, a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie. Pech też, że to nie jest tylko nasza lokalna specyfika, więc mimo też niezbyt wielkiej ilości tagowania vendingowego (chyba ~2k), już trzeba by z tym wejść w dyskusję międzynarodową.

Biorąc pod uwagę plany InPostu oraz obecną ilość to by chyba wypadało. Tym bardziej, że mocno międzynarodowo chcą iść ...

kocio · 2021-06-01 16:52:09

Vendingu jest już ponad 3k i rośnie szybko:

https://taginfo.openstreetmap.org/tags/ … chronology

A w Polsce to już tylko ze 400:

https://taginfo.geofabrik.de/europe/pol … p#overview

Tak więc pytanie kto się weźmie za prowadzenie tej dyskusji.

Cristoffs · 2021-06-01 17:23:42

Proponuje omówić to w Piątek na DS ..:D

maro21 · 2021-06-01 22:31:48

kocio wrote:

Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending

To chyba nie ma znaczenia:) Ja też tak taguję, mimo że nie popieram tego tagowania.

kocio wrote:

a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie

Bo nikt nie rozpoczął głosowania. Jeśli tagowanie zaproponowane na https://wiki.openstreetmap.org/wiki/Pro … el_postbox jest akceptowane (nie czytałem dyskusji), to wystarczy uruchomić to głosowanie (uwzględniając zgłoszone zastrzeżenia).

Kamzor · 2021-06-06 09:50:30

To są obrazki? Są jakieś powody przeciwko użyciu mapy wektorowej? Nie wiem jak na froncie, ale MBTiles'y generujesz z protobufów regionów przy użyciu openmaptiles.

kocio · 2021-06-06 16:51:33

O których obrazkach mówisz, w sensie rastra? Tak, są rastrowe, bo przejście na wersję wektorową jest zdecydowanie niebanalne przy tej ilości elementów. MBTiles albo jakiekolwiek inne wektorowe są szalenie ubogie i nie wiadomo jak wyglądałaby wydajność. Na razie jest albo styl na bazie osm-carto, ale na własnościowym silniku ArcGIS (czyli wystarczyłoby "tylko" napisać otwarty silnik zgodny z ArcGIS...), albo zaczątki portu na wersję wektorową, ale nawet na niskich poziomach niekompletne i od roku nieruszane:

https://esri.maps.arcgis.com/apps/View/ … 6ac90952a2

https://www.paulnorman.ca/blog/2020/05/ … tographic/
https://pnorman.dev.openstreetmap.org/c … #4/50/-120

Kamzor · 2021-06-07 13:45:52

W jakim sensie niebanalne? Wygenerowanie obrazków brzmi trudniej od wygenerowania wektorowych opisów geometrii. A przesyłanie ich tym bardziej.
W jakim sensie ubogie? Te opisy wektorowe są jakąś uproszczoną wersją geometrii na bazie których są tworzone? (tego nie wiem i bym na to nie wpadł). Z tego co widzę to ta twoja mapka też nie robi żadnego czary mary, a bugów nie brakuje. MBTiles to nic innego jak plik bazy SQLite zawierający głównie skompresowane gzipem protobufy kafelek*. Każda z nich składa się z warstw które akurat tak się złoży że sobie wygenerujesz pierdzieląc się z kodem SQL i YAML (albo domyślnych), a każda warstwa składa się z feature'ów otagowanych na zasadzie par key=value. Np. masz sobie w warstwie landcover feature z polygonem otagowanym jako class=grass i na tej zasadzie to co renderuje mapę wie że ma wygenerować tam trawkę. To czy coś nałoży tam teksturkę, czy wygeneruje tysiące trójkątów poruszających się na wietrze w blasku ray tracingu to już nie kwestia MBTiles'ów To wszystko jest dość proste, ale nie wiem dlaczego ubogie. Natomiast nie mam pojęcia na jakim poziomie jest leaflet i style, bo ja dalej podążam swoją ścieżką.

MBTiles z obecnego protobufa Polski (1.4GB) z domyślnymi warstwami dla max zooma 16 (tylko po co aż 16? domyślnie max jest 14 albo 15 i na tym poziomie używane są już oryginalne geometrie) ważyłby pewnie rzędu kilku GB i generował się 2-3h na frajerze ze starym SSD, albo do pół godziny na najnowszym wyjadaczu na Ryzenie Zen 3 i SSD M2 PCI Gen 4 A te obrazki ile ważą?

Generalnie w ekosystemie OSM panuje rozpierdziel i trzeba wychodzić z założenia że musisz sobie sam zrobić, a z tego co widzę to Carto stoi bo Norman się obraził że Mapbox zmienił licencję xD openmaptiles domyślnie też nie działa "najlepiej" i ciężko się doczekać nowych narzędzi.. Czekam na release z nowszym postgisem i GEOSem, a od miesiąca jakby ktoś umarł

https://github.com/mapbox/vector-tile-s … tile.proto

Natomiast jeśli jest tu ktoś kto ogarnia o co chodzi z prawem patentowym to będę bardzo wdzięczy jak mi wytłumaczy po co Mapbox patentuje rozwiązania i jakie są tego konsekwencje? Czy jeśli implementuje się swoje rozwiązania związane z mapami to trzeba używać "innych sposobów"?
https://patents.google.com/?assignee=Mapbox%2c+Inc

Last edited by Kamzor (2021-06-07 14:21:43)

#1 2021-05-14 22:16:50

Polskie kafelki

#2 2021-05-14 23:11:31

Re: Polskie kafelki

#3 2021-05-14 23:44:12

Re: Polskie kafelki

#4 2021-05-15 06:48:37

Re: Polskie kafelki

#5 2021-05-15 10:51:12

Re: Polskie kafelki

#6 2021-05-15 12:04:14

Re: Polskie kafelki

#7 2021-05-15 12:17:39

Re: Polskie kafelki

#8 2021-05-15 15:29:53

Re: Polskie kafelki

#9 2021-05-15 15:39:07

Re: Polskie kafelki

#10 2021-05-15 17:06:11

Re: Polskie kafelki

#11 2021-05-21 01:41:44

Re: Polskie kafelki

#12 2021-05-23 18:00:09

Re: Polskie kafelki

#13 2021-05-29 09:52:57

Re: Polskie kafelki

#14 2021-05-29 10:31:39

Re: Polskie kafelki

#15 2021-05-30 18:15:40

Re: Polskie kafelki

#16 2021-06-01 12:11:02

Re: Polskie kafelki

#17 2021-06-01 12:13:13

Re: Polskie kafelki

#18 2021-06-01 12:20:43

Re: Polskie kafelki

#19 2021-06-01 16:35:48

Re: Polskie kafelki

#20 2021-06-01 16:52:09

Re: Polskie kafelki

#21 2021-06-01 17:23:42

Re: Polskie kafelki

#22 2021-06-01 22:31:48

Re: Polskie kafelki

#23 2021-06-06 09:50:30

Re: Polskie kafelki

#24 2021-06-06 16:51:33

Re: Polskie kafelki

#25 2021-06-07 13:45:52

Re: Polskie kafelki

Board footer