You are not logged in.
- Topics: Active | Unanswered
Announcement
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***
#1 2021-05-14 22:16:50
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Polskie kafelki
Dobra wiadomość na początek weekendu - mamy wreszcie testowe wdrożenie polskich kafelków w stylu osm-carto na osmapie:
Na razie jest to wdrożenie testowe - z grubsza działa, ale robiłem to pierwszy raz i mogą wyjść jeszcze różne problemy. Zapraszam do zgłaszania ich w tym wątku.
Cechy szczególne (w odróżnieniu od wdrożenia na serwerach OSMF):
- kafelki obejmują tylko teren Polski
- powiększenie do z20
- odświeżanie bazy co 5 minut
Do poziomu z16 włącznie kafelki są prerenderowane, więc mapka działa dość szybko (bo to jest tylko serwowanie obrazków), a powyżej tej granicy trzeba chwilkę zaczekać aż się wyprodukują. Po jakimś czasie powinno być lepiej, bo w popularnych miejscach ktoś już przetrze szlak i kafelki też będą gotowe.
Offline
#2 2021-05-14 23:11:31
- rmikke
- Moderator
- From: Warszawa
- Registered: 2014-11-14
- Posts: 2,032
- Website
Re: Polskie kafelki
Och, a już zdążyłem się napalić na cały świat z polskimi lub angielskimi nazwami, jeśli są...
Offline
#3 2021-05-14 23:44:12
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Spoko, ja też się napalam na wszystko, tylko wiesz - zaczynamy od jednej dobrze zdefiniowanej rzeczy i powoli dodajemy po kawałku. To ma być jednak beta, a nie PoC...
Offline
#4 2021-05-15 06:48:37
- Mateusz Konieczny
- Member
- Registered: 2013-09-22
- Posts: 2,698
Re: Polskie kafelki
Zapisujesz gdzieś co trzeba było zrobić by serwer postawić? MIałem ochotę się za coś takiego zabrać ale przerażała mnie konieczność odkrycia tego wszystkiego.
Offline
#5 2021-05-15 10:51:12
- starsep
- Member
- From: Warszawa
- Registered: 2020-12-30
- Posts: 66
Re: Polskie kafelki
Super, że coś takiego powstaje. Dzięki!
Fajnie byłoby rzeczywiście móc ten setup powtórzyć. Na Discordzie widziałem, że edytujecie configi "z palca" - może dałoby się, gdzieś je zapisać np. jakieś repozytorium na GitHubie?
Dostaję takie warningi w Firefoxie:
Loading mixed (insecure) display content “http://tiles.osmapa.pl/hot/16/36598/21586.png” on a secure page (leaflet.js:5:111025)
Offline
#6 2021-05-15 12:04:14
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Nie piszę, tylko odtwarzam, bo ktoś już napisał :
https://switch2osm.org/serving-tiles/ma … 20-04-lts/
Dość dokładnie podążałem za tym opisem.
Nie wszystko poszło gładko i uczę się co się może popsuć i co z tym robić. Był problem taki, że dane ze skryptu się nie wczytały całkiem, ale skrypt nie dał znać, więc byłem nieświadomy czemu brakuje części elementów. Był też jakiś problem z indeksami i wszystko chodziło strasznie powoli. Dzięki pomocy kolegów udało się znaleźć tę przyczynę i poszło - nie jestem pewien teraz ile tuningowania Postgresa było potrzebne, a ile nie, to znów wymagałoby testów i pewnie czystej instalacji.
To w sumie proste błędy, tylko debugowanie jest trudne, więc trudno to opisać. Wczoraj odkryliśmy w ramach testów, że brakowało różnych losowych elementów, np. Puszczy Darzlubskiej, granic Kampinoskiego Parku Narodowego (ale już nie obszarów chronionych wewnątrz) czy obszaru zabudowanego Karwowo w Sochaczewie - nie było ich chyba w bazie. Nad ranem zrobiłem reimport i się naprawiło. Znów - nie wiem czemu tak było, ale problem naprawiło się łatwo. Teraz aktualizacja bazy nadgania i ma już tylko z godzinę opóźnienia. Ciekaw jestem jak będą się aktualizowały wcześniejsze poziomy przybliżenia i jak szybko będzie widać zmiany w bazie. Ale to wszystko wymaga głównie obserwacji i dopasowywania, żeby się system nie zapchał. Stąd też porobiłem te prerenderowane kafelki, bo nie chciałem zarżnąć serwera i zniechęcić ludzi, że nie da się nawigować. Pewnie jakbym robił nowe wdrożenie od zera, to byłoby łatwiej.
Kafelkom poprawiłem adres na HTTPS, powinno pomóc na ten problem - u mnie Firefox pokazał zwykłą kłódeczkę. To też rzecz, którą wziąłem z gotowców i trzeba było ręcznie zmienić ze względu na lokalne warunki.
Offline
#7 2021-05-15 12:17:39
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Bardzo przepraszam, jak próbowałem naprawić mixed content, to niechcący zacząłem znów import, co natychmiast rozwaliło bazę, więc importuję jeszcze raz - to zajmuje prawie 2h...
I to są takie właśnie głównie problemy - nieuwaga, pośpiech, niezrozumienie jak to działa, potrzeba jakiegoś pomocniczego skryptu.... Jeśli będziecie chcieli pomocy we własnym wdrożeniu, to dajcie mi znać. Polecam zacząć od jakiegoś małego obszaru w rodzaju województwa (mazowieckie mi się wczytuje w domu w 2 minuty, więc reimport nic nie kosztuje w porównaniu z całą Polską).
Mateusz - jeden z tych problemów, które warto naprawić, to dodanie prostych komunikatów w skrypcie pythonowym, co się udało, a co poszło nie tak, zaoszczędziłoby mi to wiele godzin:
https://github.com/gravitystorm/openstr … ssues/4358
Offline
#8 2021-05-15 15:29:53
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Już wszystko wróciło do normy.
Jeśli jakiś kafelek jest nieświeży, to działa stara metoda z "/dirty" na końcu URL-a.
Offline
#9 2021-05-15 15:39:07
- maro21
- Member
- From: Wrocław
- Registered: 2018-03-06
- Posts: 1,114
Re: Polskie kafelki
Och, a już zdążyłem się napalić na cały świat z polskimi lub angielskimi nazwami, jeśli są...
Jest przecież https://www.osmap.pl
Offline
#10 2021-05-15 17:06:11
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Jak już działa renderowanie, to kwestia odświeżania stanu bazy jest opisana tu:
https://switch2osm.org/serving-tiles/up … ople-edit/
Musiałem do tego wrócić, bo brakowało części danych i okazało się, że po reimporcie trzeba zawsze podać czas utworzenia bazy - na Geofabrik to było 2021-05-14T20:21:23Z i teraz skrypt nadrabia powoli lag - zostało jeszcze 16h. Co 5 minut nadrabia z godzinę, więc w ciągu 2h powinno być już na bieżąco.
Offline
#11 2021-05-21 01:41:44
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Właśnie wdrożyłem bardziej dyskretne wyświetlanie parkingów ulicznych, więc zapraszam do tagowania:
https://github.com/gravitystorm/openstr … /pull/4301
https://wiki.openstreetmap.org/wiki/Tag … treet_side
Od kilku dni działa też minutowe odświeżanie.
Offline
#12 2021-05-23 18:00:09
- Mateusz Konieczny
- Member
- Registered: 2013-09-22
- Posts: 2,698
Re: Polskie kafelki
Dzięki, bardzo ładnie to działa!
Offline
#13 2021-05-29 09:52:57
- Cristoffs
- Member
- From: Łódź
- Registered: 2018-11-27
- Posts: 315
Re: Polskie kafelki
Zrób paczkomaty (Będziesz Wielki)
Offline
#14 2021-05-29 10:31:39
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Najpierw trzeba rozwiązać problem z tagowaniem. Jest nawet sensowny projekt, który unika sztucznego wpychania paczkomatów pod vending, ale póki co mało używany:
https://wiki.openstreetmap.org/wiki/Pro … el_postbox
Skoro i tak nie jest wyświetlane, to mi wygląda jak dobry przypadek do masowego retagowania.
Offline
#15 2021-05-30 18:15:40
- Krystek
- Member
- From: Białystok
- Registered: 2012-03-20
- Posts: 180
Re: Polskie kafelki
A czy jest szansa, że na OSMapa.pl wrócą mapy rodzajowe, które kiedyś były - np. mapa konturowa czarno-biała i inne?
Offline
#16 2021-06-01 12:11:02
- Cristoffs
- Member
- From: Łódź
- Registered: 2018-11-27
- Posts: 315
Re: Polskie kafelki
Najpierw trzeba rozwiązać problem z tagowaniem. Jest nawet sensowny projekt, który unika sztucznego wpychania paczkomatów pod vending, ale póki co mało używany:
https://wiki.openstreetmap.org/wiki/Pro … el_postbox
Skoro i tak nie jest wyświetlane, to mi wygląda jak dobry przypadek do masowego retagowania.
a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup
może trzeba jakąś dyskusję wywołać?
Offline
#17 2021-06-01 12:13:13
- Cristoffs
- Member
- From: Łódź
- Registered: 2018-11-27
- Posts: 315
Re: Polskie kafelki
A czy jest szansa, że na OSMapa.pl wrócą mapy rodzajowe, które kiedyś były - np. mapa konturowa czarno-biała i inne?
Szansa jest tylko wszystko w swoim czasie. Wszystkie wizualizację trzeba tworzyć od początku, bo przy awarii serwera szlak większość z nich trafił.
Offline
#18 2021-06-01 12:20:43
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup
może trzeba jakąś dyskusję wywołać?
Cóż, co do definicji paczkomaty to na 100% nie jest żaden vending (nie wrzucamy grosika żeby coś impulsowo zakupić, tylko odbieramy lub wkładamy różne rzeczy, które są opłacone inną drogą). Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending, a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie. Pech też, że to nie jest tylko nasza lokalna specyfika, więc mimo też niezbyt wielkiej ilości tagowania vendingowego (chyba ~2k), już trzeba by z tym wejść w dyskusję międzynarodową.
Offline
#19 2021-06-01 16:35:48
- Cristoffs
- Member
- From: Łódź
- Registered: 2018-11-27
- Posts: 315
Re: Polskie kafelki
Cristoffs wrote:a co z https://wiki.openstreetmap.org/wiki/Tag … cel_pickup
może trzeba jakąś dyskusję wywołać?
Cóż, co do definicji paczkomaty to na 100% nie jest żaden vending (nie wrzucamy grosika żeby coś impulsowo zakupić, tylko odbieramy lub wkładamy różne rzeczy, które są opłacone inną drogą). Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending, a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie. Pech też, że to nie jest tylko nasza lokalna specyfika, więc mimo też niezbyt wielkiej ilości tagowania vendingowego (chyba ~2k), już trzeba by z tym wejść w dyskusję międzynarodową.
Biorąc pod uwagę plany InPostu oraz obecną ilość to by chyba wypadało. Tym bardziej, że mocno międzynarodowo chcą iść ...
Offline
#20 2021-06-01 16:52:09
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
Vendingu jest już ponad 3k i rośnie szybko:
https://taginfo.openstreetmap.org/tags/ … chronology
A w Polsce to już tylko ze 400:
https://taginfo.geofabrik.de/europe/pol … p#overview
Tak więc pytanie kto się weźmie za prowadzenie tej dyskusji.
Offline
#21 2021-06-01 17:23:42
- Cristoffs
- Member
- From: Łódź
- Registered: 2018-11-27
- Posts: 315
Re: Polskie kafelki
Proponuje omówić to w Piątek na DS ..:D
Offline
#22 2021-06-01 22:31:48
- maro21
- Member
- From: Wrocław
- Registered: 2018-03-06
- Posts: 1,114
Re: Polskie kafelki
Tylko pytanie, na ile działa uzus w OSM, skoro ileś osób już otagowało jako vending
To chyba nie ma znaczenia:) Ja też tak taguję, mimo że nie popieram tego tagowania.
a propozycja parcel_lockers ma zaledwie ze 30 użyć i nie jest nawet przegłosowana jako prawidłowe tagowanie
Bo nikt nie rozpoczął głosowania. Jeśli tagowanie zaproponowane na https://wiki.openstreetmap.org/wiki/Pro … el_postbox jest akceptowane (nie czytałem dyskusji), to wystarczy uruchomić to głosowanie (uwzględniając zgłoszone zastrzeżenia).
Offline
#23 2021-06-06 09:50:30
- Kamzor
- Member
- Registered: 2021-06-06
- Posts: 7
Re: Polskie kafelki
To są obrazki? Są jakieś powody przeciwko użyciu mapy wektorowej? Nie wiem jak na froncie, ale MBTiles'y generujesz z protobufów regionów przy użyciu openmaptiles.
Offline
#24 2021-06-06 16:51:33
- kocio
- Administrator
- From: Warszawa
- Registered: 2013-09-04
- Posts: 3,567
- Website
Re: Polskie kafelki
O których obrazkach mówisz, w sensie rastra? Tak, są rastrowe, bo przejście na wersję wektorową jest zdecydowanie niebanalne przy tej ilości elementów. MBTiles albo jakiekolwiek inne wektorowe są szalenie ubogie i nie wiadomo jak wyglądałaby wydajność. Na razie jest albo styl na bazie osm-carto, ale na własnościowym silniku ArcGIS (czyli wystarczyłoby "tylko" napisać otwarty silnik zgodny z ArcGIS...), albo zaczątki portu na wersję wektorową, ale nawet na niskich poziomach niekompletne i od roku nieruszane:
https://esri.maps.arcgis.com/apps/View/ … 6ac90952a2
https://www.paulnorman.ca/blog/2020/05/ … tographic/
https://pnorman.dev.openstreetmap.org/c … #4/50/-120
Offline
#25 2021-06-07 13:45:52
- Kamzor
- Member
- Registered: 2021-06-06
- Posts: 7
Re: Polskie kafelki
W jakim sensie niebanalne? Wygenerowanie obrazków brzmi trudniej od wygenerowania wektorowych opisów geometrii. A przesyłanie ich tym bardziej.
W jakim sensie ubogie? Te opisy wektorowe są jakąś uproszczoną wersją geometrii na bazie których są tworzone? (tego nie wiem i bym na to nie wpadł). Z tego co widzę to ta twoja mapka też nie robi żadnego czary mary, a bugów nie brakuje. MBTiles to nic innego jak plik bazy SQLite zawierający głównie skompresowane gzipem protobufy kafelek*. Każda z nich składa się z warstw które akurat tak się złoży że sobie wygenerujesz pierdzieląc się z kodem SQL i YAML (albo domyślnych), a każda warstwa składa się z feature'ów otagowanych na zasadzie par key=value. Np. masz sobie w warstwie landcover feature z polygonem otagowanym jako class=grass i na tej zasadzie to co renderuje mapę wie że ma wygenerować tam trawkę. To czy coś nałoży tam teksturkę, czy wygeneruje tysiące trójkątów poruszających się na wietrze w blasku ray tracingu to już nie kwestia MBTiles'ów To wszystko jest dość proste, ale nie wiem dlaczego ubogie. Natomiast nie mam pojęcia na jakim poziomie jest leaflet i style, bo ja dalej podążam swoją ścieżką.
MBTiles z obecnego protobufa Polski (1.4GB) z domyślnymi warstwami dla max zooma 16 (tylko po co aż 16? domyślnie max jest 14 albo 15 i na tym poziomie używane są już oryginalne geometrie) ważyłby pewnie rzędu kilku GB i generował się 2-3h na frajerze ze starym SSD, albo do pół godziny na najnowszym wyjadaczu na Ryzenie Zen 3 i SSD M2 PCI Gen 4 A te obrazki ile ważą?
Generalnie w ekosystemie OSM panuje rozpierdziel i trzeba wychodzić z założenia że musisz sobie sam zrobić, a z tego co widzę to Carto stoi bo Norman się obraził że Mapbox zmienił licencję xD openmaptiles domyślnie też nie działa "najlepiej" i ciężko się doczekać nowych narzędzi.. Czekam na release z nowszym postgisem i GEOSem, a od miesiąca jakby ktoś umarł
https://github.com/mapbox/vector-tile-s … tile.proto
Natomiast jeśli jest tu ktoś kto ogarnia o co chodzi z prawem patentowym to będę bardzo wdzięczy jak mi wytłumaczy po co Mapbox patentuje rozwiązania i jakie są tego konsekwencje? Czy jeśli implementuje się swoje rozwiązania związane z mapami to trzeba używać "innych sposobów"?
https://patents.google.com/?assignee=Mapbox%2c+Inc
Last edited by Kamzor (2021-06-07 14:21:43)
Offline