OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2015-03-25 08:38:51

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Lokalizovani OSM server

Već duže vreme pominjemo potrebu a imamo lokalizovan OSM server. Ovo je diskusija u kojoj bi trebalo da se dogovorimo oko načina kako to da izvedemo.

Dva su bitna razloga: treba nam mapa koja prikazuje nazive na srpskom i treba nam da rešimo neprihvaljivu politiku OSM da se Kosovo i Metohija prikazuje kao nezavisna država. Ovo drugo je verovatno prelomna stvar.

Bitno je da ne pravimo posebnu bazu za mapu već da se i dalje oslanjamo na OSM, odnosno da sve izmene koje unosimo na mapu i dalje unosimo na OSM, već samo da renderujemo mapu onako kako nama više odgovara.

Da bi ovo postigli potrebno je:

- da se postavi server koji će na sebe prekopirati OSM bazu i uvek držati ažurnu verziju;

- na tom serveru bi se automatski, svaka ažurirana verzija bila menjana peš skriptom, tako da se promene neprihvatljivo obeležene granice Kosova i Metohije te da se ono na mapi prikazuje kao deo teritorije Srbije, kako i jeste faktičko stanje;

- da se na osnovu izmenjene baze renderuje naša verzija mape.

Pošto je server mape prilično zahtevna rabota, dobro bi bilo da ovaj server za bazu i renderovanje ne bude istovremeno i server mape, već da mu osnovni posao bude da renderuje mapu kako nama odgovra. To bi omogućilo da se server ne mora nalaziti na jakom internet lnku. To mogao da bude računar koji je samo za taj posao namenjen.

Serviranje mape bi se moglo raditi preko keša koji bi sa servera mape preuzeo renderovanu mapu i isporučivao je krajnjim korisnicima.

Štaviše, za to se može upotrebiti veći broj keš servera tako da i oni pojedinačno budu rasterećeni. Sa dovoljnim brojem keš servera rasterećenje bi omogućilo da se za to koriste i standardni hostinzi, odnosno da svako ko bi hteo da pokrene keš samo treba da postavi jednostavan (na primer php) skript i obezbedi dovoljno prostora da se smesti keš mape i prijavi aktivan keš da ga ubacimo u sistem.

U kešu bi se nalazila samo mapa Srbije, a za ostatak bi keš i dalje preusmeravao na OSM server. Doduše, to bi moglo da bude opciono, jer ako bismo išli na to da ceo svet renderujemo na srpskom, onda bismo morali da renderujemo celu planetu. U svakom slučaju to je više stvar podešavanja, skripte za keš bi bile iste, a jedini kriterijum je da li imamo na raspolaganju dovoljno resursa. Na primer možemo se za početak opredeliti da renderujemo samo teritoriju Kosova i Metohije s obzirom da tu imamo ozbiljan problem sa netačnim podacima.

Mapiranje keševa bi trebalo da bude automatizovano tako da ako se pojavi novi keš da se lako ubaci u sistem, a i ako neki keš prestane da radi, da se lako isključi iz sistema. Takođe treba rešiti i sinhronizaciju keš podataka sa osnovnom mapom.

Za početak treba napraviti probni sistem - server koji renderuje mapu i jedan keš da vidimo kao će to da funkcioniše i koliki su resursi neophodni da bi to radilo.

Ovim uvodom vas pozivam da se uključite u diskusiju svojim predlozima i idejama.

Offline

#2 2015-03-25 10:02:20

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Углавном се слажем са свим изнетим.

Pedja wrote:

- da se postavi server koji će na sebe prekopirati OSM bazu i uvek držati ažurnu verziju;

За почетак да напоменем да немам никаквих искустава са Mapnik-ом али ми се чини да је предложени систем превише добар за нас (бар у почетку). Уколико бисмо желели, рецимо, латиничну мапу целе Србије предложени концепт би био неопходан. Мислим да сада нема потребе да имамо дневно ажурну базу, чак шта више чини ми се да не морамо да имамо базу уопште. Можемо повремено да преузимамо pdf фајлове са белосветских сервера, направимо потребне измене у самом фајлу и правимо кеш (https://github.com/mapnik/mapnik/wiki/OsmPlugin). Ово повременено би могло да буде и једном месечно.

Такође, акценат бих бацио на рендереровање целог Косова и Метохије само до увеличања 11 (или 12) а при већим увеличањима само зоне око "граничне" линије и север Косова.

Offline

#3 2015-03-25 12:03:11

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Da, ideja je da keš, na osnovu upita odluči da li traženu sličicu daje iz naše mape ili original sa OSM. To može da se parametrima podesi i za različite nive zuma.

Ja lično bih, ako resursi dozvole, celu Srbiju renderovao po našem, jer bi tako imali jednobrazno i način renederovanja i pismo i sve ostalo. no, kao što rekoh, to sve zavisi od resursa.

Ovo oko baze nisam baš najbolje razumeoj jedino ako korsitimo različite termine, pošto ja i taj PDF smatram bazom. Format je nebitan. Treba uzeti onaj format koji je najlakše ispraviti i renderovati.

Offline

#4 2015-03-25 14:14:14

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Ја сам под базом сматрао PostgreSQL, али ако је pbf база - онда нема разлике у мишљењима. Најлакше је да са JOSM направе измене, оне се сниме као change фајл, са osmosis се миплементирају сваки пут на најсвежије скинут pbf фајл и онда се рендерују жељене површи.

Што се мене тиче највећи проблем је недостатак времена. Поред све воље, на жалост, не могу одвојити значајније време за реализацију свега наведеног sad.

Offline

#5 2015-03-25 23:59:35

magnumns
Moderator
From: Нови Сад, Србија
Registered: 2012-02-25
Posts: 117

Re: Lokalizovani OSM server

Абракадабра
https://osm.lugons.org

Да цитирам сам себе:

Да ли је за почетак прихватљиво решење да се рецимо једном дневно извози ОСМ база за територију Србије, са аутоматским изменама одређених елемената? Нешто попут http://data.osm-hr.org/serbia/ Ако неко може да направи скрипте за аутоматску измену основне ОСМ базе, нека се јави! Скрипте за претварање у разне формате из претходног примера и Линукс серверчић на коме би се то вртело и складиштило, могу да се обезбеде.

Картограф hbogner распоожен је да нам помогне око скрипти употребљених на http://data.osm-hr.org
Ако загребете мало дубље на претходном линку можете да нађете и фајл за овај део Европе. Од њега су прављени остали, а не од целе планете.

За почетак не бих да непоузданим стварима преоптеретимо сервер екипе са https://lugons.org/ која нам је ово добровољно обезбедила.
То занчи да исцртавање плочица уживо за сада није могуће.
Сајт је већ неко време у припреми али објављујем тек сад када је потпуно спреман.

Јављајте се са идејама и решењима за употпуњавање садржаја big_smile

Offline

#6 2015-03-26 07:45:40

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Server koji renederuje ne mora da bude na hostingu. To moze da se radi i na nekoj kucnoj mrezi.

Offline

#7 2015-04-05 12:27:35

magnumns
Moderator
From: Нови Сад, Србија
Registered: 2012-02-25
Posts: 117

Re: Lokalizovani OSM server

Страница https://osm.lugons.org је освежена.
Сад је ту и ОСМ презентација са четвртог Лугонсовог Баркампа.

Offline

#8 2015-05-25 11:55:23

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Имењаче,

Да ли има помака по питању генерисања локалног кеша одређених tile-ова?

Pedja wrote:

Da, ideja je da keš, na osnovu upita odluči da li traženu sličicu daje iz naše mape ili original sa OSM. To može da se parametrima podesi i za različite nive zuma.

Мени овако нешто постаје све потребније па сам рад да се прикључим у рад.

Offline

#9 2017-11-17 08:58:18

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Na mail listu https://lists.openstreetmap.org/listinfo/talk-rs se javio Nemanja Paunić ispred Nacionalne infrastrukture geoprostornih podataka jer su zainteresovani da se uključe u rešavanje pitanja mape Kosova i Metohije na OpenStreetMaps uz državnu podršku.

Mislim da je to do prilika da se pozabavimo ovim problemom. Uključite se na listu.

Offline

#10 2017-11-18 00:28:34

Nemanja Paunić
New Member
Registered: 2017-11-18
Posts: 2

Re: Lokalizovani OSM server

Dragi Peđa,

Hvala na uloženom trudu. Mislim da lista nije bila dobro mesto za početak. smile
Verujem da ovde razgovor može biti konstruktivniji pošto ste ideju već razrađivali. smile

Dakle, dragi svi,

Kao što je Peđa već izneo, trenutno se raspitujem šta je zajednici tačno neophodno za lokalizovani server.
Da li možete da kažete projekciju u pogledu resursa? NIGP trenutno ima iskustvo sa generisanjem tajlova na MapServeru i GeoServeru. MapInk do sada nisam imao priliku da korsitim.

Ukoliko možemo sklopiti neku razumnu konfiguraciju, mislim da postoji dobra šansa da rešimo problem lokalizovanog servera.
Za sada mi je neophodno malo više tehničkih detalja, kako bih u zvaničnu priču krenuo dobro opremljen sa vaše strane.
Ovo može biti izuzetno lako ali isto tako može biti i dug put. Razumevanje za problem postoji ali situacija nije jednostavna kao što se korisnicima sa pomenute liste čini. Najbitnije je poverenje i međusobna saradnja. Da bi se neke stvari postigle neophodan je trud i vaša podrška.

Za sve konstruktivne predloge, stojim vam na raspolaganju.

Pozdrav,
Nemanja

Offline

#11 2017-12-13 21:16:28

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Немања,
Уз велику консултативну помоћ SunCobalt-а и мало експериментисања постављен је локализовани сервер http://osm.mpele.in.rs/ и његова комбинација са главним ОСМ сервером http://osm.mpele.in.rs/kombinovano.html .
Све се одвија на серверу који кошта 2.5 еур месечно (Guaranteed CPU 1 x 2.40 GHz, RAM 1024 MB + 512 MB SWAP , Bandwidth 2 TB, уз тренутно заузеће диска од око 15 GB).

За све конструктивне предлоге, стојим Вам на располагању.

Offline

#12 2017-12-13 21:23:26

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Заборавио си да поменеш да си рендер подесио да приказуеј границу Косова и Метохије као покрајине а не како је у главној бази као посебну државу, као и да су називи рендеровани на српском где постоје тако унешени. smile

Сјајно урађено. Ово је управо онако како сам ја и замислио да буде.

Last edited by Pedja (2017-12-13 21:24:31)

Offline

#13 2017-12-13 21:36:26

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Потенцијани проблем је таг is_in:country који у ОСМ бази показује на измишљену државу уместо на Србију.

Offline

#14 2017-12-16 17:51:05

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Evo ga još jedan alat.

Instalirao sam na svoj server id editor koji se korsiti i za OpenStreetmap i malo ga prepodesio tako da se može pregledati i ova renderovana mapa koja i na Kosovu i Metohjji prikazuje srpski jezik koju je mpele napravio.

Editor je funkcionalan tako da se mogu unositi izmene mape pa i upisivati nazivi na srpskom. Izmene se upisuju u glavnu OSM bazu.

Jedino što još fali je neka dobra podloga koja sadrži nazive na srpskom pošto je prilično nezgodno raditi na tertoriji Kosova i Metohije jer je tamo sve na šiptarskom a mnoge nazive su skroz promenili tako da više i ne liče na srpske.

Čini mi se da su čak počeli da upisuju nazive i ćirilicom ali na šiptarskom, verovatno kako bi napravili još više zabune.


Editor se nalazi na: http://osmid.uzice.net

Iz podloga (background) izaberite OpenStreetMap (Serbian) i na mapi ćete videti šta je na području Kosova i Metohije do sada upisano na srpskom.

Računajte s tim da se rendering ne radi automatski pa se izmene koje unesete ne vide odmah. Sve je ovo još uvek testiranje. Pretpostavljam da će mpele povremeno ažurirati render da se vide izmene.

Offline

#15 2017-12-16 23:30:09

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Што се подлога тиче за део севера Косова се могу користити и војне америчке карте које су средили комшије http://tms.osm-hr.org/.

Освежавања рендера тиче, он може бити максимално једном дневно - толико често се праве екстракти података које користим за генереисање мапа. Није проблем да то ставим у crone па да се аутоматски и освежава једном дневно.

Offline

#16 2017-12-17 08:21:03

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

E taj link nisam mogao da nadjem. Ubacio sam tu mapu kao jednu od podloga u editor na http://osmid.uzice.net. Ima i ta mapa dosta netačnosti u nazivima li je opet bolje nego kad je sve šiptarizovano.

Dodao sam u spisak jezika srpsku latinicu da ne mora da se ukucava ručno name tag.

Promenio sam zoom za edit pošto se podarazumevano editor uključuje tek na zumu 16 što je previše krupno kad se edituju nazivi naselja.

Offline

#17 2018-01-13 21:39:50

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Овај велики посао је прилично одмакао.

Након што је mpele поставио локалнизовани рендер сервер (закупио је хостинг сервер и на њега иснталирао рендеринг сервер и кеш сервер) могло се почети са конкретним радом на сређивању мапе. Поред тога је направио скрипту која пре рендеринга среди ознаке граница тако да граница Косова и Метохије на мапи не буде приказана као државна граница него граница аутономне покрајине, као пто и треба.

Ја сам направио локализовани ОСМ едитор на http://osmid.uzice.net, а Branko је направио неколико скрипти које су служиле за анализу и проверу урађеног.

Ја сам се прихватио да урадим ажурирање мапе Косова и Метохије. Не знам како да проверим да ли се још неко прикључио.

За око месец дана само на простору Косова и Метохије је сређено око три хиљаде назива места тако да сва она сада имају називе на српском језику. Принцип кога смо се држали је да уписујемо само name:sr таг да не изазивамо проблеме.

Проблема је ипак било јер је одмах кренуло брисање неких уноса али је то било слабог и изгледа кратког даха. Имамо алате да пратимо и откривамо евентуалне вандализме.

У сваком случају, резултат може да се погледа на http://osm.mpele.in.rs/.

Молим вас ову адресу користите само за преглед. Немојте повлачити мапу на друге сајтове јер сервер не може да издржи велико оптерећење. Тек треба да се реши питање радног сервера са кога ће рендерована мапа моћи да се користи као подлога.

Offline

#18 2018-10-22 14:34:38

vojislavm
Member
Registered: 2018-10-22
Posts: 1

Re: Lokalizovani OSM server

Какав је статус ове иницијативе? У потрази сам за описом Србије са КиМ у свом саставу.

Offline

#19 2018-10-25 16:41:59

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Војиславе,

Углавном је скоро све припремљено са техничке стране, али је некако застало са набавком сервера - било је превише понуда па нисмо могли да се одлучимо wink

Него, шта теби конкретно треба (pbf, osm, tiles...)?

Offline

#20 2018-10-28 08:25:46

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Мало сам прегледао податке и приметио да је шиштарски вандарлизам и даље у току. Не раде то масовно да не би привукли пажњу али раде.

- бришу name:sr тагове

- ако случајно нека тачка има само српски назив обришу тачку или обришу српски назив, нарочито ако је неко уписао назив у name уместо у name:sr

- понеку тачку не обришу него само обришу српски назив а онда преко неј ставе нову тачку на ситу локацију са шиптарским називом

- мењају ћириличне називе у name:sr латиничним

- мењају ћириличне називе у name:sr ћирилизованим шиптаризованим називима (рецимо преименовали су Пећ)

И тако даље...

Сад кад немамо доступан рендер на ћирилици теже је испратити измене.

Offline

#21 2018-10-28 09:24:06

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Имењаче,
Одавно је било па се више не сећам, а сад немам времена ни да проверим - да ли http://osm2.mpele.in.rs/ представља ажурну слику података са ОСМ.

Offline

#22 2018-10-28 09:32:05

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

E.. ta adresa radi. smile

Offline

#23 2018-10-30 07:04:34

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

mpele, jesi li gledao kako radi ovo sa vektorskim sličicama umesto bitmapa? Čini se da troši mnogo manje prostora.

https://github.com/mapbox/awesome-vector-tiles

Offline

#24 2018-10-30 08:51:06

mpele
Member
Registered: 2012-02-25
Posts: 201

Re: Lokalizovani OSM server

Простор је најјефтинији у целој причи, а и најдоступнији. Тако да за сада немам планова за било какве оптимизације ради уштеде простора.

Offline

#25 2018-10-30 15:54:55

Pedja
Member
From: Užice, Serbia
Registered: 2012-03-22
Posts: 289
Website

Re: Lokalizovani OSM server

Da ali zato ide i manji protok na serveru.

Offline

Board footer

Powered by FluxBB