Lokalizovani OSM server

Već duže vreme pominjemo potrebu a imamo lokalizovan OSM server. Ovo je diskusija u kojoj bi trebalo da se dogovorimo oko načina kako to da izvedemo.

Dva su bitna razloga: treba nam mapa koja prikazuje nazive na srpskom i treba nam da rešimo neprihvaljivu politiku OSM da se Kosovo i Metohija prikazuje kao nezavisna država. Ovo drugo je verovatno prelomna stvar.

Bitno je da ne pravimo posebnu bazu za mapu već da se i dalje oslanjamo na OSM, odnosno da sve izmene koje unosimo na mapu i dalje unosimo na OSM, već samo da renderujemo mapu onako kako nama više odgovara.

Da bi ovo postigli potrebno je:

  • da se postavi server koji će na sebe prekopirati OSM bazu i uvek držati ažurnu verziju;

  • na tom serveru bi se automatski, svaka ažurirana verzija bila menjana peš skriptom, tako da se promene neprihvatljivo obeležene granice Kosova i Metohije te da se ono na mapi prikazuje kao deo teritorije Srbije, kako i jeste faktičko stanje;

  • da se na osnovu izmenjene baze renderuje naša verzija mape.

Pošto je server mape prilično zahtevna rabota, dobro bi bilo da ovaj server za bazu i renderovanje ne bude istovremeno i server mape, već da mu osnovni posao bude da renderuje mapu kako nama odgovra. To bi omogućilo da se server ne mora nalaziti na jakom internet lnku. To mogao da bude računar koji je samo za taj posao namenjen.

Serviranje mape bi se moglo raditi preko keša koji bi sa servera mape preuzeo renderovanu mapu i isporučivao je krajnjim korisnicima.

Štaviše, za to se može upotrebiti veći broj keš servera tako da i oni pojedinačno budu rasterećeni. Sa dovoljnim brojem keš servera rasterećenje bi omogućilo da se za to koriste i standardni hostinzi, odnosno da svako ko bi hteo da pokrene keš samo treba da postavi jednostavan (na primer php) skript i obezbedi dovoljno prostora da se smesti keš mape i prijavi aktivan keš da ga ubacimo u sistem.

U kešu bi se nalazila samo mapa Srbije, a za ostatak bi keš i dalje preusmeravao na OSM server. Doduše, to bi moglo da bude opciono, jer ako bismo išli na to da ceo svet renderujemo na srpskom, onda bismo morali da renderujemo celu planetu. U svakom slučaju to je više stvar podešavanja, skripte za keš bi bile iste, a jedini kriterijum je da li imamo na raspolaganju dovoljno resursa. Na primer možemo se za početak opredeliti da renderujemo samo teritoriju Kosova i Metohije s obzirom da tu imamo ozbiljan problem sa netačnim podacima.

Mapiranje keševa bi trebalo da bude automatizovano tako da ako se pojavi novi keš da se lako ubaci u sistem, a i ako neki keš prestane da radi, da se lako isključi iz sistema. Takođe treba rešiti i sinhronizaciju keš podataka sa osnovnom mapom.

Za početak treba napraviti probni sistem - server koji renderuje mapu i jedan keš da vidimo kao će to da funkcioniše i koliki su resursi neophodni da bi to radilo.

Ovim uvodom vas pozivam da se uključite u diskusiju svojim predlozima i idejama.

Углавном се слажем са свим изнетим.

За почетак да напоменем да немам никаквих искустава са Mapnik-ом али ми се чини да је предложени систем превише добар за нас (бар у почетку). Уколико бисмо желели, рецимо, латиничну мапу целе Србије предложени концепт би био неопходан. Мислим да сада нема потребе да имамо дневно ажурну базу, чак шта више чини ми се да не морамо да имамо базу уопште. Можемо повремено да преузимамо pdf фајлове са белосветских сервера, направимо потребне измене у самом фајлу и правимо кеш (https://github.com/mapnik/mapnik/wiki/OsmPlugin). Ово повременено би могло да буде и једном месечно.

Такође, акценат бих бацио на рендереровање целог Косова и Метохије само до увеличања 11 (или 12) а при већим увеличањима само зоне око “граничне” линије и север Косова.

Da, ideja je da keš, na osnovu upita odluči da li traženu sličicu daje iz naše mape ili original sa OSM. To može da se parametrima podesi i za različite nive zuma.

Ja lično bih, ako resursi dozvole, celu Srbiju renderovao po našem, jer bi tako imali jednobrazno i način renederovanja i pismo i sve ostalo. no, kao što rekoh, to sve zavisi od resursa.

Ovo oko baze nisam baš najbolje razumeoj jedino ako korsitimo različite termine, pošto ja i taj PDF smatram bazom. Format je nebitan. Treba uzeti onaj format koji je najlakše ispraviti i renderovati.

Ја сам под базом сматрао PostgreSQL, али ако је pbf база - онда нема разлике у мишљењима. Најлакше је да са JOSM направе измене, оне се сниме као change фајл, са osmosis се миплементирају сваки пут на најсвежије скинут pbf фајл и онда се рендерују жељене површи.

Што се мене тиче највећи проблем је недостатак времена. Поред све воље, на жалост, не могу одвојити значајније време за реализацију свега наведеног :(.

Абракадабра
https://osm.lugons.org

Да цитирам сам себе:

Картограф hbogner распоожен је да нам помогне око скрипти употребљених на http://data.osm-hr.org
Ако загребете мало дубље на претходном линку можете да нађете и фајл за овај део Европе. Од њега су прављени остали, а не од целе планете.

За почетак не бих да непоузданим стварима преоптеретимо сервер екипе са https://lugons.org/ која нам је ово добровољно обезбедила.
То занчи да исцртавање плочица уживо за сада није могуће.
Сајт је већ неко време у припреми али објављујем тек сад када је потпуно спреман.

Јављајте се са идејама и решењима за употпуњавање садржаја :smiley:

Server koji renederuje ne mora da bude na hostingu. To moze da se radi i na nekoj kucnoj mrezi.

Страница https://osm.lugons.org је освежена.
Сад је ту и ОСМ презентација са четвртог Лугонсовог Баркампа.

Имењаче,

Да ли има помака по питању генерисања локалног кеша одређених tile-ова?

Мени овако нешто постаје све потребније па сам рад да се прикључим у рад.

Na mail listu https://lists.openstreetmap.org/listinfo/talk-rs se javio Nemanja Paunić ispred Nacionalne infrastrukture geoprostornih podataka jer su zainteresovani da se uključe u rešavanje pitanja mape Kosova i Metohije na OpenStreetMaps uz državnu podršku.

Mislim da je to do prilika da se pozabavimo ovim problemom. Uključite se na listu.

Dragi Peđa,

Hvala na uloženom trudu. Mislim da lista nije bila dobro mesto za početak. :slight_smile:
Verujem da ovde razgovor može biti konstruktivniji pošto ste ideju već razrađivali. :slight_smile:

Dakle, dragi svi,

Kao što je Peđa već izneo, trenutno se raspitujem šta je zajednici tačno neophodno za lokalizovani server.
Da li možete da kažete projekciju u pogledu resursa? NIGP trenutno ima iskustvo sa generisanjem tajlova na MapServeru i GeoServeru. MapInk do sada nisam imao priliku da korsitim.

Ukoliko možemo sklopiti neku razumnu konfiguraciju, mislim da postoji dobra šansa da rešimo problem lokalizovanog servera.
Za sada mi je neophodno malo više tehničkih detalja, kako bih u zvaničnu priču krenuo dobro opremljen sa vaše strane.
Ovo može biti izuzetno lako ali isto tako može biti i dug put. Razumevanje za problem postoji ali situacija nije jednostavna kao što se korisnicima sa pomenute liste čini. Najbitnije je poverenje i međusobna saradnja. Da bi se neke stvari postigle neophodan je trud i vaša podrška.

Za sve konstruktivne predloge, stojim vam na raspolaganju.

Pozdrav,
Nemanja

Немања,
Уз велику консултативну помоћ SunCobalt-а и мало експериментисања постављен је локализовани сервер http://osm.mpele.in.rs/ и његова комбинација са главним ОСМ сервером http://osm.mpele.in.rs/kombinovano.html .
Све се одвија на серверу који кошта 2.5 еур месечно (Guaranteed CPU 1 x 2.40 GHz, RAM 1024 MB + 512 MB SWAP , Bandwidth 2 TB, уз тренутно заузеће диска од око 15 GB).

За све конструктивне предлоге, стојим Вам на располагању.

Заборавио си да поменеш да си рендер подесио да приказуеј границу Косова и Метохије као покрајине а не како је у главној бази као посебну државу, као и да су називи рендеровани на српском где постоје тако унешени. :slight_smile:

Сјајно урађено. Ово је управо онако како сам ја и замислио да буде.

Потенцијани проблем је таг is_in:country који у ОСМ бази показује на измишљену државу уместо на Србију.

Evo ga još jedan alat.

Instalirao sam na svoj server id editor koji se korsiti i za OpenStreetmap i malo ga prepodesio tako da se može pregledati i ova renderovana mapa koja i na Kosovu i Metohjji prikazuje srpski jezik koju je mpele napravio.

Editor je funkcionalan tako da se mogu unositi izmene mape pa i upisivati nazivi na srpskom. Izmene se upisuju u glavnu OSM bazu.

Jedino što još fali je neka dobra podloga koja sadrži nazive na srpskom pošto je prilično nezgodno raditi na tertoriji Kosova i Metohije jer je tamo sve na šiptarskom a mnoge nazive su skroz promenili tako da više i ne liče na srpske.

Čini mi se da su čak počeli da upisuju nazive i ćirilicom ali na šiptarskom, verovatno kako bi napravili još više zabune.

Editor se nalazi na: http://osmid.uzice.net

Iz podloga (background) izaberite OpenStreetMap (Serbian) i na mapi ćete videti šta je na području Kosova i Metohije do sada upisano na srpskom.

Računajte s tim da se rendering ne radi automatski pa se izmene koje unesete ne vide odmah. Sve je ovo još uvek testiranje. Pretpostavljam da će mpele povremeno ažurirati render da se vide izmene.

Што се подлога тиче за део севера Косова се могу користити и војне америчке карте које су средили комшије http://tms.osm-hr.org/.

Освежавања рендера тиче, он може бити максимално једном дневно - толико често се праве екстракти података које користим за генереисање мапа. Није проблем да то ставим у crone па да се аутоматски и освежава једном дневно.

E taj link nisam mogao da nadjem. Ubacio sam tu mapu kao jednu od podloga u editor na http://osmid.uzice.net. Ima i ta mapa dosta netačnosti u nazivima li je opet bolje nego kad je sve šiptarizovano.

Dodao sam u spisak jezika srpsku latinicu da ne mora da se ukucava ručno name tag.

Promenio sam zoom za edit pošto se podarazumevano editor uključuje tek na zumu 16 što je previše krupno kad se edituju nazivi naselja.

Овај велики посао је прилично одмакао.

Након што је mpele поставио локалнизовани рендер сервер (закупио је хостинг сервер и на њега иснталирао рендеринг сервер и кеш сервер) могло се почети са конкретним радом на сређивању мапе. Поред тога је направио скрипту која пре рендеринга среди ознаке граница тако да граница Косова и Метохије на мапи не буде приказана као државна граница него граница аутономне покрајине, као пто и треба.

Ја сам направио локализовани ОСМ едитор на http://osmid.uzice.net, а Branko је направио неколико скрипти које су служиле за анализу и проверу урађеног.

Ја сам се прихватио да урадим ажурирање мапе Косова и Метохије. Не знам како да проверим да ли се још неко прикључио.

За око месец дана само на простору Косова и Метохије је сређено око три хиљаде назива места тако да сва она сада имају називе на српском језику. Принцип кога смо се држали је да уписујемо само name:sr таг да не изазивамо проблеме.

Проблема је ипак било јер је одмах кренуло брисање неких уноса али је то било слабог и изгледа кратког даха. Имамо алате да пратимо и откривамо евентуалне вандализме.

У сваком случају, резултат може да се погледа на http://osm.mpele.in.rs/.

Молим вас ову адресу користите само за преглед. Немојте повлачити мапу на друге сајтове јер сервер не може да издржи велико оптерећење. Тек треба да се реши питање радног сервера са кога ће рендерована мапа моћи да се користи као подлога.

Какав је статус ове иницијативе? У потрази сам за описом Србије са КиМ у свом саставу.

Војиславе,

Углавном је скоро све припремљено са техничке стране, али је некако застало са набавком сервера - било је превише понуда па нисмо могли да се одлучимо :wink:

Него, шта теби конкретно треба (pbf, osm, tiles…)?

Мало сам прегледао податке и приметио да је шиштарски вандарлизам и даље у току. Не раде то масовно да не би привукли пажњу али раде.

  • бришу name:sr тагове

  • ако случајно нека тачка има само српски назив обришу тачку или обришу српски назив, нарочито ако је неко уписао назив у name уместо у name:sr

  • понеку тачку не обришу него само обришу српски назив а онда преко неј ставе нову тачку на ситу локацију са шиптарским називом

  • мењају ћириличне називе у name:sr латиничним

  • мењају ћириличне називе у name:sr ћирилизованим шиптаризованим називима (рецимо преименовали су Пећ)

И тако даље…

Сад кад немамо доступан рендер на ћирилици теже је испратити измене.