Serwer dla polskiej społeczności

Ja bym powiedział więcej - wizualizacje marimila są jednym z filarów polskiego OSM. Gdyby ich nie było, bylibyśmy daleko w tyle w stosunku do obecnego stanu.
Dlatego nowy serwer jest jak nabardziej potrzebny.
(sorki za offtopic)

Jakby była możliwość, chętnie postawiłbym tam konwerter warstwy ISOK_Cien z Geoportalu na format zjadliwy przez edytory OSM. Przynajmniej do czasu dodania obsługi WMTS do JOSM.

Od strony technicznej wyglądałoby to tak:

  1. QGIS Mapserver tłumaczy WMTS na WMS,
  2. TileCache tłumaczy WMS na kafelki TMS, jednocześnie je keszując aby nie zajeżdżać niepotrzebnie procesora i RAM-u (choć zwiększy to zapotrzebowanie na dysk, ale dysk jest „tańszy”).

(Szczegóły w http://forum.openstreetmap.org/viewtopic.php?id=27821)).

Jakie to ma wymagania pod realnym obciążeniem ciężko mi niestety powiedzieć. Zakładając, że naraz będzie pracowało maksymalnie kilku użytkowników oraz zablokowany zostanie Mobac i podobne „pożeracze kafelków”, myślę, iż nie aż takie wielkie.

Może postawić jakiś serwer testowy i ocenić potrzeby?

Z pewnością część osób wie, ale w gwoli informacji napomnę, że występując jako stowarzyszenie istnieje możliwość uzyskania dofinansowania unijnego nawet na poziomie 80%. Z pewnością ważne z punktu widzenia finansowania. Oczywiście nie może być to projekt rozpisany czysto na sprzęt lecz jako innowacyjne rozwiązanie wspomagające działanie (tu wymienić wszystkie zalety) w ramach czego potrzeba będzie sprzętu niezawodnego o wysokiej dostępności etc.
W firmie w której pracuje dostarczaliśmy sprzęt, licencje i wdrożenie podobnych tematów np. dla klastra firm odlewniczych http://www.kom-cast.pl/ Ludzie tam pracujący mają również doświadczenie z wnioskami unijnymi i można by z nimi porozmawiać by w temacie pomogli jeśli takie potrzeby również są

PS Co do wniosków unijnych to by trzeba się zorientować co obecnie można wykorzystać, gdyż o ile wiem to na obecną perspektywę finansową brakuje nawet stosownych formularzy…

przypominam że sprawa planowanego polskiego stylu OSM urwała się właśnie na problemie braku serwera

A są oszacowane, przynajmniej z grubsza, wymagania sprzętowe serwera?

Pewnie nie są, nikt nic nie wie, ludzie się dopytują, a zainteresowania brak.
Nie wiem o co tu chodzi, ale mam wrażenie, że tu jest gorzej niż przysłowiowym urzędzie, brak osób, które by to spięły w całość.
Między innymi dlatego coraz bardziej brakuje mi motywacji do zajmowania się OSM :frowning:

Przepraszam za offtop, ale musiało mi się w końcu ulać.

Rootolf przyjacielu… a czym twoim zdaniem jest ten wątek jak nie próbą spięcia tego w całość???

Jakich innych działań byś się spodziewał?

Owszem można ale trzeba znać przynajmniej jakieś warunki brzegowe… Zgodzisz się chyba że inne są wymagania dla serwera, który ma pobierać dane przez overpass i wystawiać openlayers-a z podkładem z kafelków z OSM a inne jeśli ten serwer ma trzymać i synchronizować własną bazę i generować kafle a do tego liczyć jakieś wydumane raporty…

Dodatkowo jak się pewnie domyślasz im lepszy serwer tym trudniej go zdobyć…

Oczywiście można postawić byle co, jak braknie to załatwić lepsze byle co i znów postawić i przenieść i tak do końca świata, ale to jest niepotrzebna praca, a że w OSM wszyscy pracujemy za darmo to trzeba szanować każdą godzinę którą jesteśmy w stanie poświęcić na projekt…

A ja odwrócę Twojego posta - właśnie chcę to spiąć w całość… i co dosteję? W dwa dni 7 postów z czego jeden odpowiadający na pytanie… Zamiast konkretów gdybanie i wyrazy niezadowolenia… Dalej się dziwisz że nic się nie dzieje?

jeśli dobrze rozumiem wątek to chodzi o sprzęt stosunkowo tani, który w miarę możliwości ktoś będzie skłonny dać tudzież sprzedać w cenie pecka jednak będzie miał wystarczającą wydajność by wszystkie planowane usługi uciągnąć. By tak temat załatwić istnieją tylko dwie możliwości. Kupujemy sprzęt refabrykowany z 2, 3 może 4 generacje wstecz u jednego z europejskich brokerów za grosze w porównaniu ze sprzętem nowym i pewnie będzie można nawet kupić nie jeden serwer a może nawet dwa czy więcej i usługi podzielić pomiędzy nie. Zakładam, że o wirtualizacji np. na Citrix Xenserwerze i postawieniu zasobów na macierzy możemy zapomnieć z racji ograniczonego budżetu. Drugim rozwiązaniem jest że jedna czy druga firma wrzucając w koszty marketingowe zasponsoruje serwer w całości. Mogę spróbować porozmawiać z ludźmi z HP/Dell/Fujitsu których znam jak widzą szanse na podobne działanie, ale do tego bym potrzebował konkretów co do tego co będzie potrzebne i co ewentualnie możemy zaproponować w zamian. Logo na stronie itp…, gdyż producenci mają ogromne środki marketingowe lecz głównie przewidziane na szkolenia dla potencjalnych klientów a nie zabawki dla entuzjastów…

PS Tak na marginesie gdzie ten sprzęt by miał stać i kto będzie za prąd płacił bo nim starszy sprzęt tym te rachunki będą wyższe

Jendrusk, chyba źle odczytałeś moją wypowiedź, ja się z Tobą całkowicie zgadzam, mój post był lamentem na to, że pomimo Twojej prośby, w temacie jest cisza, i to mnie irytuje.
Psadk napisał, że nie wie jakie mogą być wymagania dla jego pomysłu, więc zasugerowałem postawienie jakiegoś serwera, obciążyć go, sprawdzić zachowanie i wyciągnąć wnioski, czy potrzeba coś większego, czy może ta konfiguracja wystarczy.
IMO bez testów wydajnościowych się nie obejdzie.

Trochę przesadzone - filar/daleko :stuck_out_tongue_winking_eye:

Ostatnio cierpię na brak czasu. Z tego co pamiętam temat już kiedyś poruszaliśmy. Nie wiem gdzie tego szukać więc napiszę jak jest a ciężko mi określić jak powinno być.

Moje aktualizacje bazy i kafelki robione są na 4 rdzeniach (Xeon, nie wiem ile tam procesorów ;)) i 8 GB RAM (na SWAP nie wchodzą). Serwer raczej starszy poużytkowy ale fizyczny. Przy aktualizacjach wyciągam perlem dane z nimi związane (na potrzeby w/zmiany, kiedyś również konkursów). W nocy tworzona jest większość tabel na potrzeby kafli przygotowywanych przez qgis. Większość kafli generowana jest na żywo bez cache więc to pewnie nie pomaga. Na cache mnie nie stać bo mam małe dyski. Do tego dochodzi mały transfer wychodzący. Wszystko razem powoduje, że przy większym ruchu i ruszanych bardziej “skomplikowanych” wizualizacjach serwer odpowiada bardzo słabo.
Dodatkowo zasoby (pewnie głównie pamięć i dysk) wydzierane są przez zadania “produkcyjne” związane z innymi celami. W dzień ciężko określić zapotrzebowanie dla OSM. W nocy load skacze nawet do 7 - serwer robi kilka rzeczy naraz, żeby wyrobić się do rana.

Jestem zainteresowany przeniesieniem przynajmniej części funkcjonalności związanej z produkcją tabel/kafli i ich serwowaniem. Z tym nie powinno być dużo pracy.

Jeżeli chodzi o ISOK_Cien, to sobie czasem sam używam (bez cache) i działa całkiem sensownie w porównaniu z niektórymi kaflami na wizualizacjach. Po południu mogę dać link, to potestujemy aczkolwiek wolałbym na stałe tego nie wystawiać. Są też głosy, że pojawiają się problemy. U mnie działa dobrze.

@rootolf
To nie urząd, od którego oczekujemy odpowiedzi w konkretnym terminie. Twoje ulewanie może nas ochlapać.
Jeśli chodzi o serwer testowy, wolałbym (z braku czasu) zająć się końcowym rozwiązaniem problemu.

Jeśli tak to przepraszam - faktycznie źle Cię zrozumiałem :slight_smile:

@wmyrda

Jak się okazało serwer już jest, nawet skolokowany, o całkiem przyjemnych parametrach więc teraz tylko potrzebujemy danych co do wymagań żeby wiedzieć gdzie go doinwestować…

@marimil

Filar jak nic, i to nie jeden :slight_smile:

Czym mielisz kafle i w jakim schemacie baza? osm2pgsql? Jeśli tak to możnaby scalić moje i Twoje rozwiązania?

Serwer, który będzie nam udostępniony ma 8 procków i 16 GB RAM. Jeśli chodzi o dyski - Dell SAS 10K RPM 146 GB i SAMSUNG SSD 256 GB. Może być?

Dla mnie wystarczy. Jednak nie będę tam sam :wink:

osm2pgsql
Nie wiem czy dobrze rozumiem słowo ‘mielisz’ :wink: Kafle tworzone są przez serwer QGIS i ew. cachowane/przetwarzane przez MapProxy.
Jeśli z tabelami będzie nam po drodze, to można scalać. Natomiast, jeśli trzeba będzie się dostosować, to może dopiero w okresie letnim.

Panowie, a jak się zapatrujecie na rozproszenie zadań i przesyłanie gotowych danych na serwer produkcyjny?

Można, tylko na początek trzeba znać zadania :slight_smile:

@marimil
W sumie to mielenie kafli mi nie robi różnicy bardziej baza, ale jak piszesz, że osm2pgsql to jeśli jakieś różnice to kosmetyczne (ja używam kolumn technicznych i kilku więcej kolumn w tabelach, ale to bym plik .style podesłał

Kilka nowych tabel w bazie czy procedur nie zrobi Ci różnicy?

Rozumiem że nakładasz diffy? nie importujesz nowej bazy codziennie? (może głupie pytanie ale czasem i takie warto zadawać…)

Ja chętnie podepnę się pod schemat z osm2pgsql. Ja generalnie potrzebuję:

  • granice administracyjne
  • cokolwiek co ma addr:*

Tagi + geometria obiektów.

A do tego indeksy po tagach teryt:*. Do tego potrzebuję jeszcze osobne 2 schematy na swoje dane. To co mam w planach może zajmować do 3h 1 core’a dziennie

Generuję sporo tabel więc kilka pewnie nie zrobi różnicy ;). Może kiedyś to uporządkuję. Jeśli okaże się, że Wasze będą lepsze i da się z nich skorzystać, to się jakoś dostosuje (jestem samoukiem i sporo mam zrobionych tak, żeby działały).

U siebie nakładam diffy, ale to co chcę przenieść może pracować na codziennych importach. Ważne, żeby to zgrać (nie wiem czy jakiś skrypt główny uruchamiający kolejno zadania nie byłby tu wskazany). Z tabel głównych przygotowuję swoje.

Sam plik .style nie jest dla mnie istotny (za dużo musiałbym zmieniać na początek). Jeśli to nie będzie problem, to w moim przypadku wskazana jest kolumna hstore: http://wiki.openstreetmap.org/wiki/Osm2pgsql#hstore. Z niej już sobie wyłuskam co potrzebne. Jeśli natomiast wyciągnięcie kolumn przy imporcie ma usprawnić pracę serwera, to z czasem .style i moje sql możemy dostosować.

Problem jest taki, że na przestrzeni lat :confused: projekty powstawały w różnych wersjach QGIS i przerobienie tego wszystkiego w tym momencie będzie bardzo trudne. W związku z tym może okazać się, ze będziemy mieli po dwie tabele z podobnymi rzeczami. Też np. mam granice i addr: i zobaczymy czy się będziemy mogli “dogadać”.

@marimil:
Jaki chcesz system na tym serwerze? Może być Gentoo, czy wolisz coś innego?

Gentoo jak najbardziej może być.