Kontrola nad danymi OSM

Oto treść korespondencji z jednym z portali społecznościowych.
Oczywiście chcę im odpisać że stacje benzynowe będą edytowalne ale po edycji danych znacznik source zostanie zmieniony.
Skąd mam wziąć statystyki openstreetmap.org i openstreetmap.pl?
Proszę o pomoc, z góry dziękując.
Pozdrawiam Tomasz Domagalski.

Panie Tomaszu,

dziękuje za przesłanie bardzo ciekawej propozycji współpracy. Zanim jednak zaczniemy dalszą rozmowy proszę o informację czy jest Pan w stanie zagwarantować, że pozycje GPS stacji benzynowych oraz dane stacji nie będą edytowalne. Proszę także o przesłanie statystyk Pana serwisu.

Z wyrazami szacunku

Marcin Pęksa
Product Manager

W dniu 2011-04-12 13:51, t.domagalski@openstreetmap.pl pisze:

Zapytanie z serwisu www......................pl

E-mail: t.domagalski@openstreetmap.pl

Temat:
Propozycja współpracy

Treść:
Witam.
Jako prezes Stowarzyszenia OpenStreetMap Polska zwracam się do Państwa z Prośba o nawiązanie współpracy w celu aktualizacji danych OpenStreetMap.

Prosimy o udostępnienie danych stacji benzynowych w serwisie openstreetmap.org i openstreetmap.pl.

Interesuje nas:
1. Nazwa stacji i dane teleadresowe.
2. Pozycja GPS stacji benzynowej
3. Rodzaje oferowanych paliw i usług.
4. Ewentualnie ceny paliw.

Jako źródło (source) będzie podane ...................pl

Jeśli dane będzie można zaciągać systematycznie wtedy możemy w  OpenStreetMap aktualizować ceny paliw.

OpenstreetMap jest wykorzystywana na pratformach PC, Pocket-PC, iOS, Android, Bada, Symbian.

W razie potrzeby możemy przeprowadzić konferencję online lub spotkać się osobiście w celu podpisania umowy w celu zabezpieczenia interesów każdej ze stron.

Jestem pewien że współpraca z nami to ruch we właściwą stronę i w Państwa wypadku krok do przodu, przed konkurencję.

Ze swojej strony oferujemy naszą wiedzę (Politechnika Łódzka) w celu udostępnienia informacji na OpenStreetMap.
Jestem pewien, że nasze wspólne doświadczenie zaowocuje rozwojem Państwa serwisu ....................... i naszej OpenStreetMap.

Jeszcze raz gorąco zachęcam do współpracy.
Z wyrazami szacunku
 Tomasz Domagalski
 Prezes OpenStreetMap Polska
tel. ...................
tel. ...................
prezes@openstreetmap.pl

[www.openstreetmap.org](http://www.openstreetmap.org)
[www.openstreetmap.pl](http://www.openstreetmap.pl)

Glowna strona ze statystykami to:
http://wiki.openstreetmap.org/wiki/Statistics

Liczby zapytan do www,openstreetmap.org mozna znalesc na munin: http://munin.openstreetmap.org/openstreetmap/www.openstreetmap/index.html#apache (jak widac zwykle okolo 60 na sekunde)

Na openstreetmap.pl wydaje mi sie, ze wchodzi sie raczej tylko raz, zeby dowiedziec sie co to jest OSM, napewno nie zeby znalesc stacje benzynowa, wiec o tym nie ma co pisac temu serwisowi. W kazdym razie liczba odwiedzin oscyluje wokol 160 dziennie.

Jesli chodzi o edytowalnosc to moze warto wspomniec, ze to tak jak w wikipedii – dane sa wzbogacane, udokladniane a nie po prostu zmieniane. Te ulepszone dane wlasciciel moze sobie pobrac.

Wydaje mi się, że te różne instytucje chcą zachować pewien stopień kontroli nad udostępnianymi danymi (realizowanej po ich lub naszej stronie). Zastanawiałem się nad narzędziem, które kontrolowałoby zmiany obiektów z zadanym tagiem (np. source=FIRMA), orientuje się ktoś? Może byłoby dobrym pomysłem oferować taki sposób kontroli ewentualnym kontrybutorom?

Bardzo dobry pomysl, pomógl by w argumentacji w wielu instytucjach, jednak takie narzedzie zdaje sie trzeba by stworzyc.
Byc moze ktos z Was móglby dokonac specyfikacji takiego softu, wtedy latwiej byloby rozmawiac z ewentualnymi programistami…

No wlasnie, ale co wlasciwie mozna zrobic kiedy nastepuje edycja takiego obiektu z tagiem source=FIRMA? Powiadomic uzytkownika, powiadomic firme?

To już zależałoby od nas lub od firmy, możemy my gwarantować kontrolę w ramach zadań stowarzyszenia a może firma będzie miała taką potrzebę, wszystko zależy od indywidualnego przypadku. Można by przedstawiać mapkę przed i po i wyświetlać “Zaakceptuj”; “Przywróć”; “Skontaktuj (z autorem)”. Nie wiem czy warto wkładać w to tyle pracy, jak myślicie?

Wskazówka od Uzytkownika wambacher z Niemiec. W razie dalszych pytan pisac bezposrednio do niego po angielsku…

Jesli ma sie wlasna baze danych, zdefiniowac sql-trigger, który aktywuje sie przy update lub delete danego obiektu (ów) i filtruje interesujace cie obiekty.
Pracowac bedzie osmosis a trigger bazy danych filtruje podejrzane obiekty.
To okolo 20-30 linijek kodu pgsql, nie nastepuja zadne zmiany w osmosis.

REATE TRIGGER oberfoerster
AFTER INSERT OR UPDATE OR DELETE
ON ways
FOR EACH ROW
EXECUTE PROCEDURE oberfoerster();

CREATE OR REPLACE FUNCTION oberfoerster() RETURNS trigger AS $$

– 263596 Oberförster

declare ts timestamp;

BEGIN
ts = current_timestamp;
if TG_OP = ‘INSERT’ or TG_OP = ‘UPDATE’
then
if (NEW.user_id = 263596 )
then
RAISE NOTICE ‘Oberförster-Alarm: % way %’,TG_OP, NEW.id;
INSERT INTO logfile(dtm, trigger, what, state) values(ts, ‘oberförster’, NEW.id, TG_OP);
end if;
end if;
RETURN NEW;
END;
$$ LANGUAGE plpgsql;

Mozna by takiego triggera uzyc jak mowi Marek, i do tego dorobic webowy interfejs uzytkownika w Google Apps. Trzebaby tylko wymyslic jak Google Apps bedzie rozmawiac z postgresem (ktory moze chodzic na openstreetmap.pl – i tak juz tam jest), ale to mogloby sie przydac tez do wielu innych narzedzi, ktore szybko i latwo robi sie w Google Apps.

Problem, ktory widze, to taki, ze przegladanie zmian moze byc pracochlonnym zadaniem. Potencjalna firma rzaczej bedzie chciala po prostu zakazac edycji, a jesli czegos nie mozna edytowac to raczej nie ma na to miejsca w OSM i tego typu projektach. Stowarzyszenie tez pewnie ma ciekawsze rzeczy to zrobienia niz przegladanie zmian.

Jesli firma chce monitorowac co sie dzieje z jej danymi to najprawdopodbniej nie zrozumiala na czym polega ten projekt / wolne dane. Nawet jesli w OSM bedziemy monitorowac edycje, to wszystko co raz pojawi sie w OSM jest dostepne dla innych na licencji CC-By-SA i moga zrobic z tymi danymi wszystko.

Uzytkownicy niemieccy, zwrócilei uwage, ze jnajgorsze co sie moze firmie przydarzyc, to nie zmiany dokonywane w danych poniewaz praktyka OSM jest taka, ze nikt celowo nie niszczy, ( co najwyzej robi bledy za które dostaje bure od innych czlonków spolecznosci), lecz aktualizuje te dane. Trzeba to wytlumaczyc. Sposób myslenia OSM i cloudworking jest po prostu zdecydowanej wiekszosci nieznany. Z drugiej strony spolecznosci OSM bardzo by sie przydala wspólpraca z takimi firmami, dlatego takie narzedzie stworzyc warto by móc je pokazac, chocby dlatego, by uspokoic danego decydenta.

Jeszcze jedna uwaga która zostala poruszona na forum niemieckim: Kilkakrotnie wspólnota OSM odkryla bledy bazy danych wlasnie stacji benzynowych, które wg wyszukiwarek tychze firm pokazywaly np. ze stacja lezy ulice dalej. Tak wiec wrecz przeciwnie: nawet jesli firma z najwieksza starannoscia zbiera wspólrzedne to tego typu wypadków nie wykluczy. Wspólpraca z OSM moze byc pomocna w wykryciu tych bledów.

Chcialbym wtracic swoje 3 grosze do tej dyskusji.

Podzielam zdanie h4v - firmy chca miec kontrole nad swoimi danymi, bo stawka jest reputacja tych firm.
Prawie zawsze pierwszymi reakcjami na tryb pracy OSM jakie slyszalem i czytalem to : “Jakto,Kazdy moze edytowac dane? to moze tez wykasowac dane naszych stacji/restauracji/etc??”.
Firmy (ale tez instytucje i urzedy) kieruja sie troska o swoj wizerunek i nie beda zainteresowane wdrazeniem takiego systemu inf. przy ktorym beda mialy przeczucie ze jest realne zagrozenie, ze ich klienci ktoregos dnia beda radykalnie wprowadzeni w blad albo wogole nie beda mogli zobaczyc lokalizacji danej firmy.
Stad tez jestem przekonany ze trzeba miec zawczasu argumenty ktore przekonaja firmy do tego ze OSM ma narzedzia zabezpieczajace je przed wandalizem.
Mam swiadomosc ze Google Maps jest w tej sytuacji o rzad wielkosci przed OSM bo Google ma wyrobiona marke wzbudzajaca solidnosc i poczucie bezpieczenstwa - firma tak czy inaczej jest sklonna nawet zaplacic, azeby miec pewnosc ze ich dane sa ‘bezpieczne’.

OpenStreetMap poza tym wg mnie stoi przed jeszcze wiekszym problemem ktory jest rozwinieciem powyzszych rozwazan i jakos nikt go nie poruszal do tej pory – cyberterroryzm.
Wyjde na Advocatus Diaboli, ale na obecna chwile potrafie sobie wyobrazic starannie przygotowany,zautomatyzowany i zsynchronizowany atak DDoS na dane znajdujace sie w OSM. Atak w ktorym za pomoca legalnie zalozonych kont wymazujemy wybrane elementy infrastruktury z bazy danych OSM. Czy OpenStreetMap jest przygotowany na taki scenariusz? Na marginesie, zadziwiajace dla mnie jest to, ze odkad przygladam sie OSM, fraza googlowego zapytania ‘openstreetmap abuse’ nie zwraca zadnych sensownych wynikow – czy naprawde na szczeblu globalnym nie ma dyskusji na ten temat?

Uwazam ze OpenStreetMap wyrasta z pieknej idei, ale sama romantyczna wiara w to, ze dobra natura i intencje uzytkownikow OSM wystarcza, aby uchronic ten projekt od naduzyc jest naiwna.
Jesli OpenStreetMap chce byc realnym konkurentem dla gigantów pokroju Google’a (a chcialbym i szczerze w to wierze) to musi byc przygotowany na zagrozenia ktore pojawia sie w miare dalszego wzrostu swojej popularnosci. W sytuacji gdy coraz wiecej firm i instytucji bedzie korzystalo z OSM, a przez to coraz wiecej pieniedzy bedzie ‘krecilo sie’ wokol OSM, bedzie roslo zainteresowanie tym projektem przez wszelkiej masci szantazystow, zloczyncow, fanatykow.
Tak wiec dla mnie nie jest dyskusja CZY nastapi wyzej przedstawiony atak ale KIEDY, czy bedzie to za 5 czy 10 lat. Dlatego nad jakims systemowym mechanizmem ‘Anti-abuse-framework’ powinnismy zastanawiac sie juz dzis.

Aby podsumowac temat jakos pozytywnie – SQL Triggery wydaj mi sie dobrym pomyslem, sa jedna z linii obrony przed swiadoma masowa dewastacja.
I widze tutaj miejsce dla kogos kto monitorowalby takie incydenty- bylby to swoisty CERT dla OpenStreetMap. Czy to zadanie dla Stowarzyszenia? Dla mnie to raczej model biznesowy, inna metoda supportu dla ogolnie pojetych danych Open Source, ten kto chce moze wykupic pakiet wsparcia,monitoringu.
Swoja droga ten temat musial byc rozwazany przez juz istniejace firmy oferujace podobne wsparcie np. Cloudmade,Spoorle? . Jak odsiac zle commity od tych dobrych? Jak czesto z automatu aktualizowac dane? Nie sledze forum swiatowego OSM - balrogu,marku- Czy mamy jakas wiedze nt. temat?

Zgadzam się z Tobą, Adamie. Prędzej czy później będą się zdarzały wandalizmy (co się stanie jeśli sobie tu coś skasuję? ale będzie fun, hahaha) jak i celowe działania mające na celu zdyskredytowanie OSM, np ze strony komercyjnych dostawców map.

Na razie OSM jest otwarte dla wszystkich edytujących, ale nadejdzie taki czas kiedy stanie się to wadą. Wikipedia, jak wiemy, już się zetknęła z tym problemem.

Witam.
Dla mnie rozsądnym rozwiązaniem będzie mechanizm, który wyśle do mnie informację o edycji mojego obiektu przez innego użytkownika z informacją o rodzaju modyfikacji.
Blokowanie edycji i moderacja niektórych obiektów zabiłaby całą ideę OpenStreetMap.
Pozdrawiam Tomasz Domagalski.

“Dobre jest wrogiem lepszego”.

Takie słowa kołaczą mi się w głowie kiedy czytam:

• Po co nam nowy serwer?

I może zdziwi niektórych moja odpowiedź, ale…

Zgodzę się z obrońcami obecnego serwera.

Obecnie nowy serwer nie jest nam potrzebny!

I jest to tylko i wyłącznie wina Polskiej społeczności OpenStreetMap.
Mojej, waszej… naszej!

Polska społeczność OpenStreetMap musi się rozwijać i to nie podlega dyskusji.

Mam nadzieję, że tak jak ja również i wy, podejmujecie działania w celu propagowania idei OSM.

Naszym zadaniem jest poinformować jak najszerszą ilość osób o istnieniu OSM.

Na ok. 300 moich znajomych (nie licząc OSM Polska) o projekcie wiedziało jakieś 7 osób!

Musimy trafić do tych wszystkich ludzi i poinformować ich o OSM i OSM Polska.

Nawiązać współpracę z Harcerstwem, Szkołami, Organizacjami Turystycznymi, prywatnymi firmami, innymi Stowarzyszeniami, lokalnymi grupami działania.

Wtedy będzie nam potrzebny mocny serwer a dane będą przyrastały w tempie lawinowym.
Czego oczywiście nam wszystkim życzę.
Doświadczenie mnie nauczyło że sponsorów trzeba szanować i jeśli dają nam coś czego potrzebujemy lub będziemy potrzebowali to nie bójmy się po to sięgnąć.
Oczywiście tak ważne sprawy trzeba zabezpieczyć prawnie więc spisanie umowy między OSM Polska a sponsorem to już formalność.

Kwestia dodatkowa.
Obecny administrator serwera dostaje uprawnienia administratora do nowego serwera, wydaje mi się ze bardziej zaufanej osoby w tej kwestii u nas nie znajdziemy.

Chętnie poznam wasze zdanie w tym temacie.

Czekam na informację i pozdrawiam
Tomasz Domagalski
Prezes OpenStreetMap Polska.

Zgadzam się z Tomaszem. Jeśli macie serwer ktory bedzie pobieral dzienne diffy to nie ma problemu, moge zrobic skrypt, ktory bedzie wysylac wiadomosc do uzytkownika o edycji “jego” danych. Ale dobrze wiadomo, że to nas nie zabezpieczy przed kazdym wandalizmem. Bo wysylanie wiadomosci powinno sie odbywać do ostatniego edytującego i opcjonalnie do “tworcy”. Ale czy ten, ktory ostatnio edytował lub tworca się tym zainteresuje trudno powiedzieć.

Pewne jest, że to tego potrzebny jest dobry serwer na ktorym by mogł stać rowniez renderer.

Mała jest szansa, że ktoś wywali całe planet.osm z bazy w jeden dzień. Wandalizmy i ataki mogą trwać przez długi czas i pozostać niezauważone.

Moim zdaniem pewnym rozwiązaniem jest nadawanie różnych uprawnień dla użytkowników, przykładowo:

• początkujący: może dodawać tylko POI (musi uzbierać limit POI, żeby przejść poziom wyżej)
• normal user: może edytować drogi, zmieniać ich otagowanie, jednakże nie może skasować więcej obiektów niż sam wprowadził do OSM
• advanced user: może wszystko (czyli tak jak dzisiaj jest)

To tylko luźna propozycja, proszę nie czepiać się szczegółów.

Spotkałem się ze zdziwieniem osób zaczynających przygodę z OSM, że nie ma żadnej moderacji, i że tak łatwo coś zepsuć.

Diffy są robione co minutę i ich uzywam do OSMZmiany(usuniecia sie nim wychwyci).
Jak odfiltrowac złe edycje? Najdzesciej są to usunięcia, wiec warto sledzic changesety lub userów, który duzo usuwają.

Moderowanie takie jak zaproponowal Zibi jest dobre ale na krotka metę, bo starcimy duzo edycji w tym momencie. To ma sens jak uzytkownikow bedzie wiecej. Myślę, że poprostu potrzebujemy osob kontrolujacych zmiany.

E tam, guzik prawda. Inaczej mówiąc, nie zgadzam się z Tobą Dlaczego mielibyśmy stracić “dużo” edycji? Można inaczej rozwiązać pkt pierwszy: niech edycje wykonane przez “początkujących” trafiają do sprawdzenia przez kogoś zaawansowanego.

Lubisz siedzieć i patrzeć na pojawiające się punkciki w OSMZmiany? Moim zdaniem to jest dobre do przesiewowego wychwytywania części userów, i udzielania im wskazówek co robią źle. IMO w większej skali ten sposób leży i kwiczy.

Poza tym, pomyślałeś o tym, że pisząc do początkujących i zwracając im uwagę na błędy też możesz ich zniechęcić?

System gradacyjny, który zaproponowałem ma też inną zaletę - motywacyjną. W tej chwili “model kariery” w OSM jest dosyć płaski. Wielu ludzi lubi chwalić się swoimi “levelami”, więc znaleźli by się i tacy co chcieliby osiągnąć “advanced user” w OSM. Ty sam z jakiegoś powodu zaglądasz na ranking odbl.de

@Adam
Na pewno problem ze wzrostem wandalizmu sie pojawi, dotychczas wykryto tylko kilka wiekszych przypadkow. Z wycofaniem edycji generalnie nie ma az tak duzego problemu. Wszystko wskazuje na to, ze glowny problem to wykrycie wandalizmu, a nie reakcja na niego. W zwiazku z tym takie masowe akcje jak wykasowanie calego kontynetu czy zarejestrowanie 1000 kont i wgrywanie danych z innej mapy (cos takiego mialo juz miejsce) nie jest wcale problemem. Problemem sa te bardziej tworcze edycje gdzie ktos rysuje sobie nowa wyspe na pacyfiku, zmienia klasy drog o 1 w gore lub w dol, itp. Taki znany przypadek tu uzytkownik liam123. Po paru miesiac autor Potlatcha uruchomil bota (General_Dreedle), ktory odwraca wszystkie jego (i paru innych tworczych osobowosci) edycje po 15 minutach – nie wiadomo czy Liam to kiedykolwiek sie polapal bo nie da sie z nim nawiazac kontatku.

Bez watpienia beda pojawiac sie nowe typy wandalizmow, ale nie wiadomo jak bedzie to wygladac, wiec stosowana jest mantra “cross that bridge when we get there”.

Druga uwaga, to taka, ze OSM to wiki-mapa, ze wszystkimi tego zaletami i wadami. Bycie wiki-mapa jest zdecydowanie bardziej celem projektu, niz konkurencja z Google Maps w jak najkrotszym czasie – kiedys to nastapi, ale ma pospiechu. Tak jak mowi tomianek mamy nadzieje, ze przyrost liczby uzytkownikow bedzie nadal wzrastal lawinowo i o ile super byloby moc wykorzystac dane np. na temat lokalizacji outletow McDonald’s od samej firmy, to zebranie tych danych samemu niedlugo bedzie niewielkim kosztem. Nie ma co poswiecac naszych zalet (czyli aktualnosc, i sprawdzone w terenie, wytworzone niezaleznie i oddolnie dane) dla pojedynczych przypadkow zewnetrznych zrodel.

Jak mysle o roznych sieciach uslugowych to w sumie dodanie wsyzstkich tych informacji jest niewielkim nakladem pracy w porownaniu z obrysami budynkow itp. Jest tez duzo gadania na listach dyskusyjnych OSM ze strony przeciwnikow importow (wielu uzytkownikow wiki ma na swoich stronach wiki szablon “OpenStreetMap is an outdoor activity”), z ktorymi nie do konca sie zgadzam, ale prawda jest ze w krajach gdzie duzo danych OSM pochodzi z importu, spolecznosc sie slabiej rozwija i dane sa nieaktualne.

@tomianek
Co do serwera to nie wszystko jest takie jasne, mysle ze dwa serwery sprawdza sie w roznych rolach. Stary serwer ma mocny sprzet i sredniej klasy lacze, a nowy serwer na odwrot. Jako wizytowka stowarzyszenia moze sie on bardzo dobrze sprawdzic, bo “oficjalna strona” to cos co nie wymaga innych zasobow niz lacze. Z drugiej strony ma on 5GB dysku i prawdopodobnie jest maszyna wirtualna (a wiec powolny dostep do dysku), wiec nie ma mowy o uruchomieniu na nim uslug mapowych (zakladajac ze w ogole da sie tam zainstalowac wlasne oprogramowanie). Stary serwer ma 2000GB dysku i 16GB ramu, mozna z niego serwowac nawet podklady zdjec czy mestischblatow lub uruchamiac aplikacje do monitorowania danych.