Kontrola nad danymi OSM

Zgadzam się z Tobą, Adamie. Prędzej czy później będą się zdarzały wandalizmy (co się stanie jeśli sobie tu coś skasuję? ale będzie fun, hahaha) jak i celowe działania mające na celu zdyskredytowanie OSM, np ze strony komercyjnych dostawców map.

Na razie OSM jest otwarte dla wszystkich edytujących, ale nadejdzie taki czas kiedy stanie się to wadą. Wikipedia, jak wiemy, już się zetknęła z tym problemem.

Witam.
Dla mnie rozsądnym rozwiązaniem będzie mechanizm, który wyśle do mnie informację o edycji mojego obiektu przez innego użytkownika z informacją o rodzaju modyfikacji.
Blokowanie edycji i moderacja niektórych obiektów zabiłaby całą ideę OpenStreetMap.
Pozdrawiam Tomasz Domagalski.

“Dobre jest wrogiem lepszego”.

Takie słowa kołaczą mi się w głowie kiedy czytam:

  • Po co nam nowy serwer?

I może zdziwi niektórych moja odpowiedź, ale…

Zgodzę się z obrońcami obecnego serwera.

Obecnie nowy serwer nie jest nam potrzebny!

I jest to tylko i wyłącznie wina Polskiej społeczności OpenStreetMap.
Mojej, waszej… naszej!

Polska społeczność OpenStreetMap musi się rozwijać i to nie podlega dyskusji.

Mam nadzieję, że tak jak ja również i wy, podejmujecie działania w celu propagowania idei OSM.

Naszym zadaniem jest poinformować jak najszerszą ilość osób o istnieniu OSM.

Na ok. 300 moich znajomych (nie licząc OSM Polska) o projekcie wiedziało jakieś 7 osób!

Musimy trafić do tych wszystkich ludzi i poinformować ich o OSM i OSM Polska.

Nawiązać współpracę z Harcerstwem, Szkołami, Organizacjami Turystycznymi, prywatnymi firmami, innymi Stowarzyszeniami, lokalnymi grupami działania.

Wtedy będzie nam potrzebny mocny serwer a dane będą przyrastały w tempie lawinowym.
Czego oczywiście nam wszystkim życzę.
Doświadczenie mnie nauczyło że sponsorów trzeba szanować i jeśli dają nam coś czego potrzebujemy lub będziemy potrzebowali to nie bójmy się po to sięgnąć.
Oczywiście tak ważne sprawy trzeba zabezpieczyć prawnie więc spisanie umowy między OSM Polska a sponsorem to już formalność.

Kwestia dodatkowa.
Obecny administrator serwera dostaje uprawnienia administratora do nowego serwera, wydaje mi się ze bardziej zaufanej osoby w tej kwestii u nas nie znajdziemy.

Chętnie poznam wasze zdanie w tym temacie.

Czekam na informację i pozdrawiam
Tomasz Domagalski
Prezes OpenStreetMap Polska.

Zgadzam się z Tomaszem. Jeśli macie serwer ktory bedzie pobieral dzienne diffy :slight_smile: to nie ma problemu, moge zrobic skrypt, ktory bedzie wysylac wiadomosc do uzytkownika o edycji “jego” danych. Ale dobrze wiadomo, że to nas nie zabezpieczy przed kazdym wandalizmem. Bo wysylanie wiadomosci powinno sie odbywać do ostatniego edytującego i opcjonalnie do “tworcy”. Ale czy ten, ktory ostatnio edytował lub tworca się tym zainteresuje trudno powiedzieć.

Pewne jest, że to tego potrzebny jest dobry serwer na ktorym by mogł stać rowniez renderer.

Mała jest szansa, że ktoś wywali całe planet.osm z bazy w jeden dzień. Wandalizmy i ataki mogą trwać przez długi czas i pozostać niezauważone.

Moim zdaniem pewnym rozwiązaniem jest nadawanie różnych uprawnień dla użytkowników, przykładowo:

  • początkujący: może dodawać tylko POI (musi uzbierać limit POI, żeby przejść poziom wyżej)
  • normal user: może edytować drogi, zmieniać ich otagowanie, jednakże nie może skasować więcej obiektów niż sam wprowadził do OSM
  • advanced user: może wszystko (czyli tak jak dzisiaj jest)

To tylko luźna propozycja, proszę nie czepiać się szczegółów.

Spotkałem się ze zdziwieniem osób zaczynających przygodę z OSM, że nie ma żadnej moderacji, i że tak łatwo coś zepsuć.

Diffy są robione co minutę i ich uzywam do OSMZmiany(usuniecia sie nim wychwyci).
Jak odfiltrowac złe edycje? Najdzesciej są to usunięcia, wiec warto sledzic changesety lub userów, który duzo usuwają.

Moderowanie takie jak zaproponowal Zibi jest dobre ale na krotka metę, bo starcimy duzo edycji w tym momencie. To ma sens jak uzytkownikow bedzie wiecej. Myślę, że poprostu potrzebujemy osob kontrolujacych zmiany.

E tam, guzik prawda. Inaczej mówiąc, nie zgadzam się z Tobą :slight_smile: Dlaczego mielibyśmy stracić “dużo” edycji? Można inaczej rozwiązać pkt pierwszy: niech edycje wykonane przez “początkujących” trafiają do sprawdzenia przez kogoś zaawansowanego.

Lubisz siedzieć i patrzeć na pojawiające się punkciki w OSMZmiany? Moim zdaniem to jest dobre do przesiewowego wychwytywania części userów, i udzielania im wskazówek co robią źle. IMO w większej skali ten sposób leży i kwiczy.

Poza tym, pomyślałeś o tym, że pisząc do początkujących i zwracając im uwagę na błędy też możesz ich zniechęcić?

System gradacyjny, który zaproponowałem ma też inną zaletę - motywacyjną. W tej chwili “model kariery” w OSM jest dosyć płaski. Wielu ludzi lubi chwalić się swoimi “levelami”, więc znaleźli by się i tacy co chcieliby osiągnąć “advanced user” w OSM. Ty sam z jakiegoś powodu zaglądasz na ranking odbl.de :wink:

@Adam
Na pewno problem ze wzrostem wandalizmu sie pojawi, dotychczas wykryto tylko kilka wiekszych przypadkow. Z wycofaniem edycji generalnie nie ma az tak duzego problemu. Wszystko wskazuje na to, ze glowny problem to wykrycie wandalizmu, a nie reakcja na niego. W zwiazku z tym takie masowe akcje jak wykasowanie calego kontynetu czy zarejestrowanie 1000 kont i wgrywanie danych z innej mapy (cos takiego mialo juz miejsce) nie jest wcale problemem. Problemem sa te bardziej tworcze edycje gdzie ktos rysuje sobie nowa wyspe na pacyfiku, zmienia klasy drog o 1 w gore lub w dol, itp. Taki znany przypadek tu uzytkownik liam123. Po paru miesiac autor Potlatcha uruchomil bota (General_Dreedle), ktory odwraca wszystkie jego (i paru innych tworczych osobowosci) edycje po 15 minutach – nie wiadomo czy Liam to kiedykolwiek sie polapal bo nie da sie z nim nawiazac kontatku.

Bez watpienia beda pojawiac sie nowe typy wandalizmow, ale nie wiadomo jak bedzie to wygladac, wiec stosowana jest mantra “cross that bridge when we get there”.

Druga uwaga, to taka, ze OSM to wiki-mapa, ze wszystkimi tego zaletami i wadami. Bycie wiki-mapa jest zdecydowanie bardziej celem projektu, niz konkurencja z Google Maps w jak najkrotszym czasie – kiedys to nastapi, ale ma pospiechu. Tak jak mowi tomianek mamy nadzieje, ze przyrost liczby uzytkownikow bedzie nadal wzrastal lawinowo i o ile super byloby moc wykorzystac dane np. na temat lokalizacji outletow McDonald’s od samej firmy, to zebranie tych danych samemu niedlugo bedzie niewielkim kosztem. Nie ma co poswiecac naszych zalet (czyli aktualnosc, i sprawdzone w terenie, wytworzone niezaleznie i oddolnie dane) dla pojedynczych przypadkow zewnetrznych zrodel.

Jak mysle o roznych sieciach uslugowych to w sumie dodanie wsyzstkich tych informacji jest niewielkim nakladem pracy w porownaniu z obrysami budynkow itp. Jest tez duzo gadania na listach dyskusyjnych OSM ze strony przeciwnikow importow (wielu uzytkownikow wiki ma na swoich stronach wiki szablon “OpenStreetMap is an outdoor activity”), z ktorymi nie do konca sie zgadzam, ale prawda jest ze w krajach gdzie duzo danych OSM pochodzi z importu, spolecznosc sie slabiej rozwija i dane sa nieaktualne.

@tomianek
Co do serwera to nie wszystko jest takie jasne, mysle ze dwa serwery sprawdza sie w roznych rolach. Stary serwer ma mocny sprzet i sredniej klasy lacze, a nowy serwer na odwrot. Jako wizytowka stowarzyszenia moze sie on bardzo dobrze sprawdzic, bo “oficjalna strona” to cos co nie wymaga innych zasobow niz lacze. Z drugiej strony ma on 5GB dysku i prawdopodobnie jest maszyna wirtualna (a wiec powolny dostep do dysku), wiec nie ma mowy o uruchomieniu na nim uslug mapowych (zakladajac ze w ogole da sie tam zainstalowac wlasne oprogramowanie). Stary serwer ma 2000GB dysku i 16GB ramu, mozna z niego serwowac nawet podklady zdjec czy mestischblatow lub uruchamiac aplikacje do monitorowania danych.

  1. Dawanie kolejnych uprawnień użytkownikom jest motywujące.
    Moje doświadczenie: Przez jakiś czas rysowałem w WikiMapia. Z niecierpliwością czekałem, aż dostanę uprawnienia do rysowania dróg, wiec starałem się jak najwięcej dodawać POI.

  2. Nie wiem czy pisanie do początkujących zniechęca… mnie zniechęciło bo moderator był …dziwny
    Zwrócił mi uwagę, na zły sposób rysowania obiektów, odpisałem, dlaczego tak robiłem z chęcią poprawy i prośbą o wyjaśnienie co konkretnie jest źle - nie odpisał mi. I nikt więcej już do mnie nie pisał. Tak się skończyła moja przygoda.

  3. W OSM nikt nie zainteresował się moją aktywnością (czułem się bezpiecznie że mogę robić co chcę). Teraz sam poprawiam swoje edycje (złe kategorie dróg itp.) ponieważ zacząłem się poważniej interesować OSM, czytać wiki itp.
    Dlatego uważam, że nie trzeba nic zmieniać w sposobie edycji OSM.

A przez ten czas (między stworzeniem źle otagowanej drogi, a jej poprawieniem) ktoś jadąc samochodem mógł zostać wpuszczony w przysłowiowe maliny, ponieważ zamiast track użyto secondary (przykład niedotyczący Ciebie). Ty akurat poprawiłeś swoje dane, ale jest w OSM dużo śmieciowych rzeczy od “jednorazowych mapowiczów”, którzy prawdopodobnie już nigdy nie wrócą do tematu. Dlatego uważam, że moderacja początkujących jest jak najbardziej wskazana.

UPDATE:
Dodam jeszcze, że strasznie demotywujące jest (przynajmniej dla mnie) gdy ktoś psuje moją pracę włożoną w OSM. Tracę ochotę na mapowanie, gdy ktoś poprzesuwa sobie drogi albo je pousuwa w ramach potlaczowej “zabawy”. Nachodzi mnie wtedy myśl “szkoda mojego czasu na to, żeby jakiś idiota go marnował”
A przecież chyba nie chcielibyśmy, żeby mniej lub bardziej zaawansowani mapowicze porzucili mapowanie z powodu wygłupu gówniarzy? Wydaje mi się, że jeden doświadczony mapowicz więcej jest wart niż 100 “jednorazowych”? ( i żeby była jasność: nie myślę w tym momencie o sobie)

Dlatego uważam, że przynajmniej pierwsze edycje userów powinny być moderowane/przejrzane.

Nie mam pomysłu na rozwiązanie problemu moderacji, ale jestem pewien, że może ona działać zarówno motywująco, jak i demotywująco. System gradacji użytkowników faworyzuje tych, którzy mają jakieś doświadczenie i samozaparcie.

Tak, jak jest teraz, łatwiej jest pozyskać nowych użytkowników, którzy od początku nie mają żadnych barier, od których mogą się odbić.

Weźmy przykład nowego, który zauważa OSM i widzi białą plamę w swojej okolicy. Prawdopodobnie najpierw będzie chciał narysować kilka dróg. Jeśli zadziała ograniczenie, jest duże prawdopodobieństwo, że nie będzie chciał dodawać X POI, które nie mają większego sensu na białej plamie.
Sytuacja z grubsza przypomina moją i wiem, że nie miałbym motywacji, gdybym nie mógł od razu edytować tego, co chcę :slight_smile:

Dla mnie rozwiązanie problemu poprzez system awansów i ograniczonych uprawnień nie jest najlepsze.

Według mnie przydałoby się właśnie narzędzie do monitoringu dowolnego obszaru lub obiektu. Myślę, że w ramach rozwijania się OSM większość obszarów będzie miała swoich nieformalnych “opiekunów”, którzy będą co jakiś czas obserwować zmiany. Właśnie przyglądanie ostatnich zmian dla interesującego nas obszaru jest bardzo ułomne. Jeśli pojawiłoby się narzędzie, które dokładnie przedstawia zdarzanie dotyczące zmian, czy to w formie raportów mailowych czy też kanałów RSS to i problem wandalizmów miejmy nadzieję nie spowodowałby większych szkód.

Ja optuję za jak największą wolnością świeżaków oraz za wzmożoną kontrolą wyjadaczy (m. in. poprzez tworzenie narzędzi ułatwiających to, szczególnie jeśli chodzi o usuwanie danych). Uważam, że wprowadzanie jakiejkolwiek moderacji (klas użytkowników itp.) miałoby skutek negatywny. Również nie jestem zwolennikiem tworzenia narzędzi przed wystąpieniem problemów, jeśli na razie radzimy sobie z wandalizmami to poczekajmy na problem, który będzie wymagał tyle pracy, że będzie uzasadnione stworzenie do tego narzędzia.

balrogu, Marku - dzieki za odpowiedz.

W kwestii moderowania zmian i systemu awansow - ja rowniez jestem za tym zeby nie dzielic mapowiczow na ‘rownych i rowniejszych’. Wg mnie OSM to nie tylko dane ale rowniez system wartosci: egalitaryzm, przejrzystosc, wolnosc. Hierarchia i system awansow zmienilby OSM w swego rodzaju zakon: nieliczni i zasluzeni moga dostapic wtajemniczenia i miec wladze nad danymi.
Jednak kluczowe pytanie: czy taki autorytarny system poprawia jakosc danych? wg mnie takie zasady sa krotkowzroczne bo maja zly wplyw psychologiczny na samych uczestnikow projektu - podsycaja podejrzliwosc, nieufnosc, promuja hermetycznosc zamiast otwartosci. Zdaje sie ze UMP stosuje takie podejscie i gdzies nawet na tym forum czytalem maila rozgoryczonego uzytkownika UMP ktory majac blokade edycji, zainteresowal sie OSM.
Zatem jak zapewnic jakosc danych w wikiprojekcie takim jak OSM gdzie ‘wszyscy moga wszystko’? Napewno zarowno poprzez dzialania prewencyjne(monitoring zmian wybranego terenu, sql triggery) jak i mocno akcentowac kwestie odpowiedzialnej edycji w edukacji nowych uzytkownikow: ‘masz w rekach potezne narzedzie - udowodnij ze potrafisz madrze go uzyc’. Rowniez jestem zdania, ze ‘jednorazowi uzytkownicy’ stawiajacy wezly ‘na oko’ sa taka sama plaga jak swiadomi wandale.

W spawie kontrybucji danych do OSM przez firmy/instytucje, sadze ze potrzebny jest kompromis z obu stron:firmy/instytucje powinny zrozumiec i oswoic sie z natura OSM jako wikiprojektu, zas OSM powinno udostepnic narzedzia przyjazne dla firm/instytucji. Jesli OSM chce sie rozwijac, nie moze sprawiac wrazenia ze jest to niszowy projekt tworzony przez fascynatow dla fascynatow. Zaprosmy instytucje/firmy, niech tez stana sie czlonkami spolecznosci OSM! Niech zobacza ile korzysci z tego plynie (niskie koszty) i jak latwe jest zarzadzanie danymi. O ile bowiem fajniej byloby gdyby taki McDonalds czy Orlen oprocz lokalizacji POI, sam ze swojej bazy aktualizowal regularnie dane w tagach np. nt. ceny produktow. Jestem zdania ze wybranymi danymi powinni zarzadzac najbardziej zainteresowani - nie skazujmy OSM jedynie na zaleznosc od wolontariuszy biegajacych po terenie z GPSem. Wiem ze OSM wyroslo z takiego srodowiska, ale widze jedynie bariere psychologiczna (bo technologia juz tu jest!) azeby OSM bylo przydatnym narzedziem w pracy: zeby lesnicy aktualizowali sami powierzchnie lasow i sklad drzewostanu, zaklady energetyczne zarzadzaly stanem sieci energetycznych w przypadku awarii, urzedy informowaly zawczasu o budowie/naprawach odcinkow drog, itp,itd…

Wracajac wiec do watku narzedzi do monitoringu, chyba moge podsumowac temat: spolecznosc wypowiedziala sie-jest potrzeba opracowania takich narzedzi.
Czy mozemy zatem przekuc slowa w czyn? Marku, czy bylaby mozliwosc przedstawienia propozycji prof. Sankowskiemu aby jakas praca magisterska zajmowala sie ta tematyka? Sadze ze bylaby to swietna pomoc odciazajaca webadminow (balrog,dotevo?) zglaszajacych mozliwosc implementacji takich narzedzi. Jako spolecznosc OSM przygotowalibysmy specyfikacje i zastanowili szczegolowo jak taka nakladka na OSM mialaby dzialac,a studenci mieliby mozliwosc opracowania i przetestowania praktycznych narzedzi.

Adamie,
przeczytalem twój tekst- nie ma miejsca w korym bym sie z Toba nie zgadzal.
Jestesym juz stowarzyszeniem: elementem posrednim miedzy userem a firmami/instytucjami. Przed nami fascynujace zadanie maraton; jak piszesz przekuc slowa w czyny. Profesor Sankowski ma na swoim koncie wiele osiagniec, zas kilkuletnia wspólpraca z Nim w realizacji projektów infoprmatycznych byla na wysokim, profesjonalnym poziomie. Jest on zainteresowany rozwojem OSM, zas ja sluze swoja pomoca jako kopromotor. W tej chwili ciagne jednak przynajmniej 2 duze projekty zwiazane z OSM, wiec trudno mi znalezc czas na specyfikacje tego tematu. Czy móglbys napisac pierwszy szkic specyfikacji nad którym wspólnie bedziemy sie dalej pastwic i go rozwijac ? :slight_smile: Przedstawimy to jako temat magisterki, jestem pewnei ze ktos sensowny sie do tego znajdzie…

Gdzieś tu: http://forum.openstreetmap.org/viewtopic.php?id=11780 przy czym problem znikniętej ulicy został wyjaśniony bezpośrednio z zainteresowanym, a problem “wiele czasu traciłem na uzasadnianie proponowanych przeze mnie zmian” nie znalazł poparcia w faktach. W rezultacie Kietlak nadal ‘donosi’ do UMP. Znaczy chyba ze trzy razy od tego czasu coś zgłosił.
System awansu w UMP opisany jest tu: http://ump.fuw.edu.pl/wiki/Awans i ma na celu wyłącznie to, co sam ująłeś w słowach:

czyli inaczej - żeby nowego człowieka nauczyć poprawnego rysowania.

Jako przyklad mozna podac TriMet, operator transportu miejskiego w Portland. Kilka miesiecy temu zatrudnili trzech stazystow do przeniesienia wszystkich swoich geodanych (dokladnosc 10cm) do OSM w taki sposob zeby byla wspolpraca ze spolecznoscia. Ci stazysci dyskutowali to najpierw na listach dyskusyjnych a teraz juz maja wiekszosc danych w OSM, w tym tygodniu TriMet robi otwarte spotkanie w swojej siedzibie dla wszystkich zainteresowanych mapowiczow.

W Warszawie widzialem ostatnio, ze sklep meblowy dodal swoj lokal (ale jako cztery rozne wezly z roznymi wartosciami shop= ;))

Wydaje mi się że napisanie webserwisu do kontroli zmian to pare tygodni roboty, więc nie za wiele. A napisanie skryptu, który wysyla maila do osoby kontrolującej to jeden dzień (z przerwami na piwo). Większy problem jest z samym serwerem… Wydaje mi się, że na pracę magisterską znalazły by się ciekawsze pomysły :slight_smile: nie mniej jak się znajdzie chętny to warto go wykorzystać.

To prawda, jednak wiele zalezy od ksztaltu takiego programu, jego przyjaznosci itd. Tematów do zrobienia jest fura, dlatego chyba warto je zaczac specyfikowac i dokonac wspólnie oceny: niezbedny naklad czasu+umiejetnosci niezbedne do stworzenia…

@dotevo
Piszesz ze taki webserwis do kontroli zmian to robota na kilka tygodni. Ja wiec dodam: dla studenta bedzie to robota na kilkanascie. Dodajac do tego jeszcze czas na cala papierkowa robote + material teoretyczny, wychodzi idealnie czasowo na prace magisterska :slight_smile:
Poza tym, napisz wiecej- jakie inne narzedzie warto byloby bardziej rozwijac/stworzyc?

@marek i inni
Wydaje mi sie ze temat pracy moglby brzmiec nastepujaco: “Narzedzie do monitoringu edycji i wykrywania wandalizmow w bazie OpenStreetMap”

Pamietajmy ze oprocz napisania samego kodu dochodzi metodologia - wszelkiego rodzaju testy opracowanej platfomy - wykrywanie prob zmian w OSM przez czlowieka oraz automatyzowane. Wychodzi jak dla mnie w sam raz na prace magisterska.

Ok, zatem jakbym widzial szczegolowo dzialanie narzedzia do nadzoru danych w bazie OSM? Przypadki uzycia bylyby nastepujace:

Po pierwsze, najpierw uzytkownik zaznaczalby interesujacy go region do monitoringu. Wizualnie, widzialbym to jako ‘bounding box’, obszar pokazany podobnie jak na stronie wlasnych edycji: www.osm.org/user//edits/ Moznaby uzywac np innych kolorow do oznaczania terenu monitorowanego przez roznych uzytkownikow, co w skali calego kraju fajnie pokazywaloby ktore regiony Polski sa najmniejszej a ktore najwyzszej jakosci. Efekt bylby rowniez psychologiczny bo taka wizualizacja zachecalaby nowych uzytkownikow do zaopiekowania sie terenami ktore pozostaja bez nadzoru. Zastanawiam sie jednak jak to rozwiazac technicznie- czy jestesmy skazani na Flasha? Czy moze JavaScript? Bo kluczowa jest latwosc operacji - lepszy jest imho interfejs klikniecia na mapie aby wydobyc wspolrzedne niz wpisywanie ich recznie w odp. pole formularza.

Dalej, uzytkownik zaznaczalby z odp. menu jakie dane do monitoringu go interesuja - czy caly region, czy wybrane tagi regionu -np. highway, amenity=costam itp. Nastepnie - jaki rodzaj modyfikacji aktywowalby triggera - czy usuniecie, przesuniecie (o iles metrow), dodanie itp. Czy modyfikacja na wezle czy na drodze itp.
I na koniec - w przypadku wystapienia zdarzenia - uzytkownik bylby informowany mailem, a na mapce dot. monitoringu bylyby zaznaczone np. kolorem czerownym te wezly/drogi ktore byly zmienione. Jesli edycje mialyby znamiona wandalizmu - uzytkownik mialby mozliwosc przywrocenia stanu poprzedniego. Wymagaloby to zatem przy projektowaniu uwzglednienia jakiejs pamieci o zmianach, backupu danych.

I to chyba wszystko. Dochodzi do tego jeszcze kwestia gdzie byloby srodowisko testowe i jak komunikowalo sie z baza OSM. Zakladam ze nie operowalibysmy na oryginalnym serwerze OSM? :slight_smile: tylko na jakiejs kopii obszaru Polski?

Zaproszam do komentarzy, jestem ciekaw waszej opinii abysmy coraz konkretniej precyzowali jak taki system monitoringu danych OSM moglby dzialac.