Wandalizmy w OSM i im zapobieganie

Dotevo · 2013-10-07 14:56:05

OSM to dane i dane posiadają błędy nie ważne czy są zbierane przez firmy, czy przez mapowiczów. Za to jeśli ktoś zobaczy błąd ma szansę go szybko naprawić. Swoją drogą miałem rozmowy z firmami i urzędnikami na gisforum kilka dni temu i te rozmowy nie wyglądały w stylu "Ale w dużo błędów tam macie" tylko "Świetne mapy. Są tak bardzo dokładne, że chcemy ich używać".

Na mapach urzędowych są błędy, na mapach googla są błędy, na mapach navteqa są błędy i będą zawsze. Na naszych mapach jest mniej błędów bo więcej ludzi na nie patrzy, więcej ludzi je naprawia i kontrolowanie zmian nie ma sensu. Skończymy jak Google Maps gdzie takowa kontrola jest lub jak UMP. UMP jest dokładne i chwali się jakością map ale też mają błędy. Jeśli ktoś chce kontroli mapowiczów to proponuję przejść do UMP tam to jest.

PS. Nie chcę dyskryminować UMP, ale po co OSM ma być takie jak UMP. lepiej jak projekty są różne i żyją swoją metodą.

Mateusz Konieczny · 2013-10-07 15:23:46

Władysław Komorek wrote:

Na OSM, wandalizm może spowodować tragiczne skutki.

Nie przesadzasz trochę? Każde mapy mają błędy/nieaktualności (w OSM jest chyba więcej tych pierwszych i mniej tych drugich), nikt rozsądny nie używa map na ślepo.

ppece wrote:

Chcemy tworzyć mapę dla nas samych, dla naszego wąskiego grona, czy dla innych także?

Akurat ja robię na własny użytek (wprowadzam głównie dane które wykorzystam we własnym projekcie). Jeśli chodzi o "poważnych, końcowych użytkowników" to wszystko jedno mi czy używają map google, binga, OSM czy jeszcze innych. Dla mnie główną siłą OSM jest fakt iż normalny informatyk może te dane wykorzystać (na początku napisałem "człowiek", ale typowa osoba sobie z obróbką danych nie poradzi).

A co do wersji przejrzanych - miałem z tym kontakt w Wikipedii i nigdy więcej nie będę już brał udział w walce z wielomiesięczną kolejką nieprzejrzanych edycji.

Last edited by Bulwersator (2013-10-07 15:25:15)

Zibior2 · 2013-10-07 15:26:08

Bulwersator wrote:

Nie przesadzasz trochę? Każde mapy mają błędy/nieaktualności (w OSM jest chyba więcej tych pierwszych i mniej tych drugich), nikt rozsądny nie używa map na ślepo.

Poza użytkownikami ajfona, tak? ;-)

serekmedia · 2013-10-07 15:46:54

Ja mówiąc o wprowadzeniu danych w tryb coś jak stable/testing/live nie miałem na myśli moderacji każdego changesetu, więc przeciwnie - miałem na myśli domyślą akceptację jego zmian (jak w przeciągu tygodnia nikt nie zmoderuje czy nie wywali to wchodzi), jakby trójstopniową i dla mniej zaawansowanych userów (początkujących, bez jakiejś akceptacji itd).
Wyglądałoby to mniej więcej tak że dane każdego mapowicza początkującego szłyby do live, po pewnym czasie wchodziłyby do testing, a po jakimś tam czasie do stable - tu nawet można by zrobić jakieś zbiorowe update czy coś. Zmiany innych userów wchodziłyby od razu do testing. Używając danych można by sobie wybrać z jakiego "zestawu" chcemy korzystać - albo te zestawy oznaczać jakimiś tagami itd - to już technikalia.
Do przerobienia byłby model przepływu changesetów przez te poziomy. Szczególnie edycji danych i konfliktów.
Temat wg mnie warty dla projektów dla których bardziej chodzi o jakość danych, a mniej o szybkość ich pojawiania się - np w przypadku danych do routingu trasy, gdzie jest mniej istotne że godzinę temu pojawiła się nowa uliczka residental w Pcimiu Dolny, a większa obawa jest że ktoś dorysuje nową fikcyjną autostradę z Pcimia do Suwałk przez Wrocław - i to się wgra automatem na kilka tyś nawigacji np. Nie ma też problemu przecież aby w przypadku oddania takiej autostrady i jej edycji przez nowicjusza jakiś zaawansowany edytor commitnął jego zmiany szybciej niż "ustawowo" do testing.
Model jest sprawdzony w Debianie i funkcjonuje od wielu lat. Ja uważam że jeżeli OSM chce podnieść jakość swoich danych zachowując jednocześnie otwartość i szybkość nanoszenia - to jest to jedna z lepszych dróg do celu.

serekmedia · 2013-10-07 15:47:43

Zbigniew_Czernik wrote:

Bulwersator wrote:
Nie przesadzasz trochę? Każde mapy mają błędy/nieaktualności (w OSM jest chyba więcej tych pierwszych i mniej tych drugich), nikt rozsądny nie używa map na ślepo.
Poza użytkownikami ajfona, tak? ;-)

Ooo wypraszam sobie

Dotevo · 2013-10-07 15:53:46

serekmedia wrote:

Ja mówiąc o wprowadzeniu danych w tryb coś jak stable/testing/live nie miałem na myśli moderacji każdego changesetu, więc przeciwnie - miałem na myśli domyślą akceptację jego zmian (jak w przeciągu tygodnia nikt nie zmoderuje czy nie wywali to wchodzi), jakby trójstopniową i dla mniej zaawansowanych userów (początkujących, bez jakiejś akceptacji itd).

I takie coś właśnie mi się podoba. Czyli stabilizacja mapy poprzez usuwanie wątpliwych danych, a nie moderowanie. Czyli synchronizacja z mapą live raz w mc i przez cały miesiąc wszystkie błędne changesety (lub wandalizmy są usuwane). Coś w stylu rozwoju Linux Kernel. Ale zanim to będziem miało sens potrzeba przynajmniej kilka razy więcej edytujących.

Zibior2 · 2013-10-07 16:58:29

Dotevo wrote:

Abakus sobie jakoś radzi z kontrolą danych. Czyli jeśli komuś zależy na zweryfikowanych danych to się da.
http://mapa.abakus.net.pl/watcher/

Słaby argument. Co oni monitorują? Hydranty i pikietaż? Czyli obiekty punktowe, których w dodatku jest mało.

Edit: A przepraszam, lasy jeszcze monitorują.

Monitoruj proszę wszystkie drogi w PL pod kątem takich Perimexów

Last edited by Zbigniew_Czernik (2013-10-07 17:02:24)

serekmedia · 2013-10-07 17:06:39

No jeśli wandalizmy już są problemem to nie wiem czy potrzeba czekać aż będzie ich więcej
Poza tym taki model nie powoduje że nie możesz używać danych live, ale dane które są nowe i wrażliwe trafiają z większym opóźnieniem i jest szansa że jeśli są złe to zostaną usunięte zanim wejdzie ich commit.

gsapijaszko · 2013-10-07 17:58:02

Władysław Komorek wrote:

Do czego właściwie ma służyć OSM?
Bo może tu zachodzi nieporozumienie co do celu.[...]
Nikt nie chce wylądować w nocy w ziemniakach, w terenie nieznanym, bo ktoś, pociągnął sobie dla zabawy "kreskę".
Oczywiście, Zibi to poprawi, ale ja będę miał auto do remontu.

No właśnie, do czego? Do nawigowania? Sprawuje się całkiem nieźle. Wylądowania w ziemniakach nie obawiałbym się nic a nic, gdyż prócz patrzenia w monitorek nawigacji, warto patrzeć na drogowskazy i znaki.

Jeśli to ma być rzetelny GPS'owy przewodnik po terenie, to kontrola edycji jest niezbędna.

Pozwolę się nie zgodzić. Kontrola edycji, w postulowanej formie zatwierdzania zmian dokonanych przez użytkowników, nie jest rozwiązaniem. Bardzo szybko spowoduje zapchanie się kanału zatwierdzającego, spowoduje też podział kastowy na równych i równiejszych. Przerabiałem to na innym projekcie, wolałbym nie powtarzać tego błędu po raz kolejny.

W zupełności wystarczą narzędzia sprawdzające, o których pisze Dotevo, wystarczy też kilku "cerberów", którzy w miarę swoich możliwości, i w miarę na bieżąco, obserwują zmiany. Jeśli jakichś narzędzi/filtrów brakuje --- należy je napisać. I używać.

Szczerze mówiąc, z wandalizmem się nie spotkałem, co najwyżej z niedociągnięciami, bądź pomyłkami wynikającymi z niewiedzy. Albo z niechlujstwa, spowodowanego czy to dużym uproszczeniem, czy nieskalibrowanym podkładem.

Przykłady zmiany dróg wg ich statutu (powiatowe, gminne), a nie przejezdności, zdarzały się, zdarzają i będą zdarzały dopóty, dopóki pojawiają się nowi użytkownicy. Nie oczekuj(cie), że każdy przed rozpoczęciem mapowania przeczyta całą wiki, czy przejrzy forum -> tej wiedzy jest po prostu zbyt dużo.

Na OSM, wandalizm może spowodować tragiczne skutki.

Cóż.. Równie tragiczne skutki może spowodować używanie map googla, targeo, czy innej Automapy --- skąd pewność, że zawarte tam informacje są prawdziwe? Tylko dlatego, że Google to marka? (Bardzo dobra w moim opdczuciu) Tylko dlatego, że za Automapę zapłaciłem? Tak, to powoduje wewnętrzne odczucie/uczucie, że skoro zapłaciłem, to mam prawo oczekiwać, że są wiarygodne. Ale to tylko moje odczucie.

G.

WiktorN · 2013-10-07 18:02:44

Jako że ostatnio próbowałem się bawić keepright'em (chociaż sukcesów nie odniosłem), to w tym temacie rodzą mi się następujące pomysły:
1. Zrobić aplikacyjkę, która by czesała nowo wrzucane changeset'y
2. Aplikacja by dla danego changeset'a odpalała walidatory JOSM / keepright
3. Każdy changeset byłby oceniany pod kątem kryteriów - staż, ilość edycji, liczba błędów wykrytych przez walidatory. Dodatkowo pewnie można by dodać jeszcze parę kryteriów (np. zmiana dużej liczby tagów dla takiego Perimexa, czy coś takiego)
4. Generuje listę top-X podejrzanych change-setów / podejrzanych użytkowników

Jest tu parę wyzwań związanych np. ze sprawnym wyznaczaniem kontekstu (obiektów, które należy obrać z bazy, by właściwie przeprowadzić walidacje), ale wydaje mi się to ogarnialne.

Szczególnie raport top-X użytkowników wydaje się pomocny, bo wskaże, komu trzeba jeszcze pomóc w mapowaniu i gdzie najwięcej można skorzystać.

Last edited by WiktorN (2013-10-07 18:08:04)

ppece · 2013-10-07 18:16:10

Dotevo wrote:

Na mapach urzędowych są błędy, na mapach googla są błędy, na mapach navteqa są błędy i będą zawsze. Na naszych mapach jest mniej błędów bo więcej ludzi na nie patrzy, więcej ludzi je naprawia i kontrolowanie zmian nie ma sensu.

Skoro jest tak wiele par oczu w OSM, to czemu, jeśli na miesiąc lub dwa przestaję przyglądać się zmianom w Krakowie, to wyrasta ktoś pokroju bombki lub blackstarra i okazuje się, że nikt nie zareagował? Nie sądzę, żeby Kraków był tu wielkim wyjątkiem. Masz rację, że więcej mapowiczów - więcej oczu, ale to działa w drugą stronę także. Więcej mapowiczów - więcej błędów. Zatem status quo zostaje zachowany. Jesteś pewien, ze tych błędów jest mniej niż w innych projektach? Ja nie byłbym takim kozakiem, by wysuwać takie stwierdzenie. Dotevo, ja wiem, że dobrze Ci idzie reklamowanie OSM na wykopach, ale ludzie z UMP czasami mają rację - mamy błędy, o których istnieniu nie jesteśmy świadomi. Choćby kierunkowość ulic. Więcej pokory.

Dotevo wrote:

Swoją drogą miałem rozmowy z firmami i urzędnikami na gisforum kilka dni temu i te rozmowy nie wyglądały w stylu "Ale w dużo błędów tam macie" tylko "Świetne mapy. Są tak bardzo dokładne, że chcemy ich używać".

Nie wiem, oczywiście jak jest w tym przypadku, ale ludzie z jakiegoś powodu używają określeń "dokładność" i "szczegółowość" zamiennie. Poza tym to też zależy jaki aspekt danych kogoś interesuje. Jeszcze inna rzecz, że "świetne mapy" może nie oznaczać raczej, że są bezbłędne, tylko, że dają duże możliwości.

Dotevo wrote:

PS. Nie chcę dyskryminować UMP, ale po co OSM ma być takie jak UMP. lepiej jak projekty są różne i żyją swoją metodą.

Nikt nie mówi, że mamy być tacy jak UMP.

Dotevo wrote:

I takie coś właśnie mi się podoba. Czyli stabilizacja mapy poprzez usuwanie wątpliwych danych, a nie moderowanie.

Na jedno tak naprawdę wychodzi, ponieważ efekt będzie ten sam. Chodzi o to, żeby dane były "stabilne" i żeby prewencyjnie ograniczyć wpływ świadomych i nieświadomych psujów na mapę. Mam wrażenie, że niektórzy są zdania takiego że zmienianie czegokolwiek w OSM nie ma sensu. Piaskownica - nie. Wstępna edukacja - nie. Moderacja (czy też wersja Sergiusza) - nie lub tak, ale nie teraz nie ma sensu. Banowanie - nie bardzo, nie da się. Biedne to OSM, skoro milion użytkowników i niczego nie da się, nic sensu nie ma, najwyżej może kiedyś. Może kiedyś to powstanie inny projekt lepiej zorganizowany i za pięć lat nikt o OSM pamiętać nie będzie. Żeby było jasne - moderacja, nie moderacja, nieważne w tym momencie jakim sposobem, ważny dla mnie jest efekt. Mnie jako tworzącego OSM interesuje, żebym wiedział, że jeśli wprowadzę poprawne dane, to one za pół roku ciągle tu będą w jakiejś poprawnej formie. Jako osobę, która czasami komuś poleci OpenStreetMap, zależy mi, żeby się potem nie wstydzić, bo ktoś coś napsuł lub usunął.

Bulwerstator wrote:

Akurat ja robię na własny użytek (wprowadzam głównie dane które wykorzystam we własnym projekcie). Jeśli chodzi o "poważnych, końcowych użytkownikach" to wszystko jedno mi czy używają map google, binga, OSM czy jeszcze innych. Dla mnie główną siłą OSM jest fakt iż normalny informatyk może te dane wykorzystać (na początku napisałem "człowiek", ale typowa osoba sobie z obróbką danych nie poradzi).

Ja także mapuję dla siebie przede wszystkim, ponieważ najszczęściej sam potem z nich korzystam, ale wiele sensu straciłoby to, gdyby tych danych inni nie używali. I właśnie to jest dla mnie największa satysfakcja, że ktoś powie mi, że mapa (produkt osmopochodny) podoba mu się i, co ważniejsze, poleci go innym. Informatyk czy nie-informatyk, dane muszą być wartościowe w jego mniemaniu, zeby był sens je przetwarzać. Nie przetwarza ich raczej dla siebie, tylko dla jakiegoś szerszego grona.

Last edited by ppece (2013-10-07 19:16:12)

jerrystef · 2013-10-07 18:42:59

Oj dużo w tej dyskusji się wydarzyło od wczoraj :-)

Mam następujące propozycje.
Wszyscy zgadzamy się, że kontrola poprawności jest potrzebna - to stanowi o wiarygodności. Jeśli nasza dyskusja nie ma mocy sprawczej - tzn. nie spowoduje uruchomienia machiny zmian na wyższych poziomach (zarząd itd...) to może do sprawy podejść systemowo:
1) stworzyć poradnik ściągę... (w innym poście ten temat był już podejmowany) aby nowy użytkownik - wiedział wszystko co powinien na początku. Jak rysować drogi i je klasyfikować, tworzyć obrysy budynków itd... od tego zawsze się zaczyna.....
Po co to - aby mieć argument, że mamy całe kompedium wiedzy dla nowych - aby nie mogli zarzucić, że nie wiedziałem lub coś podobnego. A jak już będą podane jasno zasady łatwiej będzie zwracać uwagę poz potrzeby przewalania 6 stron aby np. Perimexowi wytłumaczyć prostą rzecz. Szkoda czasu na takie dyskusje. Jak są jasne zasady to decyzje z urzędu są prostsze i bez miejsca na puste dyskusje.
2) przenieść tę dyskusję na wersję angielską - aby Ci którzy powinni to widzieć zobaczyli i zrozumieli.
3) Jeśli ustalimy już sposób weryfikacji nowych - to wprowadzić to czy to w formie narzędzia - np. boot wysyła maila do moderatorów - uwaga nowy użytkownik dokonał edycji - rzuć na to okiem :-) Pierwszy kontakt z młodym mapowiczem pozwoli od razu się zorientować czy mamy do czynienia z osobą która po prostu popełniła błąd i jest otwarta na korekty czy od razu mamy kontakt z betonem. Ale podstawa do wyciągania wniosków to zapewnić solidne podstawy wiedzy.
4) największą zaletą osm jest otwartość i tego trzeba się trzymać, ale otwartość nie za wszelką cenę - bo taka forma otwartości prowadzi do bylejakości, a to równia pochyła dla projektu.

Programować nie potrafię, ale mogę stać się częścią grupy tzw. szybkiego reagowania.

Last edited by jerrystef (2013-10-07 18:43:47)

gsapijaszko · 2013-10-07 18:47:18

Mowa o jakości/dokładności danych...

Albo będziemy polegali na sobie, i wierzyli jedni drugim -> z pewnym dopuszczalnym błędem, albo znajdziemy (urzędowe) wzorce danych --- i z tymi wzorcami będziemy dane porównywać ilościowo i jakościowo --- innej opcji nie widzę.

G.

PS. Polecam lekturze: http://povesham.wordpress.com/2009/11/2 … as-london/ oraz http://www.ucl.ac.uk/~ucfamha/OSM%20dat … 08_web.pdf i całą pracę: ftp://ftp.cits.nrcan.gc.ca/pub/cartonat … tation.pdf

PS2. poprawiłem jeden z linków na działający.

Last edited by gsapijaszko (2013-10-07 19:23:12)

Dotevo · 2013-10-07 19:00:16

jerrystef wrote:

Programować nie potrafię, ale mogę stać się częścią grupy tzw. szybkiego reagowania.

Kiedyś już proponowałem coś podobnego. Proszę http://osm.trail.pl/users tutaj masz nowych użytkowników. Zobacz czy nie ma jakiegoś z Twojej okolicy i sprawdź jak edytuje, czy nie potrzebuje pomocy. Większość błędów to niewiedza, a więc jeśli dobrze zadziałasz to może będziesz miał dobrą osobę do pomocy na wiele lat w Twojej okolicy. Skoro codziennie mamy kilku-kilkunastu nowych użytkowników w PL to możemy stworzyć grupę np. 30 osób i każdy będzie dostawał pod opiekę losowego nowego mapowicza.

jerrystef · 2013-10-07 19:03:45

Dotevo,
dzięki za tę stronkę, już namierzyłem nowego użytkownika w mojej okolicy, na pewno skontaktuję się z nim. A co inni na propozycję Dotevo?

micra · 2013-10-07 19:54:41

ppece wrote:

Jesteś pewien, ze tych błędów jest mniej niż w innych projektach? Ja nie byłbym takim kozakiem, by wysuwać takie stwierdzenie. Dotevo, ja wiem, że dobrze Ci idzie reklamowanie OSM na wykopach, ale ludzie z UMP czasami mają rację - mamy błędy, o których istnieniu nie jesteśmy świadomi. Choćby kierunkowość ulic. Więcej pokory.

Jeżeli macie więcej danych to i błędów jest więcej - to naturalne, ale musicie też zwrócić uwagę skąd się te błędy biorą. Wspominacie o nowych - nowych w obecnym modelu ani nie możecie filtrować/moderować, ani nie możecie zbyt wiele od nich wymagać - przypomnijcie sobie plakat o edytorach OSM - tylko kilka procent jest aktywna, reszta narysuje jeden obiekt lub nie narysuje żadnego, więc jak chcecie nadal być otwarci to nie możecie ich domyślnie eliminować.

Po drugie - nie wiem jak działa KeepRight, ale widziałem w okolicach Lublina, gdy ktoś doświadczony (z Polski, Niemiec lub innego kraju) powoływał się na KeepRight'a, poprawiał zgłaszany błąd jednocześnie swoim doświadczeniem potwierdzał bzdurę (bo tej ulicy nie ma lub ma całkowicie błędną klasę) itd. Cóż z tego, że coś jest zgłaszane, jak poprawki nanoszone są bez weryfikacji? Ostatnio pokazałem Wam tag o 5 pasach na drodze krajowej pod Lublinem. Kolejni poprawiacze swoim doświadczeniem kwitują drogę i tagi - że jest ok.

To tak jak w GoogleMapMakerze - próbowałem coś poprawić i z drugiego końca globu ktoś mówi, że przecież tego nie ma, bo nie ma tego na zdjęciach satelitarnych i odrzuca moje korekty. Tak tutaj - ktoś z całkowicie innego obszaru poprawia coś, czego w rzeczywistości nie ma.

Patrzyłem też na zgłoszenia zostawiane anonimowo (na stronie mapy) - jedna z doświadczonych osób, zabierająca głos w tym wątku usunęła coś, co w rzeczywistości jest, bo ktoś napisał, że tego nie ma, ktoś inny potwierdził, że nie ma i trudno dziwić się doświadczonemu użytkownikowi, jeżeli otrzymuje kilka takich zgłoszeń. Musicie się zdecydować na jakieś priorytety.

Generalnie nie jest źle, ale rzeczywiście nie dbacie wcale o sieć drogową - na Lubelszczyźnie w okolicach Sosnowicy ktoś swego czasu zmienił drogi wojewódzkie na gruntówki - przy okazji poprawek lokalnych dróg - te pewnie zaznaczył dobrze. Błąd ten wisiał długo, bardzo długo. Inny błąd to dość znaczna zmiana przebiegu jednej z dróg krajowych będąca drogą w systemie drogowym Europy i tego też nikt nie zauważył do momentu zgłoszenia przeze mnie - tym razem ktoś nowy poprawiał przystanki i "mu się przesunęło". Relacja drogi nie została uszkodzona, pewnie dlatego tego nikt nie wychwycił, ale przy masowym pompowaniu danymi błędów będzie siłą rzeczy coraz więcej.

Czy z OSM nie jest tak jak z Linuxem - jest zbyt otwarty i za dużo osób może zrobić wszystko, a każdy może mieć to co chce i nie ma jednego bytu? I dopiero Android zbiera to do kupy i daje jeden ustandaryzowany system?

Zibior2 · 2013-10-07 21:42:19

Micra: stara życiowa prawda mówi, że jeśli coś jest do wszystkiego to jest do niczego ;-)

Dotevo · 2013-10-08 09:25:06

micra wrote:

Czy z OSM nie jest tak jak z Linuxem - jest zbyt otwarty i za dużo osób może zrobić wszystko, a każdy może mieć to co chce i nie ma jednego bytu? I dopiero Android zbiera to do kupy i daje jeden ustandaryzowany system?

Linux to linux. Jest w routerach, telefonach, telewizorach i PC, kernel jest ten sam (nie licząc kilku forków) więc chyba nie rozumiem porównania. Android to kernel+dalvik+framework+apki czyli system operacyjny.

Nie mniej z jednym się zgadzam, za wolno reagujemy na zgłoszenia i za mało zgłoszeń otrzymujemy. W UMP macie to rozwiązane w inny sposób bo macie model dostarczania zmian przez odpowiednie osoby i reagowanie na zgłoszenia użytkowników. My za to zachęcamy ich do naniesienia poprawki samemu. Myślę, że OSM nie powinno iść w stronę modelu UMP ponieważ:
1) Wtedy różnica pomiędzy OSM i UMP będzie jeszcze mniejsza i będzie to bezsensowne dublowanie pracy
2) OSM zyskał popularność właśnie ze względu na liczbę mapowiczów. Zmiana fundamentów nie nie wróży nic dobrego

miklobit · 2013-10-08 10:36:15

To ja zapodam luźny pomysł na tool'a, który mógłby łączyć przyjemne z pozytecznym :-)
Jest sobie taki projekt Listen to Wikipedia .
Można by to zaadaptować w ten sposób, że wejściem byłyby pliki diff z OSM (przefiltrowane przez zadany bbox) i pewien zestaw zadawanych reguł-filtrów. A na wyjściu z jednej strony wizualizacja changesetów, a z drugiej dźwięki dobrane w ten sposób, żeby bez patrzenia na ekran wychwycić (uchem) różne przypadki które (potencjalnie) mogą oznaczać podejrzane działania: usuwanie danych, przesuwanie dużej ilości węzłów na raz itp.
W sumie toool robiłby to samo co livemapviewer/osmzmiany tyle że bardziej optymalnie,
bo generalnie chodzi o to, żeby trzymać rękę na pulsie przy minimalnym zaangażowaniu uwagi.
Oczywiście, jak ktoś zacznie rysować nieistniejące miasto (zgodnie z regułami) to tylko świadoma wizualna kontrola pomoże...

PS. Podana strona nie działa jeśli zablokowany jest dostęp do portów poza 80/443

Last edited by miklobit (2013-10-08 12:18:19)

benek · 2013-10-08 18:55:09

serekmedia wrote:

Ja mówiąc o wprowadzeniu danych w tryb coś jak stable/testing/live nie miałem na myśli moderacji każdego changesetu, więc przeciwnie - miałem na myśli domyślą akceptację jego zmian (jak w przeciągu tygodnia nikt nie zmoderuje czy nie wywali to wchodzi), jakby trójstopniową i dla mniej zaawansowanych userów (początkujących, bez jakiejś akceptacji itd).

W praktyce oznacza to, że tracilibyśmy czas na akceptowanie dobrych changesetów, bo te byśmy szybko wprowadzali do bazy (przyśpieszali),
zaś złe wchodziłyby z automatu jakby się nikomu nie chciało ich zaakceptować.
To bez sensu, bo kupę czasu byśmy tracili zamiast mapować, a i tak system byłby nieszczelny.

Ja bym zmodernizował twoją propozycję tak aby minimalnym kosztem ludzkim i bez powiększania nadmiernie bazy było wiadomo czy dane są wiarygodne.
Ponieważ i tak nikt nie będzie sprawdzał każdej danej w dużym changesecie np ponad 4000 nodów, można po sprawdzeniu zaledwie jego części kliknąć akceptująco złe dane.
Otóż my na bieżąco i tak weryfikujemy wszystkie dane oglądając je na bingu.
Lipną robotę od razu widać na każdym obiekcie i mamy możliwość sprawdzić autora, a potem przejrzeć jego changesety.
Ale to zbyt pracochłonne aby było szczelne.
Zresztą jest brak możliwości rewertowania części changeseta, więc revert jest głupi, bo usuwa hurtem wiele dobrych danych zamiast przez poprawiacza ręcznie poprawić pojedynczy błąd.

Zatem aby dane były wiarygodne powinien być przegląd każdego obiektu oddzielnie.
Można to zrobić w najprostszy sposób pod słońcem.
Wystarczy akceptować każdy obiekt oddzielnie na potrzeby programu do edycji.
Czyli nowy tag, że obiekt ma prawidłowe położenie i otagowanie.
JOSM kreśliłby inaczej drogi z akceptacją i bez (np. kolor), czyli szybko można by odszukać obiekty, które jeszcze nie miały akceptacji.

Teraz szczegóły techniczne czyli mniej ważna sprawa.
Należy wyznaczyć poziom usera poprzez algorytm punktujący staż (dni mapowania) i liczbę edycji (nodów a nie changesetów).
Wysoki status usera pozwalałby akceptować (uwiarygadniać jego dane automatem).
Można zrobić blokadę aby nowicjusz nie akceptował zmian nowicjusza, (np.fikcyjne konta zdublowane).

Kłopoty:
Każdy tag musiałby mieć oddzielną akceptację.

Zalety:
Gdy ktoś skrytykuje dokładność danych wystarczy go spytać czy mówi o danych zaakceptowanych.

System działaby odwrotnie niż obecne notatki czy bugi, które wskazują złe elementy.
Wskazywalibyśmy (tylko do edytora, a nie na mapie) obiekty pewne.

Obiekt zaakceptowany, a następnie zmieniony traciłby status zaakceptowanego.
Lokalus lub opiekun obszaru, widziałby od razu, które elementy czekają na akceptację.
Rzut oka by wystarczył aby ujrzeć co trzeba sprawdzić w terenie, bo nikt nie chce zaakceptować na podstawie binga.

Podobny system mógłby gwarantować aktualność danych szybko zmieniających się jak np numery telefonów, adresy www, godziny otwarcia.
Kolor znacznika w JOSM podpowiadałby czy dane są np młodsze niż rok (ostatnie potwierdzenie).

Taki system powaliłby na nogi konkurencyjne mapy.
Ci, którzy nie potrafią tagować (nowicjusze ) mogliby się wyżywać w potwierdzaniu aktualności tych danych.
Oczywiście jeśli nowicjusze mieliby prawo akceptacji, to powinno być zabezpieczenie przed mylną akceptacją (czyli wielokrotność akceptacji, revert wszystkich akceptacji wandala itp.).

Z googla się wyniosłem na skutek czekania na akceptację.
Amerykanin mi napisał, że nie może zaakceptować danych z mojego miasta, bo nie wie czy są prawdziwe )))
Nie wydaje mi się, że aby było możliwe stworzenie systemu akceptowania usera.
Co najmniej 95% obecnych danych da się zaakceptować na podstawie widoku z binga.
Rzut oka czy droga poprowadzona jest dokładnie, to niewielki % czasu na jej wyrysowanie.
Jeśli jest wątpliwość do części drogi schowanej pod koronami drzew, to dzielimy drogę i akceptujemy tylko to co dokładnie widzimy czyli akceptujemy konkretne ID a nie całą drogę.
Tak wyłapalibyśmy drogi fikcyjne dużo szybciej niż za pomocą notatek.
Jeśli byłby błąd na mapie to nie musielibyśmy się wstydzić gdy moglibyśmy wskazać, że dane nie miały akceptacji

serekmedia · 2013-10-09 00:43:50

benek wrote:

serekmedia wrote:
Ja mówiąc o wprowadzeniu danych w tryb coś jak stable/testing/live nie miałem na myśli moderacji każdego changesetu, więc przeciwnie - miałem na myśli domyślą akceptację jego zmian (jak w przeciągu tygodnia nikt nie zmoderuje czy nie wywali to wchodzi), jakby trójstopniową i dla mniej zaawansowanych userów (początkujących, bez jakiejś akceptacji itd).
W praktyce oznacza to, że tracilibyśmy czas na akceptowanie dobrych changesetów, bo te byśmy szybko wprowadzali do bazy (przyśpieszali),
zaś złe wchodziłyby z automatu jakby się nikomu nie chciało ich zaakceptować.
To bez sensu, bo kupę czasu byśmy tracili zamiast mapować, a i tak system byłby nieszczelny.

Czemu chcesz cokolwiek pospieszać? W praktyce nic nie musisz akceptować. Chodzi o to że masz czas zauważyć błędy i je usunąć zanim trafią do bazy stabilnej. Ale zawsze możesz użyć bazy live - to od usera zależy czego chce - bazę oczyszczoną ze śmieci, czy szybkie zmiany.

Powiedzmy robisz aplikację do navigacji i co 3 dni robisz mapy do niej. Teraz ktoś buduje most ze Świnoujścia do Ysta i to akurat ładujesz na navi - no sorry.
Mając bufor kilku dni ktoś zauważy ten rażący problem i go usunie. Ty używając map stable nawet nie dostaniesz tego mostu.
Pewnie, problem nieistniejącej uliczki w Pcimiu pewnie się nie wychwyci, ale kluczowe problemy tak. Mając wtedy też kontrole typu osmonitor, ciągłości relacji i przejazdu wszystkich dk,dw itd. można zachować bardzo dobrą jakość i jednocześnie przyjmowanie danych live - rendering kafelków "edycyjnych" pozostałby z bazy live.

benek · 2013-10-09 06:22:13

Czemu chcesz cokolwiek pospieszać? W praktyce nic nie musisz akceptować. Chodzi o to że masz czas zauważyć błędy i je usunąć zanim trafią do bazy stabilnej. Ale zawsze możesz użyć bazy live - to od usera zależy czego chce - bazę oczyszczoną ze śmieci, czy szybkie zmiany.
Powiedzmy robisz aplikację do navigacji i co 3 dni robisz mapy do niej. Teraz ktoś buduje most ze Świnoujścia do Ysta i to akurat ładujesz na navi - no sorry.
Mając bufor kilku dni ktoś zauważy ten rażący problem i go usunie. Ty używając map stable nawet nie dostaniesz tego mostu.

Jest oczywiste, że główne drogi oddawane ostatnio np. most , czy obwodnica opisywane w prasie będą miały wielu przyśpieszaczy do wprowadzenia do wersji stabilnej, dzięki temu setki mapowiczów nie będą widzieć w niej braku drogi i nie będą próbować mostu dorysowywać.
Jednak dane drugorzędne np.leśna droga bedą wchodzić po tygodniu automatycznie czyli z błędami.
Nie bardzo zatem rozumiem propozycję.
Codziennie edytując widzę złe dane 9widoczne na bingu) nie poprawione od 2 lat.
Widzę niepoprawione notatki FIXME, buggi i keeprighta.
Nikomu się nie chce korzystać z tak oczywistych narzędzi pokazujących błędy oczywiste.
Głównie chodzi o brak czasu.
Same narzędzia też nie są doskonałe, bo notatkami można usunąć dobre dane.

Przykład z mostem do Ystad to wyolbrzymiany błąd, bo taka zmiana będzie natychmiast wyłapana, więc tak rozumiem twoja propozycję, że unikamy wstydu, że coś trafi do poważnego serwisu.
ąle do tego wystarczy zrobić proste narzędzie.
Dane ważne czyli zmiany na głównej sieci dróg mogą być monitorowane botem.
Można podjąć zobowiązanie, że się monitoruje jakiś obszar na sygnały boota.

Wady akceptacji to:
Zapominamy jak wkurzający jest fakt wolnego przerysowywania kafli.
Ludzie każdego programu a więc i OSM, chcą się uczyć na błędach zamiast czytać pliki pomocowe.
Nikt im nie gwarantuje ani nie tłumaczy ile mają czekać na nowy rendering.
Nikt nie mówi, które tagi się renderują.
Nikt nie mówi im po jakim czasie keepright zwaliduje obszar przez nich edytowany.
itd.
W efekcie ludzie poprawiają swoje dobre tagi na inne coraz bardziej się frustrując.
Nikt nie wie ilu z tego powodu odchodzi.
Przykładowo gdy ja zaczynałem to kombinowałem dlaczego zegar słoneczny się nie pokazuje.
Dlaczego parkingi rowerowe czekają na rendering.
Aby linia drzew "się pokazała"wyrysowałem chyba 5 wersji równolegle aby sprawdzić jak tagować aby się pokazało.
Denerwowałem się, że ktoś w międzyczasie albo usunie te próby ( a ja będę tydzień czekał na rendering) ,albo, że ukaże się fikcja na mapie , albo że ktoś mnie opieprzy za eksperymenty, albo że zapomnę o tym i nie pousuwam nadmiarowych danych z eksperymentu.

Uwierzę w moderacje dopiero jak obecne narzędzia zaczniemy stosować i jak te narzędzia będą sensowne.
Zahaczałem w JOSMie punkt drogi i przesuwałem go niechcąco 15 km.
To efekt różnić w przyciskach na myszy (przeciąganie mapy) między Potlatchem2 a JOSM.
Teraz bywa że JOSM przycina na 1-2 s i mam efekt taki że przesuwam edytor na nowe kafle a z niewielkim opóźnieniem JOSM przesuwa mi punkt drogi skokowo w 0,2 s np o 50-100 m.
Jeśli przesunę w tym czasie WMS tak, że ząbek wyjdzie poza ekran to mogę nie zauważyć.
Dlaczego JOSM pozwala hurtem przesunąć wiele dróg?
Dlaczego pozwala przesunąć punkt więcej niż o 30 m (np 30 km )?
Dlaczego pozwala mocno przesunąć sklejone obszary?
Dlaczego pozwala nowicjuszom przesuwać obiekty o niewielką odległość, skoro wie, że podkład jest nieskalibrowany? Zintegrowana wtyczka ImageryOffset mówi przecież JOSmowi, że ktoś przesuwa dobre dane.
No i reverty nie mogą być tak bolesne czy wręcz chamskie.
Potrzebne są narzędzia do wizualizacji przesunięć naszych danych to będziemy aktywnie monitorować duże obszarym, czy i dlaczego ktoś nasze dane poprawia.
Przykładowo znam usera, który pousuwał moje dane.Nie chce mi się i nie potrafię sprawdzić ile pousuwał.
Mogę do niego napisać po uzasadnienie ale po pierwsze będzie kręcił a po drugie on sam nie będzie pamiętał po tygodniu co pousuwał.
W tym czasie mogę dorysować kilka razy więcej danych niż te które bym odzyskał revertując czy bawiąc się w detektywa.

benek · 2013-10-09 06:52:13

Owszem potrzebny jest "zatrzask" na dane sprawdzone bardzo ważne dla nawigacji. Ale nie zgodzę się na moderację nie tylko dlatego, że nie wiemy jak będzie pracochłonna.
Pracowałem już w projektach gdzie moderatorom odbijało.
U nas wartościuje się usera po jego wkładzie .
Dając władzę moderatorom doprowadza się do sytuacji, że ludzie stają się ważni tym ile usuną, a to prowadzi z czasem do chamskich zachowań, bo krok po kroku admin staje się bardziej sztywny i bezkompromisowy.
Przykładowo właściciel jednego z serwisów czepiał się do błędów rzędu pól stopnia kątowego nakazując je kasować w Photoshopie ludziom, którzy Photoshopa nie znali i nie mieli 1600 zł na jego zakup.
Z czasem zaczęło się usuwanie danych .
Potem kłótnie i żale.
Potem złość i złośliwe usuwanie dobrych danych na skutek tych kłótni.
Efekt był zaskakujący, że wywalono z serwisu założyciela strony.
Ludzie mają taka złą cechę, że chcą być ważni poprzez wywyższanie się i podporządkowywanie sobie innych.
Bardzo łatwo doświadczonemu userowi poniżać nowicjusza za błędy i zapominać o przysłowiu: "nie pamięta wół jak cielęciem był".

Na naszym projekcie już też zauważyłem wiele niepokojących wypowiedzi "wszechwiedzących".
Były też reverty tylko dlatego, że ktoś rysował do nieskalibrowanego binga z błędem 5 m.
Już zahaczamy o absurd.
Będą wojenki edycyjne o powiatówki (cassus Perimex-a to tylko początek)
Potem zacznie się walka o residential i tracki.
Potem, że garaż naszedł na dom 50 cm.

Zanim zaczniemy gadać o moderacji musimy sobie powiedzieć dla kogo robimy mapę.
Czy dla firm od nawigacji, czy też dla siebie i znajomych, aby mieli mapy do wędrówki lub jazdy rowerem?
Jeśli drugi przypadek to żadna moderacja nie jest potrzebna, a błąd na mapie wyłapiemy w terenie, a to tylko motywacja aby się zarejestrować w OSM i poprawiać.
W drugim przypadku nawet keepright nie jest potrzebny, czyli robimy pod rendering a nie pod routing.
Dzięki robieniu pod rendering nie trzeba się uczyć skomplikowanego pełnego tagowania, a to znaczy że wielu nowych przybędzie i uzupełni dane.
Brakuje nam 80-90% danych Polski.
Jak wrysujemy to możemy mapę zablokować i dopieścić.
Potem się wymyśli mechanizm nanoszenia nowych inwestycji, zapewne podobny do UMP.

Na dziś trzeba poprawić JOSMa aby nie przyjmował idiotyzmów np. rozwalał geometrie 5 dróg po przeciągnięciu przyklejonego landuse.
JOSM może zablokować przeciąganie powodujące X czyli krzyżowanie pogiętych dróg bez wstawienia nodów na krzyżówkach.
Może zablokować duże przesunięcia w jednym kroku.
Może żądać potwierdzenia dziwnych przesunięć (np.przez nieuwagę) podobnych do istniejącego komunikatu, że przesuwa się więcej niż 20 nodów.
Może zabronić przesuwać cudzych nodów więcej niż o 50m.
Może zabronić przesuwać na nieskalibrowanym podkładzie.

Brakuje historii usuniętych danych aby ułatwić revert.
Brakuje podstawowego narzędzia do obrony utraty danych.
Zniekształcone da się szybko zauważyć i poprawić detalicznie lub hurtem przez revert. Zniekształcenie nawigacji nie rozwali a co najwyżej sprowokuje nowych do rejestracji i poprawienia krzywych dróg.

Potlach czy iD powinien się blokować po pewnym limicie nodów i zapraszać do JOSMa.
Zacznijmy od dobrego tutoriala JOSMa i nie wierzmy, że sami damy radę mapę zrobić lub sami damy radę zmoderować.
Właśnie zbliżamy się do punktu przełomowego gdzie liczba wandalizmów uderza w kompletność mapy a wkład nowicjuszy jest mało znaczący.
Znaczy się zbliża się czas na zmiany tzn. na zmianę narzędzi do mapowania.
Musimy pomagać i uczyć innych, a nie ich cenzurować.
OSM jest za trudne zarówno do edycji, a co dziwniejsze do używania na co dzień , dla szarego człowieka.
Musimy OSM upowszechnić wśród szarych ludzi, zanim zaczniemy gwarantować bezbłędność.
Nie nastawiajmy się na idiotów wjeżdżających do jeziora, bo im nawigacja kazała.

Co mnie obchodzi porównanie do firm od nawigacji?
Takie mapy istnieją od 10 lat i mi są niepotrzebne (bo taką zawsze mogę kupić).
Brak jest mapy wszystkomającej i mieszczącej się w kieszeni, na dodatek którą się ma zawsze przy sobie nawet na czas nieplanowanej podróży lub zmiany trasu której papierowa mapa nie obejmuje.
Naprawdę chcecie opierać rozwój OSM na upowszechnieniu tylko nawigacji ?
Potrzebujecie milionów notatek typu "zróbta coś z tym, bo coś tu chyba jest źle"

Ja takich notatek nie będę obrabiał dopóki nie przestanę rysować residential przez wioski czy dodawać lasów mających po 20 km2.
Dopiero co na Dolnym Śląsku pouzupełniałem landuse=residential (pewnie tylko cześć) .
Wrocław jeden z najlepiej zmapowanych, nie ma wrysowanych domów i dróg tuż za opłotkami.
Inforamacja turystyczna na OSM praktycznie nie istnieje
Tego się wstydzę, a nie wandalizmów.

Zapominamy co jest zaletą OSM.
Dotevo podał już, że powszechność czyli aktywacja tych co chcą poprawiać rzeczywistość.
Kolejne to skala mapy czyli możliwość dodania wszelkich skrótów i "orlich ścieżek" (routing dla pieszych) .
Wreszcie dane, które nigdy się nie zmieszczą na mapach papierowych czy w nawigacji, mogę być dodane.
Typu: "ta sztolnia jest zbadana i nie ma tam skarbu Wrocławia".
Albo "z tej skały jest wspaniała panorama".
Albo tu jest dobra agroturystyka; tel, www, ceny"
Robię mapę której nie ma.
Nie zamierzam niczego dublować ani ścigać się z firmami komercyjnymi.
Robimy mapę dla ludzi "chcących mieć wszystko i za darmo".
Czy wy inaczej rozumiecie ideę OSM?
Aktywujemy "miłośników regionu"
Jeszcze na ten etap nie weszliśmy, więc nie włączajmy hamulca.
Nie wmawiajmy, że za szybko jedziemy i "rozbijemy auto".

To jest podstawowa zaleta OSM,że wszystko da się naprawić, a od ciągłego "gumkowania" nie zrobi się dziura.
Potrzebny tylko mechanizm aby hurtem za dużo nie pokasować.

Zanim powstał Google MApMaker latami zgłaszałem błędy typu: nowe drogi, zła kierunkowość, zakazy itp.
I co, goowno

Jedno dobre co przejęliśmy od google to darmowość (StretViev nie da się przenieść ale będzie pomagać).
Zróbmy OSM szybko, bo jak się net online upowszechni a z nim ortofotomapy, zaś za wprowadzanie danych wezmą się skanery laserowe i programy OCR (rozpoznawanie tekstów), to OSM zdechnie.
Tylko "zdjeciomapy" nie kłamią.
Nie róbmy z OSM zdjęcia, bo przegramy ze SV, które przecież w miejscu stać nie będzie.
Zamiast robić 3D niedługo nawigacje będą ściągać SV i porównywać z kamerą w aucie i będzie to 100 razy dokładniejsze niż GPS, co przyda się do automatycznego pilota.
My z tym nie wygramy.
Możemy wygrać tylko z ceną i z czasem udostępnienia OSM (zanim technologia ją zdusi).
Panta rhei.
Nie szukajmy ideału, bo postępu nie zatrzymamy a kartografia na OSM się nie skończy.
Wstrzelmy się w czas i w lukę.
Wejdźmy do historii kartografii.
Krytyka? Najbardziej krytykują ci co nic nie robią.
Tylko idioci mogą chcieć coś za darmo i to idealne.Gdyby była mapa idealna postęp by się skończył.
Zanim OSM zacznie epatować wodotryskami czy kompletnością danych, niech będzie Mapą i to mapą lepszą od innych.
Całe szczęście, że OSM jest niekompletna i da się coś rysować lub poprawiać.
Inaczej byłaby nudna i zdychałaby zachłyśnięta swym sukcesem.
Na obecnym etapie OSM daje radość z używania i z tworzenia.
OSM jest dlatego piękna.
OSM ma być narzędziem a narzędzia trzeba używać aby było przydatne.
OSM to nie tylko używanie mapy.
To prawie poprawianie rzeczywistości choć wirtulne.
Jeszcze nie stała się narzędziem aktywującym lokalne społeczności, co ma prowadzić do poprawiania rzeczywistości w realu.
Mapa to coś jak teleportacja.
Jest jak zdjęcie czyli ma pokazywać coś czego w tym momencie wzrok nie sięga.
Tak jak zdjęcie ma pokazywać rzeczywistość osobom, które tej rzeczywistości nie widziały lub zapomniały.
Mapa to zdjęcie dużych obiektów robione z góry, czyli uzupełnia brak skrzydeł.
Mapa jest jak "oko boga".
Im lepsza tym otwiera więcej możliwości.
A nawigacja to jedna i wcale nie najważniejsza cecha mapy.
W przyszłości mapy będą miały oś czasu, przekroczą płoty i drzwi, powstaną mapy dla niewidomych i dla robotów (urządzeń). Zgubione klucze znajdziemy idąc po tracku dokładnym na 30 cm.Znajdziemy znajomych będących w tej samej miejscowości na innym kontynencie.Paczkę wręczą nam do ręki w parku. Dron dostarczy czapkę dla dziecka czy inną drobną przesyłkę.Kradzieże się skończą bo rzeczy będą geotagowane online.
Niewyczerpana jest kopalnia możliwości a na dziś potrzebna jest OSM jak stopień na schodach postępu.
Spieszmy się ją robić zanim będzie archaiczna.

OSM spotkała się w czasie z Androidem i off-linem i w tym tkwi jej siła.
Ale to pęknie niebawem i przestanie być potrzebna, a my będziemy się zachłystywać jej kompletnością, ewentualnie posłuży do wojen edycyjnych.
Sądzę, że większość myśli tak jak ja.
Wiemy, że dane adresowe będą wprowadzane co najmniej 2 lata, ale mapa musi służyć rzeszom już wcześniej.
Nie wolno nam zwalniać.
Robimy otwarty projekt i musimy się pogodzić z częściową utratą danych jako poligon dla nauki dla nowych.
Nie mamy przecież poligonu do nauki a nawet dobrej pomocy (z naszej winy).
Nie robimy projektu zamkniętego dla nas , pod nas i przez nas.
Utracone dane to mniej niż promil danych brakujących.
Nie ma co się denerwować tylko poprawiać i poprawiać licząc, że szkodnik stanie się wkrótce poprawiaczem.
Owszem przyjdzie nowy szkodnik, ale poprawiaczy będzie już więcej.
Potem już tylko potrzebne sprawniejsze narzędzia monitorujące.

Last edited by benek (2013-10-09 06:54:15)

Zibior2 · 2013-10-09 10:54:54

@Benek:

Masz ciekawy sposób pisania - każde zdanie od nowej linii. Niewygodnie się to czyta. Oczywiście, pisz wedle uznania, ale weź pod uwagę, że niektórzy już nie czytają tego co napisałeś.

Gaurozauron · 2013-10-09 12:27:55

@benek

Podpisuję się obiema rękami pod tym, co napisałeś. Moderacja zniechęci masę użytkowników, takich jak ja, amatorsko mapujących swoją okolicę. Widzieć natychmiast efekt pracy, to podstawa. Kiedyś zrobiłem parę edycji do Google'a, który ma okropne błędy na moim terenie. GDY po tygodniu, czy dwóch dostałem informację o zatwierdzeniu lub nie moich edycji, to stwierdziłem, że mam ich gdzieś, to żadna zabawa.

Announcement

#51 2013-10-07 14:56:05

Re: Wandalizmy w OSM i im zapobieganie

#52 2013-10-07 15:23:46

Re: Wandalizmy w OSM i im zapobieganie

#53 2013-10-07 15:26:08

Re: Wandalizmy w OSM i im zapobieganie

#54 2013-10-07 15:46:54

Re: Wandalizmy w OSM i im zapobieganie

#55 2013-10-07 15:47:43

Re: Wandalizmy w OSM i im zapobieganie

#56 2013-10-07 15:53:46

Re: Wandalizmy w OSM i im zapobieganie

#57 2013-10-07 16:58:29

Re: Wandalizmy w OSM i im zapobieganie

#58 2013-10-07 17:06:39

Re: Wandalizmy w OSM i im zapobieganie

#59 2013-10-07 17:58:02

Re: Wandalizmy w OSM i im zapobieganie

#60 2013-10-07 18:02:44

Re: Wandalizmy w OSM i im zapobieganie

#61 2013-10-07 18:16:10

Re: Wandalizmy w OSM i im zapobieganie

#62 2013-10-07 18:42:59

Re: Wandalizmy w OSM i im zapobieganie

#63 2013-10-07 18:47:18

Re: Wandalizmy w OSM i im zapobieganie

#64 2013-10-07 19:00:16

Re: Wandalizmy w OSM i im zapobieganie

#65 2013-10-07 19:03:45

Re: Wandalizmy w OSM i im zapobieganie

#66 2013-10-07 19:54:41

Re: Wandalizmy w OSM i im zapobieganie

#67 2013-10-07 21:42:19

Re: Wandalizmy w OSM i im zapobieganie

#68 2013-10-08 09:25:06

Re: Wandalizmy w OSM i im zapobieganie

#69 2013-10-08 10:36:15

Re: Wandalizmy w OSM i im zapobieganie

#70 2013-10-08 18:55:09

Re: Wandalizmy w OSM i im zapobieganie

#71 2013-10-09 00:43:50

Re: Wandalizmy w OSM i im zapobieganie

#72 2013-10-09 06:22:13

Re: Wandalizmy w OSM i im zapobieganie

#73 2013-10-09 06:52:13

Re: Wandalizmy w OSM i im zapobieganie

#74 2013-10-09 10:54:54

Re: Wandalizmy w OSM i im zapobieganie

#75 2013-10-09 12:27:55

Re: Wandalizmy w OSM i im zapobieganie

Board footer