Wizualizacje i analiza danych

Myślę, że to będzie najszybszy i najprostszy sposób. Oczywiście nie w skali globalnej.

Wczoraj trochę nad tym myślałem i nawet częściowo popełniłem narzędzia pobierające dane z API. Z tym, że dróg w PL mamy już dość sporo (wchodzimy w miliony) i częste odpytywanie API po wszystkich drogach pewnie nie byłoby mile widziane.
Można też zassać plik historii ale jest on duży i do potrzeb “naprawy” dróg nie za często aktualizowany.

Wymyśliłem też, że to mógłby być fajny pomysł na plugin do JOSM. Nawet nie wiem czy się da, ale może.

Pojawia się jeszcze jeden problem - data modyfikacji obiektu zmienia się przy każdej edycji. Może być tak, że ktoś dodawał jakieś dane do dróg i z naprawą geometrii niewiele miało to wspólnego. Taka wizualizacja będzie trochę wypaczona.

W dwóch słowach: Da się :wink:

I jakby nasi polscy spece powymierali, bo ich coraz mniej tutaj.

Trochę popatrzyłem sobie na overpassa, znalazłem informacje o tym, że daty edycji można wyciągać. Ale raz, że nie za bardzo ogarniam składnię overpassa :wink: a dwa, że nie widzę jak wybrać właśnie drogi “nieedytowane” od jakiegoś czasu. Jedynie widzę “edytowane od jakiegoś czasu”.

Jeżeli ktoś potrafi stworzyć kwerendę do overpassa robiącą coś takiego to będę wdzięczny :slight_smile:

W związku z tematem, który pojawił się ostatnio na liście dyskusyjnej przygotowałem warstwę dotyczącą obiektów wodnych.
Na razie są te najpopularniejsze a sama warstwa nie ma ładnie wyglądać (taką też przygotuję - wszystko w jednym kolorze ;)), tylko ma pomóc w weryfikacji, a jest co poprawiać.

PS. Obiektów wodnych w OSM już trochę jest więc warstwa może się wolno ładować.

Teraz trzeba powprowadzać pomniki przyrody :slight_smile: a trochę ich jest np. fajna lista dla Wrocławia http://pl.wikipedia.org/wiki/Pomniki_przyrody_we_Wroc%C5%82awiu

No i oczywiście pomocne tagi:
http://wiki.openstreetmap.org/wiki/Pl:Tag:natural%3Dtree

Tak. Nie napisałem o tym wcześniej. Na tej mapce są też inne warstwy: “pomniki przyrody” (na razie drzewa) oraz góry/przełęcze/wulkany.

Jeśli chodzi o drzewa - w tej sprawie zgłosił się do mnie kiedyś pewien user i to jest taka przymiarka, bo tematu nie pociągnął - brak odzewu. Można to dopracować. Ja spróbuję po południu opisać co jest na tej warstwie. Chodzi o rozdział ze względu na denotation. Wywaliłem tylko denotation=cluster, ponieważ tego jest dość dużo a chyba nic nie wnosi do tematu (np. w Szczecinie tak są oznaczone wszystkie drzewa).

PS. Wczoraj dodałem ładniejszą warstwę dla wody. Ta wcześniejsza przydaje się bardziej do kontroli. Zachęcam do poprawiania. Jest sporo błędów - złe kierunki, przerwy w rzekach (jeśli ktoś ma dostęp do ISOK można poprowadzić rzeki w lasach), brak rzek na zbiornikach (co wydaje mi się brakiem), rzeki, dla których w środkowej części biegu river zamienione jest na stream. Można też dodawać śluzy, tamy, progi, itp. (więcej pomysłów :wink: pod literką “i” na mapie).

PS2. Warstwy wody działają trochę szybciej, jednak jeśli nie będzie lepszego serwera z lepszym transferem wychodzącym, to mój niedługo ulegnie implozji. Już przerywam aktualizacje dla mało uczęszczanych wizualizacji i ograniczam częstotliwość odświeżania danych.

Mam propozycję wizualizacji, która może wychwycić wiele potencjalnych przeoczeń. Otóż zazwyczaj samo building=* name=* “nie opowiada całej historii” i aby aplikacje mogły z danych zrobić użytek powinien znaleźć się na nim jeden z “tagów głównych” (to jest czyniący go POI).
Zrobiłem taką listę:

aeroway, amenity, craft, historic, leisure, man_made, office, power, railway, shop, tourism

Wizualizacja mogłaby rozdzielać przypadki gdzie building=yes (to jest totalny brak informacji) oraz resztę wartości tego tagu.
Oczywiście będą się zdarzać “fałszywe alarmy” gdzie istotnie samo building=* wystarcza, np. często building=industrial na terenie większego kompleksu, wydziały uniwersytetów itd. Listę można dopracować w miarę używania tej wizualizacji, najpewniej korzystając z wartości tagu building oraz geometrycznego zawierania budynku w większym obszarze o określonym tagowaniu.

Analogicznie dla punktów adresowych. Z doświadczenia wiem, że nowicjusze iD (a raczej głównie ci którzy popełnią 1-3 edycje i zbiegną z miejsca zdarzenia :laughing: ) często dodają do punktów adresowych takie “POI” będące tylko nazwą.

Zrobiłem kwerendę overpassa, ale przy takiej liczbie tagów się wysypuje :smiley: Jeśli ktoś wie jak filtrować nieobecność tagu inaczej niż w kwerendzie generowanej przez kreator (to jest zanegowany regex “.*”), będę wdzięczny.

Edit: Analiza adresów jest znacznie łatwiejsza (z racji że tutaj raczej nie ma wyjątków od reguły i wszystkie to nieotagowane właściwie POI). Mamy takich w Polsce 2299 sztuk.
Dane są bardzo ciekawe i mogą posłużyć jako pomoc przy wyszukiwaniu tagów których nikt nie wynalazł lub istnieją i byłyby warte dodania do edytorów. (Tutaj należy się szacun twórcom iD, jako że ostatnio znacząco poszerzyli bazę presetów, co mam nadzieję przyczyni się do poprawy sytuacji - np. dodany sklep z artykułami medycznymi i wiele innych).

Z ciekawości: jakie masz łącze do serwera i jaki upload?

Niestety łącze nastawione jest na odbiór, nie na nadawanie. Z kabla telefonicznego 1Mb na wyjściu.

Pierwsze czytanie Twojej propozycji (wtedy niezrozumianej) wywołało we mnie drobny sprzeciw. Myślałem, że na siłę chcesz wsadzać POI na obrysy. Po czytaniu drugim (porannym), wiem o co chodzi. Później pokombinuję i zobaczymy.

Pierwsza wersja warstwy
yes - czerwone, pozostałe - fioletowe (liczba dla porównania: 19,6k). Więcej w napisach (nazwa i w nawiasie wartość tagu building) od zoom=14.

Mam wrażenie, że tego może być dużo.

EDIT: Dodałem kółka dla building z samymi nazwami na node (liczba: 1k). yes - pomarańczowe, pozostałe - niebieskie.
Można się pokusić o oddzielną warstwę dla wszystkich building na node (liczba 2,1k).

Zmieniłem zielony na fioletowy, żeby nie sugerować, że taka sytuacja jest właściwa.
Na marginesie - obiektów zamiast ubywać, przybywa.

Nowa warstwa zawierająca znaczki dla place=city/town/village rozróżnione ze względu na wyposażenie w tag wikipedia. Białe - tag występuje, czerwone - brak. Od zoom=10 city/town - większe, village - mniejsze (dzięki czemu będzie można rozróżnić i zacząć od “ważniejszych”). Od zoom=13 - wartość tagu wikipedia (jak zwykle tekst poucinany, może po przeprowadzce na serwer wystawię przez proxy).

PS. Prośba do importowych wyjadaczy - na niższych wartościach zoom widać (od zachodniej granicy do okolic Płocka, na południe od Grudziądza, okolice Tarnowa) regularne kształty w brakach. Pasek ciągnie się też dalej lecz został już w pewnym stopniu “załatany”. Podobna sytuacja widoczna jest na innych wizualizacjach (np. populacji). Zauważyłem to wcześniej i wygląda, że jest to jakiś problem z importem miejscowości, może brakuje jakiegoś tagu, bez którego nie zostały dokonane późniejsze importy. Popatrzcie na to.

Na podstawie danych adresowych z OSM stworzyłem podział Warszawy na komisje wyborcze z wizualizacją wyników http://mapawyborcza.pl/warszawa_pr2.html

Ciekawe, zwłaszcza porównując z mapą PKW: http://prezydent2015.pkw.gov.pl/325_Wyniki_Polska/14

Może dało by się zrobić mapę z podziałem na komisje wyborcze dla całego kraju?
Wybory powtarzają się, moglibyśmy mieć wizualizację ładniejszą niż PKW :wink:

Skąd wziąłeś dane do tej mapy ?

Edit - już widzę csv na stronie PKW…

Bardzo fajne. Pochwal się jak wygenerowałeś granice obwodów :slight_smile:

Super sprawa. Widzę że jest już cała Polska:
http://mapawyborcza.pl/

Czy serwer jest gotowy na ogólnopolskie obciążenie? Bo jestem pewien, że są media w PL które chętnie ją zamieszczą :slight_smile: Czy stowarzyszenie umieści mapkę na FB? Będzie można chociaż ze znajomymi się podzielić.

Najpierw parsuję opisy granic obwodów z PKW, co jest dosyć trudne - trzeba poprawiać błędy odbiegające od przyjętego przez nich formatu, a i tak wszystkich błędów nie udało się wyeliminować.
Następnie konwertuję nazwy ulic z danych PKW do tych przyjętych w OSM za pomocą Nominatim.
Każdemu budynkowi przyporządkowuję nr OKW - swoją drogą mam surowe dane z przyporządkowaniem - można je wrzucić do OSM tylko nie wiem czy jest sens i jakiego tagu użyć.
Generuję diagram Voronoya za punkty przyjmując budynki.
Łączę wygenerowane wielokąty.

Dobra robota MARC12, gratulacje!
Marek

Coś jest nie tak z generacją kafli gdzie występują drogi z prędkościami różnymi od kierunku jazdy? Nie są wyświetlane te odcinki - przynajmniej u mnie od kilku dni.