OSMonitor (raporty z danych OSM)

marek kleciak · 2012-07-27 10:28:08

Niektóre drogi sa w paru województwach..

Oczywiscie ze jezdnia moze miec wiecej niz 2 konce jesli sie np na koncu rozgalezia a ma ta sama nazwe.
Mimo tego 90% dróg tak nie ma i bylo by to pomocne.

ajank · 2012-07-27 12:06:41

Pawle: gratuluję świetnego narzędzia! Trzymam też kciuki za regularne uaktualnianie raportów

Mam drobne sugestie:
1. warto usunąć nieaktualną już stronę http://wiki.openstreetmap.org/wiki/User … aportDrogi
2. proponuję przenieść strony http://wiki.openstreetmap.org/wiki/User … MajorRoads i http://wiki.openstreetmap.org/wiki/User … ionalRoads w takie miejsce, by nowi użytkowincy mieli jakiekolwiek szanse je znaleźć. Właściwym miejscem wydaje się umieszczenie ich w http://wiki.openstreetmap.org/wiki/Wiki … eć_drogowa, wraz z integracją znajdujących się tam informacji do "user notes"
3. wydaje mi się, że podział dróg wojewódzkich na województwa będzie bardzo sztuczny, wiele dróg jest w kilku województwach, jestem za pozostawieniem wszystkiego na jednej stronie. Można za to dodać dla dróg wojewódzkich podsekcje jak na http://wiki.openstreetmap.org/wiki/Wiki … ojewódzkie.

Paweł Paprota · 2012-07-27 14:11:20

ajank wrote:

Pawle: gratuluję świetnego narzędzia! Trzymam też kciuki za regularne uaktualnianie raportów

Dzięki. Jeszcze sporo jest do zrobienia, ale powoli stają się te raporty nawet przydatne Co do aktualizacji - najlepiej byłoby to wrzucić na jakiś serwer... tylko gdzie? Na razie robię to we własnym zakresie na laptopie, zobaczymy co będzie dalej.

ajank wrote:

1. warto usunąć nieaktualną już stronę http://wiki.openstreetmap.org/wiki/User … aportDrogi

Zgadzam się, ale nie znalazłem opcji usuwania stron na wiki - może źle patrzę?

ajank wrote:

2. proponuję przenieść strony http://wiki.openstreetmap.org/wiki/User … MajorRoads i http://wiki.openstreetmap.org/wiki/User … ionalRoads w takie miejsce, by nowi użytkowincy mieli jakiekolwiek szanse je znaleźć. Właściwym miejscem wydaje się umieszczenie ich w http://wiki.openstreetmap.org/wiki/Wiki … eć_drogowa, wraz z integracją znajdujących się tam informacji do "user notes"

Hmm, na pewno fajnie by było bardziej raporty wyeksponować, żeby nie leżały gdzieś u mnie "na strychu". Informacje z tych raportów zdecydowanie pasują do stron, które podałeś (sieć drogowa). Z drugiej strony chciałbym żeby raporty były używalne i znajdowalne nie tylko przez polskich użytkowników - widać, że ludzie z innych krajów są chętni pomagać nam w potrzebie po przejściu bota, nie chciałbym im tego utrudniać dodając raporty do stricte polskiej (w szczególności - polskojęzycznej) części wiki. Sam nie wiem jak to rozwiązać żeby bot był syty i owca cała...

ajank wrote:

3. wydaje mi się, że podział dróg wojewódzkich na województwa będzie bardzo sztuczny, wiele dróg jest w kilku województwach, jestem za pozostawieniem wszystkiego na jednej stronie. Można za to dodać dla dróg wojewódzkich podsekcje jak na http://wiki.openstreetmap.org/wiki/Wiki … ojewódzkie.

Taki podział jest OK, natomiast zaczyna się pojawiać inny problem - podczas wgrywania raportu dla dróg wojewódzkich (ta duuuża strona) bot dostaje timeout na połączeniu do wiki i w 50% przypadków strona nie jest aktualizowana - bot musi jeszcze raz próbować etc. Jest to pewnie związane z wielkością tej strony (już grubo ponad 100 kilobajtów tekstu chyba) - może to argument za podziałem na podstrony (np. 100-500 na osobnej stronie, reszta na innej)?

ajank · 2012-07-27 18:10:36

Paweł Paprota wrote:

Zgadzam się, ale nie znalazłem opcji usuwania stron na wiki - może źle patrzę?

Zastępujesz treść przez {{delete|jakieś wyjaśnienie}}: http://wiki.openstreetmap.org/wiki/Template:Delete

Paweł Paprota wrote:

Hmm, na pewno fajnie by było bardziej raporty wyeksponować, żeby nie leżały gdzieś u mnie "na strychu". Informacje z tych raportów zdecydowanie pasują do stron, które podałeś (sieć drogowa). Z drugiej strony chciałbym żeby raporty były używalne i znajdowalne nie tylko przez polskich użytkowników - widać, że ludzie z innych krajów są chętni pomagać nam w potrzebie po przejściu bota, nie chciałbym im tego utrudniać dodając raporty do stricte polskiej (w szczególności - polskojęzycznej) części wiki. Sam nie wiem jak to rozwiązać żeby bot był syty i owca cała...

Myślę, że najlepszym rozwiązaniem jest dwujęzyczność przynajmniej najważniejszych fragmentów na WikiProject Poland. Poza tym śmiało przenoś http://wiki.openstreetmap.org/wiki/User … /OSMonitor na http://wiki.openstreetmap.org/wiki/OSMonitor

Paweł Paprota wrote:

podczas wgrywania raportu dla dróg wojewódzkich (ta duuuża strona) bot dostaje timeout na połączeniu do wiki i w 50% przypadków strona nie jest aktualizowana - bot musi jeszcze raz próbować etc. Jest to pewnie związane z wielkością tej strony (już grubo ponad 100 kilobajtów tekstu chyba) - może to argument za podziałem na podstrony (np. 100-500 na osobnej stronie, reszta na innej)?

Może tak... teraz myślę, jak już trzeba dzielić na wiele stron, to masz rację, że podział wg województw jest mniej sztuczny niż wg numerów dróg. Niektóre drogi oczywiście będą na kilku stronach.

Co do hostingu, to czy Stowarzyszenie nie dysponuje jakimś serwerem, na którym można by postawić bota?

Last edited by ajank (2012-07-27 18:11:07)

Paweł Paprota · 2012-07-27 19:50:38

@ajank, wielkie dzięki za zainteresowanie Stronę OSMonitor przesunę na "oficjalne" miejsce jak trochę dopieszczę content - pewnie w weekend.

Co do hostingu no to cóż przydałby się - jeśli ktoś może zaoferować to bardzo chętnie skorzystam... i skorzystają też raporty - na serwerze można by ustawić replikację minutową, a raporty generować np. co 15 minut.

Gdy już trochę uczeszę sam projekt (oficjalna strona na wiki + trochę upiększeń layoutu raportów) to może zagadam też do ludzi z OSMF - widziałem, że niektórzy mają serwery/konta na dev.openstreetmap.org, może gdzieś będzie się można wpiąć.

pbabik · 2012-07-27 19:56:14

Być może mógłbym pomóc w kwestii serwera, jakie są wymagania (cpu/ram/dysk/oprogramowanie)?

Paweł Paprota · 2012-07-27 20:09:41

pbabik wrote:

Być może mógłbym pomóc w kwestii serwera, jakie są wymagania (cpu/ram/dysk/oprogramowanie)?

Wow, dzięki za odzew Wymagania...

* CPU - im szybszy tym lepiej U mnie na laptopie jakoś to działa, a mam "tylko" I7 quad core 1.6 GHz (to że są cztery rdzenie to akurat nie robi dużej różnicy niestety, bo przeważnie wykorzystywany jest jeden przy procesowaniu replikacji oraz generowaniu raportów).

* RAM - ja mam na laptopie 4 GB, ale max. wykorzystanie jakie widziałem przez Postgresa i raporty to < 1 GB.

* dysk - u mnie baza (tylko Polska) w tej chwili zajmuje ~10 GB.

* oprogramowanie - OSMonitor to głównie Ruby i SQL, trochę basha; istotne żeby w Postgresie dało się doinstalować (patrz [1]) rozszerzenie PostGIS i hstore w bazie dla raportów.

[1] http://wiki.openstreetmap.org/wiki/Osmo … tGIS_Setup

Paweł Paprota · 2012-07-28 13:29:47

No to mam dobre wieści - OSMonitor jest już zainstalowany na serwerze pbabika - chwała mu za to, że w czynie społecznym zaoferował swoje zasoby!

W tej chwili baza się aktualizuje, raporty są na razie odpalane co pół godziny. Są jeszcze drobne problemy ze stabilnością, ale na pewno będzie lepiej niż na laptopie.

Jeszcze raz podziękowania dla pbabika za serwer!

marek kleciak · 2012-07-28 19:31:46

Wielke dzieki Wam obu!
Pawle,
gdy juz wszystko ruszy poinformuj prosze kolegów z Niemiec.
User Tunnelbauer skarzyl sie, ze mial klopoty bo ktos w tym samym czasie na tym samym terenie co on pracowal w Polsce . Uswiadomilismy go, ze trzeba czesto robic update bo troche ludzi do boju ruszylo...

Zbigniew Czernik · 2012-07-28 21:56:55

http://www.openstreetmap.org/browse/way/23541424 - może dodać wyjątek dodać dla route=ferry, żeby nie zgłaszało tego jako błąd?

Przy okazji ciekawostka z Wikipedii:

Po włączeniu drogi do sieci dróg krajowych GDDKiA jest zobowiązana do budowy mostu w miejscu dotychczasowej przeprawy promowej, wykluczonej w przypadku dróg krajowych.

koszatek · 2012-07-29 00:29:52

Co z drogami, które są i będą przez najbliższe kilka(naście?) lat w 2 lub więcej kawałkach? Czy da się to zrobić tak, żeby nie wywalało tego jako błąd, ale nie rysować highway=proposed, bo przebieg jest jeszcze nieznany?
Skąd są brane długości dróg do porównania? DW896 włączyłem całą do relacji, ale zgłasza błąd, bo jest 44 km, bot twierdzi, że ma być 48, a na stronie podkarpackiego ZDW jest podane 44,9 km.

kendzi · 2012-07-29 08:34:43

koszatek wrote:

Skąd są brane długości dróg do porównania? DW896 włączyłem całą do relacji, ale zgłasza błąd, bo jest 44 km, bot twierdzi, że ma być 48, a na stronie podkarpackiego ZDW jest podane 44,9 km.

Długości pochodzą z Wikipedii. Jeśli są błędy warto je poprawić w tabeli jak i na stronie Wikipedii

Paweł Paprota · 2012-07-29 10:42:26

Zbigniew Czernik wrote:

http://www.openstreetmap.org/browse/way/23541424 - może dodać wyjątek dodać dla route=ferry, żeby nie zgłaszało tego jako błąd?

Tak, też to zauważyłem dla tej drogi - trzeba zrobić wyjątek.

koszatek wrote:

Co z drogami, które są i będą przez najbliższe kilka(naście?) lat w 2 lub więcej kawałkach? Czy da się to zrobić tak, żeby nie wywalało tego jako błąd, ale nie rysować highway=proposed, bo przebieg jest jeszcze nieznany?

To jest dobre pytanie - podobna sytuacja jest dla S1. Myślałem nad rozwiązaniem żeby długości wpisywać dla poszczególnych kawałków np. "10; 34; 103" - wtedy robot będzie wiedział, że są trzy grafy i nie będzie zgłaszał niespójności (chyba, że jest niespójność wewnątrz tych trzech rozłącznych grafów). To jest dopiero myśl - robot tak teraz nie działa.

koszatek wrote:

Skąd są brane długości dróg do porównania? DW896 włączyłem całą do relacji, ale zgłasza błąd, bo jest 44 km, bot twierdzi, że ma być 48, a na stronie podkarpackiego ZDW jest podane 44,9 km.

W przypadku kiedy znajdziesz informację z "bardziej wiarygodnego" źródła niż Wikipedia to śmiało można poprawiać długość na stronie raportów.

Przy okazji, jeśli ktoś korzysta z Github to można wprowadzać bugi/życzenia tutaj: https://github.com/ppawel/osmonitor/issues.

Przy okazji 2, zrobiło się zielono wśród autostrad

Przy okazji 3, w nadchodzącym tygodniu będę mniej responsywny - przeprowadzka, nowe miasto, nowa praca itd. itp., ale o raportach pamiętam.

Paweł Paprota · 2012-07-29 10:45:03

Aha, jeszcze przy okazji 4 - raporty się generują teraz co godzinę (startują o pełnej godzinie), żeby nie obciążać wiki za bardzo... muszę porozmawiać z adminami wiki czy im nie przeszkadza zbyt częste odświeżanie stron z raportami przez robota.

koszatek · 2012-07-30 10:58:08

Mam jeszcze taki wniosek.
Przydałoby się sprawdzanie, czy wszystkie drogi wchodzące w skład relacji mają ustawiony odpowiedni ref. Niestety to łatwo umyka, gdy się robi dłuższą drogę.

Paweł Paprota · 2012-07-30 12:47:37

koszatek wrote:

Mam jeszcze taki wniosek.
Przydałoby się sprawdzanie, czy wszystkie drogi wchodzące w skład relacji mają ustawiony odpowiedni ref. Niestety to łatwo umyka, gdy się robi dłuższą drogę.

O widzisz, bardzo dobry pomysł, niedługo dodam.

SunCobalt · 2012-07-30 13:27:39

if you have a route=ferry as part of a DW or DK you always get an error. If you include the route ferry you get an error "has ways without highway=*" if you leave it our, you will get a "relation disconnect"

Paweł Paprota · 2012-07-30 13:29:58

SunCobalt wrote:

if you have a route=ferry as part of a DW or DK you always get an error. If you include the route ferry you get an error "has ways without highway=*" if you leave it our, you will get a "relation disconnect"

Yes, that is a bug, it'll be fixed soon

Paweł Paprota · 2012-07-30 13:41:02

Interesting observation by SunCobalt:

On 2012-07-30 10:24:11 UTC SunCobalt wrote:
> Hi Paweł,
>
> after some days fixing errors on primary and secondary highways randomly, I thought yesterday a more structured approach would be better. Starting DW 160 upwards I repair or create route relations. So far I am at 190. However, I am struggeling a bit with the length information. Best example is DW 164, where your tools says that it should be 10km but I can only find a route that is 16km (+60%!)
> http://www.openstreetmap.org/?relation=2090747
> http://pl.wikipedia.org/wiki/Droga_woje … zka_nr_164
> Can you help me with this issue please?
>
> Thanks
> Kind regards
> Thomas
Hi Thomas,
Thanks for all your work and also for reporting this length problem. The issue is that length information has been filled in from Wikipedia. It is not always accurate - there have been several cases where Wikipedia has it wrong.
However, in this case I think it is right. You can see this road is actually shorter than in OSM:
http://www.zdw.zgora.pl/mapa/
This is official government road agency site for this region. You can see on this "great" Flash application that 164 has different route than currently in OSM - partly it is DW161.
You can also verify it here:
http://mapa.targeo.pl/Mapa_Polski,20,15 … 52.9240400
But keep in mind that this is a commercial site and we cannot use it to draw in OSM. However just checking there can give you information if you have to look for other free sources than Wikipedia.
I think it could be hard for you to find more information about regional Polish roads - this info is mainly in Polish (if it even exists). I suggest that you edit "User notes" column for such cases and someone from Poland will pick it up.
Paweł

Paweł Paprota · 2012-07-30 16:58:16

koszatek wrote:

Mam jeszcze taki wniosek.
Przydałoby się sprawdzanie, czy wszystkie drogi wchodzące w skład relacji mają ustawiony odpowiedni ref. Niestety to łatwo umyka, gdy się robi dłuższą drogę.

Zaimplementowałem tę walidację... tak to wygląda:

https://wiki.openstreetmap.org/w/index. … did=791535

Wyłączyłem ją na razie, bo tego jest bardzo dużo, dla dróg wojewódzkich na pewno strona się nie wgra na wiki.

Pytanie po co w ogóle dodawać "ref" do dróg? To jest duplikacja danych, jedynym powodem jaki mi przychodzi do głowy to Mapnik - on chyba nie uwzględnia relacji tylko bierze wartość "ref" i renderuje numer na drodze.

rogal · 2012-07-30 17:21:29

Mkgmap też bierze z ref= - bez tego uwalimy wszystkie mapy na Garmina, a trochę tych projektów związanych OSM jest. Wspomniany mapnik tak chyba właśnie bierze, bo jak są dwa numery dróg rozdzielone średnikiem to właśnie w taki sposób są one renderowane (właśnie - trzeba wziąć pod uwagę także taką wersję, swojego czasu widziałem masę dróg tak tagowanych).

Trzeba też wziąć pod uwagę różne inne projekty biorące dane z OSM - zazwyczaj mały odsetek z nich potrafi ogarnąć relacje.

Last edited by rogal (2012-07-30 17:26:32)

Paweł Paprota · 2012-07-30 17:25:41

Wrzuciłem posta na listę "tagging" w temacie, może ktoś z zagranicy się wypowie co o tym myślą...

http://lists.openstreetmap.org/pipermai … 10920.html

Oczywiście w porównaniu z remappingiem ma to mały priorytet, ale poleganie na zduplikowanych danych ("ref" vs relacje) jest to droga donikąd...

Mateusz Korniak · 2012-07-30 20:59:43

Paweł Paprota wrote:

poleganie na zduplikowanych danych ("ref" vs relacje) jest to droga donikąd...

Dlatego automat powinien wg refów dodawac do relacji, a tym z relacji ustawiać refy...

rogal · 2012-07-30 23:36:35

Jeszcze jeden argument za pozostawieniem ref=. Ktoś przypadkiem albo celowo usunie relacje danej drogi - i co teraz?

Zbigniew Czernik · 2012-07-30 23:41:32

Myślę, że nikt ref= nie będzie z dróg usuwał. Przynajmniej dopóki są potrzebne, czyli nie w najbliższej przyszłości :-)

Announcement

#51 2012-07-27 10:28:08

Re: OSMonitor (raporty z danych OSM)

#52 2012-07-27 12:06:41

Re: OSMonitor (raporty z danych OSM)

#53 2012-07-27 14:11:20

Re: OSMonitor (raporty z danych OSM)

#54 2012-07-27 18:10:36

Re: OSMonitor (raporty z danych OSM)

#55 2012-07-27 19:50:38

Re: OSMonitor (raporty z danych OSM)

#56 2012-07-27 19:56:14

Re: OSMonitor (raporty z danych OSM)

#57 2012-07-27 20:09:41

Re: OSMonitor (raporty z danych OSM)

#58 2012-07-28 13:29:47

Re: OSMonitor (raporty z danych OSM)

#59 2012-07-28 19:31:46

Re: OSMonitor (raporty z danych OSM)

#60 2012-07-28 21:56:55

Re: OSMonitor (raporty z danych OSM)

#61 2012-07-29 00:29:52

Re: OSMonitor (raporty z danych OSM)

#62 2012-07-29 08:34:43

Re: OSMonitor (raporty z danych OSM)

#63 2012-07-29 10:42:26

Re: OSMonitor (raporty z danych OSM)

#64 2012-07-29 10:45:03

Re: OSMonitor (raporty z danych OSM)

#65 2012-07-30 10:58:08

Re: OSMonitor (raporty z danych OSM)

#66 2012-07-30 12:47:37

Re: OSMonitor (raporty z danych OSM)

#67 2012-07-30 13:27:39

Re: OSMonitor (raporty z danych OSM)

#68 2012-07-30 13:29:58

Re: OSMonitor (raporty z danych OSM)

#69 2012-07-30 13:41:02

Re: OSMonitor (raporty z danych OSM)

#70 2012-07-30 16:58:16

Re: OSMonitor (raporty z danych OSM)

#71 2012-07-30 17:21:29

Re: OSMonitor (raporty z danych OSM)

#72 2012-07-30 17:25:41

Re: OSMonitor (raporty z danych OSM)

#73 2012-07-30 20:59:43

Re: OSMonitor (raporty z danych OSM)

#74 2012-07-30 23:36:35

Re: OSMonitor (raporty z danych OSM)

#75 2012-07-30 23:41:32

Re: OSMonitor (raporty z danych OSM)

Board footer