You are not logged in.

#51 2008-12-07 15:14:45

wopozka
Member
Registered: 2008-07-15
Posts: 51

Re: Import danych z http://ump.waw.pl/

Mateusz Korniak wrote:
wopozka wrote:

W razie problemow sluze pomoca.

A
Type=0x16

Która to z
http://wiki.openstreetmap.org/wiki/Map_Features#Highway
Google podpowiada ?e to trail ?

Walkway/Trail, w ten sposób s? oznaczane drogi, ?cie?ki, nieprzejezdne samochodem osobowym, ci??arowym, terenowym (ogólnie tereny gdzie niewarto zap?dza? si? samochodem). Z definicji takie odcinki dróg otrzymuj? zakaz ruchu, wi?c routing tamt?dy nie prowadzi. Czasami s? te? wykorzystywane w miastach do pokazania dojazdu do jakiej? posesji która ma inny adrews ni? wskazywa?aby to ulica przy której si? znajduje. Tak samo robi si? czasami z osiedlami (nazwanymi osiedlami). Ogólnie jednak jest to jaka? ?cie?ka, po której samochodem si? nie je?dzi.

Offline

#52 2008-12-16 11:19:00

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Import danych z http://ump.waw.pl/

Grrrr cudownie, kto? kto importowa? dane z UMP natworzy? mas? zduplikowanych dróg w okolicy Poznania (odcinek Pozna?->Rogalin), zapraszam do pomocy w porz?dkach wink

Offline

#53 2009-02-06 00:29:13

Jaqb
Member
From: Gdynia
Registered: 2009-02-05
Posts: 1

Re: Import danych z http://ump.waw.pl/

Witam

Czy tylko ja mam wra?enie, ?e dane z UMP s? "do?? dok?adne" - znaczy si? (poza wspomnianymi ju? problemami z rondami i po??czeniami dróg) dok?adne, je?eli chodzi o wymogi nawigacji samochodowej, ale jakby chcie? dok?ada? trasy piesze/rowerowe to dok?adno?ci brakuje.

njarek zrobi? mi przys?ug? i zaimportowa? moj? okolic? ale teraz mijaj? si? z moimi GPX'ami - to niby nic wielkiego, bo ulice s? do?? rzadko, ale ... Gdyby chcie? doda? chodniki, przej?cia dla pieszych, przystanki autobusowe, parkingi to zaczynaj? si? schody.

pytanie techniczne do bardziej do?wiadczonych:
czy kilka ?ladów (GPX) z jednego urz?dzenia jest wystarczaj?co dok?adne, czy lepiej poczeka? a? kto? przejedzie z innym GPS'em? Innymi s?owy, czy jest mo?liwe, ?e ten odbiornik który mam ma sta?y b??d, który np. przesuwa mi pozycj? o 10m w lewo.
Nie wiem, czy poprawia?. Nie chcia?bym bardziej popsu? ni? jest :-)

jeszcze inna kwestia to nazewnictwo dróg - drogi osiedlowe ja oznaczam jako residential z UMP cz??? wesz?a jako service, rozumiem, ?e mog? i powinienem poprawi? na residential.

btw. to nie wiem sk?d UMP ma te dane, bo cz??ci "dróg" nie ma (mo?e by?y) odk?d si? wprowadzi?em - czyli jakie? 20 lat :-)

no to jak mi ju? ta lista skarg i za?ale? taka d?uga wysz?a to jak wy??czy? emotikony - rozró?niam bez problemu dwukropek minus nawias od ?rednik minus nawias, ale nie zawsze rozpoznam, czy w tym ?ó?tym kó?ku jest ?uk i dwa ma?e kwadraty, czy ?uk, kwadrat i kreska ;-)

Offline

#54 2009-02-06 09:45:35

Mateusz Korniak
Member
From: Poland, Zabrze
Registered: 2008-12-04
Posts: 623

Re: Import danych z http://ump.waw.pl/

Jaqb wrote:

Witam

Czy tylko ja mam wra?enie, ?e dane z UMP s? "do?? dok?adne" - znaczy si? (poza wspomnianymi ju? problemami z rondami i po??czeniami dróg) dok?adne, je?eli chodzi o wymogi nawigacji samochodowej, ale jakby chcie? dok?ada? trasy piesze/rowerowe to dok?adno?ci brakuje.

njarek zrobi? mi przys?ug? i zaimportowa? moj? okolic? ale teraz mijaj? si? z moimi GPX'ami - to niby nic wielkiego, bo ulice s? do?? rzadko, ale ... Gdyby chcie? doda? chodniki, przej?cia dla pieszych, przystanki autobusowe, parkingi to zaczynaj? si? schody.

Lepsze takie ni? ?adne smile

Jaqb wrote:

czy kilka ?ladów (GPX) z jednego urz?dzenia jest wystarczaj?co dok?adne, czy lepiej poczeka? a? kto? przejedzie z innym GPS'em? Innymi s?owy, czy jest mo?liwe, ?e ten odbiornik który mam ma sta?y b??d, który np. przesuwa mi pozycj? o 10m w lewo.
Nie wiem, czy poprawia?. Nie chcia?bym bardziej popsu? ni? jest :-)

Porównaj swoje traki to innych publicznych (w josm mo?na to zrobi? b. dok?adnie) i jesli wyjdzie Ci ?e masz tak jak wi?kszo?? to spokojnie mo?esz cyzelowa? UMP do Twoich traków.
B. dobrze jest te? udost?pnia? innym swoje tracki via
http://www.openstreetmap.org/traces/mine

Jaqb wrote:

jeszcze inna kwestia to nazewnictwo dróg - drogi osiedlowe ja oznaczam jako residential z UMP cz??? wesz?a jako service, rozumiem, ?e mog? i powinienem poprawi? na residential.

Tutaj obowi?zuje
http://wiki.openstreetmap.org/wiki/Map_features#Route
i ?mia?o poprawiaj



Pozdrowienia !

Offline

#55 2009-02-06 17:56:27

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Import danych z http://ump.waw.pl/

Jaqb wrote:

Witam
btw. to nie wiem sk?d UMP ma te dane, bo cz??ci "dróg" nie ma (mo?e by?y) odk?d si? wprowadzi?em - czyli jakie? 20 lat :-)

M.in. st?d moje w?tpliwo?ci co do legalno?ci tych danych hmm W ka?dym razie ja wszystkie poprawiam w?asnymi ?ladami GPX (wywalaj?c uprzednio te oznakowane jako UMP i tworz?c nowe na ich miejsce, coby nie by?o "derived work")

Offline

#56 2009-02-07 10:32:00

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Import danych z http://ump.waw.pl/

Jaqb wrote:

czy kilka ?ladów (GPX) z jednego urz?dzenia jest wystarczaj?co dok?adne, czy lepiej poczeka? a? kto? przejedzie z innym GPS'em? Innymi s?owy, czy jest mo?liwe, ?e ten odbiornik który mam ma sta?y b??d, który np. przesuwa mi pozycj? o 10m w lewo.
Nie wiem, czy poprawia?. Nie chcia?bym bardziej popsu? ni? jest :-)

My?l?, ?e je?li przejedziesz si? kilka razy t? sam? tras? o ró?nych porach, to w zupe?no?ci wystarczy. W teorii takie b??dy mog?yby istnie?, ale chyba raczej przez pomy?k?/z?o?liwo?? konstruktorów.

Mateusz Korniak wrote:
Jaqb wrote:

jeszcze inna kwestia to nazewnictwo dróg - drogi osiedlowe ja oznaczam jako residential z UMP cz??? wesz?a jako service, rozumiem, ?e mog? i powinienem poprawi? na residential.

Tutaj obowi?zuje
http://wiki.openstreetmap.org/wiki/Map_features#Route
i ?mia?o poprawiaj

Na pewno chodzi o Route? Nie widz? tu jego zastosowania... To drogi takie, jak ka?de inne, bez specjalnych zastosowa?.

Offline

#57 2009-02-07 16:59:50

Mateusz Korniak
Member
From: Poland, Zabrze
Registered: 2008-12-04
Posts: 623

Re: Import danych z http://ump.waw.pl/

rhn wrote:
Jaqb wrote:

czy kilka ?ladów (GPX) z jednego urz?dzenia jest wystarczaj?co dok?adne, czy lepiej poczeka? a? kto? przejedzie z innym GPS'em? Innymi s?owy, czy jest mo?liwe, ?e ten odbiornik który mam ma sta?y b??d, który np. przesuwa mi pozycj? o 10m w lewo.
Nie wiem, czy poprawia?. Nie chcia?bym bardziej popsu? ni? jest :-)

My?l?, ?e je?li przejedziesz si? kilka razy t? sam? tras? o ró?nych porach, to w zupe?no?ci wystarczy. W teorii takie b??dy mog?yby istnie?, ale chyba raczej przez pomy?k?/z?o?liwo?? konstruktorów.

Mateusz Korniak wrote:
Jaqb wrote:

jeszcze inna kwestia to nazewnictwo dróg - drogi osiedlowe ja oznaczam jako residential z UMP cz??? wesz?a jako service, rozumiem, ?e mog? i powinienem poprawi? na residential.

Tutaj obowi?zuje
http://wiki.openstreetmap.org/wiki/Map_features#Route
i ?mia?o poprawiaj

Na pewno chodzi o Route? Nie widz? tu jego zastosowania... To drogi takie, jak ka?de inne, bez specjalnych zastosowa?.

Chodzi?o mi ca?o?ciowo o stron? (Map_features).
Tutaj b?dzie oczywi?cie:

http://wiki.openstreetmap.org/wiki/Map_features#Highway

Offline

#58 2009-02-21 13:02:53

antblant
Member
From: Szczecin, Poland
Registered: 2008-06-12
Posts: 342

Re: Import danych z http://ump.waw.pl/

Po imporcie z UMP mamy wiele dróg highway=unclassified & surface=unpaved. Czy drogi te nie powinny mie? tagu highway ustawionego na track?
Po pierwsze zwyk?ym autem mog? by? trudne do pokonania, po drugie highway=unclassified s? widoczne nawet w wi?kszym oddaleniu: http://openstreetmap.org/?lat=53.843&lo … rs=B000FTF
Po trzecie opis track z Map Features wydaje mi si? lepiej oddawa? ich charakter big_smile

Offline

#59 2009-02-21 15:47:07

balrog-kun
Member
From: Warsaw, Poland
Registered: 2008-08-10
Posts: 1,365
Website

Re: Import danych z http://ump.waw.pl/

Czesc, zrobilem nowa wersje txt2osm.py, mam nadzieje ze lepsza.  Ta wersja konwertuje nie tylko ulice ale wszystko co jest w UMP, podszedlem do tego z takiej strony ze zamiast ignorowac to czego program nie rozumie to program sie wywala jesli czegos nie rozumie, i dodawalem feature'sy az przestal sie wywalac, w zwiazku z tym zrobil sie dosyc dlugasny. Zastrzegam ze nie znam pythona i pewnie mozna by go bylo zakodowac lepiej.
Z ciekawszych rzeczy, potrafi:
* wykombinowac wartosc "highway=" dla rond, biorac klase najwazniejszej drogi ktora dochodzi do ronda.
* zrozumiec tag HLevel0 z UMP i dzieli droge na kawalki odpowiednio przydzielajac "layer=", "bridge=yes" i "tunnel=yes" kawalkom.
* dodawac dane adresowe dla budynkow, drog, sklepow itd.  Dla drog, jesli w UMP sa numery budynkow dla dwoch koleknych wezlow z ich lewej i prawej strony to dodaje addr:interpolation (wedlug Karlsruhe Schema) obok drogi, po lewej i po prawej. Kody pocztowe itd.
* dodawac relacje turn restrictions z plikow *.zakazy.txt z UMP.  To jest chyba najbardziej skomplikowana czesc programu bo UMP opisuje zakazy punktami a nie drogami wiec skrpt musi znalesc droge ktora przechodzi przez dane wezly i ewentualnie podzielic ja na dwie (w OSM drogi w relacji musza sie konczyc albo zaczynac na wezle "via").  Dodatkowo jesli z nazwy relacji nie wynika czy to jest zakaz skretu w prawo czy w lewo to prboje sam policzyc kat skretu (oczywiscie bardzo zawode).
* przetrawic cala europe w ciagu pol godziny.  Oryginalny skrypt jak zapuscilem tylko dla katalogu UMP-Warszawa to pracowal 66.2 minut, zmienilem strukture w ktorej sa punkty z listy na podwojny slownik (z dwoma indeksami) i przekonwertowal UMP-Warszawa/ w 14 sekund.  Dodanie relacji spowodowalo ze zajmuje mu to 43 sekundy.

Dla POI zamiast czytac pliki .pnt, zapuszczam skrypt z katalogu narzedzia/ w UMP ktory konwertue je do .txt i dopiero potem zapuszczam txt2osm. Poniewaz w UMP wszystko jest opisane tylko punktami a nie identyfikatorami to im wiekszy obszar skonwertujesz za jednym razem, tym mniej roboty jest pozniej z laczeniem drog ze soba, bo skrypt je polaczy, wiecej lepiej pracowac na wiekszych obszarach.  Na przyklad w wolominie pod warszawa wszystkie lokalne ulice byly w pliku ...ulice.txt oprocze ronda w samym srodku ktore bylo w ..drogi.txt, wiec nie zostalo polaczone.  Najlepiej wiec uruchamiac skrypt w ten sposob (zalozmy ze chcemy skonwertowac Wolomin i okolice):

./txt2osm.py UMP-Warszawa/src/WOLOMIN*.txt -- UMP-Warszawa/src/*.txt > wolomin.osm

to spowoduje ze skrypt najpierw zaladuje WOLOMIN.drogi.txt i WOLOMIN.ulice.txt, zobaczy jakie sa minimalne i maksymalne wspolrzedne wezlow w tych danych, i potem zaladuje cala reszte warszawy wywalajac to co nie ma zadnego przeciecia z wyznaczonym prostokatem, w zwiazku z tym dostaniemy taki prostokatny wycinek mapy UMP ze wszystkimi danymi ktore sa w UMP.  Wszystkie pliki podane po parametrze "--" juz nie zmieniaja rozmiarow tego prostokata.

Oczywiscie dane trzeba nadal sprawdzic recznie po zaladowaniu do JOSM i popoprawiac.  Niektore tagi uzywane w UMP dla roznych osob najwyrazniej mialy rozne znaczeni i wtedy w roznych regionach, ten sam tag ma rozne znaczenie, w zwiazku z tym nie wszedzie moglem znalesc jednoznaczny odpowiednik z osm.  Wydaje mi sie ze dane ktore juz sa w OSM maja wiekszy priorytet i nie nalezy nigdy ich wywalac na kozysc ump, (czesto mamy lepsza dokladnosc).

Wyjatkiem sa nazwy miejscowosci, w OSM ktos kiedys zaimportowal wszystkie miejscowosci z GNS, czyli z dokladnoscia do 0.03 stopnia w zwiazku z tym tworza taka brzydka siatkie i niektore miescowosci sa w tych samych punktach (czasem 5 miejscowosci sie pokrywa w tym samym punkcie) i czasem brakuje w nich polskich znakow.  Wiec jesli w UMP jest jakas miejscowosc to chyba mozna spokojnie odszukac ta sama miejscowosc w OSM i wywalic. (W bazie gns sa w ogole jakies bardzo stare dane i nazwy miejscowosci ktore juz dawno nie istenija i nawet lokalna ludnosc o nich nie wie, ale moze warto je i tak trzymac.. ostatnia aktualizacja w gns jest chyba z '93)

Tam gdzie sa dostepne zdjecia yahoo chyba warto popoprawiac odrazu polozenie obiektow.

Skrypt nie rozwija skrotow wiec trzeba recznie porozwijac skroty w nazwach i pododawac imiona do nazwisk a nazwach ulic.  Wydaje mi sie ze nalezy zostawiac tag source= nawet jesli sie poprawi recznie dany obiekt po to zeby nie lamac licencji UMP ktora przeciez wymaga "attribution", i to sie odnosi nie tylko do pozycji ale takze nazwy i innych informacji o obiekcie.

Ogolnie nie bylem fanem importowania danych z UMP bo sytuacja z licencja jest bardzo niejasna.. czy przez attribution autorzy rozumieja tylko zeby istniala informacja ktora pozwoli dociekliwym osobom znalesc sciezke do zrodla danej informacji czy tez oczekuja informacji o tym ze dane sa z UMP przy kazdym ich uzyciu (jesli to drugie oczywisice OSM nie moze sie zgadzac na taka licencje).  Zalozmy ze ktos chce uzyc mapke zrobiona z osm w telewizji zeby pokazac gdzie cos sie stalo, to wtedy licencia OSM wymaga tylko zeby gdzies na ekranie pojawila sie nazwa OpenStreetMap ale nie nazwy innych wlascicieli praw autorskich danych w osm.
(No ale rzeczywiscie nie ma sensu podwajac wysilkow w dwoch projektach, i skoro juz ktos robi import to najlepiej to zrobic dobrze odrazu bo dane w UMP nie maja identyfikatorow i pewnie nigdy nie bedzie mozna robic automatycznych update'ow)

Na listach -legal i -licensing twierdzi sie ze CC w ogole nie ma zatosowania do danych i ze uzycie tej licencji bylo pomylka i ze wlasciwie to mozna robic co sie chce z danymi na CC.  Ale glupio bylo by ignorowac licencje UMP jesli sami uzywamy tej samej licenji w tym momencie.  Nie jest dla mnie jasne czy kiedy zmieni sie nasza licencja to czy trzeba bedzie wywalic zaimportowane na prawach CC dane z bazy.  Nie bedac wlascicielami praw do tych danych, teoretycznie nie mozna zgodzic sie na zmiane ich licencji (Z drugiej strony "share-alike" w CC mowi tylko ze licencja ma byc podobna, nie koniecznie taka sama)

Nie wiem tez skad sa niektore dane w UMP, dzis znalazlem w wolominie ulice podzielona na trzy segmenty z name=Ottokara, name=Brzozy i name=Brzeziny i okazuje sie ze to jest jedna ulica ktora tak naprawde nazywa sie Generala Ottokara Brzozy-Brzeziny smile  Najwyrazniej ktos patrzyl na jakas inna mape i narysowal to co widzial, dodatkowo chyba trzymal ja do gory nogami bo Ottokara byla po prawej a Brzeziny po lewej smile

Skrypt jest pod http://www.openstreetmap.pl/ump/txt2osm.py
i pliki .osm (zzipowane) pod http://www.openstreetmap.pl/ump/

W ump jest troche literowek i najpierw dodawalem do skryptu te literowki ale potem zaczalem poprawiac w pikach .txt wiec jak ktos chce zapuscic skrypt na wszystkich danych to musi nalozyc patcha z http://www.openstreetmap.pl/ump/ump.diff na dane z CVSa

Last edited by balrog-kun (2009-02-21 15:47:44)

Offline

#60 2009-02-22 14:43:17

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Import danych z http://ump.waw.pl/

balrog-kun wrote:

Czesc, zrobilem nowa wersje txt2osm.py, mam nadzieje ze lepsza.  Ta wersja konwertuje nie tylko ulice ale wszystko co jest w UMP, podszedlem do tego z takiej strony ze zamiast ignorowac to czego program nie rozumie to program sie wywala jesli czegos nie rozumie, i dodawalem feature'sy az przestal sie wywalac, w zwiazku z tym zrobil sie dosyc dlugasny. Zastrzegam ze nie znam pythona i pewnie mozna by go bylo zakodowac lepiej.
Z ciekawszych rzeczy, potrafi:
...

Jestem pod wra?eniem!
Wida?, ?e w?o?y?e? w to naprawd? du?o wysi?ku (magiczna bariera 1000 linii przekroczona wink). Sama lista usprawnie? te? wygl?da imponuj?co. Nie sprawdza?em jeszce dzia?ania skryptu, ale je?li wszystko jest naprawd? tak, jak piszesz, to skrypt si? przez jaki? czas przyda.

No w?a?nie, "przez jaki? czas". Przy takiej ilo?ci pracy, z której mozemy korzysta?, na pewno kto? b?dzie mia? pomys? na nowe usprawnienia. Tu zaczynaj? si? schody, bo sam kod odstrasza - ilo?ci? i czytelno?ci?. Pewnie w takim momencie b?dziesz zam?czany pro?bami os poprawki a? b?dziesz mia? do?? tongue

balrog-kun wrote:

Wyjatkiem sa nazwy miejscowosci, w OSM ktos kiedys zaimportowal wszystkie miejscowosci z GNS, czyli z dokladnoscia do 0.03 stopnia w zwiazku z tym tworza taka brzydka siatkie i niektore miescowosci sa w tych samych punktach (czasem 5 miejscowosci sie pokrywa w tym samym punkcie) i czasem brakuje w nich polskich znakow.  Wiec jesli w UMP jest jakas miejscowosc to chyba mozna spokojnie odszukac ta sama miejscowosc w OSM i wywalic. (W bazie gns sa w ogole jakies bardzo stare dane i nazwy miejscowosci ktore juz dawno nie istenija i nawet lokalna ludnosc o nich nie wie, ale moze warto je i tak trzymac.. ostatnia aktualizacja w gns jest chyba z '93)

Potwierdzam, cz??ci miejscowo?ci brakuje (~15%), cz??? ju? znikn??a (~15%), wi?kszo?? pozosta?ych zmieni?a nazwy (~40%), reszta si? zgadza. Nie s?dz?, ?eby trzymanie tych starych mia?o sens.

Offline

#61 2009-03-03 18:15:00

wopozka
Member
Registered: 2008-07-15
Posts: 51

Re: Import danych z http://ump.waw.pl/

balrog-kun wrote:

Nie wiem tez skad sa niektore dane w UMP, dzis znalazlem w wolominie ulice podzielona na trzy segmenty z name=Ottokara, name=Brzozy i name=Brzeziny i okazuje sie ze to jest jedna ulica ktora tak naprawde nazywa sie Generala Ottokara Brzozy-Brzeziny smile  Najwyrazniej ktos patrzyl na jakas inna mape i narysowal to co widzial, dodatkowo chyba trzymal ja do gory nogami bo Ottokara byla po prawej a Brzeziny po lewej smile

Juz spiesze z wyjasnieniem dlaczego najprawdopodobniej zostalo to tak nazwane. Kiedys, kompilator nie byl w stanie dzielic nazw ulic na czesci skladowe i aby odnalezc dana ulice trzeba byloby wpisac cala nazwe: tzn Generala-..... itd. Z tego powodu zapewne ktos sobie wymyslil ze podzieli ja na 3 czesci, ktora kazda bedzie sie nazywala inaczej, ale dzieki temu znajdziemy ja niezaleznie od tego co wpiszemy. Troche to niezgodne z zasadami ump, bo w projekcie uzywa sie tylko nazwiska dla nazw ulic (przynajmniej powinno sie uzywac), ale niektorzy tak robia. Teraz kompilator pozwala juz na wyszukanie ulicy przez wpisanie tylko czesci nazwy (na przyklad samo imie). Tak wiec nie jest to wina patrzenia na mape do gory nogami, ale raczej proba obejscia ograniczen kompilatora.

Offline

#62 2009-03-05 10:14:20

mar_rud
Member
Registered: 2009-01-02
Posts: 9

Re: Import danych z http://ump.waw.pl/

Chcia?bym zauwa?y?, ?e w ramach generowania http://mapa.ump.waw.pl/ump-www/ tworzony jest plik w formacie OSM dla mapnik'a (ten sam silnik renderuj?cy co na stronie g?ównej OSM). Mo?e jak znajd? chwil? na ogarni?cie kodu, to udost?pni? kod i ew. wynikowy xml publicznie. Jak kto? lubi liczy? linie, to kod ma 4300, a definicja regu? konwersji prawie 6000 tongue

Baz? by?y ?ród?a z http://code.google.com/p/mp2osm/, które zosta?y przeze mnie poprawione pod konkretne przypadku oraz dostosowany plik xml definiuj?cy regu?y konwersji.
Wi?cej szczegó?ów na temat technikaliów dost?pne pod: http://ump.fuw.edu.pl/wiki/UMP-pcPL_online .

Niestety osm_id s? przy ka?dej generacji inne i na razie, aby ca?e ump-pcPL mia?o unikalne, musz? konwertowa? ca?o?? (potrzeba ok 2GB ram do tego). Jako próbk? podaj? UMP-Warszawa (2.2MB, 28MB rozpakowane):
http://marcom.homeip.net/ump-www/ump-warszawa.osm.bz2
Reszt? mo?na zobaczy? w formie wygenerowanej na WWW wink .
Ca?e UMP-pcPL to plik 103MB .osm.gz (770MB po rozpakowaniu).

Idea?em by?oby, gdyby powsta?y narz?dzia synchronizacyjne osm < - > ump, lub chocia? ump -> osm. Wymaga?o by to dodatkowych tagów w OSM (np ump:typ, ump:type, ump:plik, ump:....) oraz pewnie pewnych zmian w ump, np pami?tanie osm_id, bo dopasowywanie na podstawie zawarto?ci (wspó?rz?dne/label/lista punktów) mo?e nie zawsze by? wystarczaj?ce.

Jak na razie widz?, ?e oba projekty id? w swoj? stron? i dubluj? swoj? prac?, bez wzajemnej komunikacji i pomys?u na wspó?prac?. A przyk?ady na b??dy i niedoci?gni?cia mo?na mno?y? po obu stronach i w obu przypadkach wydaj? si? by? niedopuszczalne dla drugiej strony.

G?ównym celem UMP-pcPL jest u?ywalna mapa w odbiornikach z dzia?aj?cym rutingiem. G?ównym celem OSM wydaje si? by? (takie odnios?em wra?enie i chyba nie tylko ja) wygl?d na WWW i zawarcie jak najwi?cej ilo?ci danych (czy latarnie przyuliczne te? s? warte zaznaczenia? wink ). Ruting jest raczej na samym ko?cu, jednak ?eby dzia?a? konieczne jest spe?nienie wielu obwarowa?, co jest w?a?nie si?? UMP-pcPL (know-how). Z tego wzgl?du aby edytowa? (commitowa? zg?aszane poprawki) potrzebna jest wiedza jak to robi?, by nie popsu? mapy, czego unika? itp.

Super by by?o, gdyby da?o si? po??czy? si?y, nie psuj?c tego co jest w obu projektach (rozmach OSM i funkcjonalno?? UMP).

Offline

#63 2009-03-08 00:39:51

balrog-kun
Member
From: Warsaw, Poland
Registered: 2008-08-10
Posts: 1,365
Website

Re: Import danych z http://ump.waw.pl/

Hej, wedlug pomyslu Mateusza Korniaka zalozylem repozytorium dla txt2osm.py, jest ono pod http://repo.or.cz/w/ump2osm.git i jesli ktos chce commitowac zmiany to moze mi podac swoja nazwe uzytkownika zebym go dodal albo moze commitowac anonimowo jako mob.

Przy opkazji:

mar_rud wrote:

G?ównym celem UMP-pcPL jest u?ywalna mapa w odbiornikach z dzia?aj?cym rutingiem. G?ównym celem OSM wydaje si? by? (takie odnios?em wra?enie i chyba nie tylko ja) wygl?d na WWW i zawarcie jak najwi?cej ilo?ci danych (czy latarnie przyuliczne te? s? warte zaznaczenia? wink ).

W osm znajdziesz o wiele wiecej danych niz te ktore sa widoczne przez mapnik.  Jednym z pozytecznych sposobow wykorzystania danych jest napewno wyszukiwanie miejsc po roznych kryteriach.  Ale, jak sie mawia w roznych wolnych projektach, "mozliwosci wykorzystania sa ograniczone wylacznie twoja wyobraznia".

Np, osobiscie, jak rysuje budynki to dodaje zwykle informacje o ilosci pieter, z tego mozesz aproksymowac sobie wysokosc budynku (nie mam jak zmierzyc dokladnie wysokosci) i chcialem zrobic jak kiedys bede mial wolna chwile, cos w stylu gry FPP gdzie chodzis po mapie 3d wygenerowanej z osm i srtm (osm ma tez ustalone tagi dla modeli 3d budynkow, jak w google maps).  (Naszczescie okazuje sie ze ktos mnie juz w tym wyprzedzil i zrobil podobny projekt ostatnio)

Wracajac do ump, to w ump tez jest wiele wiecej danych niz te ktore sa widoczne w http://mapa.ump.waw.pl/ump-www/ i mysle ze lepiej uzywac skrptyu txt2osm.py, ktory konwertuje dokladnie wszystkie tagi ktore sa w ump, niz tego konwertera ktory robi pliki konkretnie dla mapnika.  Szkoda by bylo stracic wiele z tych danych, natomiast dane ktorych rzeczywiscie nie chcemy w osm mozna wywalac w JOSM przed uploadem.

Plik http://openstreetmap.pl/ump/ump-warszawa.osm.bz2 zajmuje 46.5MB rozpakowany.

Rzeczywiscie najlepszym rozwiazaniem byloby gdybysmy mogli synchronizowac dane miedzy osm i ump, ale w ump obiekty nie maja identyfikatorow wiec byloby to dosyc zawodne.  Przy innych wiekszych importach danych (AND, TIGER, francuski kataster) w osm zachowane zostaly identyfikatory zeby mozna bylo aktualizowac dane z tych baz (oczywiscie tylko te dane ktore nie zostaly jeszcze poprawione przez kogos w osm, co rozpoznaje sie po tym ze kasowane/zmieniane jest jego oryginalne ID).  Dodanie identyfikatorow do obiektow w UMP pewnie byloby latwe i nieszkodliwe i mozna by zalatwic jednym skryptem, ale trzeba by przekonac UMPowcow.  I jesli ktos chcialby sie tego podjac to najlepiej teraz kiedy jeszcze nieduza czesc zostala zassana z ump.

Skrypt ktory robilby aktualizacje oczywiscie musialby wygladac tak ze nowe obiekty dopiero co dodane w UMP sa importowane do OSM natomiast zmiany/kasowanie tylko wtedy kiedy ID obiektu w OSM wskazuje ze obiekt nie zostal nigdy dotkniety.  Ewentualnie moglby nawet dodawac ticket do OpenStreetBugs jesli w ktoryms miejscu jest potrzebna potencjalna poprawka, np ktos dodal droge w UMP a ona krzyzuje sie z istniejaca juz droga i trzeba dodac wezel na skrzyzowaniu.

Offline

#64 2009-03-08 19:14:45

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Import danych z http://ump.waw.pl/

Hmm, czy dane UMP zawieraj? te? obrysy budynków? Bo tak patrz?, ?e yahoo nie ma zdj?? dla http://openstreetmap.org/?lat=52.361415 … rs=B000FTF a ?ladów GPX te? niet. Oczywi?cie user arzej to wrysowa?...

EDIT: Niewa?ne, s? dane w yahoo jednak. Jako? alergicznie na tego nicka reaguj? po wessaniu tysi?cy hektarów z UMP i ?cie?ek ze stron urz?du marsza?kowskiego...

Last edited by deejay1 (2009-03-08 19:17:15)

Offline

#65 2009-03-14 09:22:17

balrog-kun
Member
From: Warsaw, Poland
Registered: 2008-08-10
Posts: 1,365
Website

Re: Import danych z http://ump.waw.pl/

Dodalem do repozytorium szybki skrypt do mergowania plikow .osm bo okazuje sie ze w JOSM jest bug (#2245 w bugzilli) ktory powoduje ze jak sciagniemy dane z osm, a na drugim layerze mamy dane z UMP i usuniemy ktores obiekty bo sie powtarzaja na obydwu layerach, to po zmergowaniu dostaniemy zepsute dane (np. drogi miedzy punktami ktore zostaly skasowane itd).  Ten skrypt poprostu laczy dwa layery ze soba, wiec zduplikowane punkty beda tez zduplikowane w pliku wynikowym i trzeba je recznie polaczyc.  Za to nie trzeba czekac pol godziny az JOSM zmerguje dwa duze layery.
Skrypt: http://repo.or.cz/w/ump2osm.git?a=blob_ … ge;hb=HEAD

Przy okazji, pod http://www.mail-archive.com/talk-ca@ope … 00472.html jest dyskusja na temat automatycznego mergowania sieci drog za pomoca programu RoadMatcher, ktorego probuja uzywac przy imporcie danych CanVec.  Na screenshot'ie dziala pod windowsem ale zdaje sie ze program jest Java'owy wiec moze bedzie dzialac pod Linuxem.

deejay1: w niektorych miejscach sa, ale generalnie nie: http://mapa.ump.waw.pl/ump-www/iframe.h … layers=B0T

EDIT: przy okazji dziwne sa te obrysy lasow w UMP, jak sie spojrzy na landsat to okazuje sie ze niektore sa poobcinane poludnikowo albo rownoleznikowo, a niektorych lasow brakuje a sa tylko obrysy "dziur" w ksztaltach tych lasow, np, jest sobie na landsat widoczna jakas wielka puszcza, ktorej nie ma w UMP ale za to po srodku ma polane, i te polany sa w UMP narysowane jako lasy.

Last edited by balrog-kun (2009-03-14 09:31:47)

Offline

#66 2009-04-07 17:48:39

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Import danych z http://ump.waw.pl/

Mo?e troch? dziwne pytanie, ale sk?d bra? ?ród?a UMP do konwersji? Za ka?dym razem musz? szuka? tego adresu cvs od nowa, na stronie UMP nie jest ?atwo znale?? odno?nik...

Offline

#67 2009-04-08 11:07:57

Mateusz Korniak
Member
From: Poland, Zabrze
Registered: 2008-12-04
Posts: 623

Re: Import danych z http://ump.waw.pl/

rhn wrote:

Mo?e troch? dziwne pytanie, ale sk?d bra? ?ród?a UMP do konwersji? Za ka?dym razem musz? szuka? tego adresu cvs od nowa, na stronie UMP nie jest ?atwo znale?? odno?nik...

Nie mam poj?cia.
Ja "od zawsze" mam
:pserver:guest@ump.waw.pl/home/cvsroot

Offline

#68 2009-04-08 16:50:49

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Import danych z http://ump.waw.pl/

Dzięki, mam już UMP. Miałem plan zaimportowania dokładniejszych ścieżek poza miastem i terenu, ale teraz brak mi aktualnej wersji txt2osm.py. repo.or.cz daje timeout, za to openstreetmap.pl zwyczajnie odmawia połączenia. Jeśli ktoś mi podpowie/prześle najnowszą wersję, to uaktualnię ją u siebie (ale też nie będzie to działać 24/7 wink).

Offline

#69 2009-04-10 17:24:26

balrog-kun
Member
From: Warsaw, Poland
Registered: 2008-08-10
Posts: 1,365
Website

Re: Import danych z http://ump.waw.pl/

Hej, repo.or.cz juz chyba dziala (u mnie dziala) i openstreetmap.pl tez (zapomnialem wlaczyc po wtorkowym braku pradu).  Najlepiej zarejestruj sie w repo.or.cz wtedy nie bedzie trzeba przesylac plikow innymi mediami.

Z niedawnych zmian dodalem relacje multipolygon (niestety ksztatly z dziurami sa w ump reprezentowane na kilka roznych sposobow i nie obsluguje kazdego -- trzeba recznie poprawiac).

Polecam tez odwracac rzeki w przekonwertowanych plikach, w ump wiekszosc rzek jest w przecinym kierunku niz bieg rzeki (a w osm maja byc z biegiem rzeki), no i tez trzeba je recznie laczyc tam gdzie jedna wpada do drugiej bo sa niepoloczane, podobnie kolej.

Dodalem skrypt ktory wywala stare zaimportowane przez uzytkownika devrise wsie i miasteczka na rzecz tych z ump:
./osm-merge-places.py layer-osm.osm layer-ump.osm > layer-osm-bez-powtarzajacych-sie-wsi.osm
Tam gdzie nie jest pewny co zrobic to zostawia wies i dodaje do niej mergeme=yes (potem mozna sobie je szybko wyszukac przez ctrl-f w josm)
Wywalane sa wsie i miasteczka ktore sa w ump z dokladnie ta sama nazwa i w promieniu 0.1 stopnia.

Zanim sie to zrobi to polecam zrobic nastepujaca rzecz:
uruchomic "grep name layer-ump.osm | sort -u > nazwy.txt" a potem otworzyc nazwy.txt i przejsc pokolei przez wszystkie nazwy i tam gdzie brakuje polskich liter to wyszukac te nazwe w josm (ctrl-f) i pododawac polskie litery oraz wygooglowac kazda ulice i wpisac jej pelna nazwe (z imionami itd), mozna odrazu dodawac tagi "wikipedia=".  W przeciwnym wypadku bedziemy mieli pelno duplikatow.

Zauwazylem ze nazwy wsi z ump generalnie zgadzaja sie z wikipedia (oprocz polskich liter) natomiast te w osm maja duzo bledow (czasami maja poprawne ale nieoficjalne/stare nazwy, mozna je umiescic w "loc_name=" albo "old_name=") i zaokroglone wspolrzedne.

Offline

#70 2009-04-11 08:34:12

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Import danych z http://ump.waw.pl/

balrog-kun wrote:

Hej, repo.or.cz juz chyba dziala (u mnie dziala) i openstreetmap.pl tez (zapomnialem wlaczyc po wtorkowym braku pradu).  Najlepiej zarejestruj sie w repo.or.cz wtedy nie bedzie trzeba przesylac plikow innymi mediami.

Z niedawnych zmian dodalem relacje multipolygon (niestety ksztatly z dziurami sa w ump reprezentowane na kilka roznych sposobow i nie obsluguje kazdego -- trzeba recznie poprawiac).

Uprzejmie ostrzegam, że będę bił jeśli ktoś zacznie ruszać cokolwiek w okolicach http://openstreetmap.org/?lat=52.043&lo … rs=B000FTF co nie jest oparte na własnych danych. Nie po to naprawiam rower by nie mieć gdzie jeździć wink

Offline

#71 2009-04-11 09:21:52

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Import danych z http://ump.waw.pl/

deejay1 wrote:

Uprzejmie ostrzegam, że będę bił jeśli ktoś zacznie ruszać cokolwiek w okolicach http://openstreetmap.org/?lat=52.043&lo … rs=B000FTF co nie jest oparte na własnych danych. Nie po to naprawiam rower by nie mieć gdzie jeździć wink

Uśmiałem się smile Podobnie tutaj, aczkolwiek bić nie będę, tylko przesłuchiwać: http://openstreetmap.org/?lat=53.408&lo … rs=B000FTF
Nie po to ustawiałem wioski ręcznie smile

Co do jazdy - jeśli okaże się, że nie można trzymać danych z UMP po zmianie licencji, albo jeśli okaże się, że zaimportowano kopię, to nadal będzie gdzie jeździć...

EDIT: repo.or.cz nadal nie działa... może warto mieć kilka kopii tego drzewa git na takie przypadki, jak ten? Co do openstreetmap.pl - co jaki czas uaktualniane są dane na http://openstreetmap.pl/ump/ ?

Last edited by rhn (2009-04-11 10:42:31)

Offline

#72 2009-04-11 09:32:29

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Import danych z http://ump.waw.pl/

rhn wrote:
deejay1 wrote:

Uprzejmie ostrzegam, ?e b?d? bi?

U?mia?em si? smile

Wiesz, to taka przeno?nia by?a wink Zasadniczo bicie = wci?ni?cie klawisza "Del" w JOSM wink
Wracaj?c na chwil? Pana arzeja - napisa?em do autora tracków (http://www.gpswielkopolska.pl/) 19 marca i do dzisiaj nie mam ?adnej odpowiedzi. Wy?l? jeszcze raz zapytanie i odczekam dwa tygodnie, potem zg?aszam zgodnie z http://wiki.openstreetmap.org/wiki/FAQ# … th_that.3F

Offline

#73 2009-04-11 11:32:31

balrog-kun
Member
From: Warsaw, Poland
Registered: 2008-08-10
Posts: 1,365
Website

Re: Import danych z http://ump.waw.pl/

rhn wrote:
deejay1 wrote:

Uprzejmie ostrzegam, że będę bił jeśli ktoś zacznie ruszać cokolwiek w okolicach http://openstreetmap.org/?lat=52.043&lo … rs=B000FTF co nie jest oparte na własnych danych. Nie po to naprawiam rower by nie mieć gdzie jeździć wink

Proponuje zebys dodal odpowiednia linijke do http://wiki.openstreetmap.org/wiki/UMP2OSM_Importing (to chyba bedzie SREM.ulice.txt) a moze w samych danych zrobic takie kolko i napisac w note= ze sobie nie absolutnie nie zyczysz i ze rzucisz klatwe na kazdego kto sie zblizy tongue  gdzies tam w roznych krajach ludzie dodaja notki w stylu "bron boze nie dotykaj jesli uzywasz potlatch"

Z drugiej strony to jest syndrom NIH (http://en.wikipedia.org/wiki/Not_Invented_Here), najlepiej byloby zaczac z istniejacymi danymi i je poprawiac.

http://openstreetmap.org/?lat=51.259&lo … s=B000FTFT tutaj bardzo ladnie ominalem lublin w ktorym jest juz troche danych - ale teraz Swidnik, ktory jest mniejszy, wyglada na mapie na bardziej rozbudowany.  Ktos moglby pomyslec ze w Swidniku jest jedna z tajnych siedzib CloudMade tongue

rhn wrote:

EDIT: repo.or.cz nadal nie działa... może warto mieć kilka kopii tego drzewa git na takie przypadki, jak ten? Co do openstreetmap.pl - co jaki czas uaktualniane są dane na http://openstreetmap.pl/ump/ ?

Ok, zrobilem symlink pod http://www.openstreetmap.pl/ump/ump2osm.git
(git clone http://www.openstreetmap.pl/ump/ump2osm.git/ zrobi Ci kopie ale zeby moc committowac po tym musisz zmienic adres w .git/branches/origin na git+ssh://uzytkownik@repo.or.cz/srv/git/ump2osm.git)

Dane nie sa uaktualniane regularnie, chyba nie ma takiej potrzeby, na wszeli wypadek zapusze teraz update.

Przy okazji zmienilem instrukcje na wiki na temat importowania danych z ump w obydwu jezykach zeby nie pisalo ze nalezy wywalic konfliktujace dane z osm - to by bylo wbrew stronie Code of Conduct.

Offline

#74 2009-04-11 11:53:38

deejay1
Member
Registered: 2008-06-17
Posts: 109

Re: Import danych z http://ump.waw.pl/

balrog-kun wrote:

Z drugiej strony to jest syndrom NIH (http://en.wikipedia.org/wiki/Not_Invented_Here), najlepiej byloby zaczac z istniejacymi danymi i je poprawiac.

Odno?nie syndromu NIH, to akurat tutaj jest on jak najbardziej wskazany - ?rem ju? zosta? zaimportowany z UMP i wi?cej roboty jest z poprawianiem go, ni? z tworzeniem od pocz?tku - w?a?nie stawiam serwer mapnik dla Polski, gdzie wszystko co ma source=UMP* b?dzie na czerwono, tak aby ?atwiej to by?o poprawia?.
Pomijaj?c ju? fakt, ?e dane z UMP czasem s? do?? ?mieszne, np s? drogi tam gdzie nigdy dróg nie by?o...

Offline

#75 2009-04-11 13:19:35

rhn
Member
Registered: 2008-10-30
Posts: 214

Re: Import danych z http://ump.waw.pl/

deejay1 wrote:

Odno?nie syndromu NIH, to akurat tutaj jest on jak najbardziej wskazany - ?rem ju? zosta? zaimportowany z UMP i wi?cej roboty jest z poprawianiem go, ni? z tworzeniem od pocz?tku

Zgadzam si?. Wydaje mi si?, ?e w niektórych przypadkach bezmy?lne kopiowanie steku danych z UMP daje mniej warto?ci od narysowania kilku wa?niejszych dróg. Nie wydaje mi si?, ?eby takie co?: http://openstreetmap.org/?lat=53.6517&l … rs=B000FTF by?o lepsze od przeci?tnej "cha?upniczej" roboty, gdzie dróg jest kilka, ale wiadomo, które do czego s?u??...

balrog_kun wrote:

Ok, zrobilem symlink pod http://www.openstreetmap.pl/ump/ump2osm.git
(git clone http://www.openstreetmap.pl/ump/ump2osm.git/ zrobi Ci kopie ale zeby moc committowac po tym musisz zmienic adres w .git/branches/origin na git+ssh://uzytkownik@repo.or.cz/srv/git/ump2osm.git)

Dane nie sa uaktualniane regularnie, chyba nie ma takiej potrzeby, na wszeli wypadek zapusze teraz update.

Dzi?ki za polecenie, niektóre systemy kontroli wersji wymagaj? du?o szukania. Niestety:

git clone http://www.openstreetmap.pl/ump/ump2osm.git

Initialized empty Git repository in /mnt/stor/rhn/geo/ump2osm/.git/
fatal: http://www.openstreetmap.pl/ump/ump2osm.git//info/refs not found: did you run git update-server-info on the server?

Ale je?li zrobi?e? update, to ja i tak jestem zadowolony smile

Offline

Board footer

Powered by FluxBB