Import danych z http://ump.waw.pl/

Hmm, czy dane UMP zawieraj? te? obrysy budynków? Bo tak patrz?, ?e yahoo nie ma zdj?? dla http://openstreetmap.org/?lat=52.361415&lon=16.886225&zoom=18&layers=B000FTF a ?ladów GPX te? niet. Oczywi?cie user arzej to wrysowa?..

EDIT: Niewa?ne, s? dane w yahoo jednak. Jako? alergicznie na tego nicka reaguj? po wessaniu tysi?cy hektarów z UMP i ?cie?ek ze stron urz?du marsza?kowskiego…

Dodalem do repozytorium szybki skrypt do mergowania plikow .osm bo okazuje sie ze w JOSM jest bug (#2245 w bugzilli) ktory powoduje ze jak sciagniemy dane z osm, a na drugim layerze mamy dane z UMP i usuniemy ktores obiekty bo sie powtarzaja na obydwu layerach, to po zmergowaniu dostaniemy zepsute dane (np. drogi miedzy punktami ktore zostaly skasowane itd). Ten skrypt poprostu laczy dwa layery ze soba, wiec zduplikowane punkty beda tez zduplikowane w pliku wynikowym i trzeba je recznie polaczyc. Za to nie trzeba czekac pol godziny az JOSM zmerguje dwa duze layery.
Skrypt: http://repo.or.cz/w/ump2osm.git?a=blob_plain;f=osm-merge;hb=HEAD

Przy okazji, pod http://www.mail-archive.com/talk-ca@openstreetmap.org/msg00472.html jest dyskusja na temat automatycznego mergowania sieci drog za pomoca programu RoadMatcher, ktorego probuja uzywac przy imporcie danych CanVec. Na screenshot’ie dziala pod windowsem ale zdaje sie ze program jest Java’owy wiec moze bedzie dzialac pod Linuxem.

deejay1: w niektorych miejscach sa, ale generalnie nie: http://mapa.ump.waw.pl/ump-www/iframe.html?zoom=15&lat=52.15678&lon=21.06884&layers=B0T

EDIT: przy okazji dziwne sa te obrysy lasow w UMP, jak sie spojrzy na landsat to okazuje sie ze niektore sa poobcinane poludnikowo albo rownoleznikowo, a niektorych lasow brakuje a sa tylko obrysy “dziur” w ksztaltach tych lasow, np, jest sobie na landsat widoczna jakas wielka puszcza, ktorej nie ma w UMP ale za to po srodku ma polane, i te polany sa w UMP narysowane jako lasy.

Mo?e troch? dziwne pytanie, ale sk?d bra? ?ród?a UMP do konwersji? Za ka?dym razem musz? szuka? tego adresu cvs od nowa, na stronie UMP nie jest ?atwo znale?? odno?nik…

Nie mam poj?cia.
Ja “od zawsze” mam
:pserver:guest@ump.waw.pl/home/cvsroot

Dzięki, mam już UMP. Miałem plan zaimportowania dokładniejszych ścieżek poza miastem i terenu, ale teraz brak mi aktualnej wersji txt2osm.py. repo.or.cz daje timeout, za to openstreetmap.pl zwyczajnie odmawia połączenia. Jeśli ktoś mi podpowie/prześle najnowszą wersję, to uaktualnię ją u siebie (ale też nie będzie to działać 24/7 ;)).

Hej, repo.or.cz juz chyba dziala (u mnie dziala) i openstreetmap.pl tez (zapomnialem wlaczyc po wtorkowym braku pradu). Najlepiej zarejestruj sie w repo.or.cz wtedy nie bedzie trzeba przesylac plikow innymi mediami.

Z niedawnych zmian dodalem relacje multipolygon (niestety ksztatly z dziurami sa w ump reprezentowane na kilka roznych sposobow i nie obsluguje kazdego – trzeba recznie poprawiac).

Polecam tez odwracac rzeki w przekonwertowanych plikach, w ump wiekszosc rzek jest w przecinym kierunku niz bieg rzeki (a w osm maja byc z biegiem rzeki), no i tez trzeba je recznie laczyc tam gdzie jedna wpada do drugiej bo sa niepoloczane, podobnie kolej.

Dodalem skrypt ktory wywala stare zaimportowane przez uzytkownika devrise wsie i miasteczka na rzecz tych z ump:
./osm-merge-places.py layer-osm.osm layer-ump.osm > layer-osm-bez-powtarzajacych-sie-wsi.osm
Tam gdzie nie jest pewny co zrobic to zostawia wies i dodaje do niej mergeme=yes (potem mozna sobie je szybko wyszukac przez ctrl-f w josm)
Wywalane sa wsie i miasteczka ktore sa w ump z dokladnie ta sama nazwa i w promieniu 0.1 stopnia.

Zanim sie to zrobi to polecam zrobic nastepujaca rzecz:
uruchomic “grep name layer-ump.osm | sort -u > nazwy.txt” a potem otworzyc nazwy.txt i przejsc pokolei przez wszystkie nazwy i tam gdzie brakuje polskich liter to wyszukac te nazwe w josm (ctrl-f) i pododawac polskie litery oraz wygooglowac kazda ulice i wpisac jej pelna nazwe (z imionami itd), mozna odrazu dodawac tagi “wikipedia=”. W przeciwnym wypadku bedziemy mieli pelno duplikatow.

Zauwazylem ze nazwy wsi z ump generalnie zgadzaja sie z wikipedia (oprocz polskich liter) natomiast te w osm maja duzo bledow (czasami maja poprawne ale nieoficjalne/stare nazwy, mozna je umiescic w “loc_name=” albo “old_name=”) i zaokroglone wspolrzedne.

Uprzejmie ostrzegam, że będę bił jeśli ktoś zacznie ruszać cokolwiek w okolicach http://openstreetmap.org/?lat=52.043&lon=17.216&zoom=11&layers=B000FTF co nie jest oparte na własnych danych. Nie po to naprawiam rower by nie mieć gdzie jeździć :wink:

Uśmiałem się :slight_smile: Podobnie tutaj, aczkolwiek bić nie będę, tylko przesłuchiwać: http://openstreetmap.org/?lat=53.408&lon=23.488&zoom=11&layers=B000FTF
Nie po to ustawiałem wioski ręcznie :slight_smile:

Co do jazdy - jeśli okaże się, że nie można trzymać danych z UMP po zmianie licencji, albo jeśli okaże się, że zaimportowano kopię, to nadal będzie gdzie jeździć…

EDIT: repo.or.cz nadal nie działa… może warto mieć kilka kopii tego drzewa git na takie przypadki, jak ten? Co do openstreetmap.pl - co jaki czas uaktualniane są dane na http://openstreetmap.pl/ump/ ?

Wiesz, to taka przeno?nia by?a :wink: Zasadniczo bicie = wci?ni?cie klawisza “Del” w JOSM :wink:
Wracaj?c na chwil? Pana arzeja - napisa?em do autora tracków (http://www.gpswielkopolska.pl/) 19 marca i do dzisiaj nie mam ?adnej odpowiedzi. Wy?l? jeszcze raz zapytanie i odczekam dwa tygodnie, potem zg?aszam zgodnie z http://wiki.openstreetmap.org/wiki/FAQ#I_think_someone.27s_been_entering_copyrighted_data_-_how_do_we_deal_with_that.3F

Proponuje zebys dodal odpowiednia linijke do http://wiki.openstreetmap.org/wiki/UMP2OSM_Importing (to chyba bedzie SREM.ulice.txt) a moze w samych danych zrobic takie kolko i napisac w note= ze sobie nie absolutnie nie zyczysz i ze rzucisz klatwe na kazdego kto sie zblizy :stuck_out_tongue: gdzies tam w roznych krajach ludzie dodaja notki w stylu “bron boze nie dotykaj jesli uzywasz potlatch”

Z drugiej strony to jest syndrom NIH (http://en.wikipedia.org/wiki/Not_Invented_Here), najlepiej byloby zaczac z istniejacymi danymi i je poprawiac.

http://openstreetmap.org/?lat=51.259&lon=22.562&zoom=11&layers=B000FTFT tutaj bardzo ladnie ominalem lublin w ktorym jest juz troche danych - ale teraz Swidnik, ktory jest mniejszy, wyglada na mapie na bardziej rozbudowany. Ktos moglby pomyslec ze w Swidniku jest jedna z tajnych siedzib CloudMade :stuck_out_tongue:

Ok, zrobilem symlink pod http://www.openstreetmap.pl/ump/ump2osm.git
(git clone http://www.openstreetmap.pl/ump/ump2osm.git/ zrobi Ci kopie ale zeby moc committowac po tym musisz zmienic adres w .git/branches/origin na git+ssh://uzytkownik@repo.or.cz/srv/git/ump2osm.git)

Dane nie sa uaktualniane regularnie, chyba nie ma takiej potrzeby, na wszeli wypadek zapusze teraz update.

Przy okazji zmienilem instrukcje na wiki na temat importowania danych z ump w obydwu jezykach zeby nie pisalo ze nalezy wywalic konfliktujace dane z osm - to by bylo wbrew stronie Code of Conduct.

Odno?nie syndromu NIH, to akurat tutaj jest on jak najbardziej wskazany - ?rem ju? zosta? zaimportowany z UMP i wi?cej roboty jest z poprawianiem go, ni? z tworzeniem od pocz?tku - w?a?nie stawiam serwer mapnik dla Polski, gdzie wszystko co ma source=UMP* b?dzie na czerwono, tak aby ?atwiej to by?o poprawia?.
Pomijaj?c ju? fakt, ?e dane z UMP czasem s? do?? ?mieszne, np s? drogi tam gdzie nigdy dróg nie by?o…

Zgadzam si?. Wydaje mi si?, ?e w niektórych przypadkach bezmy?lne kopiowanie steku danych z UMP daje mniej warto?ci od narysowania kilku wa?niejszych dróg. Nie wydaje mi si?, ?eby takie co?: http://openstreetmap.org/?lat=53.6517&lon=22.7961&zoom=13&layers=B000FTF by?o lepsze od przeci?tnej “cha?upniczej” roboty, gdzie dróg jest kilka, ale wiadomo, które do czego s?u??..

Dzi?ki za polecenie, niektóre systemy kontroli wersji wymagaj? du?o szukania. Niestety:

git clone http://www.openstreetmap.pl/ump/ump2osm.git

Initialized empty Git repository in /mnt/stor/rhn/geo/ump2osm/.git/
fatal: http://www.openstreetmap.pl/ump/ump2osm.git//info/refs not found: did you run git update-server-info on the server?

Ale je?li zrobi?e? update, to ja i tak jestem zadowolony :slight_smile:

:smiley:

A czy kto? dzia?a w kierunku importu/wrysowania województw? Narazie zaimportowa?em to: http://www.openstreetmap.org/browse/relation/104401
Nie mog? si? doszuka? brakuj?cego fragmentu w plikach UMP, pomimo ?e na mapie maj? ca?? granic?.

Akurat to chyba sa takie lesne nieoznakowane drogi (powinno byc highway=track) ktore do nikad nie prowadza. Tam gdzie dotychczas robilem import i byly dane jednoczesnie w UMP i w OSM to generalnie sie pokrywaly, np. ulice centrum Zamoscia (zamosci?) prawie idealnie sie pokrywaly tylko ze w OSM byly narysowane przez kogos w Potlatchu zupelnie nie polaczone ze soba - pare pionowych i pare poziomych linii bez zadnych wezlow na skrzyzowaniach, dodatkowo wszystkie jako highway=unclassified. Tez mialem bardzo sceptyczne podejscie do UMP ale teraz wydaje mi sie ze odwalili swietny kawal roboty biorac pod uwage dokladnosc systemu GPS. Laczac ich dane z danymi OSM w niektorych miejscach powstaje mapa lepszej jakosci niz ktorakolwiek z nich dotychczas (fajnie by bylo zeby nasze poprawki robione przy imporcie tez jakims sposobem trafialy spowrotem do UMP).

Zrobilem git update-server-info, moze teraz podziala – moze u mnie dzialalo dlatego ze uzylem cogito zamiast git (cg-clone blahblah). Nowe pliki .osm dopiero pewnie bedza wieczorem.

Musze wam przyznac ze odwaliliscie kawal dobrej roboty:
Ale troche jest bałaganu w watku tzn wiedzy przystepnej dla normalnego usera:
1)@userzy : pod url http://www.openstreetmap.pl/ump/ są pliku przekorwertowane z projektu UMP do osm najnowszym skryptem (txt2osm.py)?
są do pliki ktore zawierają dane tylko z projektu UMP (nie mergowane z danymi z OSM)?
Czy nie mozna by tych wszytkich plikow UMP->OSM (dane tylko z UMP nie mergowane z OSM)zmergowac do jednego pliku?(tzn plik wynikowy np.poland-ump.osm) a jak mozna to jak to zrobic?
Po co sa te pliki jak np UMP-albania?http://www.openstreetmap.pl/ump/

Mozna, ale nie zaladujesz takiego pliku do JOSM ani zadengo innego edytora bo bedzie za duzy… Pojedynczy plik taki jak ump-zamosc.osm jeszcze da sie zaladowac na komputerze z 2GB RAM ale JOSM staje sie tak powolny ze trudno w nim pracowac.

Najlatwiej taki plik zrobic uruchamiajac skrypt ump2osm.py na wszystkich plikach w UMP, np ./ump2osm.py UMP-/src/.txt > poland-ump.osm (bedziesz potrzebowal ok. 6GB RAM czyli tez 64-bitowy system operacyjny). Na granicach obszarow w UMP (ktore sa podzielone tak jak katalogi w drzewie UMP) beda niepolaczone ze soba niektore drogi i ksztalty (bedzie w nich cieniutka przerwa).

Moze nikomu sie nie przydadza, ale latwiej je zostawic niz wywalac. A moze zdajda sie w nich dane ktorych nie ma w OSM Albanii.


Przy okazji, oprocz ump2osm, dodalem na openstreetmap.pl dla pelnosci repozytorium UMP dla tych co wola git od CVS.
git clone http://openstreetmap.pl/ump/ump.git
poprostu mirroruje CVS projektu ump, ale nie jest automatycznie update’owany (ma zaaplikowany juz ump.diff w galezi master).

Czyli sciagam z UMP pliki okolo 230 mb i co potem zarzucam ten skrypt z http://openstreetmap.pl/ump/txt2osm.py o ten chodzi?
I z tego wygeneruje mi 700 mb?

Nie zrozum mnie ?le, te s?ówko “bezmy?lne” ma kluczowe znaczenie :slight_smile: Chodzi o to, ?e cz?sto dane i tak trzeba poprawia?.
Tak w ogóle, to wypowied? by?a podszyta zazdro?ci? (syndrom NIH, wspomniany tu wcze?niej), bo ludzie z UMP odwalili kawa? ?wietnej roboty. Jestem pod wra?eniem tego, jak wygl?da ich mapa.

Sprawdz?, gdy przesi?d? si? na “stacj? robocz?” (hehe), czyli jutro.

Apropos wygl?du UMP i tych folderów, które tam si? znajduj?.. Mo?e warto je jako? pouk?ada?? Nie jeste?my przecie? zmuszeni do kopiowania struktury bez zmian. Mo?na by?oby np. zrobi? folder, w którym oddzielnie by?yby pa?stwa, oddzielnie województwa/miasta, oddzielnie to, co nie wpad?o do miast, jako symlinki, albo chocia? plik tekstowy mówi?cy, co gdzie jest.
Sam nie mam poj?cia, od czego zacz??, ?eby znale?? wszystko w okolicy oprócz dróg w mie?cie, które ju? zaimportowa?em.
My?l?, ?e przyda si? to wszystkim.

@balrog-kun]Na granicach obszarow w UMP (ktore sa podzielone tak jak katalogi w drzewie UMP) beda niepolaczone ze soba niektore drogi i ksztalty (bedzie w nich cieniutka przerwa).
1)Czemu beda niepolaczone drogi jak ,odpalam skrypt na wszytskich danych?

Jak zapuszczam skrypt na danych z Zdrodlach z uMP to przy kielcach jeleniejgorze krakowie nowymsaczu opolu skrypt sie sypie ? wie ktos dlaczego?

I ile orietacyjnie trwa zrobienie calosci ->poland-ump.osm?

Skrypt ich nie dzieli - te dane same w sobie s? tak zapisane. Nie ma w nich zawartych informacji, co jest po??czone z czym (dobrze mówi??).

Balrog-kun:
?ci?gn??em, jest ok. repo.or.cz dalej nie dzia?a, a znalaz?em niepoprawiony b??d. Przes?a? patcha, czy mo?e oficjalne repozytorium ump2osm przechodzi do openstreetmap.pl :)?