Import danych z http://ump.waw.pl/

Nie mam poj?cia.
Ja “od zawsze” mam
:pserver:guest@ump.waw.pl/home/cvsroot

Dzięki, mam już UMP. Miałem plan zaimportowania dokładniejszych ścieżek poza miastem i terenu, ale teraz brak mi aktualnej wersji txt2osm.py. repo.or.cz daje timeout, za to openstreetmap.pl zwyczajnie odmawia połączenia. Jeśli ktoś mi podpowie/prześle najnowszą wersję, to uaktualnię ją u siebie (ale też nie będzie to działać 24/7 ;)).

Hej, repo.or.cz juz chyba dziala (u mnie dziala) i openstreetmap.pl tez (zapomnialem wlaczyc po wtorkowym braku pradu). Najlepiej zarejestruj sie w repo.or.cz wtedy nie bedzie trzeba przesylac plikow innymi mediami.

Z niedawnych zmian dodalem relacje multipolygon (niestety ksztatly z dziurami sa w ump reprezentowane na kilka roznych sposobow i nie obsluguje kazdego – trzeba recznie poprawiac).

Polecam tez odwracac rzeki w przekonwertowanych plikach, w ump wiekszosc rzek jest w przecinym kierunku niz bieg rzeki (a w osm maja byc z biegiem rzeki), no i tez trzeba je recznie laczyc tam gdzie jedna wpada do drugiej bo sa niepoloczane, podobnie kolej.

Dodalem skrypt ktory wywala stare zaimportowane przez uzytkownika devrise wsie i miasteczka na rzecz tych z ump:
./osm-merge-places.py layer-osm.osm layer-ump.osm > layer-osm-bez-powtarzajacych-sie-wsi.osm
Tam gdzie nie jest pewny co zrobic to zostawia wies i dodaje do niej mergeme=yes (potem mozna sobie je szybko wyszukac przez ctrl-f w josm)
Wywalane sa wsie i miasteczka ktore sa w ump z dokladnie ta sama nazwa i w promieniu 0.1 stopnia.

Zanim sie to zrobi to polecam zrobic nastepujaca rzecz:
uruchomic “grep name layer-ump.osm | sort -u > nazwy.txt” a potem otworzyc nazwy.txt i przejsc pokolei przez wszystkie nazwy i tam gdzie brakuje polskich liter to wyszukac te nazwe w josm (ctrl-f) i pododawac polskie litery oraz wygooglowac kazda ulice i wpisac jej pelna nazwe (z imionami itd), mozna odrazu dodawac tagi “wikipedia=”. W przeciwnym wypadku bedziemy mieli pelno duplikatow.

Zauwazylem ze nazwy wsi z ump generalnie zgadzaja sie z wikipedia (oprocz polskich liter) natomiast te w osm maja duzo bledow (czasami maja poprawne ale nieoficjalne/stare nazwy, mozna je umiescic w “loc_name=” albo “old_name=”) i zaokroglone wspolrzedne.

Uprzejmie ostrzegam, że będę bił jeśli ktoś zacznie ruszać cokolwiek w okolicach http://openstreetmap.org/?lat=52.043&lon=17.216&zoom=11&layers=B000FTF co nie jest oparte na własnych danych. Nie po to naprawiam rower by nie mieć gdzie jeździć :wink:

Uśmiałem się :slight_smile: Podobnie tutaj, aczkolwiek bić nie będę, tylko przesłuchiwać: http://openstreetmap.org/?lat=53.408&lon=23.488&zoom=11&layers=B000FTF
Nie po to ustawiałem wioski ręcznie :slight_smile:

Co do jazdy - jeśli okaże się, że nie można trzymać danych z UMP po zmianie licencji, albo jeśli okaże się, że zaimportowano kopię, to nadal będzie gdzie jeździć…

EDIT: repo.or.cz nadal nie działa… może warto mieć kilka kopii tego drzewa git na takie przypadki, jak ten? Co do openstreetmap.pl - co jaki czas uaktualniane są dane na http://openstreetmap.pl/ump/ ?

Wiesz, to taka przeno?nia by?a :wink: Zasadniczo bicie = wci?ni?cie klawisza “Del” w JOSM :wink:
Wracaj?c na chwil? Pana arzeja - napisa?em do autora tracków (http://www.gpswielkopolska.pl/) 19 marca i do dzisiaj nie mam ?adnej odpowiedzi. Wy?l? jeszcze raz zapytanie i odczekam dwa tygodnie, potem zg?aszam zgodnie z http://wiki.openstreetmap.org/wiki/FAQ#I_think_someone.27s_been_entering_copyrighted_data_-_how_do_we_deal_with_that.3F

Proponuje zebys dodal odpowiednia linijke do http://wiki.openstreetmap.org/wiki/UMP2OSM_Importing (to chyba bedzie SREM.ulice.txt) a moze w samych danych zrobic takie kolko i napisac w note= ze sobie nie absolutnie nie zyczysz i ze rzucisz klatwe na kazdego kto sie zblizy :stuck_out_tongue: gdzies tam w roznych krajach ludzie dodaja notki w stylu “bron boze nie dotykaj jesli uzywasz potlatch”

Z drugiej strony to jest syndrom NIH (http://en.wikipedia.org/wiki/Not_Invented_Here), najlepiej byloby zaczac z istniejacymi danymi i je poprawiac.

http://openstreetmap.org/?lat=51.259&lon=22.562&zoom=11&layers=B000FTFT tutaj bardzo ladnie ominalem lublin w ktorym jest juz troche danych - ale teraz Swidnik, ktory jest mniejszy, wyglada na mapie na bardziej rozbudowany. Ktos moglby pomyslec ze w Swidniku jest jedna z tajnych siedzib CloudMade :stuck_out_tongue:

Ok, zrobilem symlink pod http://www.openstreetmap.pl/ump/ump2osm.git
(git clone http://www.openstreetmap.pl/ump/ump2osm.git/ zrobi Ci kopie ale zeby moc committowac po tym musisz zmienic adres w .git/branches/origin na git+ssh://uzytkownik@repo.or.cz/srv/git/ump2osm.git)

Dane nie sa uaktualniane regularnie, chyba nie ma takiej potrzeby, na wszeli wypadek zapusze teraz update.

Przy okazji zmienilem instrukcje na wiki na temat importowania danych z ump w obydwu jezykach zeby nie pisalo ze nalezy wywalic konfliktujace dane z osm - to by bylo wbrew stronie Code of Conduct.

Odno?nie syndromu NIH, to akurat tutaj jest on jak najbardziej wskazany - ?rem ju? zosta? zaimportowany z UMP i wi?cej roboty jest z poprawianiem go, ni? z tworzeniem od pocz?tku - w?a?nie stawiam serwer mapnik dla Polski, gdzie wszystko co ma source=UMP* b?dzie na czerwono, tak aby ?atwiej to by?o poprawia?.
Pomijaj?c ju? fakt, ?e dane z UMP czasem s? do?? ?mieszne, np s? drogi tam gdzie nigdy dróg nie by?o…

Zgadzam si?. Wydaje mi si?, ?e w niektórych przypadkach bezmy?lne kopiowanie steku danych z UMP daje mniej warto?ci od narysowania kilku wa?niejszych dróg. Nie wydaje mi si?, ?eby takie co?: http://openstreetmap.org/?lat=53.6517&lon=22.7961&zoom=13&layers=B000FTF by?o lepsze od przeci?tnej “cha?upniczej” roboty, gdzie dróg jest kilka, ale wiadomo, które do czego s?u??..

Dzi?ki za polecenie, niektóre systemy kontroli wersji wymagaj? du?o szukania. Niestety:

git clone http://www.openstreetmap.pl/ump/ump2osm.git

Initialized empty Git repository in /mnt/stor/rhn/geo/ump2osm/.git/
fatal: http://www.openstreetmap.pl/ump/ump2osm.git//info/refs not found: did you run git update-server-info on the server?

Ale je?li zrobi?e? update, to ja i tak jestem zadowolony :slight_smile:

:smiley:

A czy kto? dzia?a w kierunku importu/wrysowania województw? Narazie zaimportowa?em to: http://www.openstreetmap.org/browse/relation/104401
Nie mog? si? doszuka? brakuj?cego fragmentu w plikach UMP, pomimo ?e na mapie maj? ca?? granic?.

Akurat to chyba sa takie lesne nieoznakowane drogi (powinno byc highway=track) ktore do nikad nie prowadza. Tam gdzie dotychczas robilem import i byly dane jednoczesnie w UMP i w OSM to generalnie sie pokrywaly, np. ulice centrum Zamoscia (zamosci?) prawie idealnie sie pokrywaly tylko ze w OSM byly narysowane przez kogos w Potlatchu zupelnie nie polaczone ze soba - pare pionowych i pare poziomych linii bez zadnych wezlow na skrzyzowaniach, dodatkowo wszystkie jako highway=unclassified. Tez mialem bardzo sceptyczne podejscie do UMP ale teraz wydaje mi sie ze odwalili swietny kawal roboty biorac pod uwage dokladnosc systemu GPS. Laczac ich dane z danymi OSM w niektorych miejscach powstaje mapa lepszej jakosci niz ktorakolwiek z nich dotychczas (fajnie by bylo zeby nasze poprawki robione przy imporcie tez jakims sposobem trafialy spowrotem do UMP).

Zrobilem git update-server-info, moze teraz podziala – moze u mnie dzialalo dlatego ze uzylem cogito zamiast git (cg-clone blahblah). Nowe pliki .osm dopiero pewnie bedza wieczorem.

Musze wam przyznac ze odwaliliscie kawal dobrej roboty:
Ale troche jest bałaganu w watku tzn wiedzy przystepnej dla normalnego usera:
1)@userzy : pod url http://www.openstreetmap.pl/ump/ są pliku przekorwertowane z projektu UMP do osm najnowszym skryptem (txt2osm.py)?
są do pliki ktore zawierają dane tylko z projektu UMP (nie mergowane z danymi z OSM)?
Czy nie mozna by tych wszytkich plikow UMP->OSM (dane tylko z UMP nie mergowane z OSM)zmergowac do jednego pliku?(tzn plik wynikowy np.poland-ump.osm) a jak mozna to jak to zrobic?
Po co sa te pliki jak np UMP-albania?http://www.openstreetmap.pl/ump/

Mozna, ale nie zaladujesz takiego pliku do JOSM ani zadengo innego edytora bo bedzie za duzy… Pojedynczy plik taki jak ump-zamosc.osm jeszcze da sie zaladowac na komputerze z 2GB RAM ale JOSM staje sie tak powolny ze trudno w nim pracowac.

Najlatwiej taki plik zrobic uruchamiajac skrypt ump2osm.py na wszystkich plikach w UMP, np ./ump2osm.py UMP-/src/.txt > poland-ump.osm (bedziesz potrzebowal ok. 6GB RAM czyli tez 64-bitowy system operacyjny). Na granicach obszarow w UMP (ktore sa podzielone tak jak katalogi w drzewie UMP) beda niepolaczone ze soba niektore drogi i ksztalty (bedzie w nich cieniutka przerwa).

Moze nikomu sie nie przydadza, ale latwiej je zostawic niz wywalac. A moze zdajda sie w nich dane ktorych nie ma w OSM Albanii.


Przy okazji, oprocz ump2osm, dodalem na openstreetmap.pl dla pelnosci repozytorium UMP dla tych co wola git od CVS.
git clone http://openstreetmap.pl/ump/ump.git
poprostu mirroruje CVS projektu ump, ale nie jest automatycznie update’owany (ma zaaplikowany juz ump.diff w galezi master).

Czyli sciagam z UMP pliki okolo 230 mb i co potem zarzucam ten skrypt z http://openstreetmap.pl/ump/txt2osm.py o ten chodzi?
I z tego wygeneruje mi 700 mb?

Nie zrozum mnie ?le, te s?ówko “bezmy?lne” ma kluczowe znaczenie :slight_smile: Chodzi o to, ?e cz?sto dane i tak trzeba poprawia?.
Tak w ogóle, to wypowied? by?a podszyta zazdro?ci? (syndrom NIH, wspomniany tu wcze?niej), bo ludzie z UMP odwalili kawa? ?wietnej roboty. Jestem pod wra?eniem tego, jak wygl?da ich mapa.

Sprawdz?, gdy przesi?d? si? na “stacj? robocz?” (hehe), czyli jutro.

Apropos wygl?du UMP i tych folderów, które tam si? znajduj?.. Mo?e warto je jako? pouk?ada?? Nie jeste?my przecie? zmuszeni do kopiowania struktury bez zmian. Mo?na by?oby np. zrobi? folder, w którym oddzielnie by?yby pa?stwa, oddzielnie województwa/miasta, oddzielnie to, co nie wpad?o do miast, jako symlinki, albo chocia? plik tekstowy mówi?cy, co gdzie jest.
Sam nie mam poj?cia, od czego zacz??, ?eby znale?? wszystko w okolicy oprócz dróg w mie?cie, które ju? zaimportowa?em.
My?l?, ?e przyda si? to wszystkim.

@balrog-kun]Na granicach obszarow w UMP (ktore sa podzielone tak jak katalogi w drzewie UMP) beda niepolaczone ze soba niektore drogi i ksztalty (bedzie w nich cieniutka przerwa).
1)Czemu beda niepolaczone drogi jak ,odpalam skrypt na wszytskich danych?

Jak zapuszczam skrypt na danych z Zdrodlach z uMP to przy kielcach jeleniejgorze krakowie nowymsaczu opolu skrypt sie sypie ? wie ktos dlaczego?

I ile orietacyjnie trwa zrobienie calosci ->poland-ump.osm?

Skrypt ich nie dzieli - te dane same w sobie s? tak zapisane. Nie ma w nich zawartych informacji, co jest po??czone z czym (dobrze mówi??).

Balrog-kun:
?ci?gn??em, jest ok. repo.or.cz dalej nie dzia?a, a znalaz?em niepoprawiony b??d. Przes?a? patcha, czy mo?e oficjalne repozytorium ump2osm przechodzi do openstreetmap.pl :)?

OO Mozesz opisac co naprawiles? moze teraz skrypt nie bedzie sypal bledow

Zmieniłem to:

class Mylist(object):
    k = {}
    v = [] #

na to:

class Mylist(object):
    def __init__(self):
        self.k = {}
        self.v = [] #

Nie sądzę, że to zmienia cokolwiek w praktyce, ale jeśli tak, to chyba będzie to prędkość. Jakie to są błędy?

Sypie takie błedy:]Loading C:\cvs\UMP-Kielce\src\JEDRZEJOW.ulice.txt
Traceback (most recent call last):
File “C:\cvs\txt2osm.py”, line 1166, in
parse_txt(infile)
File “C:\cvs\txt2osm.py”, line 1085, in parse_txt
convert_tag(way, key, polyline[key], feat)
File “C:\cvs\txt2osm.py”, line 802, in convert_tag
raise ParsingError(“Unknown key " + key + " in polyline / polygon”)
main.ParsingError: Unknown key ForceClass in polyline / polygon