Overpass - do wyciągania danych z OSM

gsapijaszko · 2017-05-30 10:07:43

Nie ma za co.

Cała frajda właśnie w tym, by ciągle się czegoś uczyć. Poznawać nowe. Smakować. Czy się kiedyś przyda, czy nie --- to źle postawione pytanie. Ciekawszym jest: jak inaczej mogę to zrobić? Umiejętności, zwłaszcza nauczone przy okazji zabawy, zapamiętuje się dłużej. I na ogół prędzej czy później się przydają.

Właściwie osiągnąłem cel, mam plik (3,5 miliona linii)[...]

Hmm.. wydawało mi się, że punktów adresowych mamy więcej, Zbyszek coś kiedyś pisał o 5 czy 6 mln. Czy uwzględniłeś w swoim zapytaniu również budynki, które mają przypisane adresy? Z tych budynków należałoby wyliczyć centroid i taki wynik połączyć z punktami adresowymi.

Pozdrawiam,
Grzesiek

RicoElectrico · 2017-05-30 10:10:52

W Overpass jest out center; które wylicza centroid za nas.

mmd · 2017-05-30 12:44:59

RicoElectrico wrote:

centroid

out center does not return the centroid, see this example: http://overpass-turbo.eu/s/pnT

Teiron · 2017-05-30 19:36:28

mmd wrote:

RicoElectrico wrote:
centroid
out center does not return the centroid, see this example: http://overpass-turbo.eu/s/pnT

Chwila czyli to robi centroid bounding boxa? Bo fakt że centroid może wypaść poza geometrią jest przewidywalny.

mmd · 2017-05-31 08:43:52

out center always returns the center of an object's bounding box. Like in this case, this may well be outside the object itself...

gsapijaszko · 2017-05-31 10:42:31

Ale to w zupełności wystarczy dla celów Kazadama.

G.

RicoElectrico · 2017-05-31 10:45:33

Hece mogą być, gdy budynek ma kształt litery L i otacza inny budynek

gsapijaszko · 2017-05-31 17:39:45

RicoElectrico wrote:

Hece mogą być, gdy budynek ma kształt litery L i otacza inny budynek

Oui. Ale to nie chodzi o budynki, a o kody pocztowe. A tak naprawdę, o rozkład tych kodów. Jeden budynek w tą czy w tamtą nie powinien robić różnicy . Powiem więcej, 100 budynków w tą czy w tamtą też nie powinno robić.

Inna rzecz, że zdarzają się błędy w kodach.

G.

kazadam · 2017-05-31 19:10:44

Odpowiadając na Twoja poprzednią uwagę - bezdyskusyjnie masz rację - dobrze, że na Świecie istnieją rzeczy na tyle ciekawe, że zachęcają do ciągłej nauki.

Mam "tylko" 3,5 mln linii ponieważ zaczytałem tylko nody. Początkowo z braku znajomości formatu przestrzennych baz, teraz okazało się, że:

gsapijaszko wrote:

Inna rzecz, że zdarzają się błędy w kodach.

jest poważniejszą sprawą dla mojego zamierzenia i próbuję to zweryfikować. Np. błąd poprawnego formatu kodu pocztowego dla 15 tyś. punktów.
I teraz znowu moje pytanie, format muszę poprawić, jak już to zrobię, to dobrze by było poprawić to w osm - jakaś masowa edycja?
Jak to się robi?

rmikke · 2017-06-02 07:26:26

kazadam wrote:

Np. błąd poprawnego formatu kodu pocztowego dla 15 tyś. punktów.
I teraz znowu moje pytanie, format muszę poprawić, jak już to zrobię, to dobrze by było poprawić to w osm - jakaś masowa edycja?
Jak to się robi?

Wyeksportować do pliku mniej-więcej tekstowego, potraktować edytorem obsługującym wyrażenia regularne, zaimportować z powrotem?
Zajrzyj do tych paru postów.

kazadam · 2017-06-03 23:01:03

rmikke wrote:

Wyeksportować do pliku mniej-więcej tekstowego, potraktować edytorem obsługującym wyrażenia regularne, zaimportować z powrotem?

Czyli tylko "twarde" nadpisywanie pliku?
Znam wartość id punktu (node), znam nazwę tagu, który chcę zmienić. Nie istnieje jakaś metoda, która coś takiego może zrobić?

rmikke · 2017-06-04 18:17:27

kazadam wrote:

rmikke wrote:
Wyeksportować do pliku mniej-więcej tekstowego, potraktować edytorem obsługującym wyrażenia regularne, zaimportować z powrotem?
Czyli tylko "twarde" nadpisywanie pliku?
Znam wartość id punktu (node), znam nazwę tagu, który chcę zmienić. Nie istnieje jakaś metoda, która coś takiego może zrobić?

No, ale rozumiem, że tych punktów masz dużo i wartości tagów są różne, a poprawić chcesz format kodu pocztowego bez zmieniania samych cyfr. To się aż prosi o załatwienie wyrażeniem regularnym.

Chyba, że z jakichś przyczyn wolisz zaprogramować bota...

kazadam · 2017-06-04 20:15:16

@rmikke
Kody poprawione już mam (no może jeszcze trzeba oczyścić z niemieckich i innych sąsiadów ), jak wspomniałem mam id punktów, myślałem, że jest jakaś metoda masowej edycji tylko dla konkretnego tagu. Bez zaciągania innych danych.

rmikke · 2017-06-04 20:52:32

kazadam wrote:

@rmikke
Kody poprawione już mam (no może jeszcze trzeba oczyścić z niemieckich i innych sąsiadów ), jak wspomniałem mam id punktów, myślałem, że jest jakaś metoda masowej edycji tylko dla konkretnego tagu. Bez zaciągania innych danych.

Jakbyś chciał temu jednemu tagowi nadać jedną wartość dla wszystkich punktów, to oczywiście jest - w JOSM zaznaczasz punkty, zmieniasz wartość tagu dla wszystkich punktów i po sprawie.

Natomiast tak, żeby każdy punkt po operacji miał w tym tagu inną wartość, to nie znam. Znaczy znam - wyeksportować, potraktować regexem, zaimportować.

Last edited by rmikke (2017-06-04 20:53:42)

kazadam · 2017-06-04 21:07:51

Ale chyba trzeba zaciągnąć ogromną ilość danych? Czy można "zaczytać" tylko punkty z listy?

rmikke · 2017-06-04 22:26:07

kazadam wrote:

Ale chyba trzeba zaciągnąć ogromną ilość danych? Czy można "zaczytać" tylko punkty z listy?

A jak zrobiłeś listę? Bo jak Overpassem, to wyniki można wrzucić prosto do JOSM. W sensie, że będziesz mieć warstwę wyłącznie z danymi zwróconymi przez Overpassa. Jest do tego opcja w overpass-turbo (trochę poprawia zapytanie), jest też opcja w JOSM (Alt-Shift-Down i można wygenerować zapytanie tak, jak Overpass z wizarda, albo wkleić to poprawione zapytanie z Overpassa).

Last edited by rmikke (2017-06-04 22:30:25)

kazadam · 2017-06-05 16:10:57

rmikke wrote:

A jak zrobiłeś listę?

Listę zrobiłem przy pomocy Qgis. Jest to plik csv (id, lat, lon, kod).

RicoElectrico · 2017-06-05 17:49:14

Jakby co, teraz przypadkiem zobaczyłem, że kody pocztowe masz też w rejestrze PRG, który można pobrać bez opłat.
Edit: Choć widzę, że np. w Gdyni są trochę wybrakowane. Ale większość adresów w OSM i tak jest z importu.

Last edited by RicoElectrico (2017-06-05 17:55:22)

rmikke · 2017-06-05 20:00:37

kazadam wrote:

Listę zrobiłem przy pomocy Qgis. Jest to plik csv (id, lat, lon, kod).

No to przy tej liczbie obiektów widzi mi się, że prościej, niż załadować to do swojej tabeli i puścić jakąś prostą pętlę, ciągnącą po API OSM wg id z tabeli, to nie będzie.

Last edited by rmikke (2017-06-05 20:01:11)

kazadam · 2017-06-05 21:00:50

RicoElectrico Byłem na tej stronie , ale "jakby diabeł ogonem przykrył". Dzięki, ściągam, sprawdzę.
rmikke Tak, spróbuję w taki sposób.

rmikke · 2017-06-08 15:42:59

Chciałbym sobie wyciągnąć zbiór ulic i budynków z adresami przy tych ulicach. Czyli żeby addr:street budynku miał wartość równą name jakiejś ulicy w zbiorze.

Czytam sobie manual i wychodzi mi, że powinienem użyć foreach i ewaluatorów (czy jak to się nazywa po naszemu), ale nigdzie nie widzę ani porządnego opisu składni, ani dobrego przykładu, względnie nie umiem poskładać dostępnych informacji do kupy.

Rzucicie jakiś przykład? Albo (wolno mi się rozmarzyć, nie?) wręcz zapytanie wyciągające wszystkie highway=residential z bboxa i pasujące do nich budynki i/lub punkty adresowe?

Teiron · 2017-06-10 16:08:33

Tutaj masz przykład kwerendy z użyciem around. Nie jestem pewien czy o to chodziło.

http://overpass-turbo.eu/s/pEy

rmikke · 2017-06-12 07:37:09

Teiron wrote:

Tutaj masz przykład kwerendy z użyciem around. Nie jestem pewien czy o to chodziło.
http://overpass-turbo.eu/s/pEy

No nie o to.

Chcę w jakims bboksie wyciągnąć wszystkie highway=residential i wszystkie budynki i punkty adresowe, które mają addr:street takie same, jak nazwy wcześniej wyciągniętych ulic. Czyli muszę porównać addr:street budynków z nazwami wcześniej wyciągniętych ulic.

I widzę to jakoś tak, że wyciągam ulice do zbioru, następnie lecę po tym zbiorze pętlą foreach i dla każdej ulicy wyciągam budynki z addr:street=<nazwa_tej_ulicy> - i tu właśnie nie umiem znaleźć przykładu takiej pętli, ani zrobić jej sobie z dostępnych mi informacji.

Teiron · 2017-06-13 22:59:34

Okej po wielu bojach z dokumentacją i wędrowaniu po ślepych uliczkach skleciłem coś takiego: http://overpass-turbo.eu/s/pJB

Last edited by Teiron (2017-06-13 23:00:32)

RicoElectrico · 2017-06-13 23:09:27

Nic a nic nie kumam. To ja już wolę PostGIS-a. Trzy funkcje: ST_Intersects, ST_MakeEnvelope, ST_DWithin.

Last edited by RicoElectrico (2017-06-13 23:10:05)

#51 2017-05-30 10:07:43

Re: Overpass - do wyciągania danych z OSM

#52 2017-05-30 10:10:52

Re: Overpass - do wyciągania danych z OSM

#53 2017-05-30 12:44:59

Re: Overpass - do wyciągania danych z OSM

#54 2017-05-30 19:36:28

Re: Overpass - do wyciągania danych z OSM

#55 2017-05-31 08:43:52

Re: Overpass - do wyciągania danych z OSM

#56 2017-05-31 10:42:31

Re: Overpass - do wyciągania danych z OSM

#57 2017-05-31 10:45:33

Re: Overpass - do wyciągania danych z OSM

#58 2017-05-31 17:39:45

Re: Overpass - do wyciągania danych z OSM

#59 2017-05-31 19:10:44

Re: Overpass - do wyciągania danych z OSM

#60 2017-06-02 07:26:26

Re: Overpass - do wyciągania danych z OSM

#61 2017-06-03 23:01:03

Re: Overpass - do wyciągania danych z OSM

#62 2017-06-04 18:17:27

Re: Overpass - do wyciągania danych z OSM

#63 2017-06-04 20:15:16

Re: Overpass - do wyciągania danych z OSM

#64 2017-06-04 20:52:32

Re: Overpass - do wyciągania danych z OSM

#65 2017-06-04 21:07:51

Re: Overpass - do wyciągania danych z OSM

#66 2017-06-04 22:26:07

Re: Overpass - do wyciągania danych z OSM

#67 2017-06-05 16:10:57

Re: Overpass - do wyciągania danych z OSM

#68 2017-06-05 17:49:14

Re: Overpass - do wyciągania danych z OSM

#69 2017-06-05 20:00:37

Re: Overpass - do wyciągania danych z OSM

#70 2017-06-05 21:00:50

Re: Overpass - do wyciągania danych z OSM

#71 2017-06-08 15:42:59

Re: Overpass - do wyciągania danych z OSM

#72 2017-06-10 16:08:33

Re: Overpass - do wyciągania danych z OSM

#73 2017-06-12 07:37:09

Re: Overpass - do wyciągania danych z OSM

#74 2017-06-13 22:59:34

Re: Overpass - do wyciągania danych z OSM

#75 2017-06-13 23:09:27

Re: Overpass - do wyciągania danych z OSM

Board footer