Валідатор назв вулиць

olehz · 2012-03-14 10:36:19

dudka wrote:

якщо не дуже складно - додайте будь ласка на сторінку інформацію коли було останнє оновлення
або може можна зробити розсилку коли оновлюються дані?

Ок, виведу на сторінку час останнього оновлення. Вся проблема впирається в сервак. Я на разі не можу дозволити собі поставити osmosis чи osm2pgsql прямо в себе на сервері і автоматизувати вигрузку в БД по крону раз на добу. Не вистачає ресурсів, а тому довидиться робити це на домашній машині.

Можливо в когось будуть ідеї де можна захостити валідатор?

Last edited by olehz (2012-03-19 13:39:59)

dudka · 2012-03-14 10:42:50

А які функції osmosis'a використовуються?
Обрізання по poly-файлу значно швидше виконує Pbftoosm
http://wiki.openstreetmap.org/wiki/Pbftoosm
Також варто всюди де можливо уникати використання osm-формату і замість нього використовувати pbf

olehz · 2012-03-14 11:02:24

dudka wrote:

А які функції osmosis'a використовуються?
Обрізання по poly-файлу значно швидше виконує Pbftoosm
http://wiki.openstreetmap.org/wiki/Pbftoosm
Також варто всюди де можливо уникати використання osm-формату і замість нього використовувати pbf

osmosis -v --read-pbf file="UA.osm.pbf" --buffer --write-pgsql-dump enableBboxBuilder=yes enableLinestringBuilder=yes nodeLocationStoreType="CompactTempFile"

Перший етап pbf => sql_dump - 597476 milliseconds
Другий етап sql_dump => Postgres

При цьому дуже активно пожирається, як дисковий простір для тимчасових файлів, так і MEM+CPU, яких на моєму VPS просто нема

dudka · 2012-03-14 11:11:09

може допоможе спочатку відфільтрувати тільки необхідні об'єкти
щось типу
--rb UA.osm.pbf --wk keyList="highway,building,place,boundary" --used-node --tf reject-relations outPipe.0=myways
--rb UA.osm.pbf --tf accept-relations type=boundary,street,associatedStreet --used-way --used-node outPipe.1=myrels
--merge inPipe.0=myways inPipe.1=myrels
і далі
--buffer --write-pgsql-dump enableBboxBuilder=yes enableLinestringBuilder=yes nodeLocationStoreType="CompactTempFile"

Last edited by dudka (2012-03-14 11:21:58)

olehz · 2012-03-14 11:27:31

Хороша ідея - cпробую сьогодні оптимізувати. Але проблему це не вирішить. З 256Mb MEM і 2Gb вільного простору на диску - нема сенсу навіть пробувати. Потрібна значно потужніша конфігурація сервера.

dudka · 2012-03-14 11:39:08

також, судячи з імені файлу, використовуються гіслабівські вигрузки
не багато, але можна виграти використовуючи дані геофабрік.дє (на 15% менший файл)
http://download.geofabrik.de/osm/europe/

gis-lab.info wrote:

Альтернативные источники дампов стран: Geofabrik, CloudMade. Отличаются от представленных здесь более редким (еженедельным) обновлением, отсутствием режима completeWays=yes, а также не всегда подходящими poly-файлами.

ці completeWays=yes якраз не потрібні в рамках Валідатора вулиць

olehz · 2012-03-14 19:50:59

Землемер wrote:

А можно сгруппировать города по регионам (АРК, области)?
Было бы немного удобней.

Попробовал сгруппировать по областям, вот что вышло - http://nadoloni.com/streets.html

Last edited by olehz (2012-03-15 11:26:53)

dudka · 2012-03-14 20:04:08

На вихідних якийсь румун поламав кордон Чернівецької області, а всі інші мультиполігони областей коректні
http://tools.geofabrik.de/osmi/?view=mu … not_closed

Larry0ua · 2012-03-14 22:07:50

Шкода, що owl зараз тормозить, раніше таке виявлялось ним

завтра подивлюсь

Larry0ua · 2012-03-15 10:47:31

пофіксив кордони України, Румунії, Чернівецької області і нашого Глибоцького району.

Last edited by Larry0ua (2012-03-15 10:55:27)

olehz · 2012-03-15 11:32:44

На рахунок групування по областям. Єдина можливість, яку я побачив, це вибірка за ISO 3166-2. Тому додав ці теги для Київа і Севастополя. Після завтрашнього оновлення ці два міста зявляться у списку

Sanjak · 2012-03-15 17:40:52

Валідатор групує по областях. Буквально кілька хвилин тому з'явилося

dudka · 2012-03-15 17:56:01

продовжую писати свої прохання:)
викиньте будь ласка зі списку об'єктів, що перевіряються
highway=footway і highway=path
http://www.openstreetmap.org/browse/way/132809068

olehz · 2012-03-17 19:52:48

Оновив дані і код - nadoloni.com/streets.html

1. Викинув зі списку об'єктів, що перевіряються highway=footway і highway=path
2. Додав підсвітку будинків зв'язаних через relation.

Паралельно виявив ряд проблем:
1. Присутні 68 відношень, у котрих відсутні атрибут name - такі відношення ігноруються
2. У відношеннях в якості будинків присутні об'єкти з геометрією LINESTRING (також багато POINT, хоча це і не помилка, здається) - такі об'єкти також ігноруються

Загалом, на поточний момент підсвічується 34477 будинки з 69255 пронумерованих по Україні.

Last edited by olehz (2012-03-18 08:17:32)

_sev · 2012-03-17 21:26:48

olehz wrote:

2. У відношеннях в якості будинків присутні об'єкти з геометрією LINESTRING (також багато POINT, хоча це і не помилка, здається) - такі об'єкти також ігноруються

То правильно, це напевно будинки за схемою Карлсруе, тобто будинки точкою, плюс інтерполяція адрес. Їх теж потрібно обробляти.

Paultergeist · 2012-03-17 23:26:29

olehz wrote:

1. Присутні 32 відношення, у котрих відсутній атрибут name - такі відношення ігноруються

Якщо ви про відношення associatedStreet, то в ньому атрибут name опціональний. Назва вулиці має братися з name мембера ролі street.

olehz · 2012-03-18 08:15:35

Paultergeist wrote:

olehz wrote:
1. Присутні 32 відношення, у котрих відсутній атрибут name - такі відношення ігноруються
Якщо ви про відношення associatedStreet, то в ньому атрибут name опціональний. Назва вулиці має братися з name мембера ролі street.

optional but recommended... Проблема у тому, що мембери одного відношення часто мають різні name. Ось список:

Last edited by olehz (2012-03-18 09:01:09)

dudka · 2012-03-18 18:28:07

Валідатор стає все гарнішим, дякую

трохи повиправляв: один спочатку і десь десять з кінця списку(крім 2060931-206093, там взагалі неправильні звязки).
потім подумав, що дійсно якась дивна вимога вказувати ще й name для relation'a

з вказаних вами звязків, наприклад
http://www.openstreetmap.org/browse/relation/1552690
чому він некоректний? усі вулиці мають одну і ту ж назву

http://www.openstreetmap.org/browse/relation/1694471
у цього взагалі тільки один член з роллю street

помилковими мабуть треба вважати ті лінії, що входять в більш ніж один звязок типу street/associatedStreet
а також ті звязки у яких є лінії з різними назвами, хоча можуть бути виключення: вулиця, що включає міст, який має власну назву, яка прописана в name
можливо ще є виключення

Paultergeist · 2012-03-18 22:53:57

olehz wrote:

Проблема у тому, що мембери одного відношення часто мають різні name

От такі випадки було б непогано виявляти і помічати як помилки.

Sanjak · 2012-03-19 08:40:02

olehz
Пропав Володимир-Волинський

Поясніть ще раз по тих зв'язках стріт. Питався в російському ірц-каналі - пишуть, що не потрібно використовувати, а ставити кожному будинку addr:street
Тут бачу використовують і type=street, і type=associatedStreet - можливо прийдем до спільного знаменника?

Paultergeist · 2012-03-19 08:48:58

У мене про street і associatedStreet теж колись були аналогічні питання.

_sev · 2012-03-19 09:12:29

Sanjak wrote:

olehz
Пропав Володимир-Волинський
Поясніть ще раз по тих зв'язках стріт. Питався в російському ірц-каналі - пишуть, що не потрібно використовувати, а ставити кожному будинку addr:street
Тут бачу використовують і type=street, і type=associatedStreet - можливо прийдем до спільного знаменника?

З моєї точки зору, addr:street на будинках додає занадто багато ручної роботи. Також дуже легко зробити помилку, тобто, якщо людина з якихось причин написала в name російську назву, а потім з часом поставили правильно український напис, то треба йти по всіх будинках, і змінювати там, бо шукатися вони ну будуть. Ще й буде проблема їх знайти, тобто будинки у містах, особливо у мікрорайонах не стоять уздовж веїв вулиць. "Загубиш дім", адресний пошук працювати не буде. Те ж саме, коли людина напише "вул. Дорошенка", яке потім буде згідно угоди перейменоване у "Дорошенка вуліця".

Також зв'язки дозволяють правильно поставити будинок на дві вулиці, вказавши дрібний номер "1/23", а не тулити addr2:street, які зараз ніде не підтримуються.

Про те, як ці теґи використовуються, можна дивитися тут: addr:street, 4 мільйони домів, 9 мільйонів нод (очевидно Карлсруе), 20 тисяч відношень. associatedStreet – 57 тисяч, street – 12 тисяч. Слід зауважити, що дуже багато домів було заімпортовано. При імпорті набагато легше вказати addr:street на будинку. Я у своїх імпортах створював відношення окремою програмою у другому проході, після вивантаження домів і вулиць.

Але якщо ви у своєму місті будете ставити addr:street на будинки, це не буде помилкою.

dudka · 2012-03-19 09:41:48

Так є ж узгоджена схема
http://wiki.openstreetmap.org/wiki/Prop … ptional.29
дозволяє писати type=street/associatedStreet
і ролі street/house/address

Київська область теж пропала

Last edited by dudka (2012-03-19 09:42:12)

Larry0ua · 2012-03-19 09:59:23

у нас було вирішено використовувати зв"язки, в Росії - addr:street на кожній будівлі. тому на ірц таке радили.

на рахунок кількох номерів на будинку - або вказувати лише по більш головній вулиці (у нас, наприклад, практично всюди примусово познімали номери з кутових будинків, щоб залишався лише один), або другий ставити точкою на лінії будівлі у місці розташування номера.

olehz · 2012-03-19 13:31:57

Дуже багато різних способів адресації, що сильно ускладнює запити до БД. Зараз валідатор обробляє лише будинки, що входять у відношення street, чи associatedStreet і для яких вказаний тег name. Валідатор працює з даними імпортованими за допомогою osm2pgsql з ключами -k -s -G. Для будинків використовується наступний запит:

SELECT
osm_id,
ASTEXT(ST_MakePolygon(ST_ExteriorRing(way))) AS the_geom,
X(CENTROID(way)) AS x,
Y(CENTROID(way)) AS y,
"addr:housenumber" AS num

FROM planet_osm_rels rel, planet_osm_polygon
WHERE
ST_Within(way, ST_PolygonFromText('Геометрія межі міста')) AND
GEOMETRYTYPE(way) = 'POLYGON' AND
hstore(rel.tags)->'name' = 'Назва вулиці' AND
(hstore(rel.tags)->'type' = 'associatedStreet' OR hstore(rel.tags)->'type' = 'street') AND
osm_id=ANY(ARRAY(
SELECT
CAST(replace(replace(members[k*2-1], 'w', ''),'r','-') AS int)
FROM (SELECT generate_subscripts(parts, 1) AS k, id, parts, members
FROM planet_osm_rels
WHERE id = rel.id
) sub
WHERE members[k*2] = 'house' AND
(substring(members[k*2-1], 1, 1) = 'w' OR substring(members[k*2-1], 1, 1) = 'r')
))
ORDER BY
CAST(substring("addr:housenumber" FROM '^\d+') AS int),
LENGTH("addr:housenumber"),
"addr:housenumber"

Будуть пропозиції щодо вдосконалення такої вибірки, аби враховувались усі наведені вище варіанти адресації?

#51 2012-03-14 10:36:19

Re: Валідатор назв вулиць

#52 2012-03-14 10:42:50

Re: Валідатор назв вулиць

#53 2012-03-14 11:02:24

Re: Валідатор назв вулиць

#54 2012-03-14 11:11:09

Re: Валідатор назв вулиць

#55 2012-03-14 11:27:31

Re: Валідатор назв вулиць

#56 2012-03-14 11:39:08

Re: Валідатор назв вулиць

#57 2012-03-14 19:50:59

Re: Валідатор назв вулиць

#58 2012-03-14 20:04:08

Re: Валідатор назв вулиць

#59 2012-03-14 22:07:50

Re: Валідатор назв вулиць

#60 2012-03-15 10:47:31

Re: Валідатор назв вулиць

#61 2012-03-15 11:32:44

Re: Валідатор назв вулиць

#62 2012-03-15 17:40:52

Re: Валідатор назв вулиць

#63 2012-03-15 17:56:01

Re: Валідатор назв вулиць

#64 2012-03-17 19:52:48

Re: Валідатор назв вулиць

#65 2012-03-17 21:26:48

Re: Валідатор назв вулиць

#66 2012-03-17 23:26:29

Re: Валідатор назв вулиць

#67 2012-03-18 08:15:35

Re: Валідатор назв вулиць

#68 2012-03-18 18:28:07

Re: Валідатор назв вулиць

#69 2012-03-18 22:53:57

Re: Валідатор назв вулиць

#70 2012-03-19 08:40:02

Re: Валідатор назв вулиць

#71 2012-03-19 08:48:58

Re: Валідатор назв вулиць

#72 2012-03-19 09:12:29

Re: Валідатор назв вулиць

#73 2012-03-19 09:41:48

Re: Валідатор назв вулиць

#74 2012-03-19 09:59:23

Re: Валідатор назв вулиць

#75 2012-03-19 13:31:57

Re: Валідатор назв вулиць

Board footer