You are not logged in.

#1 2015-10-21 12:05:35

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Загрузка большего массива данных на карту из shp файлов

Есть полная карта домов с номерами для одного города, в OSM эта карта довольно скудная.
Я хочу добавить дома, которых нет в OSM, для этого города.
У меня эти дома хранятся в shp-формате, их количество свыше 30000.
Подскажите, как можно автоматизировать этот процесс?
В ручную это займет большое время.
Может есть какой-то плагин, или что-то ещё.

PS. Есть отдельно shp-файл с домами, в семантике задан номер дома. Есть отдельно shp-файл с адресными точками.

Offline

#2 2015-10-21 13:49:28

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,874
Website

Re: Загрузка большего массива данных на карту из shp файлов

Для початку адреси можна завантажити сюди - http://openaddresses.io/contribute/

Offline

#3 2015-10-21 13:49:31

Larry0ua
Member
Registered: 2010-09-19
Posts: 1,061

Re: Загрузка большего массива данных на карту из shp файлов

Все предыдущие случаи таких импортов были полуавтоматическими или ручными. Адреса в Харькове, например. Или дома в Эстонии.

А откуда данные-то? Сами собирали 30к адресов? И какой город, если не секрет?

Offline

#4 2015-10-21 13:53:20

Vanuan
Member
Registered: 2013-01-26
Posts: 301

Re: Загрузка большего массива данных на карту из shp файлов

Боюсь, определяющий вопрос - не техническая возможность, а авторские права и лицензионные ограничения. К сожалению, нельзя просто так взять и загрузить какие угодно данные в ОСМ.

К сожалению или к счастью в Украине плевать хотели на авторское право, поэтому даже государственные органы власти не владеют авторскими правами на официальные карты. Ими владеют частные, государственные и коммунальные предприятия.

Но ситуация меняется и госпредприятия учатся извлекать прибыль из государственных данных. Поэтому возможны последствия, вплоть до уголовной ответственности sad

Last edited by Vanuan (2015-10-21 14:00:46)

Offline

#5 2015-10-21 14:37:43

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,874
Website

Re: Загрузка большего массива данных на карту из shp файлов

Якщо з ліцензійною чистотою все ОК, сподіваюсь що знайдеться час почитати - http://wiki.openstreetmap.org/wiki/Uk:Import

Offline

#6 2015-10-21 17:00:28

dimonster
Member
Registered: 2012-07-08
Posts: 1,501

Re: Загрузка большего массива данных на карту из shp файлов

А я буду проти імпорта.
Бо там буде такий самий пісєц, що й у Харкові.
Ініціатор харківського імпорту зізнався, що його контора перевіряла лише багатоповерхові будинки, а одноповерхові - ні.
Тож ми постійно натикаємося на косяки у районах одноповерхової забудови. Неправильні номери будинків, переплутані вулиці, тощо.
На карті все виглядає "красиво", а коли починаєш порівнювати карту та місцевість - хапаєшся за голову. sad

Зрозумійте, що імпортоване "сміття" навіть гірше за "білу пляму" на карті. Бо коли на карті "біла пляма", то зрозуміло, що треба там походити та зібрати інформацію. А коли на карті "начебто все намальовано", то людям здається. що там все гаразд, і ті помилки можуть роками у карті висіти.

Offline

#7 2015-10-22 11:08:06

edward17
Member
Registered: 2013-08-26
Posts: 1,849
Website

Re: Загрузка большего массива данных на карту из shp файлов

Извините, но вы как-то... мягко разговариваете.

Три конкретных вопроса, без ответов на которые импорт невозможен:
1. Каков источник данных?
2. Под какой лицензией они распространяются?
3. Какова гарантия качества данных (например, отсутствия несуществующих адресов)?
Пока ответы на эти три вопроса не будут получены, я буду тоже буду против импорта. А когда получим... Посмотрим smile

Далее. Если с данными всё ОК и их действительно можно импортировать в OSM, то нужно не просто "почитать Uk:Import, если найдётся время". Импорт необходимо проводить только в соответствии с правилами:
http://wiki.openstreetmap.org/wiki/Import/Guidelines
Версия на украинском находится в состоянии перевода здесь:
http://wiki.openstreetmap.org/wiki/Uk:Import/Guidelines
Спасибо @andygol за перевод; любой желающий может присоединиться.

dimonster wrote:

Зрозумійте, що імпортоване "сміття" навіть гірше за "білу пляму" на карті. Бо коли на карті "біла пляма", то зрозуміло, що треба там походити та зібрати інформацію. А коли на карті "начебто все намальовано", то людям здається. що там все гаразд, і ті помилки можуть роками у карті висіти.

+1000

P. S. Название города - тайна? smile


Все жители частного сектора, вешающие таблички с названием улицы и номером дома, попадают в рай без очереди.

Offline

#8 2015-10-22 11:59:43

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Re: Загрузка большего массива данных на карту из shp файлов

Спасибо за Ваши комментарии. Отвечу на вопросы:

1. Источник данных - собственные наработки (работал в сфере землеустройства и геодезии).
2. Полагаю мои данные будут распространятся по открытой лицензии.
3. Данные, по мере накопления, были проверены в городском Управлении земельных ресурсов. Массив данных - частный сектор, без многоэтажек. В качестве данных я уверен.

Название города пока не стану говорить, хочу попробовать локально импортировать данные, если существует такая возможность.

Offline

#9 2015-10-22 14:50:44

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,605

Re: Загрузка большего массива данных на карту из shp файлов

Судячи з ніку і з вашої єдиної правки місто - Дніпропетровськ. Який зміст це приховувати? Але це і не важливо насправді.

Приватний сектор Дніпропетровська місцями, наприклад тут, не містить адрес в OSM. Якщо ви можете надати власні дані - це було б чудово, але готових інструментів для імпорту не існує. Кожен імпорт - це унікальна процедура.
Якби ви могли надати дані, або якусь їх частину для того щоб усі бажаючі могли подивитися на формат даних, їх якість - то було б легше відповісти щось конкретніше.

Offline

#10 2015-10-22 14:53:55

edward17
Member
Registered: 2013-08-26
Posts: 1,849
Website

Re: Загрузка большего массива данных на карту из shp файлов

M@ster_dp wrote:

хочу попробовать локально импортировать данные, если существует такая возможность.

Нашёл только это:
http://wiki.openstreetmap.org/wiki/Soft … _shapefile


Все жители частного сектора, вешающие таблички с названием улицы и номером дома, попадают в рай без очереди.

Offline

#11 2015-10-22 15:27:41

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,874
Website

Re: Загрузка большего массива данных на карту из shp файлов

M@ster_dp
Чи немогли б ви трохи більше розповісти про свої наміри?

- ви збираєтесь на поточний момент імпортувати власні дані в загальну БД чи в БД, яку встановлено на вашому комп’ютері (локально)?
- у вас є точки з адресами та/або полігони будинків з адресами?

відповідно до цього інші учасникі зможуть вам щось порадити

Offline

#12 2015-10-23 18:26:45

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Re: Загрузка большего массива данных на карту из shp файлов

В общем, я пишу гис систему. В качестве картографического движка использую OSM.
Карта Днепропетровска достаточно хорошо отрисована, но есть белые пятна в частном секторе: отсутствуют номера домов, некоторые кварталы полностью отсутствуют.

У меня есть более полная карта частного сектора, контуры зданий с номерами домов (источник данных я выше уже указывал).
Для моей гис системы важна полнота адресных точек. В том числе важен адресный поиск через Nominatim.

Я локально настроил Tile Server. Выкачал карту Украины. Отделным слоем добавил свои данные. Визуально всё хорошо, но по ним нет адресного поиска, т.к. это отдельный слой.

Для работы адресного поиска, как я понимаю, мне необходимо вручную добавлять дома с адресными точками, в общую БД. Это довольно большой объем информации, и довольно трудоемко, как для одного человека.
Ищу способы это автоматизировать/импортировать.

Конечно, я не хочу чтобы получилось как с картой Харькова. По этому, если есть возможность импортировать в Локальную базу osm - это было бы замечательно.

У меня есть слой домов в виде полигонов в shape-формате, в сементике указаны номера и адреса.
Есть одельно слой адресных точек в shape-формате.
При необходимости, могу предоставить, для проверки.

PS. Может есть способы перенастроить адресный поиск на отдельный слой домов?

Offline

#13 2015-10-23 19:01:30

YarNik
Member
From: Киев
Registered: 2015-07-27
Posts: 176

Re: Загрузка большего массива данных на карту из shp файлов

@M@ster_dp,
сколько у вас есть домов с номерами которых нет в ОСМ? приблизительно.

Offline

#14 2015-10-23 19:35:25

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Re: Загрузка большего массива данных на карту из shp файлов

В районе 30000 домов

Offline

#15 2015-10-23 19:57:38

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 8,729

Re: Загрузка большего массива данных на карту из shp файлов

SviMik и/или Vitalts как-то полуавтомат для импорта номеров домиков с проверкой глазками мастерили на всю Эстонию.
http://osm.svimik.com/xgis2osm.php

Тогда навалились играть в эти игрушки, было прикольно.
http://osm.svimik.com/
Стали увлекаться, соревноваться...

Может что подскажут или помогут.

Last edited by wowik (2015-10-23 20:06:53)

Offline

#16 2015-10-24 00:24:16

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Загрузка большего массива данных на карту из shp файлов

Я делал иструменты для JOSM для переноса номеров домов в полуручном режиме. Теоретически я мог бы помочь с импортом .shp фалов -- для этого тоже есть готовый инструментарий. Всё зависит от качества данных.

Offline

#17 2015-10-27 15:58:21

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Re: Загрузка большего массива данных на карту из shp файлов

Да, я готов предоставить данные.

Но у меня еще один вопрос:
Когда я в QGIS накладываю свои данные на карту OSM - мои данные имеют смещение по оси Y на 32 км.

Для Tile сервера я в ручную задаю для своего слоя "обратное смещение", и всё накладывается ровно 1:1.
Читал, что это связанно с пересчетом проекций.
Пробовал разные варианты пересчета - смещение остается.

Offline

#18 2015-10-27 18:56:54

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Re: Загрузка большего массива данных на карту из shp файлов

С проблемой смещения справился - при конвертации выбрал EPSG 3857.
И вот ссылка на данные https://www.dropbox.com/s/1ai716be1b2fu … p.rar?dl=0
Тут дома только на правом берегу Днепра.

Offline

#19 2015-10-29 09:34:12

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Загрузка большего массива данных на карту из shp файлов

Я посмотрел данные, есть пара проблем. Во-первых, смещение примерно на 10 метров в юго-западном направлении, но это не суть важно. Во-вторых, домики в частном секторе нарисованы почти от фонаря. То есть, примерно в том месте на снимках дом виден, но вот нарисованная форма не имеет ничего общего с действительностью. И я бы понял, если бы был просто нарисован прямоугольник, так нет же -- старательно вырисованы углы и пристройки, которых не существует.

По итогу -- частный сектор в Днепре прорисован сейчас довольно тщательно, поэтому адреску можно перенести на существующие домики. Все крупные здания, включая индустриальные зоны, нанесены хорошо, их можно копировать с геометрией.

Вот черновик конвертации, чтобы оценить. К использованию не готово: неверная кодировка, улицы в адресах не отделены от номеров домов, мусорные теги.

https://www.dropbox.com/s/tc9991uxthiks … m.bz2?dl=0

Я в своё время написал плагин для JOSM для переноса адресов в полуавтоматическом режиме, может помочь с инмпортом.

Просьба к andygol посмотреть на данные.

Offline

#20 2015-10-29 15:02:25

M@ster_dp
Member
Registered: 2015-10-21
Posts: 18

Re: Загрузка большего массива данных на карту из shp файлов

На мой взгляд получилось отлично. Правда смущает смещение, как оно отразится на импорте.

Какие поля shape важны (обязательны) для качественного импорта, а какие являются мусорными?
1. Номер дома.
2. Название улицы (обязательно ли это поле? будет ли работать поиск в Nominatim без него?)
3. Тип здания
4. Количество этажей
5. Город
...

Если в доме прописан только номер (addr:housenumber), будет ли корректно работать адресный поиск в Nominatim?

Offline

#21 2015-10-29 15:42:12

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,874
Website

Re: Загрузка большего массива данных на карту из shp файлов

_sev wrote:

Просьба к andygol посмотреть на данные.

Так, звісно, я  подивлюсь…

Offline

#22 2015-10-29 16:44:33

edward17
Member
Registered: 2013-08-26
Posts: 1,849
Website

Re: Загрузка большего массива данных на карту из shp файлов

M@ster_dp wrote:

Какие поля shape важны (обязательны) для качественного импорта, а какие являются мусорными?
1. Номер дома.
2. Название улицы (обязательно ли это поле? будет ли работать поиск в Nominatim без него?)
3. Тип здания
4. Количество этажей
5. Город
...

Если в доме прописан только номер (addr:housenumber), будет ли корректно работать адресный поиск в Nominatim?

1. Номер дома - обязательно.

2. Название улицы - обязательно. Без неё адресный поиск не будет работать нигде.
Только нужно, чтобы названия были приведены к нашему стандарту:
http://wiki.openstreetmap.org/wiki/Uk:N … 1.86.D1.8C
Кроме того, привязка домика к улице должна осуществляться с помощью отношения associatedStreet (см. http://wiki.openstreetmap.org/wiki/Uk:% … 1.86.D1.96 ). Правда, не знаю, возможно ли сделать это во время импорта. @_sev, умеет ли твой плагин делать это?

3. Тип здания - не обязательно, но желательно. А можно ли узнать, какие значения бывают у этого поля? Возможно, их удастся использовать для более точного задания тега building=*.

4. Количество этажей - не обязательно, но желательно. Указывается в теге building:levels=*

5. Город - не нужно. Для адресного поиска название города берётся с полигона населённого пункта, в котором расположен домик.


Все жители частного сектора, вешающие таблички с названием улицы и номером дома, попадают в рай без очереди.

Offline

#23 2015-10-29 21:19:16

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,874
Website

Re: Загрузка большего массива данных на карту из shp файлов

@M@ster_dp @_sev
а яке кодування символів?
бо у мене ось таке

Address=Âîäîï'ÿíîâà âóëèöÿ, 25
City=Äí³ïðîïåòðîâñüê
LAYER=Unknown Area Type
Number=25

Offline

#24 2015-10-29 22:00:20

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,874
Website

Re: Загрузка большего массива данных на карту из shp файлов

С першого заходу, можу сказати, що ось "так просто взяти і залити все в базу, нажаль, не вийде".
Як сказав _sev всі будинки зі зміщенням, звісно в різних районах по різному. Ось на знімку можна отримати уявлення про те на скільки дані з шейпу зміщені порівняно з даними в ОСМ (зсув Бінгу з БД зміщень) 1664ecb8-7e8e-11e5-9eb6-aa83fbb15a2f.png

  • потрібно розібратись з кодуванням символів, воно не utf-8

  • треба брати невиликі ділянки і рухати їх так, щоб вони хоч трохи відповідали ОСМ

  • було б, добре, якщо буде щось подібне до того, що робили в Естонії SviMik та Vitalts, тоді можна буде швиденько все обклацати

… треба ще подумати, як все це зробити швидко та якісно.

Offline

#25 2015-10-29 22:18:47

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Загрузка большего массива данных на карту из shp файлов

Значить, здається, що дані подобаються. Добре.

andygol wrote:

[*]потрібно розібратись з кодуванням символів, воно не utf-8[/*]

Там нічого розбиратися, я писав, що це чорнова конвертація. Я виправлю кодування.

andygol wrote:

[*]треба брати невиликі ділянки і рухати їх так, щоб вони хоч трохи відповідали ОСМ[/*]

Можливо цього вдасться уникнути. Дивіться нижче.

andygol wrote:

[*]було б, добре, якщо буде щось подібне до того, що робили в Естонії SviMik та Vitalts, тоді можна буде швиденько все обклацати[/*]

Ні, то занадто, у мене інший підхід.

Я розробив плагін для JOSM. У ньому відкриваєш дані імпорту у окремому шарі, а на основному задаєш кольорування будинків без номера дому. Далі, мишою клацаєш по таких будинках, і воно дивиться на геометрію з нижнього шару, яка знаходиться за цими ж координатами, і копіює звідти всі теґи.

Таким чином у напівручному режимі можна досить швидко обклацати цілі райони.

Получається, що зсувати райони потрібно або для нового імпорту, або коли будинки вже занадто сильно зсунуто, що вони не перекриваються.

Offline

Board footer

Powered by FluxBB