Загрузка большего массива данных на карту из shp файлов

Есть полная карта домов с номерами для одного города, в OSM эта карта довольно скудная.
Я хочу добавить дома, которых нет в OSM, для этого города.
У меня эти дома хранятся в shp-формате, их количество свыше 30000.
Подскажите, как можно автоматизировать этот процесс?
В ручную это займет большое время.
Может есть какой-то плагин, или что-то ещё.

PS. Есть отдельно shp-файл с домами, в семантике задан номер дома. Есть отдельно shp-файл с адресными точками.

Для початку адреси можна завантажити сюди - http://openaddresses.io/contribute/

Все предыдущие случаи таких импортов были полуавтоматическими или ручными. Адреса в Харькове, например. Или дома в Эстонии.

А откуда данные-то? Сами собирали 30к адресов? И какой город, если не секрет?

Боюсь, определяющий вопрос - не техническая возможность, а авторские права и лицензионные ограничения. К сожалению, нельзя просто так взять и загрузить какие угодно данные в ОСМ.

К сожалению или к счастью в Украине плевать хотели на авторское право, поэтому даже государственные органы власти не владеют авторскими правами на официальные карты. Ими владеют частные, государственные и коммунальные предприятия.

Но ситуация меняется и госпредприятия учатся извлекать прибыль из государственных данных. Поэтому возможны последствия, вплоть до уголовной ответственности :frowning:

Якщо з ліцензійною чистотою все ОК, сподіваюсь що знайдеться час почитати - http://wiki.openstreetmap.org/wiki/Uk:Import

А я буду проти імпорта.
Бо там буде такий самий пісєц, що й у Харкові.
Ініціатор харківського імпорту зізнався, що його контора перевіряла лише багатоповерхові будинки, а одноповерхові - ні.
Тож ми постійно натикаємося на косяки у районах одноповерхової забудови. Неправильні номери будинків, переплутані вулиці, тощо.
На карті все виглядає “красиво”, а коли починаєш порівнювати карту та місцевість - хапаєшся за голову. :frowning:

Зрозумійте, що імпортоване “сміття” навіть гірше за “білу пляму” на карті. Бо коли на карті “біла пляма”, то зрозуміло, що треба там походити та зібрати інформацію. А коли на карті “начебто все намальовано”, то людям здається. що там все гаразд, і ті помилки можуть роками у карті висіти.

Извините, но вы как-то… мягко разговариваете.

Три конкретных вопроса, без ответов на которые импорт невозможен:

  1. Каков источник данных?
  2. Под какой лицензией они распространяются?
  3. Какова гарантия качества данных (например, отсутствия несуществующих адресов)?
    Пока ответы на эти три вопроса не будут получены, я буду тоже буду против импорта. А когда получим… Посмотрим :slight_smile:

Далее. Если с данными всё ОК и их действительно можно импортировать в OSM, то нужно не просто “почитать Uk:Import, если найдётся время”. Импорт необходимо проводить только в соответствии с правилами:
http://wiki.openstreetmap.org/wiki/Import/Guidelines
Версия на украинском находится в состоянии перевода здесь:
http://wiki.openstreetmap.org/wiki/Uk:Import/Guidelines
Спасибо @andygol за перевод; любой желающий может присоединиться.

+1000

P. S. Название города - тайна? :slight_smile:

Спасибо за Ваши комментарии. Отвечу на вопросы:

  1. Источник данных - собственные наработки (работал в сфере землеустройства и геодезии).
  2. Полагаю мои данные будут распространятся по открытой лицензии.
  3. Данные, по мере накопления, были проверены в городском Управлении земельных ресурсов. Массив данных - частный сектор, без многоэтажек. В качестве данных я уверен.

Название города пока не стану говорить, хочу попробовать локально импортировать данные, если существует такая возможность.

Судячи з ніку і з вашої єдиної правки місто - Дніпропетровськ. Який зміст це приховувати? Але це і не важливо насправді.

Приватний сектор Дніпропетровська місцями, наприклад тут, не містить адрес в OSM. Якщо ви можете надати власні дані - це було б чудово, але готових інструментів для імпорту не існує. Кожен імпорт - це унікальна процедура.
Якби ви могли надати дані, або якусь їх частину для того щоб усі бажаючі могли подивитися на формат даних, їх якість - то було б легше відповісти щось конкретніше.

Нашёл только это:
http://wiki.openstreetmap.org/wiki/Software_comparison/Import_a_shapefile

M@ster_dp
Чи немогли б ви трохи більше розповісти про свої наміри?

  • ви збираєтесь на поточний момент імпортувати власні дані в загальну БД чи в БД, яку встановлено на вашому комп’ютері (локально)?
  • у вас є точки з адресами та/або полігони будинків з адресами?

відповідно до цього інші учасникі зможуть вам щось порадити

В общем, я пишу гис систему. В качестве картографического движка использую OSM.
Карта Днепропетровска достаточно хорошо отрисована, но есть белые пятна в частном секторе: отсутствуют номера домов, некоторые кварталы полностью отсутствуют.

У меня есть более полная карта частного сектора, контуры зданий с номерами домов (источник данных я выше уже указывал).
Для моей гис системы важна полнота адресных точек. В том числе важен адресный поиск через Nominatim.

Я локально настроил Tile Server. Выкачал карту Украины. Отделным слоем добавил свои данные. Визуально всё хорошо, но по ним нет адресного поиска, т.к. это отдельный слой.

Для работы адресного поиска, как я понимаю, мне необходимо вручную добавлять дома с адресными точками, в общую БД. Это довольно большой объем информации, и довольно трудоемко, как для одного человека.
Ищу способы это автоматизировать/импортировать.

Конечно, я не хочу чтобы получилось как с картой Харькова. По этому, если есть возможность импортировать в Локальную базу osm - это было бы замечательно.

У меня есть слой домов в виде полигонов в shape-формате, в сементике указаны номера и адреса.
Есть одельно слой адресных точек в shape-формате.
При необходимости, могу предоставить, для проверки.

PS. Может есть способы перенастроить адресный поиск на отдельный слой домов?

@M@ster_dp,
сколько у вас есть домов с номерами которых нет в ОСМ? приблизительно.

В районе 30000 домов

SviMik и/или Vitalts как-то полуавтомат для импорта номеров домиков с проверкой глазками мастерили на всю Эстонию.
http://osm.svimik.com/xgis2osm.php

Тогда навалились играть в эти игрушки, было прикольно.
http://osm.svimik.com/
Стали увлекаться, соревноваться…

Может что подскажут или помогут.

Я делал иструменты для JOSM для переноса номеров домов в полуручном режиме. Теоретически я мог бы помочь с импортом .shp фалов – для этого тоже есть готовый инструментарий. Всё зависит от качества данных.

Да, я готов предоставить данные.

Но у меня еще один вопрос:
Когда я в QGIS накладываю свои данные на карту OSM - мои данные имеют смещение по оси Y на 32 км.

Для Tile сервера я в ручную задаю для своего слоя “обратное смещение”, и всё накладывается ровно 1:1.
Читал, что это связанно с пересчетом проекций.
Пробовал разные варианты пересчета - смещение остается.

С проблемой смещения справился - при конвертации выбрал EPSG 3857.
И вот ссылка на данные https://www.dropbox.com/s/1ai716be1b2fun3/Dnipro%20-%20shp.rar?dl=0
Тут дома только на правом берегу Днепра.

Я посмотрел данные, есть пара проблем. Во-первых, смещение примерно на 10 метров в юго-западном направлении, но это не суть важно. Во-вторых, домики в частном секторе нарисованы почти от фонаря. То есть, примерно в том месте на снимках дом виден, но вот нарисованная форма не имеет ничего общего с действительностью. И я бы понял, если бы был просто нарисован прямоугольник, так нет же – старательно вырисованы углы и пристройки, которых не существует.

По итогу – частный сектор в Днепре прорисован сейчас довольно тщательно, поэтому адреску можно перенести на существующие домики. Все крупные здания, включая индустриальные зоны, нанесены хорошо, их можно копировать с геометрией.

Вот черновик конвертации, чтобы оценить. К использованию не готово: неверная кодировка, улицы в адресах не отделены от номеров домов, мусорные теги.

https://www.dropbox.com/s/tc9991uxthiksg5/Cities10_Building_AREAS.osm.bz2?dl=0

Я в своё время написал плагин для JOSM для переноса адресов в полуавтоматическом режиме, может помочь с инмпортом.

Просьба к andygol посмотреть на данные.

На мой взгляд получилось отлично. Правда смущает смещение, как оно отразится на импорте.

Какие поля shape важны (обязательны) для качественного импорта, а какие являются мусорными?

  1. Номер дома.
  2. Название улицы (обязательно ли это поле? будет ли работать поиск в Nominatim без него?)
  3. Тип здания
  4. Количество этажей
  5. Город

Если в доме прописан только номер (addr:housenumber), будет ли корректно работать адресный поиск в Nominatim?