"Огни Москвы": собираем ОТК. Импорт по уличным столбам из data.mos.ru

Разве там был голос “за”? Я так понял, что коллега хочет извлечь данные по некоторым районам Зеленограда и сравнить их с реальностью. Для этого мы тут и обсуждаем, чтобы понять пригодность данных по качеству.

Вот мне коллега вчера прислал отзыв, к сожалению, не очень предметный:

Потому что импорт предполагает согласование с местным сообществом, которое может его и отклонить по самым разным причинам. Причём эти причины не обязательно должны быть единые и формализованные во всём проекте.

Цитата:

То есть то, что сочли приемлемыми маперы из Киева, совершенно не обязано считаться приемлемым маперами в Москве. И дело не обязательно в качестве - причины могут быть любые.

Конкретно сейчас опасения вызывает то, что в результате этого импорта потом людям (не ботам) руками будет крайне сложно что-то исправить в Москве. Просто так уже нельзя подвинуть дорогу или трамвайные пути, без переноса десятков столбов вдоль них.

Визуально тоже можно оценить, что будет видно в редакторе - по Нижнему Новгороду сейчас Росреестр выложил ЕЭКО, где в том числе отмечены все столбы и провода между ними. Вот пример:

Уже сейчас нельзя подвинуть дорогу, не трогая прилежащие газоны, бордюры, остановки, лавочки, урны, а также здания и сооружения. Помню, как не так давно появлялись мапперы, выранивающие дороги по трекам, в результате чего дороги шли по газонам, трансформаторным будкам и т.п

Как раз там всё предметно, тот предмет уже пробовали.

И всё это видно на снимке и понятно как исправлять. Куда двигать столбы не понятно. И на тот же Киев есть более детальные снимки, а не максар какой-то.

уже сейчас в Москве многие места при открытии вызывают тормоза не только при редактировании из iD, но даже и в JOSM. Если там еще добавятся тысячи столбов - редактировать станет совсем сложно. Сколько новичков сразу отсеется.

Значит больше народу захочет обновлений редакторов, что приведет к их скорейшему развитию и улучшению

К AnakinNN

Надеюсь, что хотя бы обоснованными и понятными они должны быть.

Это тоже понятно, только не ясно причём оно тут. Под “разным уровнем” я понимаю качество и детализацию. Детализация примерно понятна и Вам она кажется чрезмерной. Качество до сих пор никто даже не смог оценить. Спасибо двум коллегам, которые согласились попробовать сделать выводы. Можете ли Вы исключить сценарий, что коллеги придумают критерий проверки качества, который оставит от исходного импорта 1000-1500 столбов? Пока что у Вас есть уверенность что под импорт будет 80-90% предоставленных данных. До предметной оценки набора данных я в этом не уверен. Пока нет оценки качества лицензионно совместимомого набора данных нельзя быть уверенным даже в направлении импорта. Формально обсуждаем столбы, но вдруг, несколько реплик назад, всплыла возможность доопределить столбы-вышки сотовых операторов данными осветительного назначения. Вы уверены что в наборе данных не сидит других возможностей?

Проблема связаности данных есть везде и едва ли стоит её так бояться. Даже в Павловском парке https://www.openstreetmap.org/relation/1721131 подвинуть многие аллеи без проверки последствий для десятков соседних объектов уже нельзя. Для меня важнее то, что все эти объекты соответствуют местности.

Если эти данные адекватные и привязываемые по контролю пересечений со зданиями к OSM, то не вижу больших проблем. Если они лицензионно совместимые, то призадумался бы над импортом. OSM как раз предназначен для всех адекватных более-менее стабильных данных вплоть до лавочек и урн. Местные ЛЭП вполне приветствуются.

Да, Вам может казаться что площадка с огородом https://www.openstreetmap.org/relation/5906319 из более чем сотни объектов это слишком, но все они есть на местности в пределах топографической погрешности.

Ваше мнение мне понятно, но к сожалению, относительно самого набора данных оно слишком абстрактно. Я называю тему “собираем ОТК” и хочу понять качество данных; Вы указываете, что ОТК собирать не надо, так как данных просто много. При этом критерии качества данных и возможной фильтрации Вами даже не затрагиваются. Когда разговор идёт об импорте обычно вспоминают возможность периодических автоматизированных обновлений по динамическим исходным данным, оценку сходимости через валидаторы и прочее. Существование таких механизмов возможного улучшения данных впредь Вами не учитывается, если вопрос о перспективной поддерживаемости многих тысяч столбов. Но, опять-таки импортируемое количество неизвестно, так как нет оценки качества данных и критериев фильтрации источника данных.

P. s. Я не хочу как у французов с троекратным дублированием одной смысловой линнии при импорте из кадастра (пример в районе https://www.openstreetmap.org/node/190129880), а хочу просто разобраться с чем мы имеем дело и попросил помощи у сообщества в оценке качества данных. Чтобы не приходить к сообществу с пустыми руками в репозиторий были выложены скрипты PostGIS, нужные для вычислений по массовой оценке качества данных.

странно, у меня эта тема называется по-другому: " “Огни Москвы”: собираем ОТК. Импорт по уличным столбам из data.mos.ru"

Что за “ОТК” кстати?

Это так подчеркивалась главная мысль через сокращение упоминания до ключевых слов :wink:

Отдел технического контроля. Обычная заводская аббревиатура, ушедшая в народ. ОТК, как правило, рассмтаривает то что к нему поступает на пригодность по каким-то критериям. В результате ОТК может отправить на сбыт, возвратить на доработку и списать в утиль.

что ж, если мы тут превращаем тему в карнавал, то я могу продолжить с аналогичными аргументами против:

внесение информации о столь важной и жизненной инфраструктуры как освещение столицы государства, находящегося в кольце врагов, на сервера, расположенные на территории враждебных государств, поспособствует скорейшей блокировке доступа к проекту Роскомнадзором.

MosKartograf, спасибо за развёрнутый ответ.

Другие участники понимают под этим другие критерии, которые не менее важны. Надо ведь обсудить с сообществом не просто абстрактное качество, а конкретно пригодность и допустимость для импорта в OSM. Помимо качества, как такового, и условий использования (с этим разобрались), тут играют роль и другие факторы.

Импорт сотовых вышек - совершенно другое дело: их гораздо меньше, они видны на спутниковых снимках. Тут я готов предметно обсудить и помочь. На худой конец, если импорт не выгорит, их можно честно руками внести со сверкой по Яндекс-панорамам.

Моё возражение касалось именно импорта 500+ тысяч опор освещения.

Садоводство Бодэ отрисовывалось вами и vonrockos (если не ошибаюсь) 1. вручную, а не автоматическим импортом 2. с использованием детальнейшего аэрофото Сергея Астахова и личных наблюдений на местности. При этом все окружающие объекты правились синхронно и согласованно. Вы сами следили за тем, чтобы детализация такого уровня адекватно вписалась в OSM, и увеличивали уровень детализации постепенно - так сказать, естественным путём.

Это в корне отличается от ситуации, когда вы импортируете тысячи объектов, к большей части из которых вы в будущем не притронетесь (просто в силу ограниченности физических возможностей человека и часов в сутках, не сочтите за обвинение в лени или халатности). Аэрофото на всю территорию Москвы, которая покрыта означенными опорами, у нас нет. А проблемами верификации и согласования их с другими объектами в базе так или иначе придётся иметь дело другим, кто захочет порисовать Москву.

Да, я обсуждаю не конкретно этот датасет, а стараюсь прикинуть ситуацию на пару шагов вперёд. То есть допустим, что качество хорошее, допустим, мы импортировали - как жить дальше? Вопрос поддержания данных в будущем, и кто заинтересован этим заниматься - написать упомянутый валидатор, лично обходить город в поисках изменений - это тоже то, что лучше обсудить “на берегу”.

Вот только данные появятся в базе не в перспективе, а раньше. В будущем, когда и снимки будут детальнее, и людей будет больше - тогда и разговор будет совсем другим. Пока отталкиваюсь от того, что имеем на сегодня. Реальность же такова, что имеющимися силами сейчас возможно поддерживать детальную отрисовку на небольших локальных участках + относительно “вечные” объекты глобально (леса, реки, линии ЖД и т. д.). Касательно ЛЭП, если подойти реалистично - будет уже отлично, если удастся отрисовать хотя бы сеть напряжением 35 кВ и выше по РФ. Уличное освещение - это 0,4 кВ, пока об этом ещё совсем рано думать. Как мне кажется.

Ваши аналогии к проблемам ПО не имеют отношения.

Аналогия тут ближе к ситуации вокруг 32-х битных OSM id узла, линии,…
Вот бы все боялись, что номера кончатся, и перестали бы новые объекты мапить, стали бы id экономить. Так нет же, возникавшие проблемы програмного обепечения никого не останавливали, а производители ПО успешно поддержали 64-битные id.

А как часто обновляется информация на data.mos.ru? Может быть стоит подумать о механизме каких-нибудь регулярных дифференциальных обновлений?

А какая разница. Эти столбы не “вживляются” в ОСМ, как например какие-нибудь адреса, а будут лежать просто рядом. По сути не будет никакой разницы удалить всё и залить заново, никакой новой информации ОСМ им не приносит. Т.е. в итоге куда надёжней использовать датасет с мос.ру, а не возиться в ОСМ.

Согласно информации https://data.mos.ru/opendata/61762/passport?versionNumber=1&releaseNumber=34 обновляют по мере поступления.

На прмиере часов напишем валидатор привязки по расположению. Как только убедимся что он работает, добавим генерацию .osc для обновления данных по тегам и предупреждения о сильном расхождении координат.

В случае полного импорта столбов можно будет свести дело к валидатору для ручного подтверждения измнений. В случае неполного может обкатать технологию на столбах с вышками мобильной связи по той же самой схеме отслеживания измнений что и для часов.

Допустим по парку в 600 га столбы вживятся. И по вышкам мобильной связи тоже. Нужна оценка вживляемости по этим ограниченным примерам по которым можно судить об адекватности всего набора данных.

Вы тут всё упираете в качество данных, а я говорю об их сути, вообще не взирая на качество. Сейчас в ОСМ 0.0% столбов от существующего. Это чуждый для маперов объект, и влив 100500+ таких объектов, вы ни как не заставите их прижиться.
Эти столбы самодостаточный, полноценный и готовый набор, ОСМу нечего предложить ему.

В качестве предварительного итога.
Запланированы три работы по оценке качества.

  1. Соотнесение с уличными часами после их импорта
  2. Соотнесение с существующими столбами
  3. Соотнесение с вышками мобильной связи.

Выводы для себя:

  1. Сообщество в основном недееспособно в качестве ОТК так как была только одна просьба ознакомиться с территориальной проекцией предлагаемых данных.
  2. Любой разговор впредь нужно начинать с выводов по оценке качества, которые должны быть готовы до начала обсуждения.
  3. Обсуждение мощности импорта никому не инетресно, все и всегда будут считать что импорту подлежат 90-100% предлагаемых данных.

Приходится ставить многоточие и брать длинную паузу на исследовательскую работу.

Беспредметный разговор.

В соседней теме RocketData предлагает для импорта различные POI. Только там количество объектов = несколько сотен за пару недель (суммарно, разделено на пакеты по бренду). И те, кому это интересно, проверяют эти данные.

А кому могут быть интересны столбы? На этом портале очень много данных, которые гораздо более полезны для сообщества (кому нужны столбы?) И как быстро проверять точность данных? Сколько времени уйдёт на полный импорт?

Вы, кстати, сами проверяли качество данных до создания темы? Половина столбов внесена нормально, а половина несколько разных столбов в одной точке. Как собираетесь проверять эти данные?

Также есть проблема с точностью данных, здесь как подложка использована 2ГИС и, кажется, некоторые столбы находятся не совсем там, где они должны быть.

В общем, Вам уже сказали в одном из сообщений. Если считаете, что нужно вносить именно эти данные, то выбирайте какой-нибудь небольшой район пробуйте. Но я рекомендую заняться каким-нибудь другим импортом. Вернуться обратно к столбам можно будет в любой момент.