Москва: импорт данных по уличным часам из портала открытх данных

Небольшие замечания по ссылке https://github.com/mkgrgis/OSM_clock_mos/blob/main/%D0%AD%D0%BA%D1%81%D0%BF%D0%BE%D1%80%D1%82%20%D1%87%D0%B0%D1%81%D0%BE%D0%B2.geojson

  1. В ключе rating лучше добавить пробез между числом и единицей измерения.
    https://wiki.openstreetmap.org/wiki/Tag:power%3Dtransformer#Tagging
    То есть, например, не
rating=0.125kVA

а лучше

rating=0.125 kVA
  1. Думаю неправильный ключ ref:Моссвет. Если не ошибаюсь, это внутренний идентификатор global_id для сайта data.mos.ru.
    Предлагаю заменить на ref:data.mos.ru

Спасибо, Grass-snake! Исправил, все Ваши замечания по делу. Проверяйте новую загрузку по старому адресу.

Если это просто глобальный номер строки в данных, а не отражение учётного номера часов или чего-то подобного, то мне кажется он совсем не нужен в ОСМ.

По этой привязке можно будет вести обновления аналогично тому как какой-то валидатор сравнивает тождество нужных полей в данных Минкульта. Это привязка к записи внутри одной из таблиц data.mos.ru Привязка сплошная и, думаю, исторчиеская для всех таблиц и очерёдности измнений в любых таблицах.

Привязку делают так же как и в первый раз, поиском поблизости подходящих объектов.
А то получится вот так, у каждого своя база и все пихают свои номера в ОСМ, ну а чё, удобно же


ref:Вася=658
ref:Коля=12
ref:Наташа=55

Но где та граница между ЕГРОКН, ФИАС (что там сейчас вместо?) и ref:Наташа? КЛАДР был, код водных объектов есть :roll_eyes: Опасаетесь утонуть в разметке? Кстати, по столбу может быть один код, по часам другой. Через полметра тогда бы их размещать что ли?

А привязку и обновление как тогда делать? По source=data.mos.ru и координатам?

Насколько я помню, идентификаторы ФИАС вносятся только в единичных случаях, когда валидатор не может однозначно найти соответствие сам. А вот КЛАДРовские теги постепенно выпиливаются, благо и сам КЛАДР почил в бозе. Вообще я тоже за то, чтобы минимизировать завязки в базе ОСМ на ключи из внешних баз данных.

мне все эти коды не очень понятны. Хочется увидеть конечный перечень тегов, с которыми будут импортироваться часы.

Также, для примера, прошу указать конкретные теги для часов на улице Барышиха (Митино), если несложно, сверю с фактом, так сказать :slight_smile:

Тогда прошу Вас описать принцип обновления без ref:data.mos.ru.

Именно для часов оно не так остро, а вот когда пойдут уличные столбы из соседнего перечня, то критерий удаления(сноса столба)/смены модели или типа светильника для столба может оказаться не очень ясным. Насколько хорошо предполагать что не дальше 5 метров от указанной точки есть часы/столб с source=data.mos.ru ? Как пользователи ОСМ мы же имеем право уточнить часы или столб? И подвижки явно будут.

Ув. literan, согласно основному перечню импорта https://github.com/mkgrgis/OSM_clock_mos часов на Барышихе нет.
Согласно двум вспомогательным перечням для ручных правок такие часы есть в списке для ручной доработки https://github.com/mkgrgis/OSM_clock_mos/blob/main/Часы%20уже%20есть.geojson

Первая ссылка в теме, соответсвующий параграф https://wiki.openstreetmap.org/wiki/RU:Москва/Импорт_уличных_часов_Моссвет#.D0.A2.D0.B5.D0.B3.D0.B8.2C_.D0.BA.D0.BE.D1.82.D0.BE.D1.80.D1.8B.D0.B5_.D1.81.D1.82.D0.B0.D0.B2.D0.B8.D0.BC_.2F_Tagging_Plans

извините, я не IT-специалист, по ссылке вижу какую-то программу или скрипт. Тегов не вижу.

точку вижу, но опять же теги, которые предполагается добавлять к существующей точке, не вижу.

У меня тоже это первое нечто в PostGIS, учусь IT. Это скрипт SQL.

Из п.2 извлекаю набор тегов
“ref:data.mos.ru”, “clock:model”, rating, operator, visibility, display, support, source, amenity. Правила их значений см. в п.2.

Доработка тегов точек не будет автоматизирована, есть коллега, который поможет раскидать совпадения в ручном режиме. О плане импорта см. главу “Процесс-алгоритм слияния данных / Data Merge Workflow”, где всё указано.

Точно так же как и сейчас вы совмещаете данные мос.ру и существующие в ОСМ (вы же это делаете, да?).
Хотя походу нет, прочитав ваш пункт

я вижу, что там нет о процессе магии

ваш полученный geojson + текущий OSM => необходимые изменения в OSM отправляемы на сервер

и всё сводиться к ручному разгребанию конфликтов.
Ну то есть по сути вы просто добавляете отсутствующие часы по тем координатам что даны. Какой либо проверки куда эти точки в итоге попадют (на дорогу или в здание) я не увидел, т.е. насколько можно доверять данным координатам не понятно.

Да, ибо их совсем немного так как в Москве сейчас мало как часов, так и уличных столбов.

Да. Это прямо и написано. https://wiki.openstreetmap.org/wiki/RU:Москва/Импорт_уличных_часов_Моссвет#.D0.A1.D1.81.D1.8B.D0.BB.D0.BA.D0.B8_.2F_References

Эксперементальная слепая выборка нескольких точек из разных частей набора и сверка по панорамам как написано в https://wiki.openstreetmap.org/wiki/RU:Москва/Импорт_уличных_часов_Моссвет#.D0.9E.D0.A2.D0.9A_-.D0.BF.D1.80.D0.BE.D0.B2.D0.B5.D1.80.D0.BA.D0.B0.D0.BA.D0.B0.D1.87.D0.B5.D1.81.D1.82.D0.B2.D0.B0_.2F_QA вызывает вопросы? Может ли такая методология считаться непреемлимой? Если нет, то Вы вправе сообщить свои результаты по некоторому количеству случайно выбранных добавляемых часов относительно OSM и панорам разного происхождения.

Среднее отклонение по размеченным часам близко к 4м, Вы можете его вычислить самостоятельно в представлениях, код которых описан и на странице импорта, и в репозитории.

Сейчас, так скажем, привязки как такой нет. Проверяю OSM в 17 метрах на часы и в 5 метрах на уличный столб. Если что-то есть, то считаю что это наш объект. Но без ref сложно понять то или не то. Только полагаться на теги в данной окрестности того, что официально опубликовали. Как здесь отслеживать удаление часов ума не приложу. С набором столбов проблема удалений будет более острой, так как их действиетльно много. Поэтому логику лучше обсудить уже сейчас. Для масштабирования так сказать.
При удалении часов в окрестности ничего не будет, но ведь часы не только Моссветовские бывают… Надёжность привязки без ref мне не кажется достаточной. Если знаете как удачно решить пробелму удалений (и обновлений), то прочитаю с удовольствием. Достоверность скрипта с ref:data.mos.ru кажется мне абсолютной в указанном контексте задачи.

Ув. freeExec, не подскажите, каков типичный срок вылёживания исправленных документов по экспорту на форуме? Когда считается, что самое время отправлять на Talk-ru и Imports?

От коллеги, занимающегося проверкой данных:

не понимаю, еще и столбы какие-то собираетесь импортировать? выше же речь была про часы.

может, не надо нам столбы с точностью “многометров”?

обсуждение пока не закончилось. “вылеживание” будет когда несколько дней комментариев не будет (все желающие выскажутся). По импортам спешка точно не нужна.

Хорошо, будем считать, что координаты внушают доверия.

Так как самого ref на столбе нет, то это филькина грамота, которая ни чем не подтверждается и по сути к самому объекту не относится и любой желающий может туда вписать что угодно, хоть привет маме.
И тут два варианта, либо мы можем сопоставить объект с данными и утверждать, что ref не верен, но тогда зачем этот ref если других косвенных признаков достаточно для идентификации (ведь он нужен только для этого).
Либо не можем и тогда ref в общем-то не помощник, а только ухудшает ситуацию, ибо любой может изменить, передвинуть, удалить. Скрипт радостно рапортует что всё ОК, а по факту кто-то скопировал объект и теперь их 3 одинаковые штуки. Кто-то решил, что это не тот объект и утащил его в другую сторону. Т.е. полагаясь на номер мы уже не контролируем данные и соответственно в данных развивается бардак и несоответствие.

Поэтому я выступаю за первый вариант, в поиске подходящего объекта по близости. Нашли один - хорошо это он. Нашли два - алярм и надо идти разбираться почему так, лишний ли в осм или данные устарели. А если не нашли, надо поднять прошлый импорт и посмотреть, а загружали ли этот объект уже. А если загружали куда он делся, а если удалили спросить автора почему. Может у нас опять данные не поспевают за окружающим миром.
После заливки данных на сервер им присвоят ID, это можно сохранить и знать, какой объект как был внесён в ОСМ, если сильно хочется.

Неделю как минимум стоит подождать, может кто-то заходит на форум только по выходным.

Такие исключения придётся хранить у себя, что вот те координаты в данных не верные, и надо использовать для соответствия такие. И это мы только координаты смогли проверить, а ещё не можем определять электрическую мощность (кстати зачем оно нужно нам?) и типы часов по внешнему виду, я уверен в этих данных ошибок ещё больше.

В общем импорт это всегда не про открыл данные нажал выгрузить.

По своему прошлому проекту знаю, что самое сложное в слиянии 2 баз: это нормализация данных (если данные хранятся в разных форматах) и проверка на ошибки (чтобы не объединять разные объекты в один, проверка на дублирование, проверка в какой базе более точные и актуальные сведения и так далее). Задача сложная и мне самому интересно посмотреть на результат импорта.

Просьба, пришлите пожалуйста файл .osm, который вы хотите заливать в базу. Это самый удобный способ проверки импорта на этапе проверки.