You are not logged in.

#1 2022-02-14 10:34:54

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Москва: импорт данных по уличным часам из портала открытх данных

Добрый день, коллеги!
Собственно, кто что думает по поводу https://wiki.openstreetmap.org/wiki/RU: … ов_Моссвет. Прошу сильно не пинать, всё, кроме лицензионной чистоты, может оказаться не до конца проработанным, так как ранее импортами не занимался.

Offline

#2 2022-02-14 10:36:04

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 348
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Коллеги, подскажите, с таким не стыдно выходить на рассылки? https://wiki.openstreetmap.org/wiki/RU: … ов_Моссвет

Небольшие замечания по ссылке https://github.com/mkgrgis/OSM_clock_mo … B2.geojson

1. В ключе rating лучше добавить пробез между числом и единицей измерения.
https://wiki.openstreetmap.org/wiki/Tag … er#Tagging
То есть, например, не

rating=0.125kVA

а лучше

rating=0.125 kVA

2. Думаю неправильный ключ ref:Моссвет. Если не ошибаюсь, это внутренний идентификатор global_id для сайта data.mos.ru.
Предлагаю заменить на ref:data.mos.ru

Online

#3 2022-02-14 10:53:15

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Спасибо, Grass-snake! Исправил, все Ваши замечания по делу. Проверяйте новую загрузку по старому адресу.

Offline

#4 2022-02-14 11:00:56

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,462

Re: Москва: импорт данных по уличным часам из портала открытх данных

Grass-snake wrote:

Если не ошибаюсь, это внутренний идентификатор global_id для сайта data.mos.ru

Если это просто глобальный номер строки в данных, а не отражение учётного номера часов или чего-то подобного, то мне кажется он совсем не нужен в ОСМ.

Offline

#5 2022-02-14 11:16:49

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

если это просто глобальный номер строки в данных, а не отражение учётного номера часов или чего-то подобного, то мне кажется он совсем не нужен в ОСМ.

По этой привязке можно будет вести обновления аналогично тому как какой-то валидатор сравнивает тождество нужных полей в данных Минкульта. Это привязка к записи внутри одной из таблиц data.mos.ru Привязка сплошная и, думаю, исторчиеская для всех таблиц и очерёдности измнений в любых таблицах.

Offline

#6 2022-02-14 11:36:26

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,462

Re: Москва: импорт данных по уличным часам из портала открытх данных

Привязку делают так же как и в первый раз, поиском поблизости подходящих объектов.
А то получится вот так, у каждого своя база и все пихают свои номера в ОСМ, ну а чё, удобно же

ref:Вася=658
ref:Коля=12
ref:Наташа=55

Offline

#7 2022-02-14 11:44:19

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

у каждого своя база и все пихают свои номера в ОСМ, ну а чё, удобно же

Но где та граница между ЕГРОКН, ФИАС (что там сейчас вместо?) и ref:Наташа? КЛАДР был, код водных объектов есть roll Опасаетесь утонуть в разметке? Кстати, по столбу может быть один код, по часам другой. Через полметра тогда бы их размещать что ли?

А привязку и обновление как тогда делать? По source=data.mos.ru и координатам?

Last edited by MosKartograf (2022-02-14 11:46:13)

Offline

#8 2022-02-14 13:05:19

AnakinNN
Member
From: Нижний Новгород
Registered: 2017-08-07
Posts: 766
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

Насколько я помню, идентификаторы ФИАС вносятся только в единичных случаях, когда валидатор не может однозначно найти соответствие сам. А вот КЛАДРовские теги постепенно выпиливаются, благо и сам КЛАДР почил в бозе. Вообще я тоже за то, чтобы минимизировать завязки в базе ОСМ на ключи из внешних баз данных.

Offline

#9 2022-02-14 14:58:59

literan
Member
Registered: 2012-11-06
Posts: 3,819
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Собственно, кто что думает по поводу https://wiki.openstreetmap.org/wiki/RU: … ов_Моссвет.

мне все эти коды не очень понятны. Хочется увидеть конечный перечень тегов, с которыми будут импортироваться часы.

Также, для примера, прошу указать конкретные теги для часов на улице Барышиха (Митино), если несложно, сверю с фактом, так сказать smile

Offline

#10 2022-02-14 15:02:05

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Вообще я тоже за то, чтобы минимизировать завязки в базе ОСМ на ключи из внешних баз данных.

Тогда прошу Вас описать принцип обновления без ref:data.mos.ru.

Именно для часов оно не так остро, а вот когда пойдут уличные столбы из соседнего перечня, то критерий удаления(сноса столба)/смены модели или типа светильника для столба может оказаться не очень ясным. Насколько хорошо предполагать что не дальше 5 метров от указанной точки есть часы/столб с source=data.mos.ru ? Как пользователи ОСМ мы же имеем право уточнить часы или столб? И подвижки явно будут.

Offline

#11 2022-02-14 15:17:40

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

прошу указать конкретные теги для часов на улице Барышиха (Митино), если несложно, сверю с фактом,

Ув. literan, согласно основному перечню импорта https://github.com/mkgrgis/OSM_clock_mos часов на Барышихе нет.
Согласно двум вспомогательным перечням для ручных правок такие часы есть в списке для ручной доработки https://github.com/mkgrgis/OSM_clock_mo … ть.geojson

Хочется увидеть конечный перечень тегов

Первая ссылка в теме, соответсвующий параграф https://wiki.openstreetmap.org/wiki/RU: … ging_Plans

Offline

#12 2022-02-14 16:19:03

literan
Member
Registered: 2012-11-06
Posts: 3,819
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Первая ссылка в теме, соответсвующий параграф https://wiki.openstreetmap.org/wiki/RU: … ging_Plans

извините, я не IT-специалист, по ссылке вижу какую-то программу или скрипт. Тегов не вижу.


MosKartograf wrote:

Согласно двум вспомогательным перечням для ручных правок такие часы есть в списке для ручной доработки https://github.com/mkgrgis/OSM_clock_mo … ть.geojson

точку вижу, но опять же теги, которые предполагается добавлять к существующей точке, не вижу.

Offline

#13 2022-02-14 16:28:27

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

я не IT-специалист

У меня тоже это первое нечто в PostGIS, учусь IT. Это скрипт SQL.

Из п.2 извлекаю набор тегов
"ref:data.mos.ru", "clock:model", rating, operator, visibility, display, support, source, amenity. Правила их значений см. в п.2.

точку вижу, но опять же теги, которые предполагается добавлять к существующей точке, не вижу

Доработка тегов точек не будет автоматизирована, есть коллега, который поможет раскидать совпадения в ручном режиме. О плане импорта см. главу "Процесс-алгоритм слияния данных / Data Merge Workflow", где всё указано.

Offline

#14 2022-02-14 18:41:43

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,462

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

А привязку и обновление как тогда делать?

Точно так же как и сейчас вы совмещаете данные мос.ру и существующие в ОСМ (вы же это делаете, да?).
Хотя походу нет, прочитав ваш пункт

MosKartograf wrote:

О плане импорта см. главу "Процесс-алгоритм слияния данных / Data Merge Workflow", где всё указано.

я вижу, что там нет о процессе магии

ваш полученный geojson + текущий OSM => необходимые изменения в OSM отправляемы на сервер

и всё сводиться к ручному разгребанию конфликтов.
Ну то есть по сути вы просто добавляете отсутствующие часы по тем координатам что даны. Какой либо проверки куда эти точки в итоге попадют (на дорогу или в здание) я не увидел, т.е. насколько можно доверять данным координатам не понятно.

Offline

#15 2022-02-14 19:42:33

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

всё сводиться к ручному разгребанию конфликтов

Да, ибо их совсем немного так как в Москве сейчас мало как часов, так и уличных столбов.

Ну то есть по сути вы просто добавляете отсутствующие часы по тем координатам что даны.

Да. Это прямо и написано. https://wiki.openstreetmap.org/wiki/RU: … References

Какой либо проверки куда эти точки в итоге попадют (на дорогу или в здание) я не увидел, т.е. насколько можно доверять данным координатам не понятно.

Эксперементальная слепая выборка нескольких точек из разных частей набора и сверка по панорамам как написано в https://wiki.openstreetmap.org/wiki/RU: … .B0_.2F_QA вызывает вопросы? Может ли такая методология считаться непреемлимой? Если нет, то Вы вправе сообщить свои результаты по некоторому количеству случайно выбранных добавляемых часов относительно OSM и панорам разного происхождения.

Среднее отклонение по размеченным часам близко к 4м, Вы можете его вычислить самостоятельно в представлениях, код которых описан и на странице импорта, и в репозитории.

Точно так же как и сейчас вы совмещаете данные мос.ру и существующие в ОСМ (вы же это делаете, да?)

Сейчас, так скажем, привязки как такой нет. Проверяю OSM в 17 метрах на часы и в 5 метрах на уличный столб. Если что-то есть, то считаю что это наш объект. Но без ref сложно понять то или не то. Только полагаться на теги в данной окрестности того, что официально опубликовали. Как здесь отслеживать удаление часов ума не приложу. С набором столбов проблема удалений будет более острой, так как их действиетльно много. Поэтому логику лучше обсудить уже сейчас. Для масштабирования так сказать.
При удалении часов в окрестности ничего не будет, но ведь часы не только Моссветовские бывают... Надёжность привязки без ref мне не кажется достаточной. Если знаете как удачно решить пробелму удалений (и обновлений), то прочитаю с удовольствием. Достоверность скрипта с ref:data.mos.ru кажется мне абсолютной в указанном контексте задачи.

Last edited by MosKartograf (2022-02-14 19:48:28)

Offline

#16 2022-02-15 05:57:01

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Ув. freeExec, не подскажите, каков типичный срок вылёживания исправленных документов по экспорту на форуме? Когда считается, что самое время отправлять на Talk-ru и Imports?

Offline

#17 2022-02-15 06:13:27

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

От коллеги, занимающегося проверкой данных:

По данным Моссвета нашёл в двух случаях: ref:data.mos.ru=171656341 - отмечены не на той стороне дороги, в OSM точнее отмечены когда-то мной.

ref:data.mos.ru=171656193 - находятся в нескольких метрах от подземного перехода (видно на панорамах), а в данных отмечены подальше.

Эти случаи сегодня проверил. Также проверил сегодня и другие часы в этом районе, у них положение оказалось очень близким к реальному.

Offline

#18 2022-02-15 08:06:40

literan
Member
Registered: 2012-11-06
Posts: 3,819
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

С набором столбов проблема удалений будет более острой, так как их действиетльно много.

не понимаю, еще и столбы какие-то собираетесь импортировать? выше же речь была про часы.

может, не надо нам столбы с точностью "многометров"?

Offline

#19 2022-02-15 08:07:41

literan
Member
Registered: 2012-11-06
Posts: 3,819
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Ув. freeExec, не подскажите, каков типичный срок вылёживания исправленных документов по экспорту на форуме?

обсуждение пока не закончилось. "вылеживание" будет когда несколько дней комментариев не будет (все желающие выскажутся). По импортам спешка точно не нужна.

Offline

#20 2022-02-15 08:22:08

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,462

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Среднее отклонение по размеченным часам близко к 4м

Хорошо, будем считать, что координаты внушают доверия.

MosKartograf wrote:

Но без ref сложно понять то или не то. Только полагаться на теги в данной окрестности того, что официально опубликовали. Как здесь отслеживать удаление часов ума не приложу.

Так как самого ref на столбе нет, то это филькина грамота, которая ни чем не подтверждается и по сути к самому объекту не относится и любой желающий может туда вписать что угодно, хоть привет маме.
И тут два варианта, либо мы можем сопоставить объект с данными и утверждать, что ref не верен, но тогда зачем этот ref если других косвенных признаков достаточно для идентификации (ведь он нужен только для этого).
Либо не можем и тогда ref в общем-то не помощник, а только ухудшает ситуацию, ибо любой может изменить, передвинуть, удалить. Скрипт радостно рапортует что всё ОК, а по факту кто-то скопировал объект и теперь их 3 одинаковые штуки. Кто-то решил, что это не тот объект и утащил его в другую сторону. Т.е. полагаясь на номер мы уже не контролируем данные и соответственно в данных развивается бардак и несоответствие.

Поэтому я выступаю за первый вариант, в поиске подходящего объекта по близости. Нашли один - хорошо это он. Нашли два - алярм и надо идти разбираться почему так, лишний ли в осм или данные устарели. А если не нашли, надо поднять прошлый импорт и посмотреть, а загружали ли этот объект уже. А если загружали куда он делся, а если удалили спросить автора почему. Может у нас опять данные не поспевают за окружающим миром.
После заливки данных на сервер им присвоят ID, это можно сохранить и знать, какой объект как был внесён в ОСМ, если сильно хочется.

MosKartograf wrote:

не подскажите, каков типичный срок вылёживания исправленных документов по экспорту на форуме

Неделю как минимум стоит подождать, может кто-то заходит на форум только по выходным.

MosKartograf wrote:

От коллеги, занимающегося проверкой данных:

Такие исключения придётся хранить у себя, что вот те координаты в данных не верные, и надо использовать для соответствия такие. И это мы только координаты смогли проверить, а ещё не можем определять электрическую мощность (кстати зачем оно нужно нам?) и типы часов по внешнему виду, я уверен в этих данных ошибок ещё больше.

В общем импорт это всегда не про открыл данные нажал выгрузить.

Offline

#21 2022-02-15 09:15:55

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 348
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

По своему прошлому проекту знаю, что самое сложное в слиянии 2 баз: это нормализация данных (если данные хранятся в разных форматах) и проверка на ошибки (чтобы не объединять разные объекты в один, проверка на дублирование, проверка в какой базе более точные и актуальные сведения и так далее). Задача сложная и мне самому интересно посмотреть на результат импорта.

Просьба, пришлите пожалуйста файл .osm, который вы хотите заливать в базу. Это самый удобный способ проверки импорта на этапе проверки.

Online

#22 2022-02-15 10:29:45

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

не понимаю, еще и столбы какие-то собираетесь импортировать? выше же речь была про часы

по следу идёт коллега, приглядывающийся к набору данных по уличным столбам big_smile Часы это, так сказать, мой пробный шар. Не думал, что так быстро удастся начать обсуждение импорта.

может, не надо нам столбы с точностью "многометров"?

Точно не надо. Надо на примере часов понять какая точность будет допустимой для часов, а, потом, и для столбов.

Так как самого ref на столбе нет, то это филькина грамота...

Да, проверяемая на местности маркировка часов или столбов отсутствует. Как и рек по водному реестру, как и объектов культурного наследия по ЕГРОКН...
Если примеряться к столбам, то там нередко есть носитель RFID с каким-то номером, но он на высоте ок. 3 м и явно не относится к проверяемым картографами. Значит как часы, так и столбы оставляем без ref:data.mos.ru.

...тогда ref в общем-то не помощник, а только ухудшает ситуацию, ибо любой может изменить, передвинуть, удалить. Скрипт радостно рапортует что всё ОК, а по факту кто-то скопировал объект и теперь их 3 одинаковые штуки. Кто-то решил, что это не тот объект и утащил его в другую сторону. Т.е. полагаясь на номер мы уже не контролируем данные и соответственно в данных развивается бардак и несоответствие.

Согласен. Буду опираться только на совпадение до некоторого радиуса с нужным объектом + operator=Моссвет. Ref исключаю из выгрузки.

После заливки данных на сервер им присвоят ID, это можно сохранить и знать, какой объект как был внесён в ОСМ, если сильно хочется.

Да, с обратной привязкой проще будет, если только обеспечить достоверность исходного импорта. Этим как раз и занимаемся.

Такие исключения придётся хранить у себя

Создам таблицу и обновлю документацию по импорту.

И это мы только координаты смогли проверить, а ещё не можем определять электрическую мощность (кстати зачем оно нужно нам?) и типы часов по внешнему виду, я уверен в этих данных ошибок ещё больше.

Мощность потребления зависит от типа часов. Тип легко проверяется по внешнему виду. По типам вообще не было замеченных расхождений до сих пор. Мощность картируется на энергетических картах, почему бы и нет?

Просьба, пришлите пожалуйста файл .osm, который вы хотите заливать в базу. Это самый удобный способ проверки импорта на этапе проверки.

Его нет в природе. См. https://wiki.openstreetmap.org/wiki/RU: … on_Results Речь идёт только о полном добавлении новых данных. Увы, конфликты проще решить руками, так их мало.
Если Вам, ув. Grass-snake, известно, что JOSM может генерировать фалы измнений, прошу сообщить об этом. На первый взгляд функционал не обнаружил, документацию совсем плотно не ковырял.

Last edited by MosKartograf (2022-02-15 10:30:12)

Offline

#23 2022-02-15 11:37:43

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 348
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Если Вам, ув. Grass-snake, известно, что JOSM может генерировать фалы измнений, прошу сообщить об этом. На первый взгляд функционал не обнаружил, документацию совсем плотно не ковырял.

Прежде всего от себя хочу написать, что есть альтернативный вариант: использовать уже готовое решение. Например, мне очень понравилась библиотека Osmapi для Python. Обратите внимание на неё, она может сильно упростить жизнь. Мне очень понравилось получать нужные мне объекты (единичные) через неё. Ещё она может загружать данные в OSM, но этот вариант я на практике не проверял.

Сам хотел заняться импортом, даже начал писать скрипт на Python. Хотел создавать osm-файл, который заливал вручную через JOSM. Тоже читал документацию, понял что ничего не понял и решил действовать методом тыка (но это костыльный способ, на практике не проверял, у меня не дощло до импорта на этапе проверки имеющихся объектов в OSM):
1. Открываю сайт OSM и иду какой-нибудь отдельностоящий дом. Приближаю до максимума и уменьшаю размеры экрана чтобы на экране (примерно вот так):
2022-02-15-12-38-09.png
2. Нажимаю кнопку "Экспорт" (сверху). Далее, не меняя размера экрана, синюю кнопку "Экспортировать". В резальтате мы должны получить файл "map.osm".
2.1. Не обязательно: открываем в блокноте этот файл и смотрим что получили. В идеале чтобы там были только те объекты, которые нужно изменять, например для здания 4 node + 1 way
3. Делаем копию файла (изначальное состояние, которое не трогаем и новую версию, которую будем изменять в следующих пунктах).
4. Открываю JOSM, ничеге не скачиваю, открываю файл (либо кнопка с синей папкой в верхнем меню, либо Файл→Открыть, либо Ctrl+O). В резальтате мы должны увидеть на экране нашу скачанную область.
5. Изменяем что-нибудь в JOSM в зависимости от требований, например:
- двигаем какую-нибудь точку
- добавляем какой-нибудь тег к уже существующему объекту
- изменяем существующий тег
- удаляем существующий тег
- добавляем новый объект (например, новую точку)
- меняем существующую линию (например, добавляем в неё новые точки)
- удаляем объекты
6. Не отправляем сделанные изменения. Сохраняем изменения (либо кнопка с дискетой в верхнем меню, либо Файл→Сохранить, либо Ctrl+S).
7. В результате мы должны получить 2 файла, которые отличаются друг от друга сделанными изменениями. Открываем оба файла и смотрим, что изменилось.

Дополнительное упражнение для проверки (чтобы убедиться, что способ рабочий), делаете на свой страх и риск:
1. Скачиваем любую небольшую область, которую знаем.
2. Делаем копию (бэкап) файла.
3. Открываем файл в JOSM, делаем какое-нибудь полезное изменение:
- добавляем какой-нибудь тег к имеющемуся зданию (почтовый индекс, этажность)
- изменяем существующий тег
- добавляем какой-нибудь объект (например, магазин)
…и так далее.
4. Сохраняем изменения на диск.
5. Отправляем на сервер и (если всё прошло успешно), убеждаемся что всё прошло нормально.
От себя хочу заметить, что передавать в OSM нужно только те объекты, которые Вы меняете

Реальная практика (сначала нужно сделать на тестовом сервере OSM)
1. Скачиваем какую-нибудь область.
2. Пишем скрипт который будет что-нибудь добавлять или изменять.
3. Скармливаем скрипту файл и получаем изменённый файл на выходе.
4. В первые разы нужно вручную проверить, что изменения верные и ничего не сломалось. У меня на отладку ушло несколько часов.
5. Пытаемся загрузить изменения в базу. Разумеется, для начала нужно начать с тестового сервера.
Я до этого ещё не дошёл, забил.

Online

#24 2022-02-15 12:28:14

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,462

Re: Москва: импорт данных по уличным часам из портала открытх данных

Зачем тут пункты 1 и 2, почему сразу не начать с жосма и загрузки нужной области?

Offline

#25 2022-02-15 14:24:49

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Коллеги, обновил систему представлений для вычисления импорта https://wiki.openstreetmap.org/wiki/RU: … 1.82.D0.B0. Название представлений начинаю с № вычислительного этапа и сортирую представляния строго по необходимости для последующих вычислений.

Изучаю JOSM по подсказке ув. Grass-snake и Osmium с точки зрения генерации файлов измнений. .osm для импорта получил, но он какой-то неполноценный вышел.

Offline

Board footer

Powered by FluxBB