OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2017-12-18 14:52:10

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Импорт открытых данных министерства культуры

Сотрудник подведомственной Минкульту организации предлагает импортировать некоторые наборы открытых данных с и х портала: http://opendata.mkrf.ru/opendata/ . Атрибуции достаточно на соответствующей вики-странице.

Это открытые государственные данные. Мы будем только рады, что в OSM появятся актуальные данные о геопозиции учреждений культуры. Рекомендую если возможно выстроить процесс периодического обновления/актуализации данных от нас. Они дополняются постоянно. Достаточно полными являются:

http://opendata.mkrf.ru/opendata/7705851331-museums
http://opendata.mkrf.ru/opendata/7705851331-theaters
http://opendata.mkrf.ru/opendata/7705851331-circuses
http://opendata.mkrf.ru/opendata/770585 … ilharmonic

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums
3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.
Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Обновление: открытые данные по музеям оказались плохи. Импортируем театры, они лучше: http://audit.osmz.ru/project/mrkf_theaters

Last edited by Zverik (2017-12-25 16:45:23)


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#2 2017-12-18 15:15:46

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Импорт открытых данных министерства культуры

Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.

Last edited by freeExec (2017-12-18 15:22:24)

Offline

#3 2017-12-18 15:28:08

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

freeExec wrote:

Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.

На 105 тегов contact:website на музеях в осме 1451 тег website. OSM Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый. Не ошибка, как по мне.

Addr:full во многих случаях помогает найти ошибку или, наоборот, уточнить адрес на местности. Избыточен — отметь, что не нужен.


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#4 2017-12-18 15:36:57

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Импорт открытых данных министерства культуры

Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/

Zverik wrote:

Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.

Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.

Offline

#5 2017-12-18 15:50:08

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

freeExec wrote:

Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/

Я специально писал весь этот веб-интерфейс, чтобы в случае таких косяков можно было просто нажать на правильный адрес, и он не перезаписался при импорте.

freeExec wrote:
Zverik wrote:

Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.

Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.

Ты несколько переоцениваешь интеллект роботов smile В смысле, нет, пока скрипт импорта не ожидает, что один и тот же атрибут может обозначаться разными тегами, в зависимости от религиозных взглядов активных мапперов в регионе.


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#6 2017-12-18 16:44:54

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,703

Re: Импорт открытых данных министерства культуры

Что-то я не понял, как корабль, причаленный к набережной, вдруг в лес унесло.

freeExec wrote:

Не нравится мне дублирование

Да, дублирование - это прямая ошибка.

Offline

#7 2017-12-18 18:20:43

mosstreet
Member
Registered: 2016-10-04
Posts: 65

Re: Импорт открытых данных министерства культуры

Есть два ярлыка, зеленый и синий, объясни, какой зачем. Первый я понял, двигаешь на точку.. а второй? И вообще это хорошее дело и адреса новые и названия правильные.

Offline

#8 2017-12-18 18:45:49

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Импорт открытых данных министерства культуры

Зелёный - новый, создаваемый объект. Синий - старый, изменяемый.

Offline

#9 2017-12-19 10:25:13

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,504

Re: Импорт открытых данных министерства культуры

Zverik wrote:

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?

В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946

Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249

Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html

Last edited by Sergey Astakhov (2017-12-19 10:41:54)

Offline

#10 2017-12-19 12:27:18

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

Приостановил валидацию импорта. Хочу сделать кнопку «не мёржить, а сделать новую точку», потому что без неё слишком много неправильных сопоставлений. Заодно телефоны отформатирую.


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#11 2017-12-21 16:40:39

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

Снова открыл валидацию — прокликайте пару десятков музеев, пожалуйста. Больше — лучше. Проверить нужно каждый, хотя бы по разу. Попутно отформатировал номера телефонов.

Насчёт phone против contact:phone — на изменяемых музеях 118 contact:phone и 281 phone. Заглянул в код скрипта по слиянию данных, но сделать поддержку такой нечёткой схемы тегирования непросто. После импорта можно будет скачать объекты с дублирующимися тегами из overpass и обновить скопом.

В валидаторе появилась кнопка «сделать новый объект», после нажатия на «Don't Change». Нажимайте её, когда музей сматчился неправильный. При необходимости пишите в fixme насчёт правильного музея ну и вообще, что нужно поправить потом в JOSM.

Я бы очень хотел, чтобы картой OpenStreetMap могли пользоваться туристы для планирования маршрутов. Для этого объекты Минкульта важны. Заходите время от времени и прокликивайте объекты. Пусть не в этом году, но мы импортируем набор.

http://audit.osmz.ru/project/museums


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#12 2017-12-21 18:12:03

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Импорт открытых данных министерства культуры

Sergey Astakhov wrote:
Zverik wrote:

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?

В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946

Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249

Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html

Я как-то обрабатывал такого рода данные. Получилось Garbage In - Garbage Out. Качество исходных данных оказалось сильно ниже ожидаемого. Как раз куча ситуаций типа приведённых выше. Пришлось каждый музей проходить отдельно "ручками".

Offline

#13 2017-12-21 19:48:55

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,703

Re: Импорт открытых данных министерства культуры

Sergey Astakhov wrote:

Часть музеев там не совсем музеи.

прачечные?

Offline

#14 2017-12-21 20:56:53

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 154

Re: Импорт открытых данных министерства культуры

На tourism=gallery никак не реагирует?

Offline

#15 2017-12-21 20:57:00

parukhin
Member
Registered: 2013-01-29
Posts: 293

Re: Импорт открытых данных министерства культуры

wowik wrote:
Sergey Astakhov wrote:

Часть музеев там не совсем музеи.

прачечные?

Офис учреждения, которое этими музеями управляет, например.

Offline

#16 2017-12-21 21:01:13

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 154

Re: Импорт открытых данных министерства культуры

Остров Новая Голландия весь целиком - музей?
http://audit.osmz.ru/browse/museums/7995

Offline

#17 2017-12-21 21:11:22

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 154

Re: Импорт открытых данных министерства культуры

Есть даже то, что я сам удалял, например
Музей живых бабочек «Тропический рай»
http://audit.osmz.ru/browse/museums/8374

Offline

#18 2017-12-21 21:19:16

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 154

Re: Импорт открытых данных министерства культуры

Валидатор всегда после обработки всегда в случайное место посылает? Я не знаю, какие музеи есть в Иркутске и т.п.

Offline

#19 2017-12-21 21:19:57

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

Так, ладно, я понял. Снова остановил проверку, на этот раз — навсегда. Дам ссылку на эту тему сотруднику, который предложил импортировать. Большое спасибо всем за комментарии и извините за потраченное время. «Новая Голландия» убила, конечно.


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#20 2017-12-21 21:26:00

mosstreet
Member
Registered: 2016-10-04
Posts: 65

Re: Импорт открытых данных министерства культуры

Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.

Offline

#21 2017-12-21 21:40:40

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

mosstreet wrote:

Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.

Я согласен, что набор важный и что его хорошо бы импортировать, так или иначе. Но выбранный инструмент для этого импорта не подходит. Валидатор импортов хорош, когда данные хорошие: кликаешь good-good-good-good-здесь тег не меняем-good-на снимке нет-good-good-good... А не как с музеями, когда получаешь очередную точку и «блин, а с этой-то что делать?». За время импорта обнаружили:

* проблемы геокодирования, когда в деревнях точка ложится на середину улицы (и у нас тоже нет адресов);
* улёты на многие километры — например, Изборский музей в Псковской области улетел в центр Печор;
* отдельные залы музея обозначены как отдельные музеи, в результате получается куст;
* в дополнение, одна из этих точек главная (музей + его экспозиции), и сматчится на OSM, конечно, не она;
* вместо музея в базе какие-то другие достопримечательности, типа церквей или «Новой Голландии»;
* некоторые музеи давно закрыты, иногда вместе с сайтами;
* неконсистентные названия и операторы: иногда название два слова, иногда — три строки, для карты это плохо;
* в данных Минкульта далеко не все музеи, и часто музей матчится на какой-то частный музей, которого у них нет.

По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

#22 2017-12-21 21:51:52

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Импорт открытых данных министерства культуры

В JOSM же богатый удалённый доступ. Ссылкой из браузера можно создать новый объект и напихать туда тегов.

Offline

#23 2017-12-21 21:52:28

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,960

Re: Импорт открытых данных министерства культуры

в josm мне как-то попадалась чтото типа апи универсального валидатора. но что к чему не помню sad

Online

#24 2017-12-22 06:29:02

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Импорт открытых данных министерства культуры

Zverik wrote:

По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.

Полностью поддерживаю! Информация действительно полезная, но для валидации а не импорта.

Offline

#25 2017-12-25 11:52:56

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,589
Website

Re: Импорт открытых данных министерства культуры

Я знаю, вы уже успели соскучиться по нажатию на теги и на кнопку «Record changes» smile

Попробовал аналогичным образом обработать открытые данные по театрам — и их качество значительно лучше! Театров в базе всего 600, из них 450 сматчились. Сейчас прокликал около двадцати, в целом всё здраво. Отдельные проблемы встречаются, чаще из-за плохого геокодирования, но на то и валидатор импорта, чтобы их отлавливать и либо перетаскивать маркер в правильное место, либо жать «Duplicate».

Посмотрите и прощёлкайте десяток-другой театров сами: http://audit.osmz.ru/project/mrkf_theaters


ШТОСМ | josm.ru | обо мне | мастер спорта по лыжам на траве

Offline

Board footer

Powered by FluxBB