You are not logged in.
- Topics: Active | Unanswered
Announcement
#1 2017-12-18 14:52:10
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Импорт открытых данных министерства культуры
Сотрудник подведомственной Минкульту организации предлагает импортировать некоторые наборы открытых данных с и х портала: http://opendata.mkrf.ru/opendata/ . Атрибуции достаточно на соответствующей вики-странице.
Это открытые государственные данные. Мы будем только рады, что в OSM появятся актуальные данные о геопозиции учреждений культуры. Рекомендую если возможно выстроить процесс периодического обновления/актуализации данных от нас. Они дополняются постоянно. Достаточно полными являются:
http://opendata.mkrf.ru/opendata/7705851331-museums
http://opendata.mkrf.ru/opendata/7705851331-theaters
http://opendata.mkrf.ru/opendata/7705851331-circuses
http://opendata.mkrf.ru/opendata/770585 … ilharmonic
Я подготовил импорт музеев: http://audit.osmz.ru/project/museums
3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.
Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.
Обновление: открытые данные по музеям оказались плохи. Импортируем театры, они лучше: http://audit.osmz.ru/project/mrkf_theaters
Last edited by Zverik (2017-12-25 16:45:23)
Offline
#2 2017-12-18 15:15:46
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,486
Re: Импорт открытых данных министерства культуры
Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.
Last edited by freeExec (2017-12-18 15:22:24)
Online
#3 2017-12-18 15:28:08
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Импорт открытых данных министерства культуры
Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.
На 105 тегов contact:website на музеях в осме 1451 тег website. OSM Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый. Не ошибка, как по мне.
Addr:full во многих случаях помогает найти ошибку или, наоборот, уточнить адрес на местности. Избыточен — отметь, что не нужен.
Offline
#4 2017-12-18 15:36:57
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,486
Re: Импорт открытых данных министерства культуры
Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/
Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.
Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.
Online
#5 2017-12-18 15:50:08
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Импорт открытых данных министерства культуры
Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/
Я специально писал весь этот веб-интерфейс, чтобы в случае таких косяков можно было просто нажать на правильный адрес, и он не перезаписался при импорте.
Zverik wrote:Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.
Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.
Ты несколько переоцениваешь интеллект роботов В смысле, нет, пока скрипт импорта не ожидает, что один и тот же атрибут может обозначаться разными тегами, в зависимости от религиозных взглядов активных мапперов в регионе.
Offline
#6 2017-12-18 16:44:54
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,330
Re: Импорт открытых данных министерства культуры
Что-то я не понял, как корабль, причаленный к набережной, вдруг в лес унесло.
Не нравится мне дублирование
Да, дублирование - это прямая ошибка.
Offline
#7 2017-12-18 18:20:43
- mosstreet
- Member
- Registered: 2016-10-04
- Posts: 131
Re: Импорт открытых данных министерства культуры
Есть два ярлыка, зеленый и синий, объясни, какой зачем. Первый я понял, двигаешь на точку.. а второй? И вообще это хорошее дело и адреса новые и названия правильные.
Offline
#8 2017-12-18 18:45:49
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,486
Re: Импорт открытых данных министерства культуры
Зелёный - новый, создаваемый объект. Синий - старый, изменяемый.
Online
#9 2017-12-19 10:25:13
- Sergey Astakhov
- Member
- From: St.Petersburg, Russia
- Registered: 2009-11-13
- Posts: 5,787
Re: Импорт открытых данных министерства культуры
Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.
Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?
В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946
Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249
Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html
Last edited by Sergey Astakhov (2017-12-19 10:41:54)
Offline
#10 2017-12-19 12:27:18
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Offline
#11 2017-12-21 16:40:39
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Импорт открытых данных министерства культуры
Снова открыл валидацию — прокликайте пару десятков музеев, пожалуйста. Больше — лучше. Проверить нужно каждый, хотя бы по разу. Попутно отформатировал номера телефонов.
Насчёт phone против contact:phone — на изменяемых музеях 118 contact:phone и 281 phone. Заглянул в код скрипта по слиянию данных, но сделать поддержку такой нечёткой схемы тегирования непросто. После импорта можно будет скачать объекты с дублирующимися тегами из overpass и обновить скопом.
В валидаторе появилась кнопка «сделать новый объект», после нажатия на «Don't Change». Нажимайте её, когда музей сматчился неправильный. При необходимости пишите в fixme насчёт правильного музея ну и вообще, что нужно поправить потом в JOSM.
Я бы очень хотел, чтобы картой OpenStreetMap могли пользоваться туристы для планирования маршрутов. Для этого объекты Минкульта важны. Заходите время от времени и прокликивайте объекты. Пусть не в этом году, но мы импортируем набор.
Offline
#12 2017-12-21 18:12:03
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 3,999
Re: Импорт открытых данных министерства культуры
Zverik wrote:Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.
Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946
Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249
Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html
Я как-то обрабатывал такого рода данные. Получилось Garbage In - Garbage Out. Качество исходных данных оказалось сильно ниже ожидаемого. Как раз куча ситуаций типа приведённых выше. Пришлось каждый музей проходить отдельно "ручками".
Бывший редактор ОСМ
Offline
#13 2017-12-21 19:48:55
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,330
Re: Импорт открытых данных министерства культуры
Часть музеев там не совсем музеи.
прачечные?
Offline
#14 2017-12-21 20:56:53
- Anton Khorev
- Member
- From: Санкт-Петербург
- Registered: 2011-07-30
- Posts: 177
Re: Импорт открытых данных министерства культуры
На tourism=gallery никак не реагирует?
Offline
#15 2017-12-21 20:57:00
- parukhin
- Member
- Registered: 2013-01-29
- Posts: 532
Re: Импорт открытых данных министерства культуры
Sergey Astakhov wrote:Часть музеев там не совсем музеи.
прачечные?
Офис учреждения, которое этими музеями управляет, например.
Offline
#16 2017-12-21 21:01:13
- Anton Khorev
- Member
- From: Санкт-Петербург
- Registered: 2011-07-30
- Posts: 177
Re: Импорт открытых данных министерства культуры
Остров Новая Голландия весь целиком - музей?
http://audit.osmz.ru/browse/museums/7995
Offline
#17 2017-12-21 21:11:22
- Anton Khorev
- Member
- From: Санкт-Петербург
- Registered: 2011-07-30
- Posts: 177
Re: Импорт открытых данных министерства культуры
Есть даже то, что я сам удалял, например
Музей живых бабочек «Тропический рай»
http://audit.osmz.ru/browse/museums/8374
Offline
#18 2017-12-21 21:19:16
- Anton Khorev
- Member
- From: Санкт-Петербург
- Registered: 2011-07-30
- Posts: 177
Re: Импорт открытых данных министерства культуры
Валидатор всегда после обработки всегда в случайное место посылает? Я не знаю, какие музеи есть в Иркутске и т.п.
Offline
#19 2017-12-21 21:19:57
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Импорт открытых данных министерства культуры
Так, ладно, я понял. Снова остановил проверку, на этот раз — навсегда. Дам ссылку на эту тему сотруднику, который предложил импортировать. Большое спасибо всем за комментарии и извините за потраченное время. «Новая Голландия» убила, конечно.
Offline
#20 2017-12-21 21:26:00
- mosstreet
- Member
- Registered: 2016-10-04
- Posts: 131
Re: Импорт открытых данных министерства культуры
Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.
Offline
#21 2017-12-21 21:40:40
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Импорт открытых данных министерства культуры
Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.
Я согласен, что набор важный и что его хорошо бы импортировать, так или иначе. Но выбранный инструмент для этого импорта не подходит. Валидатор импортов хорош, когда данные хорошие: кликаешь good-good-good-good-здесь тег не меняем-good-на снимке нет-good-good-good... А не как с музеями, когда получаешь очередную точку и «блин, а с этой-то что делать?». За время импорта обнаружили:
* проблемы геокодирования, когда в деревнях точка ложится на середину улицы (и у нас тоже нет адресов);
* улёты на многие километры — например, Изборский музей в Псковской области улетел в центр Печор;
* отдельные залы музея обозначены как отдельные музеи, в результате получается куст;
* в дополнение, одна из этих точек главная (музей + его экспозиции), и сматчится на OSM, конечно, не она;
* вместо музея в базе какие-то другие достопримечательности, типа церквей или «Новой Голландии»;
* некоторые музеи давно закрыты, иногда вместе с сайтами;
* неконсистентные названия и операторы: иногда название два слова, иногда — три строки, для карты это плохо;
* в данных Минкульта далеко не все музеи, и часто музей матчится на какой-то частный музей, которого у них нет.
По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.
Offline
#22 2017-12-21 21:51:52
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,486
Re: Импорт открытых данных министерства культуры
В JOSM же богатый удалённый доступ. Ссылкой из браузера можно создать новый объект и напихать туда тегов.
Online
#23 2017-12-21 21:52:28
- pfg21
- Member
- From: Чебоксары
- Registered: 2012-10-18
- Posts: 4,215
Re: Импорт открытых данных министерства культуры
в josm мне как-то попадалась чтото типа апи универсального валидатора. но что к чему не помню
Offline
#24 2017-12-22 06:29:02
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 3,999
Re: Импорт открытых данных министерства культуры
По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.
Полностью поддерживаю! Информация действительно полезная, но для валидации а не импорта.
Бывший редактор ОСМ
Offline
#25 2017-12-25 11:52:56
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Импорт открытых данных министерства культуры
Я знаю, вы уже успели соскучиться по нажатию на теги и на кнопку «Record changes»
Попробовал аналогичным образом обработать открытые данные по театрам — и их качество значительно лучше! Театров в базе всего 600, из них 450 сматчились. Сейчас прокликал около двадцати, в целом всё здраво. Отдельные проблемы встречаются, чаще из-за плохого геокодирования, но на то и валидатор импорта, чтобы их отлавливать и либо перетаскивать маркер в правильное место, либо жать «Duplicate».
Посмотрите и прощёлкайте десяток-другой театров сами: http://audit.osmz.ru/project/mrkf_theaters
Offline