Импорт открытых данных министерства культуры

Zverik · 2017-12-18 14:52:10

Сотрудник подведомственной Минкульту организации предлагает импортировать некоторые наборы открытых данных с и х портала: http://opendata.mkrf.ru/opendata/ . Атрибуции достаточно на соответствующей вики-странице.

Это открытые государственные данные. Мы будем только рады, что в OSM появятся актуальные данные о геопозиции учреждений культуры. Рекомендую если возможно выстроить процесс периодического обновления/актуализации данных от нас. Они дополняются постоянно. Достаточно полными являются:
http://opendata.mkrf.ru/opendata/7705851331-museums
http://opendata.mkrf.ru/opendata/7705851331-theaters
http://opendata.mkrf.ru/opendata/7705851331-circuses
http://opendata.mkrf.ru/opendata/770585 … ilharmonic

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums
3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.
Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Обновление: открытые данные по музеям оказались плохи. Импортируем театры, они лучше: http://audit.osmz.ru/project/mrkf_theaters

Last edited by Zverik (2017-12-25 16:45:23)

freeExec · 2017-12-18 15:15:46

Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.

Last edited by freeExec (2017-12-18 15:22:24)

Zverik · 2017-12-18 15:28:08

freeExec wrote:

Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.

На 105 тегов contact:website на музеях в осме 1451 тег website. OSM Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый. Не ошибка, как по мне.

Addr:full во многих случаях помогает найти ошибку или, наоборот, уточнить адрес на местности. Избыточен — отметь, что не нужен.

freeExec · 2017-12-18 15:36:57

Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/

Zverik wrote:

Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.

Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.

Zverik · 2017-12-18 15:50:08

freeExec wrote:

Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/

Я специально писал весь этот веб-интерфейс, чтобы в случае таких косяков можно было просто нажать на правильный адрес, и он не перезаписался при импорте.

freeExec wrote:

Zverik wrote:
Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.
Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.

Ты несколько переоцениваешь интеллект роботов В смысле, нет, пока скрипт импорта не ожидает, что один и тот же атрибут может обозначаться разными тегами, в зависимости от религиозных взглядов активных мапперов в регионе.

wowik · 2017-12-18 16:44:54

Что-то я не понял, как корабль, причаленный к набережной, вдруг в лес унесло.

freeExec wrote:

Не нравится мне дублирование

Да, дублирование - это прямая ошибка.

mosstreet · 2017-12-18 18:20:43

Есть два ярлыка, зеленый и синий, объясни, какой зачем. Первый я понял, двигаешь на точку.. а второй? И вообще это хорошее дело и адреса новые и названия правильные.

freeExec · 2017-12-18 18:45:49

Зелёный - новый, создаваемый объект. Синий - старый, изменяемый.

Sergey Astakhov · 2017-12-19 10:25:13

Zverik wrote:

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?

В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946

Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249

Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html

Last edited by Sergey Astakhov (2017-12-19 10:41:54)

Zverik · 2017-12-19 12:27:18

Приостановил валидацию импорта. Хочу сделать кнопку «не мёржить, а сделать новую точку», потому что без неё слишком много неправильных сопоставлений. Заодно телефоны отформатирую.

Zverik · 2017-12-21 16:40:39

Снова открыл валидацию — прокликайте пару десятков музеев, пожалуйста. Больше — лучше. Проверить нужно каждый, хотя бы по разу. Попутно отформатировал номера телефонов.

Насчёт phone против contact:phone — на изменяемых музеях 118 contact:phone и 281 phone. Заглянул в код скрипта по слиянию данных, но сделать поддержку такой нечёткой схемы тегирования непросто. После импорта можно будет скачать объекты с дублирующимися тегами из overpass и обновить скопом.

В валидаторе появилась кнопка «сделать новый объект», после нажатия на «Don't Change». Нажимайте её, когда музей сматчился неправильный. При необходимости пишите в fixme насчёт правильного музея ну и вообще, что нужно поправить потом в JOSM.

Я бы очень хотел, чтобы картой OpenStreetMap могли пользоваться туристы для планирования маршрутов. Для этого объекты Минкульта важны. Заходите время от времени и прокликивайте объекты. Пусть не в этом году, но мы импортируем набор.

http://audit.osmz.ru/project/museums

fserges · 2017-12-21 18:12:03

Sergey Astakhov wrote:

Zverik wrote:
Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.
Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?
В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946
Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249
Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html

Я как-то обрабатывал такого рода данные. Получилось Garbage In - Garbage Out. Качество исходных данных оказалось сильно ниже ожидаемого. Как раз куча ситуаций типа приведённых выше. Пришлось каждый музей проходить отдельно "ручками".

wowik · 2017-12-21 19:48:55

Sergey Astakhov wrote:

Часть музеев там не совсем музеи.

прачечные?

Anton Khorev · 2017-12-21 20:56:53

На tourism=gallery никак не реагирует?

parukhin · 2017-12-21 20:57:00

wowik wrote:

Sergey Astakhov wrote:
Часть музеев там не совсем музеи.
прачечные?

Офис учреждения, которое этими музеями управляет, например.

Anton Khorev · 2017-12-21 21:01:13

Остров Новая Голландия весь целиком - музей?
http://audit.osmz.ru/browse/museums/7995

Anton Khorev · 2017-12-21 21:11:22

Есть даже то, что я сам удалял, например
Музей живых бабочек «Тропический рай»
http://audit.osmz.ru/browse/museums/8374

Anton Khorev · 2017-12-21 21:19:16

Валидатор всегда после обработки всегда в случайное место посылает? Я не знаю, какие музеи есть в Иркутске и т.п.

Zverik · 2017-12-21 21:19:57

Так, ладно, я понял. Снова остановил проверку, на этот раз — навсегда. Дам ссылку на эту тему сотруднику, который предложил импортировать. Большое спасибо всем за комментарии и извините за потраченное время. «Новая Голландия» убила, конечно.

mosstreet · 2017-12-21 21:26:00

Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.

Zverik · 2017-12-21 21:40:40

mosstreet wrote:

Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.

Я согласен, что набор важный и что его хорошо бы импортировать, так или иначе. Но выбранный инструмент для этого импорта не подходит. Валидатор импортов хорош, когда данные хорошие: кликаешь good-good-good-good-здесь тег не меняем-good-на снимке нет-good-good-good... А не как с музеями, когда получаешь очередную точку и «блин, а с этой-то что делать?». За время импорта обнаружили:

* проблемы геокодирования, когда в деревнях точка ложится на середину улицы (и у нас тоже нет адресов);
* улёты на многие километры — например, Изборский музей в Псковской области улетел в центр Печор;
* отдельные залы музея обозначены как отдельные музеи, в результате получается куст;
* в дополнение, одна из этих точек главная (музей + его экспозиции), и сматчится на OSM, конечно, не она;
* вместо музея в базе какие-то другие достопримечательности, типа церквей или «Новой Голландии»;
* некоторые музеи давно закрыты, иногда вместе с сайтами;
* неконсистентные названия и операторы: иногда название два слова, иногда — три строки, для карты это плохо;
* в данных Минкульта далеко не все музеи, и часто музей матчится на какой-то частный музей, которого у них нет.

По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.

freeExec · 2017-12-21 21:51:52

В JOSM же богатый удалённый доступ. Ссылкой из браузера можно создать новый объект и напихать туда тегов.

pfg21 · 2017-12-21 21:52:28

в josm мне как-то попадалась чтото типа апи универсального валидатора. но что к чему не помню

fserges · 2017-12-22 06:29:02

Zverik wrote:

По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.

Полностью поддерживаю! Информация действительно полезная, но для валидации а не импорта.

Zverik · 2017-12-25 11:52:56

Я знаю, вы уже успели соскучиться по нажатию на теги и на кнопку «Record changes»

Попробовал аналогичным образом обработать открытые данные по театрам — и их качество значительно лучше! Театров в базе всего 600, из них 450 сматчились. Сейчас прокликал около двадцати, в целом всё здраво. Отдельные проблемы встречаются, чаще из-за плохого геокодирования, но на то и валидатор импорта, чтобы их отлавливать и либо перетаскивать маркер в правильное место, либо жать «Duplicate».

Посмотрите и прощёлкайте десяток-другой театров сами: http://audit.osmz.ru/project/mrkf_theaters

Announcement

#1 2017-12-18 14:52:10

Импорт открытых данных министерства культуры

#2 2017-12-18 15:15:46

Re: Импорт открытых данных министерства культуры

#3 2017-12-18 15:28:08

Re: Импорт открытых данных министерства культуры

#4 2017-12-18 15:36:57

Re: Импорт открытых данных министерства культуры

#5 2017-12-18 15:50:08

Re: Импорт открытых данных министерства культуры

#6 2017-12-18 16:44:54

Re: Импорт открытых данных министерства культуры

#7 2017-12-18 18:20:43

Re: Импорт открытых данных министерства культуры

#8 2017-12-18 18:45:49

Re: Импорт открытых данных министерства культуры

#9 2017-12-19 10:25:13

Re: Импорт открытых данных министерства культуры

#10 2017-12-19 12:27:18

Re: Импорт открытых данных министерства культуры

#11 2017-12-21 16:40:39

Re: Импорт открытых данных министерства культуры

#12 2017-12-21 18:12:03

Re: Импорт открытых данных министерства культуры

#13 2017-12-21 19:48:55

Re: Импорт открытых данных министерства культуры

#14 2017-12-21 20:56:53

Re: Импорт открытых данных министерства культуры

#15 2017-12-21 20:57:00

Re: Импорт открытых данных министерства культуры

#16 2017-12-21 21:01:13

Re: Импорт открытых данных министерства культуры

#17 2017-12-21 21:11:22

Re: Импорт открытых данных министерства культуры

#18 2017-12-21 21:19:16

Re: Импорт открытых данных министерства культуры

#19 2017-12-21 21:19:57

Re: Импорт открытых данных министерства культуры

#20 2017-12-21 21:26:00

Re: Импорт открытых данных министерства культуры

#21 2017-12-21 21:40:40

Re: Импорт открытых данных министерства культуры

#22 2017-12-21 21:51:52

Re: Импорт открытых данных министерства культуры

#23 2017-12-21 21:52:28

Re: Импорт открытых данных министерства культуры

#24 2017-12-22 06:29:02

Re: Импорт открытых данных министерства культуры

#25 2017-12-25 11:52:56

Re: Импорт открытых данных министерства культуры

Board footer