You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2017-12-18 14:52:10

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Импорт открытых данных министерства культуры

Сотрудник подведомственной Минкульту организации предлагает импортировать некоторые наборы открытых данных с и х портала: http://opendata.mkrf.ru/opendata/ . Атрибуции достаточно на соответствующей вики-странице.

Это открытые государственные данные. Мы будем только рады, что в OSM появятся актуальные данные о геопозиции учреждений культуры. Рекомендую если возможно выстроить процесс периодического обновления/актуализации данных от нас. Они дополняются постоянно. Достаточно полными являются:

http://opendata.mkrf.ru/opendata/7705851331-museums
http://opendata.mkrf.ru/opendata/7705851331-theaters
http://opendata.mkrf.ru/opendata/7705851331-circuses
http://opendata.mkrf.ru/opendata/770585 … ilharmonic

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums
3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.
Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Обновление: открытые данные по музеям оказались плохи. Импортируем театры, они лучше: http://audit.osmz.ru/project/mrkf_theaters

Last edited by Zverik (2017-12-25 16:45:23)


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#2 2017-12-18 15:15:46

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,536

Re: Импорт открытых данных министерства культуры

Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.

Last edited by freeExec (2017-12-18 15:22:24)

Offline

#3 2017-12-18 15:28:08

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

freeExec wrote:

Не нравится мне дублирование этим импортом тегов в contact:*, а так же addr:full там где он избыточен.

На 105 тегов contact:website на музеях в осме 1451 тег website. OSM Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый. Не ошибка, как по мне.

Addr:full во многих случаях помогает найти ошибку или, наоборот, уточнить адрес на местности. Избыточен — отметь, что не нужен.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#4 2017-12-18 15:36:57

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,536

Re: Импорт открытых данных министерства культуры

Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/

Zverik wrote:

Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.

Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.

Offline

#5 2017-12-18 15:50:08

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

freeExec wrote:

Ещё по сайтам, предлагает заменить точный адрес, на корень
http://ulzapovednik.ru/muzei/nauchno-vy … oskovskoy/ -> http://www.ulzapovednik.ru/

Я специально писал весь этот веб-интерфейс, чтобы в случае таких косяков можно было просто нажать на правильный адрес, и он не перезаписался при импорте.

freeExec wrote:
Zverik wrote:

Conflator не умеет выбирать правильный тег среди нескольких, поэтому я взял самый частый.

Не совсем понял, а схему он выбрать может, если уже есть contact: то работать с ней.

Ты несколько переоцениваешь интеллект роботов smile В смысле, нет, пока скрипт импорта не ожидает, что один и тот же атрибут может обозначаться разными тегами, в зависимости от религиозных взглядов активных мапперов в регионе.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#6 2017-12-18 16:44:54

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,367

Re: Импорт открытых данных министерства культуры

Что-то я не понял, как корабль, причаленный к набережной, вдруг в лес унесло.

freeExec wrote:

Не нравится мне дублирование

Да, дублирование - это прямая ошибка.

Offline

#7 2017-12-18 18:20:43

mosstreet
Member
Registered: 2016-10-04
Posts: 136

Re: Импорт открытых данных министерства культуры

Есть два ярлыка, зеленый и синий, объясни, какой зачем. Первый я понял, двигаешь на точку.. а второй? И вообще это хорошее дело и адреса новые и названия правильные.

Offline

#8 2017-12-18 18:45:49

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,536

Re: Импорт открытых данных министерства культуры

Зелёный - новый, создаваемый объект. Синий - старый, изменяемый.

Offline

#9 2017-12-19 10:25:13

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,808

Re: Импорт открытых данных министерства культуры

Zverik wrote:

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?

В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946

Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249

Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html

Last edited by Sergey Astakhov (2017-12-19 10:41:54)

Offline

#10 2017-12-19 12:27:18

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

Приостановил валидацию импорта. Хочу сделать кнопку «не мёржить, а сделать новую точку», потому что без неё слишком много неправильных сопоставлений. Заодно телефоны отформатирую.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#11 2017-12-21 16:40:39

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

Снова открыл валидацию — прокликайте пару десятков музеев, пожалуйста. Больше — лучше. Проверить нужно каждый, хотя бы по разу. Попутно отформатировал номера телефонов.

Насчёт phone против contact:phone — на изменяемых музеях 118 contact:phone и 281 phone. Заглянул в код скрипта по слиянию данных, но сделать поддержку такой нечёткой схемы тегирования непросто. После импорта можно будет скачать объекты с дублирующимися тегами из overpass и обновить скопом.

В валидаторе появилась кнопка «сделать новый объект», после нажатия на «Don't Change». Нажимайте её, когда музей сматчился неправильный. При необходимости пишите в fixme насчёт правильного музея ну и вообще, что нужно поправить потом в JOSM.

Я бы очень хотел, чтобы картой OpenStreetMap могли пользоваться туристы для планирования маршрутов. Для этого объекты Минкульта важны. Заходите время от времени и прокликивайте объекты. Пусть не в этом году, но мы импортируем набор.

http://audit.osmz.ru/project/museums


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#12 2017-12-21 18:12:03

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Импорт открытых данных министерства культуры

Sergey Astakhov wrote:
Zverik wrote:

Я подготовил импорт музеев: http://audit.osmz.ru/project/museums3841 музей в наборе, ~1800 сматчились на осм, ~2000 новых.Повалидируйте знакомые вам и просто случайные, пожалуйста. Я сам тоже просмотрю.

Часть музеев там не совсем музеи.
Например http://audit.osmz.ru/browse/museums/6242 - Галерея искусств KGallery
Координаты в 13 км от реального положения, откуда они такие вообще взялись?

В OSM отмечено как shop=art, что наверное тоже некорректно, более подходящий тег tourism=gallery - http://www.openstreetmap.org/node/3398900946

Аналогично и эта галерея: http://audit.osmz.ru/browse/museums/6249

Этот музей снесли вместе с заводом: http://audit.osmz.ru/browse/museums/6571
Вроде экспозиции переехали в другое место: http://lsrstena.ru/muzey-istorii-kirpic … i-lsr.html

Я как-то обрабатывал такого рода данные. Получилось Garbage In - Garbage Out. Качество исходных данных оказалось сильно ниже ожидаемого. Как раз куча ситуаций типа приведённых выше. Пришлось каждый музей проходить отдельно "ручками".


Бывший редактор ОСМ

Offline

#13 2017-12-21 19:48:55

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,367

Re: Импорт открытых данных министерства культуры

Sergey Astakhov wrote:

Часть музеев там не совсем музеи.

прачечные?

Offline

#14 2017-12-21 20:56:53

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 177

Re: Импорт открытых данных министерства культуры

На tourism=gallery никак не реагирует?

Offline

#15 2017-12-21 20:57:00

parukhin
Member
Registered: 2013-01-29
Posts: 532

Re: Импорт открытых данных министерства культуры

wowik wrote:
Sergey Astakhov wrote:

Часть музеев там не совсем музеи.

прачечные?

Офис учреждения, которое этими музеями управляет, например.

Offline

#16 2017-12-21 21:01:13

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 177

Re: Импорт открытых данных министерства культуры

Остров Новая Голландия весь целиком - музей?
http://audit.osmz.ru/browse/museums/7995

Offline

#17 2017-12-21 21:11:22

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 177

Re: Импорт открытых данных министерства культуры

Есть даже то, что я сам удалял, например
Музей живых бабочек «Тропический рай»
http://audit.osmz.ru/browse/museums/8374

Offline

#18 2017-12-21 21:19:16

Anton Khorev
Member
From: Санкт-Петербург
Registered: 2011-07-30
Posts: 177

Re: Импорт открытых данных министерства культуры

Валидатор всегда после обработки всегда в случайное место посылает? Я не знаю, какие музеи есть в Иркутске и т.п.

Offline

#19 2017-12-21 21:19:57

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

Так, ладно, я понял. Снова остановил проверку, на этот раз — навсегда. Дам ссылку на эту тему сотруднику, который предложил импортировать. Большое спасибо всем за комментарии и извините за потраченное время. «Новая Голландия» убила, конечно.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#20 2017-12-21 21:26:00

mosstreet
Member
Registered: 2016-10-04
Posts: 136

Re: Импорт открытых данных министерства культуры

Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.

Offline

#21 2017-12-21 21:40:40

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

mosstreet wrote:

Зря, так бы потихоньку что в ручную, что автоматом бы, да сделали. Так куда удобнее, да и не надо рыть по всем поселкам.

Я согласен, что набор важный и что его хорошо бы импортировать, так или иначе. Но выбранный инструмент для этого импорта не подходит. Валидатор импортов хорош, когда данные хорошие: кликаешь good-good-good-good-здесь тег не меняем-good-на снимке нет-good-good-good... А не как с музеями, когда получаешь очередную точку и «блин, а с этой-то что делать?». За время импорта обнаружили:

* проблемы геокодирования, когда в деревнях точка ложится на середину улицы (и у нас тоже нет адресов);
* улёты на многие километры — например, Изборский музей в Псковской области улетел в центр Печор;
* отдельные залы музея обозначены как отдельные музеи, в результате получается куст;
* в дополнение, одна из этих точек главная (музей + его экспозиции), и сматчится на OSM, конечно, не она;
* вместо музея в базе какие-то другие достопримечательности, типа церквей или «Новой Голландии»;
* некоторые музеи давно закрыты, иногда вместе с сайтами;
* неконсистентные названия и операторы: иногда название два слова, иногда — три строки, для карты это плохо;
* в данных Минкульта далеко не все музеи, и часто музей матчится на какой-то частный музей, которого у них нет.

По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#22 2017-12-21 21:51:52

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,536

Re: Импорт открытых данных министерства культуры

В JOSM же богатый удалённый доступ. Ссылкой из браузера можно создать новый объект и напихать туда тегов.

Offline

#23 2017-12-21 21:52:28

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 4,272

Re: Импорт открытых данных министерства культуры

в josm мне как-то попадалась чтото типа апи универсального валидатора. но что к чему не помню sad

Offline

#24 2017-12-22 06:29:02

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Импорт открытых данных министерства культуры

Zverik wrote:

По-моему, тут больше задача для валидатора типа как CupIvan написал, либо нужно писать отдельный плагин для JOSM или iD. Чтобы вместе с очередной точкой выдавал редактор, и точку сразу встраивать в окружающую карту.

Полностью поддерживаю! Информация действительно полезная, но для валидации а не импорта.


Бывший редактор ОСМ

Offline

#25 2017-12-25 11:52:56

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Импорт открытых данных министерства культуры

Я знаю, вы уже успели соскучиться по нажатию на теги и на кнопку «Record changes» smile

Попробовал аналогичным образом обработать открытые данные по театрам — и их качество значительно лучше! Театров в базе всего 600, из них 450 сматчились. Сейчас прокликал около двадцати, в целом всё здраво. Отдельные проблемы встречаются, чаще из-за плохого геокодирования, но на то и валидатор импорта, чтобы их отлавливать и либо перетаскивать маркер в правильное место, либо жать «Duplicate».

Посмотрите и прощёлкайте десяток-другой театров сами: http://audit.osmz.ru/project/mrkf_theaters


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

Board footer

Powered by FluxBB