Мэппинг OSM для московской городской навигации

Всем добрый день!

Все, кто живет в Москве (или бывал там последнее время), видели, что на улицах города, у выходов из станций метро, на автобусных остановках появились печатные карты-стелы, которые содержат актуальную, проверенную информацию о навигации.

Департамент транспорта, который занимается этим проектом, заинтересован перейти на открытые данные OpenStreetMap для подготовки данных карт. В связи с этим шагом возникает ряд моментов, связанных с особенностями внесения данных и правок в OSM, которые хотелось бы решать здесь, в этой теме, вместе с представителями сообщества.

Первый момент, который хотелось бы обговорить, - это наименование объектов. Сейчас в OSM есть целый набор тэгов, со своими правилами заполнения. В то же время, у нас есть собственные правила наименования объектов, которые позволяют нам унифицировать подписи на карте. Нарушать логику и правила OSM мы не хотели бы, частично её выполнять и нарушать собственные правила - тоже.

Поэтому мы хотели бы вынести на обсуждение введение новых дополнительных тэгов для наименования объектов:
alt_name:mcm для русских названий
alt_name:mcm_en для английских

Если всех устроит такой вариант, то мы добавим эти тэги в osm wiki.
Если кто-то не согласен, просим предложить собственные варианты решения данной проблемы.
Надеемся на понимание и все такое (:

А примеры можно этих различий?

Идёт речь о вашей внутренней информации. Можно возразить, зачем хранить подобную информацию в общей базе. Кроме того, нет гарантий, что вашу информацию не удалят, не отредактируют нежелательным образом и т.д.

Возможно, вам стоит рассмотреть вариант хранения вашей информации отдельно.

Для этого созданы:

  1. специальный плагин для программы ОСМ-редактирования JOSM
  2. серверная часть для работы с этим плагином

Например, нам нужно подписывать “Памятник А.С. Пушкину”, а в osm принято заполнять “А.С. Пушкину”
Или в поле name следует написать "ГБОУ “Шуваловская школа № 1448”
а нам нужно “Школа № 1448”

Мы стараемся оценить все возможные варианты ведения данного проекта.
Использование собственных тэгов позволит нам, во-первых, называть объекты по собственным правилам, во-вторых, фильтровать данные по этим тэгам, в-третьих, мониторить, в первую очередь, изменения в тех данных, которые имеют эти тэги(а значит нам наиболее необходимы)

Указанные выше программные средства позволят всё это осуществить и не загружать главную ОСМ-базу вашей внутренней информацией.

Процесс редактирования при это происходит в JOSM, но ваши теги будут храниться в вашей внутренней базе.
Рекомендовал бы вам ознакомиться с программными средствами по ссылкам выше.

Дело не в том, что в OSM так принято (на самом деле рекомендуется заполнять именно так как вам нужно), а в том, что в OSM много людей со своим представлениями о том как следует заполнять поле названия, поэтому увы присутствует некоторая доля хаоса и в разных местах разные люди вполне могут называть объекты по разному.
Если вы хотите полного единообразия - лучше действительно хранить это у себя.

Этот подход противоречит базовым принципам OSM - данные должны быть проверяемыми и объективными (отражающими свойства объекта, а не представление для конкретного рендерера/конвертера). Представьте что у объекта десяток тегов alt_name:garmin, alt_name:sputnik, alt_name:mcm и т.п. - это полный ужас будет.

Вот какой-нибудь short_name/normalized_name, без привязки к использованию и с описанными правилами заполнения ещё куда ни шло.

Я вижу, что эти два приведенные примера можно получить из имеющихся данных ОСМ: добавив для памятника слово “памятник”, а для школ взяв номер из ref. Но в целом я согласен с другими - вы хотите мапить под ренедер, что всячески не приветствуется.
И вам проще взять геометрию OSM, а текстовые метки расставьте поверх какие вам надо.

Это реальные примеры?
Мне понятно по значку, что это мемориал или памятник Пушкину и нет нужды в названии добавлять, что это памятник.
В названии школ есть official_name там пишут собственно "ГБОУ “Шуваловская школа № 1448”. А есть name или alt_name, где можно и написать Школа № 1448. Собственно я так и делаю.
Может быть Вы огласите

полностью?

Понимание возможно, если разговор начать…
Вы все такие замечательные вот вам мешок мышек … и т.д.
А Literanu два мешка) после его проходов по кварталам все от POI цветным становится. :smiley:

Вы уж не очень уважаемые (не касается вас лично) московские чинуши, берите как есть. Иначе очень удобно придти на готовое, потыкать пальцем тут трава не того цвета, и потом везде в очередной раз пропеть оду… А ваши схемы в нынешнем виде, так себе, большие блеклые и с радиусом в сто метров, толку от них…

В любых схемах, есть место где все значки подробно описываются, исходя из этого Пушкин А.С. всеми точно будет опознан как памятник, а не музей.

mosstreet будьте уважительны, не нужно завуалированных оскорблений. Ставлю вас на учёт.

freeexec,
топик стартеру нужны фиксированные названия. “вот такие, и не иначе”.
в общем случае они не выводятся из “наших” (текущих). потому что, у нас хаос и не повалидированных полно. и скрипт/робот надорвётся правильно транслировать.

sergey astakhov,
в общем случае это не short/normalized names. это отдельные сущности. даже не вписывайся за mcm, твоя послабка, это “первый шаг к алкоголизму”)))

тс,
пилите свою локальную базу! это просто.
я более того скажу, никто не защитит ваши данные от вандализма. и у вас в продакшен запросто выедет прикольная надпись, реклама, или мат)) вы не сможете спарсить перед выводом на свои табло все надписи на валидность/допустимость. понимаете?

вы собираетесь хранить свои лозунги/данцзыбао у бомжей на мусорке, а в день демон-страции схватить их, и идти с умным видом в костюмах и галстуках, неся разрисованные из баллончиков лица кандидатов с рожками и усами. с матом поверх умных слов.

крч. место хранения данных должно быть одно, и подконтрольное))

ps. никто не против, дело-дельное, стартапьтесь, осваиваете)) но, что сюда написали, это правильно сделали.

Не надо так мрачно.
Некоторые компании напрямую конвертируют в свои продукты названия объектов с OSM и от мата сильно не страдают.
Просто это требует постоянного контроля.
В госструктурах всё веселее. Выделены деньги, сделан и запущен проект, всё работает.
Проект закончен, денег больше не дают. Ведь проект выполнен.
А он начинает тухнуть - плитка расшатывается, асфальт крошится, названия на карте потихоньку вандалятся.

Есть ещё вариант защиты от вандалов - простенький скрипт на питоне, реализующий через osm api функционал аля список наблюдения на вики: берётся заранее заданный список id объектов (как вариант - все объекты из всех чейнжсетов заданного юзера), для каждого из них запрашивается история и проверяется, сделан ли последний коммит этим юзером. Если нет - значит, объект меняли после, и надо на него посмотреть глазами. Список таких объектов (а лучше http-ссылок на них) складывается в файл.

Подобный инструмент, по логике, должен быть полезен всем: и неравнодушным редакторам (чтобы вандализм в своих правках не только по воле случая обнаруживать), и тем, кто использует данные OSM в своих проектах и не хочет сюрпризов. А то как-то противоречиво: с одной стороны декларируется, что у нас свободные данные, пригодные даже для коммерческого использования, any tags you like и всё такое, а с другой - как только кто-то приходит со вполне конкретной задачей, которую надо решить, то ему наперебой советуют с общей базой OSM не связываться и всё держать в своей личной базе :frowning: Вроде данные открытые есть, а никакую реальную задачу с их помощью не решить.

Мониторить данные какая-то странная затея, особенно с учётом того, что данные синхронизируются допустим раз в году. И именно в этот момент интересны изменения. И получение diff двух данных - одна команда.
Что же по поводу any tags you like, то это вовсе не значит, что можно в разные теги пихать разный мусор. Концепция подразумевает, что если какое-то свойство ещё ни как не обозначено, то всегда можно придумать не него новый. Но свойство это должно быть верифицируемо и понятно. Хочется указывать количество штакетника в заборе - да ради бога, размер ячейки в сетке рабицы - легко, марку асфальта - без проблем; всё это можно придти и проверить. Но не надо тащить сюда какие-то внутренние данные, что эту задвижку монтировал Вася проверить ни как нельзя и кроме данной конторы эти знания никому не нужны.

На самом деле наоборот: чтобы решать проблемы с помощью открытых данных именно их и надо использовать, а не заменять своими.

То есть задача сверки стандартных name/ref с требуемыми и даст нужное решение, а вот прямое использование своих тегов вместо стандартных ведёт именно к игнорированию открытых данных и хранению устаревших данных в ОСМ.

AnakinNN, вахтеры были, но они бессмыслены, не важно кто редактировал, важно чтобы данные оставались качественные, так что эффективнее писать валидаторы.

у того же CupIvan был парсер кучи различных сайтов от почты россии до торговых сетей, по этому валидатору было очень удобно вносить распарсенные данные сайтов в осм.

Я уху уедаю, дорогая редакция.

В мире до чертиков разных баз разной степени точности (не важно, картографические это базы или еще какие-то), чтобы в очередной раз “добыть список чего-то” надо парсить десяток-другой сайтов и баз, разбираться с проприетарными форматами и их особенностями, как-то это полуавтоматически мержить, писать адовые костыли с эвристиками и тому подобное. Порой посмотришь на все это и хочется уже отдать денежку за какой-то пусть коммерческий, пусть урезанный, но съедобный продукт из авторитетного источника, да такого даже за деньги зачастую не дают. А тут авторитетный источник сам приперся (впрочем, москвичам виднее, насколько он авторитетный), даже денег не просит, даже вроде бы на что-то там согласен - нет, мы его ссаной метелкой выметем, тут у нас своя песочница, а он если захочет - пусть свою песочницу делает, а совочки наши пусть не трогает. Ну уйдет человек. Потом бегать будете, чтобы нормальную базу получить, а поезд уйдет.

Матюки на карте, вандализм, реклама, несуществующие магазины и гигантские половые члены - а что в этом плохого настолько, что делать премодерацию? Чем быстрее это попадет на разные публичные сервисы, тем быстрее будет создано ишью и тем быстрее это будет пофикшено. Надо готовиться к окружающему миру, а не прятаться от него, а то бетонный пол в очередной раз сильно по голове ударить может. Вахтеров не напасетесь. От вахтеров наоборот, данные скорее страдают, что оперативно не обновляются или удаляются “недостойные” с точки зрения этих самых вахтеров (хороший пример - русская википедия, где нормальных статей нет, так как они или удалены, или отредактированы до 3х строк, зато без мата).

И в данном случае, это не редактирование под очередной рендер Васи Пупкина, вместо рендера тут скорее согласовывание/адаптирование под авторитетный источник. Есть конечно риск, что этот самый авторитетный источник забьет болт на свои обязанности, как написано выше, но от мертвых тканей любой организм сам избавляться умеет. В худшем случае, сообщество получит немного мертвых данных в базе (которую, между прочим, не хостит). Создавать же говермент-релейтед теги в других странах не считается чем-то плохим, кому надо - используют, кому не надо - не используют. Попарсите файлик планетки и узнаете много интересного (я тут в одной из тем пытался найти статистику по тегам, там много интересного нашел). Тег можно низложить до “аппрувнутый вариант” или даже “контрольная сумма”. Еще лучше - написать документ страниц на 50 о том, что слово “памятник” у памятников быть должно/не должно и сделать унификацию, чтобы потом в каждом втором рендерере не надо было проверять тип объекта, сравнивать его с десятком похожих тегов и искать кириллическое “памятник”, “постамент” и “скульптура” в разных кодировках. А чтобы в “конкретном рендерере” смотрелось хорошо, можно приделать шаблоны, которые эти самые “памятники” будут добавлять в рантайме, причем сделать эти шаблоны открытыми, чтобы все рендереры могли ими пользоваться. И обоим сторонам уяснить, что в не зависимости от того, что есть надпись “памятник” или нет, лучше хоть какой-то объект, чем вообще никакого.

Не, лично мне все равно, я далеко от мск обитаю, но прочитанное тут напоминает отрезание собственных яиц. И парсить кучу ресурсов мне тоже надоело.

А кто то от чего то отказывался?
ТС сама высказалась

Сообщество начало обсуждение. ТС пропала. Или думали, что с ходу все согласятся, что маловероятно т.к. ТС подразумевал обсуждение или не очень то и надо оказалось и ТС прекратила общение.
То что там, где то кто то заливает и на это смотрят сквозь пальцы это их проблема и их “зона ответственности”. У нас тут своя и мы стараемся придерживаться договорных правил мапинга.