Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Насколько я знаю, при обрезке всё что не имеет координат выкидывается.
У меня стоит дополнительный ключ, не помню уже всей истории, но при большем количестве что-то делалось криво, выдавал какие-то варнинги.

--max-merge=5

И для чистоты эксперимента только дневные обновления использую, но вряд ли в этом может быть проблема.
Указанных отношений не обнаружил.

Да, различия между запуском osmupdate не существенны. Похоже что разница не в этом.

Сейчас проверяю гипотезу что виноват не osmupdate а osmocnvert. Скачал с https://frexosm.ru/about-tools.html версию 0.8.10, тогда как у меня сейчас - 0.8.8

Update: Запустил обновление дампа и разница видна. Дамп России сделанный 0.8.8 весит 2766Мб, дамп сделанный 0.8.10 весит 2744Мб, т.е. разница - 22Мб pbf файла.

Вытащенные релейшены (xml ака osm) в 0.8.8 занимают 816Мб тогда как в 0.8.10 размер файла упал 464Мб. Размер веев и нод отличается на несколько мегабайт (запускал обновление с интервалом несколько часов).

Так что возможно причина найдена - версия osmcovert 0.8.8 некорректно отрабатывает релейшены у которых все члены не попадают в обрезку. Сегодня попробую провести полный цикл валидатора и посмотреть - стало лучше или нет.

Эта версия тоже не без греха, похоже, при работе с отношениями.
Вот у меня

<relation id="4215198" version="182" timestamp="2019-08-11T11:52:26Z" changeset="73239483" uid="237049" user="siberiano">

А в базе

<relation id="4215198" version="185" timestamp="2020-01-29T20:45:35Z" changeset="80278305" uid="499800" user="freeExec">

П.С. Нет, тут я сам виноват, после вырезания накатывал другие старые куски, где и была данная версия.

^^ Спасибо за предупреждение, буду здесь если что.

Перевёл валидатор на osmconvert 0.8.10 и обновился от дампа начала февраля - “заморские” муниципалитеты ушли, никаких новых артефактов не заметил. Размер файла отношений упал сильно (816 → 464 Мб), размер файла нод и веев чуть-чуть уменьшился, что несколько странно, но разбираться с этим сейчас не хочется - это доли процента (размер распакованного файла веев был 14972 Мб, стал 14970 Мб).

Переход от дампа за январь не получился - osmupdate вылетел по ошибке MergeError, возможно, обновление за 2+ месяца слишком требовательная по ресурсам операция.

В общем пару недель понаблюдаю и поделюсь тем что получается. Пока всё ОК.

Не, всё нормально, это я виноват.

Прогон валидатоа выдал такой список расхождений по сельским поселениям. На Северном Кавказе в 2020 году были небольшие изменения (изменение границ районов), т.е. ОКТМО устарел, остальные расхождения - поселение упразднено но пока есть в ОСМ. Т.е. нужно будет их удалить.

По Чечне ничего удалять не надо, я уже привёл к актуальному состоянию. ОКТМО отстаёт. Там переделали районы, часть поселений сменила район с 1 января 2020. Поэтому в валидаторе это выглядит как в некоторых районах есть отсутствующее и/или неверноприсутствующее ГП/СП.

^^ По идее, нет больших проблем чтобы “подправить” это в валидаторе. Единственно что для меня важно, так это то что преобразования должны быть прошлого года - я использую ОКТМО для других проектов и не хочу получить проблем с целостностью данных (поселение в разных районах). Это изменение от 1 января 2020, поэтому скорее всего это должно быть относительно безопасной ситуацией для меня. Поэтому подожду следующего обновления ОКТМО - может они включат, тогда всё изменится автоматически, ну или я “ручками” исправлю.

Кстати, к выходным постараюсь “подправить” недавно созданные муниципальные и городские округа, которые пока не вошли в ОКТМО. Проверил (локально), что все нововведения в Московской области (например, Лотошинский городской округ), которые есть в ОСМ (но нет в последней версии ОКТМО) корректно отрабатываются у меня. Отпишусь как обновлю валидатор.

^^ Не стал ждать выходных, перезапустил валидацию сегодня. 99.3% сельских НП опознано.

Комментарий наверное для Jake Strine - я использую ОКТМО + могу вносить мелкие правки. Я прошёлся по тому что сейчас в ОСМ и исправил у себя (например, включил последние изменения по Московской области). Поэтому если отмечены какие-то последние изменения, то я могу их применить вручную, дайте мне знать.

Часть изменений для меня простые:

  • муниципальный район → муниципальный округ
  • сельское поселение вошло в состав другого поселения

Часть изменений не такие безопасные, могу притормозить с обновлениями

  • городское поселение → сельское поселение (и наоборот)

Часть изменений не очень хорошо ложатся на мою базу данных, с ними спешить не буду:

  • муниципальный район → городской округ
  • муниципальный район объединяется с городским округом

Кировская область, Орловский район:
деревня Зубари (oktmo:user=33645420310) переименована в Высоковские Зубари
деревня Новосёловы (oktmo:user=33645420542) переименована в деревню Подгородняя
Основание - Закон Кировской области от 03.12.2019 № 324-ЗО http://www.zsko.ru/documents/docs/index.php?ID=29252

Валидатор перешёл на новый ОКТМО (на 1.04.2020). Там Чечня как раз приведена к актуальному состоянию. По Московской области ещё не прошло изменение по Ленинскому району, но это изменение я провёл у себя как правка.

Так что процент “зелёности” у валидатора сейчас высокий как нигогда.

Поскольку из-за новой реальности появилось немного времени на валидатор, подправляю свою базу (в любом продукте есть баги) и вношу локальные правки в ОСМ (чиню границы, правлю статусы и т.п.)

Если ситуация затянется то валидатор может стать “очень зелёным” :slight_smile:

Из-за самоизоляции я дома и могу запускать валидатор гораздо чаще, что и делаю примерно раз в 2 дня. Подчищаю ошибки по мелочам.

Но вот крупные поломки границ всё же ждут своих героев: http://atd.openstreetmap.ru/broken.html

Помимо кодов ОКТМО, валидатор выдаёт данные о численности населения объектов АТД. До сих пор использовались данные за 2016 год, т.е. несколько устаревшие. Сейчас я импортировал данные за 2020 год, т.е. следующие выгрузки валидатора будут приводить численность населения по состоянию на 1 января 2020 года.

В следующий раз обновлю, когда выйдут данные по переписи населения 2020 года (на борьбу с подготовкой к которой сообщество потратило немало сил :)).

Перешёл на новый ОКТМО.

Поскольку изменения очень небольшие то отчёт почти не изменился.

Не знаю в чём причина - вандалов стало больше или за картой стали следить меньше …

Примерно половину прогонов валидатора не выкладываю - что-то сломано, т.е. лучше сохранить старый результат чем отображать кривой.

Сейчас вот снова граница России сломана, в Крыму. В прошлый раз Красноярский край стал автобусной остановкой. В позапрошлый раз - Башкортостан стал highway=residental “Бачкитау”.

Никогда раньше не было таких результатов, за исключением вандализма в Крыму я почти не видел “надругательств” над регионами. А теперь грубые поломки висят много дней (судя по history).

Страницу с ошибками обновляй в любом случае. Иногда заглядываю туда.

ОК, буду знать и обновлять чаще!

Валидатор перепрогоню завтра ещё раз. Не думаю что эта правка долго будет неисправленной:

Теперь сломан Хабаровский край (https://www.openstreetmap.org/relation/151223 - южнее Хабаровска). Похоже расщепили линию а в полигон региона новый сегмент не добавили. Потенциально такое изменение может сломать много полигонов.

Поправил вроде.