Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

типа такого osmconvert.exe RU.osm.pbf RU_plus.osm --verbose -o=new_RU.osm.pbf

кажется, собираются увеличить городской округ Химки в Московской области: https://roads.ru/forum/topic/30233-administrativnaya-reforma-v-moskovskoy-oblasti/page/14/?tab=comments#comment-662853

Всем привет! Так случилось что я айтишник, а 2022 год - специфичный для айтишников.Я сейчас в другой стране, как и многие. В принципе я просто поехал чтобы пожить в другом месте - элемент любопытства, расширения кругозора. Поэтому я нахожусь в дружественной стране.

Но из-за переезда уменьшились возможности валидатора, так как я взял тот ноут что был, а он довольно слабый и старый. Уже пару раз наблюдал Blue screen of death. Недавно валидатор встал из-за существенно расширения границ России по морю из-за чего валидатор стал выдавать кучу ложных ошибок о границах.

Так вот я почти заканчиваю пересоздание образа чтобы там была бы вся Россия, без обрезок. Думаю сегодня-завтра выложить первый новый репорт.

Но после сегодняшнего выступления президента возник вопрос - а не делаю ли я что-то не то? Что с Херсоном? Когда в ОСМ буду внесены все правки? Нет ли сейчас уголовных дел за публичное отчуждения территории России?

Так когда планируетс уточнение границ России по результатам сегодняших событий?

Мне тогда будет менять полигон файл, перекачивать/перевырезать планету. Ну и ждать когда выйдет обновлённое ОКТМО.

Но вот боюсь что без вандализма со стороны украинцев это не пройдёт. Т.е. полгион скорее всего часто битый будет :frowning:

Когда эти границы будут признаны ООН, наверное?

Валидатор обновился. По состоянию на 30 сентября утро! Теперь обрезка соответствуем новым морским границам, поэтому нет ненужных сообщений о разрывах морских границ (Дальний Восток был сильно задет этим).

Поскольку валидатор не гонялся полноценно полтора месяца, вылезли некоторые артефакты на границе с Казахстаном - там массово изменены названия районов. Я уберу их в следующие разы, это немного ручная процедура требующая времени и аккуратности.

На всякий случай буду поддерживать актуальным planet.osm, чтобы в случае каких-то изменений границ иметь возможность перегенерить дамп России. Но честно говоря в этот раз я не думаю что это будет просто. А цель валидатора - валидировать а не быть частью какой-то политики.

оон для осм имеет такую же важность как и все остальные госюструктуры :slight_smile:

Всё, валидатор вернулся в рабочее состояние - поправил новшества со стороны Казахстана. Раньше в name объектов АТД было русское название, сейчас русское с казахским через тире. Мне нужно было это поправить у себя.

Также заметил что сегодня вышел новый ОКТМО. Я проверил, Херсона в нём нет. Так что это стандартные изменения. Обновлю на днях.

Ну и буду ждать спецоперации правок на западном фронте. Скорее всего Крым у меня будет разваливаться из-за этого. Но что поделаешь. Спецоперация это всегда какие-то жертвы, нужно будет просто выжить и перетерпеть.

Загрузил последнюю версию ОКТМО. Там мелкие изменения в Калужской области.

Херсона там нет. Поэтому с валидатором всё остаётся по прежнему. Планету обновляю пару раз в неделю чтобы быть готовым к любым переменам.

Планируется ли обновление валидатора до последнего обновления ОКТМО? Да и заметил, что валидатор уже давно не обновляется. Всё или будете поддерживать? :slight_smile:

Да, работа с валидатором планируется. Текущая проблема со слабым железом пока ещё не решена - доступен только слабый и довольно неудачный ноут. Из-за этого это 1-2 прогона в неделю максимум. Но покупка нового ноута по крайней мере видна на горизонте :slight_smile:

Более того, я планирую полностью переписать валидатор и в каком-то смысле вернуться к первоначальному валидатору, который был написан на SQL/PostGIS. Я сейчас активно изучаю PostgreSQL, PostGIS. Когда созрею на перемены скорее всего буду задавать вопросы по этим инструментам.

А в чём видится выигрыш? База хороша, когда одни данные используются в кучи мест. А так если уже всё реализовано в коде, то зачем.

Но валидатор перестал работать по другой причине. Я решил перейти на planet.osm.pbf поскольку у России границы в последнее время стали гибкие. Скачал с официального репозитория.

Использую ousupdate чтобы обновить planet.osm.pbf
Использую ousupdate чтобы вырезать дамп России из planet.osm.pbf
Использую ousupdate чтобы обновить вырезанный дамп России

osmupdate раньше работал но планету не пережевал. Я тогда скачал osmupdate/osmconvert отсюда - https://wiki.openstreetmap.org/wiki/Osmupdate и https://wiki.openstreetmap.org/wiki/Osmconvert

В итоге всё сначала заработало … но ситуация быстро стала портится. Сначала в дамп России стали прилетать изменения со всего мира. Скажем изменения из Африки и Южной Америки. Очень неудобно, правил руками, но вроде работало.

Потом обновление России стало вылетать с ошибками. Я обновил планету, снова вырезал Россию и быстро всё сломалось.

А потом сломалась и моя обновлённая планета.

То есть инструментарий оказался не совместим с дампами. Я на всякий случай ещё раз всё повторю, вдруг на страницах выложили более свежие бинарники. Но уверенности в том что всё снова будет работать пока нет.

Или расскажите какой сейчас более правильный способ подготовки обновляемого дампа России из планеты, т.е. osm файла.

Ну или где взять действительно актуальные и работающие версии этих бинарников. Я вижу что сырцы есть для более новых версий чем прицеплены к этой странице, возможно к странице прицеплены устаревшие бинарники.

Единственный момен - меня интересуют версии для Windows сейчас. У меня слишком слабый ноут чтобы не него ставить ещё и виртуалку с Линуксом поверху.

Очень странно, возможно у тебя какие-то ошибки при обновлении, а ты их не замечаешь. Попробуй добавить ключ -v
Проблем не испытываю, впрочем, хз чё там внутри дампа, но при фильтрации ничего из Африки не вылезает.
Единственно, что у меня с давних времён стоит объединение не больше 5 файлов

--max-merge=5

http://osm.sbin.ru/osm_dump/ ??
есть древний компутер с линуксом 2 ядра 4гб работает 24/7. могу дать доступ если такого хватит для работы.

А 300Гб свободного места :slight_smile:

старый хдд есть