Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Крымский ФО “упразднён” в валидаторе, так что с завтрашнего дня Крым станет “красным”.

Валидатор сегодня завалился. Очередной раз была создана граница с веем из одной точки. Потлач:

Был вей состоящий из двух точек, одна из точек была удалена … а вей остался :slight_smile:
Такие баги кто-то смотрит или проще грохнуть эту кривую линию?

^^ Просто грохнул. По ходу пришлось чинить ещё несколько маршрутов ОТ.

А чего Нижнесакмарский провалился внутрь “Дзержинский район”?
http://atd.osm.rambler.ru/r1398615.html

Он туда “физически” попадает. Но у меня есть какая-то бага с НП в городских районах, сходу не разообрался, а внимательно времени нет посмотреть. Иногда НП попадают в район а иногда нет. Надеюсь что приедет бабушка и я смогу найти хотя бы час на программирование :slight_smile:

На следующей неделе будет 2 месяца как Крымский ФО упразднён, а в ОСМ он всё ещё есть :slight_smile:
Похоже как тема Крыма перестала быть горячей актуализация упала.

Собственно валидатор перешёл на новый классификатор. Ссылки на старый/новый помогут понять разницу между тем что был и тем что будет. Сегодня отчёт по старому классификатору, завтра будет по новому.

Всё, валидатор строится по новому классификатору. /old/ /new/ содержат копии было - стало.

Данное обновление в основном включило обновления конца прошлого года которые вступили в силу в начале этого года. Это значит что в ближайшее время скорее всего появятся обновления уже этого года чтобы классификатор учёл последние изменения к началу следующего налогового периода.

Валидатор второй день падает из-за ошибки описанной здесь: https://forum.openstreetmap.org/viewtopic.php?pid=622020#p622020

Что именно из той правки настолько фатально не знаю, но сейчас явно проще исправить в ОСМ чем копаться в коде :slight_smile:

Я тут готовлю некое изменение, поэтому отвлекаться не хочется.

В конце ноября Росстат порадовал открытыми данными - Численность постоянного населения на 1 января 2016 года. Почему потребовалось так много времени - не знаю, по факту уже в мае такая информация существовала по куче регионов, но там нужно было всё сводить руками. Здесь же - csv с кодами ОКТМО :slight_smile: Тем не менее пришлось повозиться и с этим списком, почему-то местами коды ОКТМО были взяты как будто с потолка, классификатор отличается от стандартного ОКТМО тем что ряд новых изменений в него не вошёл но зато есть изменения которых нет в ОКТМО. Нашёл также несколько ошибок. Короче после некоторой работы напильником получилось вот это:

По каждому объекту теперь отображается данные о численности населения, хранящиеся в ОСМ и взятые с сайта Росстата на 1 января 2016. Т.е. теперь можно увидеть данные по регионам, муниципальным районам, городским округам, сельским и городским поселениям, городам, пгт и внутригородским районам/округам.

Нужно это переносить в ОСМ или нет - не знаю. Но в валидаторе такая информация есть. Эти данные буду поддерживать в актуальном виде, т.е. если два поселения объединятся то в валидаторе будет суммарная численность объединённого поселения а не та что приведена в файле. А там, в конце следующего года данные снова обновятся :slight_smile:

В общем, пользуйтесь!

спасибо огромное !!
можно попросить добавить в todo валидацию hamlet/village/town… по указанной численности (ну и роли admin_centre и тд). с этим тегом бардак более заметнее :slight_smile:

Указанные проверки сделать можно. Но они дают относительно мало пользы тогда как список недоделок и так велик. Были бы актуальные данные по населению хотя бы всех крупных сельских НП РФ то такая проверка была бы важна, а так всё равно разнобой (согласен, в Чувашии картина лучше).

Вместо этого хочется просто переписать валидатор с нуля и сделать все проверки границ а потом начать добавлять шашечки :slight_smile: Дело в том что текущий валидатор полностью самописный продукт на неком условном перле с использованием простой но проприетарной базы. Но чем умееем тем пользуемся, и валидатор получился рабочим и меня вполне устраивает.

Но тем не менее можно будет попробовать сделать более серьёзное решение, не хуже того что было при Дежине. Проблема в том что мне нужно не просто переписать валидатор а в том чтобы освоить с нуля другой стек, а это уже время. Поэтому я такую задачу имел в виду но не подступал. А сейчас вроде как появилась такая возможность, поэтому совсем не хочется влезать в текущий валидатор и добавлять новые фичи а сосредоточится на новом.

Правда новое всегда отнимает больше времени чем планируешь, поэтому переписывание может занять очень много времени. Поэтому пользуемся синицей в руках :slight_smile:

Классификатор обновился. Поэтому обновились ссылки на старую и новую версии. Сам валидатор построен по прежнему классификатору, завтра должен состояться переход на новый.

Поскольку классификаторы обновлялись чуть более 3 недель назад то прежнюю пару старый/новый не удалил а скопировал в такие:

  1. Старый старый - http://atd.osm.rambler.ru/old2/
  2. Старый новый - http://atd.osm.rambler.ru/new2/

Возможно иметь пару исторических копий валидатора имеет смысл на случай анализа данных после набега вандалов.

fserges, а взять исходники валидатора Дежина за основу, он на радио говаривал что выложил их в свободный доступ.

Первый раз про такое слышу. Возможно это относится к какому-то другому валидатору.

хм, эфир ОСМ Радио, где присутсвует Дежин http://radio.osmz.ru/all/3-sentyabrya-nextgis-web/, про валидатор слушать в “продолжение беседы”

Прослушал все пол-часа, никакой информации кроме того что код валидатора не расшарен потому что он совершенно нечитаем не услышал. Так что пользы от этого особо нет.

хм, мне помнится что Дежин высказывался что выслать может и уже кому-то высылал. т.е. исходники несекретны…
ну а читаемость и функциональность “братья навек”, тут ничего не поделаешь.

если ничего не путаю, когда накрылся валидатор Дежина, сохранилась небольшая часть
то что сохранилось использовалось еще где-то и в итоге попала на GitHub
https://github.com/nextgis/osm_adm

Обрабатывал адреса у себя в области и нашёл десяток населённых пунктов, где их границы налазили на границы МО. Т.е. в итоге правило геометрической вложенности не работало, хотя валидатор говорит всё ОК. Подозреваю, что сначала ищутся точки в пределах нужного МО, а затем охватывающих их полигон. В итоге полигон place с границей МО не сравнивается :frowning:
У wowik кстати тоже всё зелёным без ошибок.