Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges · 2016-12-01 21:33:33

fserges wrote:

Произошло очередное обновление классификатора ОКТМО. Ссылки на старый/новый актуальны и позволяют понять изменения.
fserges wrote:
Классификатор ОКТМО снова обновился (до обновления 160/2016), поэтому обновил и валидатор. Сегодня на основной странице пока ещё старые данные, завтра должно быть по-новому.
Для тех кого интересуют состояния "было/стало" обновил отчёт по старому классификатору и по новому. Данные ОСМ одни и те же, только разные классификаторы:
1) Старый - http://atd.osm.rambler.ru/old/
2) Новый - http://atd.osm.rambler.ru/new/
Следующий запуск валидатора будет по новому классификатору.

Собственно валидатор перешёл на новый классификатор. Ссылки на старый/новый помогут понять разницу между тем что был и тем что будет. Сегодня отчёт по старому классификатору, завтра будет по новому.

fserges · 2016-12-02 20:43:46

Всё, валидатор строится по новому классификатору. /old/ /new/ содержат копии было - стало.

Данное обновление в основном включило обновления конца прошлого года которые вступили в силу в начале этого года. Это значит что в ближайшее время скорее всего появятся обновления уже этого года чтобы классификатор учёл последние изменения к началу следующего налогового периода.

fserges · 2016-12-12 18:59:44

Валидатор второй день падает из-за ошибки описанной здесь: https://forum.openstreetmap.org/viewtop … 20#p622020

Что именно из той правки настолько фатально не знаю, но сейчас явно проще исправить в ОСМ чем копаться в коде

Я тут готовлю некое изменение, поэтому отвлекаться не хочется.

fserges · 2016-12-14 21:53:48

В конце ноября Росстат порадовал открытыми данными - Численность постоянного населения на 1 января 2016 года. Почему потребовалось так много времени - не знаю, по факту уже в мае такая информация существовала по куче регионов, но там нужно было всё сводить руками. Здесь же - csv с кодами ОКТМО Тем не менее пришлось повозиться и с этим списком, почему-то местами коды ОКТМО были взяты как будто с потолка, классификатор отличается от стандартного ОКТМО тем что ряд новых изменений в него не вошёл но зато есть изменения которых нет в ОКТМО. Нашёл также несколько ошибок. Короче после некоторой работы напильником получилось вот это:

По каждому объекту теперь отображается данные о численности населения, хранящиеся в ОСМ и взятые с сайта Росстата на 1 января 2016. Т.е. теперь можно увидеть данные по регионам, муниципальным районам, городским округам, сельским и городским поселениям, городам, пгт и внутригородским районам/округам.

Нужно это переносить в ОСМ или нет - не знаю. Но в валидаторе такая информация есть. Эти данные буду поддерживать в актуальном виде, т.е. если два поселения объединятся то в валидаторе будет суммарная численность объединённого поселения а не та что приведена в файле. А там, в конце следующего года данные снова обновятся

В общем, пользуйтесь!

pfg21 · 2016-12-15 07:07:19

спасибо огромное !!
можно попросить добавить в todo валидацию hamlet/village/town... по указанной численности (ну и роли admin_centre и тд). с этим тегом бардак более заметнее

fserges · 2016-12-26 17:26:06

pfg21 wrote:

спасибо огромное !!
можно попросить добавить в todo валидацию hamlet/village/town... по указанной численности (ну и роли admin_centre и тд). с этим тегом бардак более заметнее

Указанные проверки сделать можно. Но они дают относительно мало пользы тогда как список недоделок и так велик. Были бы актуальные данные по населению хотя бы всех крупных сельских НП РФ то такая проверка была бы важна, а так всё равно разнобой (согласен, в Чувашии картина лучше).

Вместо этого хочется просто переписать валидатор с нуля и сделать все проверки границ а потом начать добавлять шашечки Дело в том что текущий валидатор полностью самописный продукт на неком условном перле с использованием простой но проприетарной базы. Но чем умееем тем пользуемся, и валидатор получился рабочим и меня вполне устраивает.

Но тем не менее можно будет попробовать сделать более серьёзное решение, не хуже того что было при Дежине. Проблема в том что мне нужно не просто переписать валидатор а в том чтобы освоить с нуля другой стек, а это уже время. Поэтому я такую задачу имел в виду но не подступал. А сейчас вроде как появилась такая возможность, поэтому совсем не хочется влезать в текущий валидатор и добавлять новые фичи а сосредоточится на новом.

Правда новое всегда отнимает больше времени чем планируешь, поэтому переписывание может занять очень много времени. Поэтому пользуемся синицей в руках

fserges · 2016-12-26 21:26:33

fserges wrote:

fserges wrote:
Произошло очередное обновление классификатора ОКТМО. Ссылки на старый/новый актуальны и позволяют понять изменения.
fserges wrote:
Классификатор ОКТМО снова обновился (до обновления 160/2016), поэтому обновил и валидатор. Сегодня на основной странице пока ещё старые данные, завтра должно быть по-новому.
Для тех кого интересуют состояния "было/стало" обновил отчёт по старому классификатору и по новому. Данные ОСМ одни и те же, только разные классификаторы:
1) Старый - http://atd.osm.rambler.ru/old/
2) Новый - http://atd.osm.rambler.ru/new/
Следующий запуск валидатора будет по новому классификатору.
Собственно валидатор перешёл на новый классификатор. Ссылки на старый/новый помогут понять разницу между тем что был и тем что будет. Сегодня отчёт по старому классификатору, завтра будет по новому.

Классификатор обновился. Поэтому обновились ссылки на старую и новую версии. Сам валидатор построен по прежнему классификатору, завтра должен состояться переход на новый.

Поскольку классификаторы обновлялись чуть более 3 недель назад то прежнюю пару старый/новый не удалил а скопировал в такие:

1) Старый старый - http://atd.osm.rambler.ru/old2/
2) Старый новый - http://atd.osm.rambler.ru/new2/

Возможно иметь пару исторических копий валидатора имеет смысл на случай анализа данных после набега вандалов.

pfg21 · 2016-12-27 07:41:59

fserges, а взять исходники валидатора Дежина за основу, он на радио говаривал что выложил их в свободный доступ.

Last edited by pfg21 (2016-12-27 07:54:06)

fserges · 2016-12-27 10:32:49

pfg21 wrote:

fserges, а взять исходники валидатора Дежина за основу, он на радио говаривал что выложил их в свободный доступ.

Первый раз про такое слышу. Возможно это относится к какому-то другому валидатору.

pfg21 · 2016-12-27 11:26:59

хм, эфир ОСМ Радио, где присутсвует Дежин http://radio.osmz.ru/all/3-sentyabrya-nextgis-web/, про валидатор слушать в "продолжение беседы"

Last edited by pfg21 (2016-12-27 11:28:35)

fserges · 2017-01-11 14:47:11

pfg21 wrote:

хм, эфир ОСМ Радио, где присутсвует Дежин http://radio.osmz.ru/all/3-sentyabrya-nextgis-web/, про валидатор слушать в "продолжение беседы"

Прослушал все пол-часа, никакой информации кроме того что код валидатора не расшарен потому что он совершенно нечитаем не услышал. Так что пользы от этого особо нет.

pfg21 · 2017-01-11 15:04:01

хм, мне помнится что Дежин высказывался что выслать может и уже кому-то высылал. т.е. исходники несекретны...
ну а читаемость и функциональность "братья навек", тут ничего не поделаешь.

Xmypblu · 2017-01-11 15:34:34

если ничего не путаю, когда накрылся валидатор Дежина, сохранилась небольшая часть
то что сохранилось использовалось еще где-то и в итоге попала на GitHub
https://github.com/nextgis/osm_adm

freeExec · 2017-01-24 05:52:28

Обрабатывал адреса у себя в области и нашёл десяток населённых пунктов, где их границы налазили на границы МО. Т.е. в итоге правило геометрической вложенности не работало, хотя валидатор говорит всё ОК. Подозреваю, что сначала ищутся точки в пределах нужного МО, а затем охватывающих их полигон. В итоге полигон place с границей МО не сравнивается
У wowik кстати тоже всё зелёным без ошибок.

wowik · 2017-01-24 06:59:52

http://wowik.000space.com/places/ru/err.php?err=35
Часть ошибок у меня косвенно вылазит чуть позже в виде того, что объект имеет родителя в которого реально не попадает. Например входит в НП некоторого района (тем самым наследует его явно и неявно заданные addr:*), а в сам район не попадает.

В своё время я обращал внимание любителей наносить границы поселений, что нанесенные границы бьют НП, часто из-за грубости привязки да и самих карт поселений.
В некоторых случаях в Сибири и Кавказе был сдвиг на на сотни метров, что хорошо было видно при сравнении с кадастром.

Я считаю, что с небольшими перекрытиями границ смысла бороться нет, по крайней мере пока в перекрытие не попадают значимые объекты.
Тяжело и лениво рисовать границы НП в точности по границам районов/поселений/соседей и т.п. мы ж утоним в убитых полигонах!

Last edited by wowik (2017-01-24 07:18:10)

freeExec · 2017-01-24 07:43:52

wowik wrote:

Я считаю, что с небольшими перекрытиями границ смысла бороться нет

Как тогда по-проще получить куда попадает большая часть place в postgis?

wowik · 2017-01-24 09:02:49

Не представляю. Базу не использую.
Куда попадает неточечный объект я проверяю по попаданию какой-нибудь одной точки, лежащей внутри объекта. Это и быстро, и в приближении непересекающихся границ абсолютно точно.
А уже отдельным проходом можно проверить результат, но это уже не поиск по всем возможным родителям, а проверка правильности конкретного найденного.

freeExec · 2017-01-24 09:32:10

Тоже не плохо, попробую.

fserges · 2017-02-08 17:38:05

Обновился ОКТМО в очередной раз. На этот раз изменения очень локальные - ещё 3 муниципальных района в Калининградской области стали городскими округами (осталось всего 3, я так понимаю это вопрос ближайшего времени), появилось Ново-Бенойское СП в Чечне (уже отрисовано в ОСМ). Ввиду этого было/стало делать не буду - там всё очевидно. Сегодня валидатор построился по старому справочнику, завтра будет по новому.

wowik · 2017-02-08 18:03:00

М-да, и еще один посёлок переделали в хутор.

Last edited by wowik (2017-02-08 18:03:08)

fserges · 2017-02-13 20:41:58

По причинам описанным в теме Населённые пункты входящие в несколько регионов/федеральных округов с прошлой недели валидатор выделяет посёлок Центральный как объект высшего порядка АТД РФ (он не входит ни в один из федеральных округов, т.е. не является частью ни одного из макрорегионов России).

Поскольку алгоритмического способа (прописанного в Вики) разрешения этой ситуации не существует то придётся оставить как есть - валидатор будет выделять Российскую Федерацию и посёлок Центральный.

Валидатор в данном случае эмулирует работу абстрактного конвертера который пытается построить иерархию АТД некой страны используя данные ОСМ, поэтому получит сходный результат.

igitov · 2017-02-26 08:56:05

Пропустил я момент, когда перестали валидироваться некоторые типы н.п.: http://atd.osm.rambler.ru/r3358491.html
Может им ОКТМО добавить, или когда-то починится?

Sibri · 2017-03-01 11:27:39

Почему валидатор выдает ошибку "Контур не задан" для отношения https://www.openstreetmap.org/relation/ … 3/102.4262

Это сельское поселение Харбяты http://atd.osm.rambler.ru/r194275.html
Ошибка эта появляется потом и выше: Харбяты->Тункинский район-> Бурятия -> Сибирский федеральный округ

И еще что нужно сделать, чтобы нашлось Кыренское поселение. У него отличия от других (которые нашлись) вроде только в том, что остальные названы: "сельское поселение Аршан", а это "Кыренское сельское поселение".

Страница валидатора http://atd.osm.rambler.ru/r194275.html

Само отношение: https://www.openstreetmap.org/relation/ … 7/101.9956

Заранее спасибо.

fserges · 2017-03-01 13:44:50

Sibri wrote:

Почему валидатор выдает ошибку "Контур не задан" для отношения https://www.openstreetmap.org/relation/ … 3/102.4262
Это сельское поселение Харбяты http://atd.osm.rambler.ru/r194275.html
Ошибка эта появляется потом и выше: Харбяты->Тункинский район-> Бурятия -> Сибирский федеральный округ
И еще что нужно сделать, чтобы нашлось Кыренское поселение. У него отличия от других (которые нашлись) вроде только в том, что остальные названы: "сельское поселение Аршан", а это "Кыренское сельское поселение".
Страница валидатора http://atd.osm.rambler.ru/r194275.html
Само отношение: https://www.openstreetmap.org/relation/ … 7/101.9956
Заранее спасибо.

Я заметил что iWowik только что правил поселения, может они уже исправлены? Кыренское в последнем отчёте уже сопоставилось, сельское поселение Харбяты по ночным данным ещё выдаёт ошибку "Контур не замкнут". Я бы подождал день чтобы убедиться что ошибка осталась. Верификатор границ (http://analyser.openstreetmap.fr) почему-то не видит это отношение, я не готов сказать есть там сейчас ошибка или нет. Вероятность ошибки валидатора минимальна, но теоретически могут быть проблемы с дампом, а их искать не очень легко.

fserges · 2017-03-01 14:09:01

igitov wrote:

Пропустил я момент, когда перестали валидироваться некоторые типы н.п.: http://atd.osm.rambler.ru/r3358491.html
Может им ОКТМО добавить, или когда-то починится?

НП которые будки и казармы это "больное место". Где проходит грань между статусной частью и названием НП? Деревня Ивановка - здесь очевидно. Посёлок Петровка - ОК, посёлок при ж/д станции Сидоровка ... хорошо, принимаю.

А где статус и название НП в случае таких объектов: ж/д остановочная платформа 1046 км, ж/д путевой пост №45, ж/д блокпост №45, ж/д казарма 1045 км, железнодорожная водокачка №1, ж/д площадка посёлка Мишкино?

Если ответ покажется очевидным то вот примеры без ж/д в начале: база отдыха комбината "Искож", дом отдыха "Сокол", Кордон №5, лесоучасток Каменный перебор, отдельный дом Любимово, турбаза "Ладога".

Поэтому в валидаторе использован такой подход. Использован стандартный тип НП (подсмотрен в ОКАТО/ОКТМО) как статус, всё остальное - название. ж/д оказалось пограничным случаем. Т.е. "ж/д путевой пост №45" рассматривается как полное название (точнее official_name), в котором невозможно явно выделить статус/название. Поэтому валидатор ожидает такое:

name № 45 <- но на самом деле можно писать что угодно
official_name железнодорожный путевой пост № 45
official_status ru:железнодорожный путевой пост
https://www.openstreetmap.org/node/1411521836
http://atd.osm.rambler.ru/r1314107.html

Правильно ли это - не могу сказать, но писать:

official_status=ж/д площадка посёлка
name=Мишкино

рука не поднимается ...

Предлагайте лучшие варианты!

#1276 2016-12-01 21:33:33

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1277 2016-12-02 20:43:46

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1278 2016-12-12 18:59:44

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1279 2016-12-14 21:53:48

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1280 2016-12-15 07:07:19

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1281 2016-12-26 17:26:06

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1282 2016-12-26 21:26:33

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1283 2016-12-27 07:41:59

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1284 2016-12-27 10:32:49

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1285 2016-12-27 11:26:59

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1286 2017-01-11 14:47:11

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1287 2017-01-11 15:04:01

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1288 2017-01-11 15:34:34

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1289 2017-01-24 05:52:28

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1290 2017-01-24 06:59:52

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1291 2017-01-24 07:43:52

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1292 2017-01-24 09:02:49

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1293 2017-01-24 09:32:10

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1294 2017-02-08 17:38:05

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1295 2017-02-08 18:03:00

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1296 2017-02-13 20:41:58

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1297 2017-02-26 08:56:05

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1298 2017-03-01 11:27:39

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1299 2017-03-01 13:44:50

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1300 2017-03-01 14:09:01

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Board footer