OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1276 2016-12-01 21:33:33

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:

Произошло очередное обновление классификатора ОКТМО. Ссылки на старый/новый актуальны и позволяют понять изменения.

fserges wrote:

Классификатор ОКТМО снова обновился (до обновления 160/2016), поэтому обновил и валидатор. Сегодня на основной странице пока ещё старые данные, завтра должно быть по-новому.

Для тех кого интересуют состояния "было/стало" обновил отчёт по старому классификатору и по новому. Данные ОСМ одни и те же, только разные классификаторы:

1) Старый - http://atd.osm.rambler.ru/old/
2) Новый - http://atd.osm.rambler.ru/new/

Следующий запуск валидатора будет по новому классификатору.

Собственно валидатор перешёл на новый классификатор. Ссылки на старый/новый помогут понять разницу между тем что был и тем что будет. Сегодня отчёт по старому классификатору, завтра будет по новому.

Offline

#1277 2016-12-02 20:43:46

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Всё, валидатор строится по новому классификатору. /old/ /new/ содержат копии было - стало.

Данное обновление в основном включило обновления конца прошлого года которые вступили в силу в начале этого года. Это значит что в ближайшее время скорее всего появятся обновления уже этого года чтобы классификатор учёл последние изменения к началу следующего налогового периода.

Offline

#1278 2016-12-12 18:59:44

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Валидатор второй день падает из-за ошибки описанной здесь: https://forum.openstreetmap.org/viewtop … 20#p622020

Что именно из той правки настолько фатально не знаю, но сейчас явно проще исправить в ОСМ чем копаться в коде smile

Я тут готовлю некое изменение, поэтому отвлекаться не хочется.

Offline

#1279 2016-12-14 21:53:48

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

В конце ноября Росстат порадовал открытыми данными - Численность постоянного населения на 1 января 2016 года. Почему потребовалось так много времени - не знаю, по факту уже в мае такая информация существовала по куче регионов, но там нужно было всё сводить руками. Здесь же - csv с кодами ОКТМО smile Тем не менее пришлось повозиться и с этим списком, почему-то местами коды ОКТМО были взяты как будто с потолка, классификатор отличается от стандартного ОКТМО тем что ряд новых изменений в него не вошёл но зато есть изменения которых нет в ОКТМО. Нашёл также несколько ошибок. Короче после некоторой работы напильником получилось вот это:

0_bdf63_2150a63_XXL.png

По каждому объекту теперь отображается данные о численности населения, хранящиеся в ОСМ и взятые с сайта Росстата на 1 января 2016. Т.е. теперь можно увидеть данные по регионам, муниципальным районам, городским округам, сельским и городским поселениям, городам, пгт и внутригородским районам/округам.

Нужно это переносить в ОСМ или нет - не знаю. Но в валидаторе такая информация есть. Эти данные буду поддерживать в актуальном виде, т.е. если два поселения объединятся то в валидаторе будет суммарная численность объединённого поселения а не та что приведена в файле. А там, в конце следующего года данные снова обновятся smile

В общем, пользуйтесь!

Offline

#1280 2016-12-15 07:07:19

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,222

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

спасибо огромное !!
можно попросить добавить в todo валидацию hamlet/village/town... по указанной численности (ну и роли admin_centre и тд). с этим тегом бардак более заметнее smile

Offline

#1281 2016-12-26 17:26:06

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

pfg21 wrote:

спасибо огромное !!
можно попросить добавить в todo валидацию hamlet/village/town... по указанной численности (ну и роли admin_centre и тд). с этим тегом бардак более заметнее smile

Указанные проверки сделать можно. Но они дают относительно мало пользы тогда как список недоделок и так велик. Были бы актуальные данные по населению хотя бы всех крупных сельских НП РФ то такая проверка была бы важна, а так всё равно разнобой (согласен, в Чувашии картина лучше).

Вместо этого хочется просто переписать валидатор с нуля и сделать все проверки границ а потом начать добавлять шашечки smile Дело в том что текущий валидатор полностью самописный продукт на неком условном перле с использованием простой но проприетарной базы. Но чем умееем тем пользуемся, и валидатор получился рабочим и меня вполне устраивает.

Но тем не менее можно будет попробовать сделать более серьёзное решение, не хуже того что было при Дежине. Проблема в том что мне нужно не просто переписать валидатор а в том чтобы освоить с нуля другой стек, а это уже время. Поэтому я такую задачу имел в виду но не подступал. А сейчас вроде как появилась такая возможность, поэтому совсем не хочется влезать в текущий валидатор и добавлять новые фичи а сосредоточится на новом.

Правда новое всегда отнимает больше времени чем планируешь, поэтому переписывание может занять очень много времени. Поэтому пользуемся синицей в руках smile

Offline

#1282 2016-12-26 21:26:33

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:
fserges wrote:

Произошло очередное обновление классификатора ОКТМО. Ссылки на старый/новый актуальны и позволяют понять изменения.

fserges wrote:

Классификатор ОКТМО снова обновился (до обновления 160/2016), поэтому обновил и валидатор. Сегодня на основной странице пока ещё старые данные, завтра должно быть по-новому.

Для тех кого интересуют состояния "было/стало" обновил отчёт по старому классификатору и по новому. Данные ОСМ одни и те же, только разные классификаторы:

1) Старый - http://atd.osm.rambler.ru/old/
2) Новый - http://atd.osm.rambler.ru/new/

Следующий запуск валидатора будет по новому классификатору.

Собственно валидатор перешёл на новый классификатор. Ссылки на старый/новый помогут понять разницу между тем что был и тем что будет. Сегодня отчёт по старому классификатору, завтра будет по новому.

Классификатор обновился. Поэтому обновились ссылки на старую и новую версии. Сам валидатор построен по прежнему классификатору, завтра должен состояться переход на новый.

Поскольку классификаторы обновлялись чуть более 3 недель назад то прежнюю пару старый/новый не удалил а скопировал в такие:

1) Старый старый - http://atd.osm.rambler.ru/old2/
2) Старый новый - http://atd.osm.rambler.ru/new2/

Возможно иметь пару исторических копий валидатора имеет смысл на случай анализа данных после набега вандалов.

Offline

#1283 2016-12-27 07:41:59

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,222

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges, а взять исходники валидатора Дежина за основу, он на радио говаривал что выложил их в свободный доступ.

Last edited by pfg21 (2016-12-27 07:54:06)

Offline

#1284 2016-12-27 10:32:49

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

pfg21 wrote:

fserges, а взять исходники валидатора Дежина за основу, он на радио говаривал что выложил их в свободный доступ.

Первый раз про такое слышу. Возможно это относится к какому-то другому валидатору.

Offline

#1285 2016-12-27 11:26:59

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,222

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

хм, эфир ОСМ Радио, где присутсвует Дежин http://radio.osmz.ru/all/3-sentyabrya-nextgis-web/, про валидатор слушать в "продолжение беседы"

Last edited by pfg21 (2016-12-27 11:28:35)

Offline

#1286 2017-01-11 14:47:11

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

pfg21 wrote:

хм, эфир ОСМ Радио, где присутсвует Дежин http://radio.osmz.ru/all/3-sentyabrya-nextgis-web/, про валидатор слушать в "продолжение беседы"

Прослушал все пол-часа, никакой информации кроме того что код валидатора не расшарен потому что он совершенно нечитаем не услышал. Так что пользы от этого особо нет.

Offline

#1287 2017-01-11 15:04:01

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,222

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

хм, мне помнится что Дежин высказывался что выслать может и уже кому-то высылал. т.е. исходники несекретны...
ну а читаемость и функциональность "братья навек", тут ничего не поделаешь.

Offline

#1288 2017-01-11 15:34:34

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 383

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

если ничего не путаю, когда накрылся валидатор Дежина, сохранилась небольшая часть
то что сохранилось использовалось еще где-то и в итоге попала на GitHub
https://github.com/nextgis/osm_adm


Последняя заметка в дневниках: Реки Сахалина

Offline

#1289 2017-01-24 05:52:28

freeExec
Moderator
From: Ульяновск
Registered: 2012-07-31
Posts: 6,290

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Обрабатывал адреса у себя в области и нашёл десяток населённых пунктов, где их границы налазили на границы МО. Т.е. в итоге правило геометрической вложенности не работало, хотя валидатор говорит всё ОК. Подозреваю, что сначала ищутся точки в пределах нужного МО, а затем охватывающих их полигон. В итоге полигон place с границей МО не сравнивается sad
У wowik кстати тоже всё зелёным без ошибок.

Offline

#1290 2017-01-24 06:59:52

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 6,526

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

http://wowik.000space.com/places/ru/err.php?err=35
Часть ошибок у меня косвенно вылазит чуть позже в виде того, что объект имеет родителя в которого реально не попадает. Например входит в НП некоторого района (тем самым наследует его явно и неявно заданные addr:*), а в сам район не попадает.

В своё время я обращал внимание любителей наносить границы поселений, что нанесенные границы бьют НП, часто из-за грубости привязки да и самих карт поселений.
В некоторых случаях в Сибири и Кавказе был сдвиг на на сотни метров, что хорошо было видно при сравнении с кадастром.

Я считаю, что с небольшими перекрытиями границ смысла бороться нет, по крайней мере пока в перекрытие не попадают значимые объекты.
Тяжело и лениво рисовать границы НП в точности по границам районов/поселений/соседей и т.п. мы ж утоним в убитых полигонах!

Last edited by wowik (2017-01-24 07:18:10)

Offline

#1291 2017-01-24 07:43:52

freeExec
Moderator
From: Ульяновск
Registered: 2012-07-31
Posts: 6,290

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

wowik wrote:

Я считаю, что с небольшими перекрытиями границ смысла бороться нет

Как тогда по-проще получить куда попадает большая часть place в postgis?

Offline

#1292 2017-01-24 09:02:49

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 6,526

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Не представляю. Базу не использую.
Куда попадает неточечный объект я проверяю по попаданию какой-нибудь одной точки, лежащей внутри объекта. Это и быстро, и в приближении непересекающихся границ абсолютно точно.
А уже отдельным проходом можно проверить результат, но это уже не поиск по всем возможным родителям, а проверка правильности конкретного найденного.

Offline

#1293 2017-01-24 09:32:10

freeExec
Moderator
From: Ульяновск
Registered: 2012-07-31
Posts: 6,290

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Тоже не плохо, попробую.

Offline

#1294 2017-02-08 17:38:05

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Обновился ОКТМО в очередной раз. На этот раз изменения очень локальные - ещё 3 муниципальных района в Калининградской области стали городскими округами (осталось всего 3, я так понимаю это вопрос ближайшего времени), появилось Ново-Бенойское СП в Чечне (уже отрисовано в ОСМ). Ввиду этого было/стало делать не буду - там всё очевидно. Сегодня валидатор построился по старому справочнику, завтра будет по новому.

Offline

#1295 2017-02-08 18:03:00

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 6,526

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

М-да, и еще один посёлок переделали в хутор.

Last edited by wowik (2017-02-08 18:03:08)

Offline

#1296 2017-02-13 20:41:58

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,591

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

По причинам описанным в теме Населённые пункты входящие в несколько регионов/федеральных округов с прошлой недели валидатор выделяет посёлок Центральный как объект высшего порядка АТД РФ (он не входит ни в один из федеральных округов, т.е. не является частью ни одного из макрорегионов России).

Поскольку алгоритмического способа (прописанного в Вики) разрешения этой ситуации не существует то придётся оставить как есть - валидатор будет выделять Российскую Федерацию и посёлок Центральный.

Валидатор в данном случае эмулирует работу абстрактного конвертера который пытается построить иерархию АТД некой страны используя данные ОСМ, поэтому получит сходный результат.

Offline

#1297 Yesterday 08:56:05

igitov
Member
From: Kotel'nich
Registered: 2011-12-08
Posts: 1,199

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Пропустил я момент, когда перестали валидироваться некоторые типы н.п.: http://atd.osm.rambler.ru/r3358491.html
Может им ОКТМО добавить, или когда-то починится?

Offline

Board footer

Powered by FluxBB