Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges · 2013-11-26 17:30:26

Zkir wrote:

fserges wrote:
А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?
Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/Osmupdate

Все там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.

Я же не говорю что я гуру в ОСМ, понятно что в ОСМ куча разных полезных тулов. Всегда полезно спросить у сообщества что сейчас модно

Может тогда и годный файл обрезки России имеется? Я тогда смогу запускать валидатор не тогда когда скачаю дамп РФ а тогда когда мне это будет удобно по тем или иным причинам, хоть по заказу.

freeExec · 2013-11-26 18:00:56

fserges wrote:

Может тогда и годный файл обрезки России имеется?

http://gis-lab.info/projects/osm_dump/

freeExec · 2013-11-26 18:04:38

Имхо без разницы с какой тороны подставлять "сельские поселения". Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.

Zkir · 2013-11-26 18:16:02

fserges wrote:

Я же не говорю что я гуру в ОСМ.

Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное

https://github.com/Zkir/osm2dcm/blob/ma … a.pbf.poly

wowik · 2013-11-26 18:18:31

Stalker61 wrote:

wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm

Из двух вариантов матчится будет любой. Какой предлагать по дефолту зависит от местных вкусов. Тут разборки хлеще, чем с улицами.
Анализ по стране показал, что если прилагательное оканчивается на -ское и -цкое, то это почти всегда именно название поселения, а не села/поселка, давшего имя поселению. Стало быть пишем натурально сзади. Остальные клеим спереди.
Могу для KHM умолчание поменять.

Last edited by wowik (2013-11-26 19:01:34)

wowik · 2013-11-26 18:21:24

freeExec wrote:

Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.

Ну да, только после этого имеем "Поречье-Рыбное сельское поселение". Такие прилагательные часто относятся не к поселению.

Есть еще прикол в одном районе
- сельское поселение поселок Бабынино
- сельское поселение село Бабынино
как-то "поселок" и сокращать-то боязно.

Кстати про районы

Муниципальный район имени Полины Осипенко
Муниципальный район имени Лазо
Муниципальный район Вуктыл
Муниципальный район Печора

Last edited by wowik (2013-11-26 19:27:59)

fserges · 2013-11-27 16:13:36

fserges wrote:

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

Запустил валидатор на новых данных ... и загрустил. Он снова ползёт как черепаха и по прикидкам закончит где-то в районе полуночи, я не готов столько сидеть на работе ... Границ сломанных у нас предостаточно - порядка 130, но там сельские поселения, не регионы. А валидатор еле ползёт. Начал смотреть логи системы и удивился, почему алгоритм так часто улетает на медленные проверки.

В общем проблема нашлась и со следующего прогона скорость должна вырасти. Оказалась что правильно построенный индекс по которому бежит оптимизационный алгоритм был грохнут мною перед запуском прогона. А алгоритм видя что данные не валидны идёт по самому надёжному но медленному пути.

В остатке - текущий прогон я прерывать не буду так как всё равно до ухода с работы он не завершится. Завтра я сгенерю текущий отчёт и попробую запуститься ещё раз, но уже с правильным индексом.

zetx16 · 2013-11-27 19:09:00

Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?

Например
красное на #FFAAAA
зеленое на #99FF99

Last edited by zetx16 (2013-11-27 19:09:25)

fserges · 2013-11-27 19:19:52

Внезапно валидатор обновлён Состояние - утренний дамп.

После того как прибил индексы отвечающие за оптимизацию алгоритм ускорился и закончил работу в разумное время.

Изменения в основном косметические, но их набралось некоторое количество.

freeExec · 2013-11-27 19:40:33

Отлично, а с буквой ё не разбирался ?

Last edited by freeExec (2013-11-27 19:42:27)

fserges · 2013-11-27 19:46:54

freeExec wrote:

Отлично, а с буквой ё не разбирался ?

Я отключу Ё на выходных, сейчас не охота в тот алгоритм есть. Потом сверю расхождения между ОСМ и моими данными, исправлю у себя где надо. А потом верну Ё на место.

fserges · 2013-11-27 19:54:21

zetx16 wrote:

Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?
Например
красное на #FFAAAA
зеленое на #99FF99

Попробовал (локально). Зелёный стал мягче а красный превратился в гламурный розовый Может тогда и спокойный жёлтый предложите? Со следующего отчёта должен появиться жёлтый цвет отмечающий серьёзные но не критические ошибки.

fserges · 2013-11-27 19:56:39

Zkir wrote:

fserges wrote:
Я же не говорю что я гуру в ОСМ.
Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное
https://github.com/Zkir/osm2dcm/blob/ma … a.pbf.poly

Приятно это осознавать

fserges · 2013-11-27 19:59:57

AMDmi3 wrote:

fserges wrote:
Из мелочей - теперь обрабатываются isolated_dwelling
А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.

Пока locality трогать не буду. Как известно, им в СПб и кладбища отмечают, там нужно штучно разбираться. По логике нужно к locality добавить что-нибудь типа was:locality=hamlet чтобы отличать абстрактное locality от останков населённого пункта.
Про Ё я уже ответил - на выходных.

Last edited by fserges (2013-11-27 20:00:19)

zetx16 · 2013-11-27 20:14:08

fserges wrote:

Может тогда и спокойный жёлтый предложите?

Желтый #EEEEAA :)

fserges · 2013-11-27 20:45:43

zetx16 wrote:

fserges wrote:
Может тогда и спокойный жёлтый предложите?
Желтый #EEEEAA

Да, спасибо, пойдёт Когда будет следующая выгрузка (завтра или послезавтра - ведь у нас же БД сейчас на ТО) жёлтым будут отмечаться НП которые не попали в правильные сельские/городские поселения, но попали в правильный район. Т.е. в отчётах будет преобладать жёлтый а не красный

А потом нужно будет пиктограммки на разные типы ошибок заводить. В общем валидатор ещё пилить и пилить.

AMDmi3 · 2013-11-28 05:08:59

Могу сказать что за последнее обновление количество распознанных НП увеличилось на 2.5% (полторы тысячи). Это, в принципе, уже успех.

mihafedor · 2013-11-28 07:34:40

что делать с опечатками в базе?
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name

freeExec · 2013-11-28 08:00:32

mihafedor wrote:

в случаях ПГТ валидатор требует наличия "поселок" в name

С чего ты взял ?

fserges · 2013-11-28 09:02:02

mihafedor wrote:

что делать с опечатками в базе?
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name

Обработка статусных частей это следующий этап. Я более-менее подготовил технический алгоритм, но что и как писать в ОСМе - это вопрос который требует некоторого обсуждения и следовательно времени. Думаю через пару недель этим займусь - раньше у меня совсем запары будут ...

А слово "посёлок" валидатор кстати не требует - "посёлок" пишется в городских поселениях (хотя и там он не требуется). Проблема в другом - в результате муниципальной реформы были придуманы городские поселения, в которые могут входить как сами пгт так и другие населённые пункты. Но "пгт Петрово" и "городское поселение Петрово" суть разные объекты. "пгт Петрово" это place=village (скорее всего) с тегом official_status=ru:пгт а "городское поселение Петрово" это admin_level=8, official_status=ru:городское_поселение. Это две близких но разных сущности. В ОСМ они по привычке смешаны. Про это и wowik говорил.

AMDmi3 · 2013-11-28 14:48:53

А расскажи подробнее про алгоритм для статусных частей. На самом деле на границах нужно требовать явного указания полного названия со статусной частью - так для сверки нужно всего два сравнения: =="<статусная часть> <название>" и =="<название> <статусная часть>". На place, понятно, в name только название, одинаковые названия различаются по official_status и/или full_name. Не думаю что послабления в этой схеме допустимы.

Кстати, откуда всё-таки эталонная база? Я вот заметил следующую штуку (к вопросу о опечатках): часто есть деревни с разночтением названий (Спас vs. Спасс, Большое Софроново vs. Большое Сафроново, Маковицы vs. Маковницы), при этом в большинстве карт используется название (условно) A, но в кадастре - название B. Так вот в валидаторе также используется B, и возможно есть основания доверять ему больше чем <большинству карт>. Под большинством карт здесь подразумевается подложка росреестра, яндекс, навител и гармин, под кадастром - информация о кадастровых участках с того же росреестра. Хотелось бы на эту тему услышать комментарии Zkir и Sergey Astakhov.

freeExec · 2013-11-28 14:52:14

Я думаю про названия своих деревень должна знать соответствующая администрация, а не кадастровый инженер или кто там данные вносит.

AMDmi3 · 2013-11-28 15:35:17

Я думаю он всё-таки не с потолка их вносит и данные у него наиболее приближенные к администрации. Уж точно не к говнокартам, если уж кадастр с ними не совпадает.

fserges · 2013-11-28 15:50:17

Всё, отработал новый прогон и первый анализ говорит что результаты стали лучше. К сожалению, выложить я пока не могу, т.к. выяснилось что на работе заблокированы как ftp так и ssh наружу, т.е. результаты станут доступны поздно вечером когда я это сделаю из дома.

Из новшеств:

Был запущен был оптимизированный а не стандартный алгоритм, в результате чего самая долгая часть его работы ускорилась на 2 часа, а это существенный прирост производительности. Теперь всё время работы валидатора стало строго меньше чем рабочий день, т.е. проблем с его регулярным обновлением быть не должно (за исключением того что нет ftp или ssh). Ошибок не было обнаружено.
Были найдены недостающие муниципальные районы и сельские поселения (раньше часть из них отсутствовала). Осталось только несколько НП находящихся в межселенных территориях - ими займусь позже
Добавился жёлтый статус, т.е. НП распозналось на уровне района а не на уровне поселения. Красным цветом выделены НП которые не удалось сопоставить (включая правда и НП с одним названием - это ещё нужно обрабатывать). И да, цвета теперь используется предложенные zetx16
Немного подкрутил сопоставление поселений

По сравнению со вчерашним прогоном сопоставилось на 600 НП больше.

lenux · 2013-11-28 16:04:35

Чем не вариант перенести рабочую часть валидатора на рамблер?

#101 2013-11-26 17:30:26

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#102 2013-11-26 18:00:56

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#103 2013-11-26 18:04:38

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#104 2013-11-26 18:16:02

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#105 2013-11-26 18:18:31

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#106 2013-11-26 18:21:24

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#107 2013-11-27 16:13:36

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#108 2013-11-27 19:09:00

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#109 2013-11-27 19:19:52

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#110 2013-11-27 19:40:33

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#111 2013-11-27 19:46:54

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#112 2013-11-27 19:54:21

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#113 2013-11-27 19:56:39

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#114 2013-11-27 19:59:57

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#115 2013-11-27 20:14:08

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#116 2013-11-27 20:45:43

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#117 2013-11-28 05:08:59

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#118 2013-11-28 07:34:40

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#119 2013-11-28 08:00:32

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#120 2013-11-28 09:02:02

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#121 2013-11-28 14:48:53

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#122 2013-11-28 14:52:14

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#123 2013-11-28 15:35:17

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#124 2013-11-28 15:50:17

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#125 2013-11-28 16:04:35

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Board footer