You are not logged in.

#101 2013-11-26 17:30:26

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Zkir wrote:
fserges wrote:

А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?

Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/Osmupdate


Все там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.

Я же не говорю что я гуру в ОСМ, понятно что в ОСМ куча разных полезных тулов. Всегда полезно спросить у сообщества что сейчас модно smile

Может тогда и годный файл обрезки России имеется? smile Я тогда смогу запускать валидатор не тогда когда скачаю дамп РФ а тогда когда мне это будет удобно по тем или иным причинам, хоть по заказу.


Бывший редактор ОСМ

Offline

#102 2013-11-26 18:00:56

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Может тогда и годный файл обрезки России имеется?

http://gis-lab.info/projects/osm_dump/

Offline

#103 2013-11-26 18:04:38

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Имхо без разницы с какой тороны подставлять "сельские поселения". Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.

Offline

#104 2013-11-26 18:16:02

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,110

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Я же не говорю что я гуру в ОСМ.

Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное smile

https://github.com/Zkir/osm2dcm/blob/ma … a.pbf.poly


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#105 2013-11-26 18:18:31

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,302

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Stalker61 wrote:

wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm

Из двух вариантов матчится будет любой. Какой предлагать по дефолту зависит от местных вкусов. Тут разборки хлеще, чем с улицами.
Анализ по стране показал, что если прилагательное оканчивается на -ское и -цкое, то это почти всегда именно название поселения, а не села/поселка, давшего имя поселению. Стало быть пишем натурально сзади. Остальные клеим спереди.
Могу для KHM умолчание поменять.

Last edited by wowik (2013-11-26 19:01:34)

Offline

#106 2013-11-26 18:21:24

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,302

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.

Ну да, только после этого имеем "Поречье-Рыбное сельское поселение". Такие прилагательные часто относятся не к поселению.


Есть еще прикол в одном районе
- сельское поселение поселок Бабынино       
- сельское поселение село Бабынино
как-то "поселок" и сокращать-то боязно.

Кстати про районы

Муниципальный район имени Полины Осипенко
Муниципальный район имени Лазо
Муниципальный район Вуктыл
Муниципальный район Печора

Last edited by wowik (2013-11-26 19:27:59)

Offline

#107 2013-11-27 16:13:36

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

Запустил валидатор на новых данных ... и загрустил. Он снова ползёт как черепаха и по прикидкам закончит где-то в районе полуночи, я не готов столько сидеть на работе ... Границ сломанных у нас предостаточно - порядка 130, но там сельские поселения, не регионы. А валидатор еле ползёт. Начал смотреть логи системы и удивился, почему алгоритм так часто улетает на медленные проверки.

В общем проблема нашлась и со следующего прогона скорость должна вырасти. Оказалась что правильно построенный индекс по которому бежит оптимизационный алгоритм был грохнут мною перед запуском прогона. А алгоритм видя что данные не валидны идёт по самому надёжному но медленному пути.

В остатке - текущий прогон я прерывать не буду так как всё равно до ухода с работы он не завершится. Завтра я сгенерю текущий отчёт и попробую запуститься ещё раз, но уже с правильным индексом.


Бывший редактор ОСМ

Offline

#108 2013-11-27 19:09:00

zetx16
Member
Registered: 2011-01-21
Posts: 226

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?

Например
красное на #FFAAAA
зеленое на #99FF99

Last edited by zetx16 (2013-11-27 19:09:25)

Offline

#109 2013-11-27 19:19:52

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Внезапно валидатор обновлён smile Состояние - утренний дамп.

После того как прибил индексы отвечающие за оптимизацию алгоритм ускорился и закончил работу в разумное время.

Изменения в основном косметические, но их набралось некоторое количество.


Бывший редактор ОСМ

Offline

#110 2013-11-27 19:40:33

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Отлично, а с буквой ё не разбирался ?

Last edited by freeExec (2013-11-27 19:42:27)

Offline

#111 2013-11-27 19:46:54

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Отлично, а с буквой ё не разбирался ?

Я отключу Ё на выходных, сейчас не охота в тот алгоритм есть. Потом сверю расхождения между ОСМ и моими данными, исправлю у себя где надо. А потом верну Ё на место.


Бывший редактор ОСМ

Offline

#112 2013-11-27 19:54:21

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

zetx16 wrote:

Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?

Например
красное на #FFAAAA
зеленое на #99FF99

Попробовал (локально). Зелёный стал мягче а красный превратился в гламурный розовый smile Может тогда и спокойный жёлтый предложите? Со следующего отчёта должен появиться жёлтый цвет отмечающий серьёзные но не критические ошибки.


Бывший редактор ОСМ

Offline

#113 2013-11-27 19:56:39

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Zkir wrote:
fserges wrote:

Я же не говорю что я гуру в ОСМ.

Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное smile

https://github.com/Zkir/osm2dcm/blob/ma … a.pbf.poly

Приятно это осознавать smile


Бывший редактор ОСМ

Offline

#114 2013-11-27 19:59:57

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

AMDmi3 wrote:
fserges wrote:

Из мелочей - теперь обрабатываются isolated_dwelling

А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.

Пока locality трогать не буду. Как известно, им в СПб и кладбища отмечают, там нужно штучно разбираться. По логике нужно к locality добавить что-нибудь типа was:locality=hamlet чтобы отличать абстрактное locality от останков населённого пункта.
Про Ё я уже ответил - на выходных.

Last edited by fserges (2013-11-27 20:00:19)


Бывший редактор ОСМ

Offline

#115 2013-11-27 20:14:08

zetx16
Member
Registered: 2011-01-21
Posts: 226

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Может тогда и спокойный жёлтый предложите?

Желтый #EEEEAA :)

Offline

#116 2013-11-27 20:45:43

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

zetx16 wrote:
fserges wrote:

Может тогда и спокойный жёлтый предложите?

Желтый #EEEEAA smile

Да, спасибо, пойдёт smile Когда будет следующая выгрузка (завтра или послезавтра - ведь у нас же БД сейчас на ТО) жёлтым будут отмечаться НП которые не попали в правильные сельские/городские поселения, но попали в правильный район. Т.е. в отчётах будет преобладать жёлтый а не красный smile

А потом нужно будет пиктограммки на разные типы ошибок заводить. В общем валидатор ещё пилить и пилить.


Бывший редактор ОСМ

Offline

#117 2013-11-28 05:08:59

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Могу сказать что за последнее обновление количество распознанных НП увеличилось на 2.5% (полторы тысячи). Это, в принципе, уже успех.

Offline

#118 2013-11-28 07:34:40

mihafedor
Member
From: Льгов 46rus
Registered: 2011-02-02
Posts: 48

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

что делать с опечатками в базе?   
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name

Offline

#119 2013-11-28 08:00:32

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

mihafedor wrote:

в случаях ПГТ валидатор требует наличия "поселок" в name

С чего ты взял ?

Offline

#120 2013-11-28 09:02:02

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

mihafedor wrote:

что делать с опечатками в базе?   
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name

Обработка статусных частей это следующий этап. Я более-менее подготовил технический алгоритм, но что и как писать в ОСМе - это вопрос который требует некоторого обсуждения и следовательно времени. Думаю через пару недель этим займусь - раньше у меня совсем запары будут ...

А слово "посёлок" валидатор кстати не требует - "посёлок" пишется в городских поселениях (хотя и там он не требуется). Проблема в другом - в результате муниципальной реформы были придуманы городские поселения, в которые могут входить как сами пгт так и другие населённые пункты. Но "пгт Петрово" и "городское поселение Петрово" суть разные объекты. "пгт Петрово" это place=village (скорее всего) с тегом official_status=ru:пгт а "городское поселение Петрово" это admin_level=8, official_status=ru:городское_поселение. Это две близких но разных сущности. В ОСМ они по привычке смешаны. Про это и wowik говорил.


Бывший редактор ОСМ

Offline

#121 2013-11-28 14:48:53

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

А расскажи подробнее про алгоритм для статусных частей. На самом деле на границах нужно требовать явного указания полного названия со статусной частью - так для сверки нужно всего два сравнения: =="<статусная часть> <название>" и =="<название> <статусная часть>". На place, понятно, в name только название, одинаковые названия различаются по official_status и/или full_name. Не думаю что послабления в этой схеме допустимы.

Кстати, откуда всё-таки эталонная база? Я вот заметил следующую штуку (к вопросу о опечатках): часто есть деревни с разночтением названий (Спас vs. Спасс,  Большое Софроново vs. Большое Сафроново, Маковицы vs. Маковницы), при этом в большинстве карт используется название (условно) A, но в кадастре - название B. Так вот в валидаторе также используется B, и возможно есть основания доверять ему больше чем <большинству карт>. Под большинством карт здесь подразумевается подложка росреестра, яндекс, навител и гармин, под кадастром - информация о кадастровых участках с того же росреестра. Хотелось бы на эту тему услышать комментарии Zkir и Sergey Astakhov.

Offline

#122 2013-11-28 14:52:14

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Я думаю про названия своих деревень должна знать соответствующая администрация, а не кадастровый инженер или кто там данные вносит.

Offline

#123 2013-11-28 15:35:17

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Я думаю он всё-таки не с потолка их вносит и данные у него наиболее приближенные к администрации. Уж точно не к говнокартам, если уж кадастр с ними не совпадает.

Offline

#124 2013-11-28 15:50:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,997

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Всё, отработал новый прогон и первый анализ говорит что результаты стали лучше. К сожалению, выложить я пока не могу, т.к. выяснилось что на работе заблокированы как ftp так и ssh наружу, т.е. результаты станут доступны поздно вечером когда я это сделаю из дома.

Из новшеств:

  • Был запущен был оптимизированный  а не стандартный алгоритм, в результате чего самая долгая часть его работы ускорилась на 2 часа, а это существенный прирост производительности. Теперь всё время работы валидатора стало строго меньше чем рабочий день, т.е. проблем с его регулярным обновлением быть не должно (за исключением того что нет ftp или ssh). Ошибок не было обнаружено.

  • Были найдены недостающие муниципальные районы и сельские поселения (раньше часть из них отсутствовала). Осталось только несколько НП находящихся в межселенных территориях - ими займусь позже

  • Добавился жёлтый статус, т.е. НП распозналось на уровне района а не на уровне поселения. Красным цветом выделены НП которые не удалось сопоставить (включая правда и НП с одним названием - это ещё нужно обрабатывать). И да, цвета теперь используется предложенные zetx16

  • Немного подкрутил сопоставление поселений

По сравнению со вчерашним прогоном сопоставилось на 600 НП больше.


Бывший редактор ОСМ

Offline

#125 2013-11-28 16:04:35

lenux
Member
Registered: 2011-12-06
Posts: 666

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Чем не вариант перенести рабочую часть валидатора на рамблер?

Offline

Board footer

Powered by FluxBB