You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#101 2013-11-26 17:30:26

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Zkir wrote:
fserges wrote:

А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?

Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/Osmupdate


Все там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.

Я же не говорю что я гуру в ОСМ, понятно что в ОСМ куча разных полезных тулов. Всегда полезно спросить у сообщества что сейчас модно smile

Может тогда и годный файл обрезки России имеется? smile Я тогда смогу запускать валидатор не тогда когда скачаю дамп РФ а тогда когда мне это будет удобно по тем или иным причинам, хоть по заказу.


Бывший редактор ОСМ

Offline

#102 2013-11-26 18:00:56

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,540

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Может тогда и годный файл обрезки России имеется?

http://gis-lab.info/projects/osm_dump/

Offline

#103 2013-11-26 18:04:38

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,540

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Имхо без разницы с какой тороны подставлять "сельские поселения". Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.

Offline

#104 2013-11-26 18:16:02

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,110

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Я же не говорю что я гуру в ОСМ.

Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное smile

https://github.com/Zkir/osm2dcm/blob/ma … a.pbf.poly


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#105 2013-11-26 18:18:31

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,368

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Stalker61 wrote:

wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm

Из двух вариантов матчится будет любой. Какой предлагать по дефолту зависит от местных вкусов. Тут разборки хлеще, чем с улицами.
Анализ по стране показал, что если прилагательное оканчивается на -ское и -цкое, то это почти всегда именно название поселения, а не села/поселка, давшего имя поселению. Стало быть пишем натурально сзади. Остальные клеим спереди.
Могу для KHM умолчание поменять.

Last edited by wowik (2013-11-26 19:01:34)

Offline

#106 2013-11-26 18:21:24

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,368

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.

Ну да, только после этого имеем "Поречье-Рыбное сельское поселение". Такие прилагательные часто относятся не к поселению.


Есть еще прикол в одном районе
- сельское поселение поселок Бабынино       
- сельское поселение село Бабынино
как-то "поселок" и сокращать-то боязно.

Кстати про районы

Муниципальный район имени Полины Осипенко
Муниципальный район имени Лазо
Муниципальный район Вуктыл
Муниципальный район Печора

Last edited by wowik (2013-11-26 19:27:59)

Offline

#107 2013-11-27 16:13:36

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

Запустил валидатор на новых данных ... и загрустил. Он снова ползёт как черепаха и по прикидкам закончит где-то в районе полуночи, я не готов столько сидеть на работе ... Границ сломанных у нас предостаточно - порядка 130, но там сельские поселения, не регионы. А валидатор еле ползёт. Начал смотреть логи системы и удивился, почему алгоритм так часто улетает на медленные проверки.

В общем проблема нашлась и со следующего прогона скорость должна вырасти. Оказалась что правильно построенный индекс по которому бежит оптимизационный алгоритм был грохнут мною перед запуском прогона. А алгоритм видя что данные не валидны идёт по самому надёжному но медленному пути.

В остатке - текущий прогон я прерывать не буду так как всё равно до ухода с работы он не завершится. Завтра я сгенерю текущий отчёт и попробую запуститься ещё раз, но уже с правильным индексом.


Бывший редактор ОСМ

Offline

#108 2013-11-27 19:09:00

zetx16
Member
Registered: 2011-01-21
Posts: 226

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?

Например
красное на #FFAAAA
зеленое на #99FF99

Last edited by zetx16 (2013-11-27 19:09:25)

Offline

#109 2013-11-27 19:19:52

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Внезапно валидатор обновлён smile Состояние - утренний дамп.

После того как прибил индексы отвечающие за оптимизацию алгоритм ускорился и закончил работу в разумное время.

Изменения в основном косметические, но их набралось некоторое количество.


Бывший редактор ОСМ

Offline

#110 2013-11-27 19:40:33

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,540

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Отлично, а с буквой ё не разбирался ?

Last edited by freeExec (2013-11-27 19:42:27)

Offline

#111 2013-11-27 19:46:54

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Отлично, а с буквой ё не разбирался ?

Я отключу Ё на выходных, сейчас не охота в тот алгоритм есть. Потом сверю расхождения между ОСМ и моими данными, исправлю у себя где надо. А потом верну Ё на место.


Бывший редактор ОСМ

Offline

#112 2013-11-27 19:54:21

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

zetx16 wrote:

Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?

Например
красное на #FFAAAA
зеленое на #99FF99

Попробовал (локально). Зелёный стал мягче а красный превратился в гламурный розовый smile Может тогда и спокойный жёлтый предложите? Со следующего отчёта должен появиться жёлтый цвет отмечающий серьёзные но не критические ошибки.


Бывший редактор ОСМ

Offline

#113 2013-11-27 19:56:39

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Zkir wrote:
fserges wrote:

Я же не говорю что я гуру в ОСМ.

Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное smile

https://github.com/Zkir/osm2dcm/blob/ma … a.pbf.poly

Приятно это осознавать smile


Бывший редактор ОСМ

Offline

#114 2013-11-27 19:59:57

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

AMDmi3 wrote:
fserges wrote:

Из мелочей - теперь обрабатываются isolated_dwelling

А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.

Пока locality трогать не буду. Как известно, им в СПб и кладбища отмечают, там нужно штучно разбираться. По логике нужно к locality добавить что-нибудь типа was:locality=hamlet чтобы отличать абстрактное locality от останков населённого пункта.
Про Ё я уже ответил - на выходных.

Last edited by fserges (2013-11-27 20:00:19)


Бывший редактор ОСМ

Offline

#115 2013-11-27 20:14:08

zetx16
Member
Registered: 2011-01-21
Posts: 226

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Может тогда и спокойный жёлтый предложите?

Желтый #EEEEAA :)

Offline

#116 2013-11-27 20:45:43

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

zetx16 wrote:
fserges wrote:

Может тогда и спокойный жёлтый предложите?

Желтый #EEEEAA smile

Да, спасибо, пойдёт smile Когда будет следующая выгрузка (завтра или послезавтра - ведь у нас же БД сейчас на ТО) жёлтым будут отмечаться НП которые не попали в правильные сельские/городские поселения, но попали в правильный район. Т.е. в отчётах будет преобладать жёлтый а не красный smile

А потом нужно будет пиктограммки на разные типы ошибок заводить. В общем валидатор ещё пилить и пилить.


Бывший редактор ОСМ

Offline

#117 2013-11-28 05:08:59

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Могу сказать что за последнее обновление количество распознанных НП увеличилось на 2.5% (полторы тысячи). Это, в принципе, уже успех.

Offline

#118 2013-11-28 07:34:40

mihafedor
Member
From: Льгов 46rus
Registered: 2011-02-02
Posts: 48

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

что делать с опечатками в базе?   
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name

Offline

#119 2013-11-28 08:00:32

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,540

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

mihafedor wrote:

в случаях ПГТ валидатор требует наличия "поселок" в name

С чего ты взял ?

Offline

#120 2013-11-28 09:02:02

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

mihafedor wrote:

что делать с опечатками в базе?   
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name

Обработка статусных частей это следующий этап. Я более-менее подготовил технический алгоритм, но что и как писать в ОСМе - это вопрос который требует некоторого обсуждения и следовательно времени. Думаю через пару недель этим займусь - раньше у меня совсем запары будут ...

А слово "посёлок" валидатор кстати не требует - "посёлок" пишется в городских поселениях (хотя и там он не требуется). Проблема в другом - в результате муниципальной реформы были придуманы городские поселения, в которые могут входить как сами пгт так и другие населённые пункты. Но "пгт Петрово" и "городское поселение Петрово" суть разные объекты. "пгт Петрово" это place=village (скорее всего) с тегом official_status=ru:пгт а "городское поселение Петрово" это admin_level=8, official_status=ru:городское_поселение. Это две близких но разных сущности. В ОСМ они по привычке смешаны. Про это и wowik говорил.


Бывший редактор ОСМ

Offline

#121 2013-11-28 14:48:53

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

А расскажи подробнее про алгоритм для статусных частей. На самом деле на границах нужно требовать явного указания полного названия со статусной частью - так для сверки нужно всего два сравнения: =="<статусная часть> <название>" и =="<название> <статусная часть>". На place, понятно, в name только название, одинаковые названия различаются по official_status и/или full_name. Не думаю что послабления в этой схеме допустимы.

Кстати, откуда всё-таки эталонная база? Я вот заметил следующую штуку (к вопросу о опечатках): часто есть деревни с разночтением названий (Спас vs. Спасс,  Большое Софроново vs. Большое Сафроново, Маковицы vs. Маковницы), при этом в большинстве карт используется название (условно) A, но в кадастре - название B. Так вот в валидаторе также используется B, и возможно есть основания доверять ему больше чем <большинству карт>. Под большинством карт здесь подразумевается подложка росреестра, яндекс, навител и гармин, под кадастром - информация о кадастровых участках с того же росреестра. Хотелось бы на эту тему услышать комментарии Zkir и Sergey Astakhov.

Offline

#122 2013-11-28 14:52:14

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,540

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Я думаю про названия своих деревень должна знать соответствующая администрация, а не кадастровый инженер или кто там данные вносит.

Offline

#123 2013-11-28 15:35:17

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Я думаю он всё-таки не с потолка их вносит и данные у него наиболее приближенные к администрации. Уж точно не к говнокартам, если уж кадастр с ними не совпадает.

Offline

#124 2013-11-28 15:50:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,019

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Всё, отработал новый прогон и первый анализ говорит что результаты стали лучше. К сожалению, выложить я пока не могу, т.к. выяснилось что на работе заблокированы как ftp так и ssh наружу, т.е. результаты станут доступны поздно вечером когда я это сделаю из дома.

Из новшеств:

  • Был запущен был оптимизированный  а не стандартный алгоритм, в результате чего самая долгая часть его работы ускорилась на 2 часа, а это существенный прирост производительности. Теперь всё время работы валидатора стало строго меньше чем рабочий день, т.е. проблем с его регулярным обновлением быть не должно (за исключением того что нет ftp или ssh). Ошибок не было обнаружено.

  • Были найдены недостающие муниципальные районы и сельские поселения (раньше часть из них отсутствовала). Осталось только несколько НП находящихся в межселенных территориях - ими займусь позже

  • Добавился жёлтый статус, т.е. НП распозналось на уровне района а не на уровне поселения. Красным цветом выделены НП которые не удалось сопоставить (включая правда и НП с одним названием - это ещё нужно обрабатывать). И да, цвета теперь используется предложенные zetx16

  • Немного подкрутил сопоставление поселений

По сравнению со вчерашним прогоном сопоставилось на 600 НП больше.


Бывший редактор ОСМ

Offline

#125 2013-11-28 16:04:35

lenux
Member
Registered: 2011-12-06
Posts: 669

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Чем не вариант перенести рабочую часть валидатора на рамблер?

Offline

Board footer

Powered by FluxBB