You are not logged in.
- Topics: Active | Unanswered
Announcement
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***
#101 2013-11-26 17:30:26
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
fserges wrote:А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?
Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/OsmupdateВсе там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.
Я же не говорю что я гуру в ОСМ, понятно что в ОСМ куча разных полезных тулов. Всегда полезно спросить у сообщества что сейчас модно
Может тогда и годный файл обрезки России имеется? Я тогда смогу запускать валидатор не тогда когда скачаю дамп РФ а тогда когда мне это будет удобно по тем или иным причинам, хоть по заказу.
Бывший редактор ОСМ
Offline
#102 2013-11-26 18:00:56
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,540
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Может тогда и годный файл обрезки России имеется?
Offline
#103 2013-11-26 18:04:38
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,540
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Имхо без разницы с какой тороны подставлять "сельские поселения". Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.
Offline
#104 2013-11-26 18:16:02
- Zkir
- Member
- From: Хрустальная Москва
- Registered: 2009-02-21
- Posts: 6,110
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Я же не говорю что я гуру в ОСМ.
Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное
Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.
Offline
#105 2013-11-26 18:18:31
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,368
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm
Из двух вариантов матчится будет любой. Какой предлагать по дефолту зависит от местных вкусов. Тут разборки хлеще, чем с улицами.
Анализ по стране показал, что если прилагательное оканчивается на -ское и -цкое, то это почти всегда именно название поселения, а не села/поселка, давшего имя поселению. Стало быть пишем натурально сзади. Остальные клеим спереди.
Могу для KHM умолчание поменять.
Last edited by wowik (2013-11-26 19:01:34)
Offline
#106 2013-11-26 18:21:24
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,368
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Мне тоже привычно ставить его в конце, по крайней мере так в району у нас принято. По аналогии с областями, районами.
Ну да, только после этого имеем "Поречье-Рыбное сельское поселение". Такие прилагательные часто относятся не к поселению.
Есть еще прикол в одном районе
- сельское поселение поселок Бабынино
- сельское поселение село Бабынино
как-то "поселок" и сокращать-то боязно.
Кстати про районы
Муниципальный район имени Полины Осипенко
Муниципальный район имени Лазо
Муниципальный район Вуктыл
Муниципальный район Печора
Last edited by wowik (2013-11-26 19:27:59)
Offline
#107 2013-11-27 16:13:36
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!
Запустил валидатор на новых данных ... и загрустил. Он снова ползёт как черепаха и по прикидкам закончит где-то в районе полуночи, я не готов столько сидеть на работе ... Границ сломанных у нас предостаточно - порядка 130, но там сельские поселения, не регионы. А валидатор еле ползёт. Начал смотреть логи системы и удивился, почему алгоритм так часто улетает на медленные проверки.
В общем проблема нашлась и со следующего прогона скорость должна вырасти. Оказалась что правильно построенный индекс по которому бежит оптимизационный алгоритм был грохнут мною перед запуском прогона. А алгоритм видя что данные не валидны идёт по самому надёжному но медленному пути.
В остатке - текущий прогон я прерывать не буду так как всё равно до ухода с работы он не завершится. Завтра я сгенерю текущий отчёт и попробую запуститься ещё раз, но уже с правильным индексом.
Бывший редактор ОСМ
Offline
#108 2013-11-27 19:09:00
- zetx16
- Member
- Registered: 2011-01-21
- Posts: 226
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?
Например
красное на #FFAAAA
зеленое на #99FF99
Last edited by zetx16 (2013-11-27 19:09:25)
Offline
#109 2013-11-27 19:19:52
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Внезапно валидатор обновлён Состояние - утренний дамп.
После того как прибил индексы отвечающие за оптимизацию алгоритм ускорился и закончил работу в разумное время.
Изменения в основном косметические, но их набралось некоторое количество.
Бывший редактор ОСМ
Offline
#110 2013-11-27 19:40:33
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,540
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Отлично, а с буквой ё не разбирался ?
Last edited by freeExec (2013-11-27 19:42:27)
Offline
#111 2013-11-27 19:46:54
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Отлично, а с буквой ё не разбирался ?
Я отключу Ё на выходных, сейчас не охота в тот алгоритм есть. Потом сверю расхождения между ОСМ и моими данными, исправлю у себя где надо. А потом верну Ё на место.
Бывший редактор ОСМ
Offline
#112 2013-11-27 19:54:21
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Можно еще цвета заливки поменять на что нибудь более мягкое, а то глаза режет?
Например
красное на #FFAAAA
зеленое на #99FF99
Попробовал (локально). Зелёный стал мягче а красный превратился в гламурный розовый Может тогда и спокойный жёлтый предложите? Со следующего отчёта должен появиться жёлтый цвет отмечающий серьёзные но не критические ошибки.
Бывший редактор ОСМ
Offline
#113 2013-11-27 19:56:39
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
fserges wrote:Я же не говорю что я гуру в ОСМ.
Радуйся, ты окружен людьми, которые всегда готовы подсказать что-нибудь дельное
Приятно это осознавать
Бывший редактор ОСМ
Offline
#114 2013-11-27 19:59:57
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
fserges wrote:Из мелочей - теперь обрабатываются isolated_dwelling
А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.
Пока locality трогать не буду. Как известно, им в СПб и кладбища отмечают, там нужно штучно разбираться. По логике нужно к locality добавить что-нибудь типа was:locality=hamlet чтобы отличать абстрактное locality от останков населённого пункта.
Про Ё я уже ответил - на выходных.
Last edited by fserges (2013-11-27 20:00:19)
Бывший редактор ОСМ
Offline
#115 2013-11-27 20:14:08
- zetx16
- Member
- Registered: 2011-01-21
- Posts: 226
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Может тогда и спокойный жёлтый предложите?
Желтый #EEEEAA :)
Offline
#116 2013-11-27 20:45:43
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
fserges wrote:Может тогда и спокойный жёлтый предложите?
Желтый #EEEEAA
Да, спасибо, пойдёт Когда будет следующая выгрузка (завтра или послезавтра - ведь у нас же БД сейчас на ТО) жёлтым будут отмечаться НП которые не попали в правильные сельские/городские поселения, но попали в правильный район. Т.е. в отчётах будет преобладать жёлтый а не красный
А потом нужно будет пиктограммки на разные типы ошибок заводить. В общем валидатор ещё пилить и пилить.
Бывший редактор ОСМ
Offline
#117 2013-11-28 05:08:59
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Могу сказать что за последнее обновление количество распознанных НП увеличилось на 2.5% (полторы тысячи). Это, в принципе, уже успех.
Offline
#118 2013-11-28 07:34:40
- mihafedor
- Member
- From: Льгов 46rus
- Registered: 2011-02-02
- Posts: 48
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
что делать с опечатками в базе?
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name
Offline
#119 2013-11-28 08:00:32
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,540
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
в случаях ПГТ валидатор требует наличия "поселок" в name
С чего ты взял ?
Offline
#120 2013-11-28 09:02:02
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
что делать с опечатками в базе?
про Е/Ё уже писали конечно
и как быть со статусными частями? в случаях ПГТ валидатор требует наличия "поселок" в name
Обработка статусных частей это следующий этап. Я более-менее подготовил технический алгоритм, но что и как писать в ОСМе - это вопрос который требует некоторого обсуждения и следовательно времени. Думаю через пару недель этим займусь - раньше у меня совсем запары будут ...
А слово "посёлок" валидатор кстати не требует - "посёлок" пишется в городских поселениях (хотя и там он не требуется). Проблема в другом - в результате муниципальной реформы были придуманы городские поселения, в которые могут входить как сами пгт так и другие населённые пункты. Но "пгт Петрово" и "городское поселение Петрово" суть разные объекты. "пгт Петрово" это place=village (скорее всего) с тегом official_status=ru:пгт а "городское поселение Петрово" это admin_level=8, official_status=ru:городское_поселение. Это две близких но разных сущности. В ОСМ они по привычке смешаны. Про это и wowik говорил.
Бывший редактор ОСМ
Offline
#121 2013-11-28 14:48:53
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
А расскажи подробнее про алгоритм для статусных частей. На самом деле на границах нужно требовать явного указания полного названия со статусной частью - так для сверки нужно всего два сравнения: =="<статусная часть> <название>" и =="<название> <статусная часть>". На place, понятно, в name только название, одинаковые названия различаются по official_status и/или full_name. Не думаю что послабления в этой схеме допустимы.
Кстати, откуда всё-таки эталонная база? Я вот заметил следующую штуку (к вопросу о опечатках): часто есть деревни с разночтением названий (Спас vs. Спасс, Большое Софроново vs. Большое Сафроново, Маковицы vs. Маковницы), при этом в большинстве карт используется название (условно) A, но в кадастре - название B. Так вот в валидаторе также используется B, и возможно есть основания доверять ему больше чем <большинству карт>. Под большинством карт здесь подразумевается подложка росреестра, яндекс, навител и гармин, под кадастром - информация о кадастровых участках с того же росреестра. Хотелось бы на эту тему услышать комментарии Zkir и Sergey Astakhov.
Offline
#122 2013-11-28 14:52:14
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,540
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Я думаю про названия своих деревень должна знать соответствующая администрация, а не кадастровый инженер или кто там данные вносит.
Offline
#123 2013-11-28 15:35:17
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Я думаю он всё-таки не с потолка их вносит и данные у него наиболее приближенные к администрации. Уж точно не к говнокартам, если уж кадастр с ними не совпадает.
Offline
#124 2013-11-28 15:50:17
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,019
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Всё, отработал новый прогон и первый анализ говорит что результаты стали лучше. К сожалению, выложить я пока не могу, т.к. выяснилось что на работе заблокированы как ftp так и ssh наружу, т.е. результаты станут доступны поздно вечером когда я это сделаю из дома.
Из новшеств:
Был запущен был оптимизированный а не стандартный алгоритм, в результате чего самая долгая часть его работы ускорилась на 2 часа, а это существенный прирост производительности. Теперь всё время работы валидатора стало строго меньше чем рабочий день, т.е. проблем с его регулярным обновлением быть не должно (за исключением того что нет ftp или ssh). Ошибок не было обнаружено.
Были найдены недостающие муниципальные районы и сельские поселения (раньше часть из них отсутствовала). Осталось только несколько НП находящихся в межселенных территориях - ими займусь позже
Добавился жёлтый статус, т.е. НП распозналось на уровне района а не на уровне поселения. Красным цветом выделены НП которые не удалось сопоставить (включая правда и НП с одним названием - это ещё нужно обрабатывать). И да, цвета теперь используется предложенные zetx16
Немного подкрутил сопоставление поселений
По сравнению со вчерашним прогоном сопоставилось на 600 НП больше.
Бывший редактор ОСМ
Offline
#125 2013-11-28 16:04:35
- lenux
- Member
- Registered: 2011-12-06
- Posts: 669
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Чем не вариант перенести рабочую часть валидатора на рамблер?
Offline