Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Фактическую, но которая захватывает все жилые на сегодняшний день дома.

А с промзоной, что тогда делать?

Ну если планируемая на следующи год, а не на 202?, то можно бы и планируемую, чтобы два раза не вставать.

А с промзоной надо разбираться, входит она в земли населённых пунктов или нет.

Валидатор опять упал … Такое падение стало повторяться часто после того как я поборолся с другим падением. Как это получается - пока не понимаю, знаю что это происходит если в одном поселении несколько НП с одним именем, одно из которых имеет контур а другое нет. Придётся копаться в алгоритме а для этого нужен как минимум чистый прогон, т.е. 4 часа. Постараюсь разобраться с этой проблемой на этой неделе как первостепенной. А то падения стали происходить слишком часто.

Возможно пока можно ограничится публикацией виновника, нарисовать границу НП не так долго.

Валидатор снова упал, но времени разбираться с причиной не было. Просто отключил оптимизацию, и за 6 часов получил результат :slight_smile:

А багу так и не нашёл. Точнее в прошлый раз всё упало при одной странной конфигурации данных, но сейчас эта конфигурация не повторяется :slight_smile: Такое ощущение что было какое-то внутреннее падение, которое подпортило мои данные и на кривых данных всё упало. В общем пока всё хорошо, но уверенности в том что не будет проблем нет. Буду следить дальше.

Ну а одноимённые поселения попробую обработать на праздниках. Изменения несложные, но отладка отнимает очень много времени, это должен быть свободный от других дел день.

Так может быть его в open source надо? Может кто-то и пофиксит баг.

open source не панацея :slight_smile: Можно заметить по соседним темам.

Из нового. С января существенно упала скорость работы валидатора. Одноразово, без каких либо изменений валидатор стал работать почти в 2 раза медленнее. По времени это совпало с шумихой по поводу какой-то процессорной баги в Интеле. Ноутбук стал постоянно обновляться (включая BIOS). Ни на чём не заметил падения скорости кроме как на валидаторе. Никаких идей кроме того что как-то та процессорная бага и виртуалка как-то связаны нет.

В результате валидатор стал работать почти 8 часов что перестало входить в приемлимые для меня рамки. Поэтому валидатор перешёл в режим еженедельного обновления - 8 часов времени мне нужно специально находить. Возможно, станет лучше, когда я всё-таки смогу запускать валидатор на десктопе а не на ноуте, но это не вопрос нескольких недель.

Далее, пару недель назад довольно сильно обновился ОКТМО. Если изменения по Московской области простые то по другим регионам требуется больше усилий. Но ближайшие 2-3 недели скорее всего свободного времени совсем не будет. Поэтому валидатор пока будет бежать по старому справочнику.

Но всё же есть надежда на позитив :slight_smile: Есть ощущение что скоро свободного времени должно стать больше чем сейчас и по крайней мере наиболее срочные вопросы удастся порешать.

Баг вроде как говорят сказывается на операциях ввода/вывода. Может если сразу из дампа вырезать только границы и загнать его целиком в память будет веселее. Но это так, мысли в слух.

Если никаких приватных данных на компьютере нет (или подверженные багу программы на компьютере не запускаются), то патч (или эффект патча) можно отменить, вернув производительность.
Насчёт времени - разве нельзя поставить низкий приоритет для этих вычислений (по вводу/выводу, RAM и CPU)? Считаться будет дольше, но не должно мешать остальной деятельности.

Кстати, похоже на правду! Почти в 2 раза просели операции по работе с дампом. С этим можно бороться переписав алгоритм фильтрации входящего дампа.

А далее наложилась бага. Я боролся с падениями, которые стали очень частыми и как обычно - проблему решил, но внёс регрессию - всё стало работать правильно … но очень медленно :slight_smile: На выходных починил и регрессию.

Итого: валидатор стал работать на 20-25% медленнее по сравнению в декабрем. Это много, но прогон валидатора всё же укладывается в разумные рамки. При этом явно есть возможности по оптимизации на работе с дампом.

Поэтому пока валидатор останется в режиме 1-2 обновления в неделю, но надеюсь что он через месяц переедет с маломощного ноутбука на хороший домашний комп :slight_smile: И обновления станут происходить чаще.

Валидатор перешёл на новый ОКТМО. В последнее обновление вошло много изменений - большая часть за 2017, но всплыли и древние изменения, которые по каким-то причинам были пропущены разработчиками ОКТМО.

Подготовил отчёт, зашёл на сайт Росстата … и обнаружил что на этой неделе вышел ещё более новый ОКТМО :slight_smile: Так что фактически прогон по устаревшему ОКТМО. Буду разбираться с новым классификатором на неделе. Надеюсь что там изменения не такие глобальные.

Предложение добавить в общую информацию так же дату или версию ОКТМО.

С одной строны, это разумная идея. С другой стороны … Там почти всегда будет информация о последнем выпущенном классификатором ОКТМО. Я стараюсь переходить на новую версия сразу как только вижу, что случилось обновление. Исключение - ситуации типа командировок или текущей, но это какие-то разовые акции.

Но я даже больше скажу. Хотя база для классификатора - последний ОКТМО, это не единственный источник информации. Я периодически стараюсь отслеживать изменения на страницах из Упразднённые муниципальные образования России и вносить изменения в свою базу. Конкретно сейчас это плохо получается, но надеюсь что через месяц - другой я снова буду не отставать от ОКТМО а наоборот - опережать.

Это просто справочная информацию, смею предположить, что кроме тебя и Вовика, вряд ли вообще кто знает где это ОКТМО достать, не говоря уже о том, когда оно последний раз обновлялось.

Свежий прогон выдал массу ошибок в районе смоленско-белорусской границы. При этом визуально явных проблем не вижу. Возможно, двигалась граница из-за чего часть точек оказалась вырезана и дамп вышел битым. Посмотрю на праздниках детальнее.

Всё, это последнее обновление переработано, так как в праздники свободное время найти проще :slight_smile: Поскольку Смоленская область была уже кем-то приведена к актуальному состоянию то процент “матчинга” стал выше :slight_smile:

Отчёт валидатора пока не выложил. Сделаю на новом прогоне на днях.

Новый прогон прошёл, отчёт выложен. Смоленская область выправилась.

Поломанные границы ушли - всё-таки судя по всему поломка была реальной.

Артефакты на границе с РБ и РК остались - их нужно вычищать руками, сделаю на неделе.

Пользуюсь валидатором от wowik-а wowik.byethost7.com/places/ . Конкретно интересуюсь улицами и номерами домов.
В atd.osm.rambler.ru внутри населённого пункта ничего не вижу. Чем atd.osm.rambler.ru лучше wowik.byethost7.com/places/ ?