Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Валидатор опять упал … Такое падение стало повторяться часто после того как я поборолся с другим падением. Как это получается - пока не понимаю, знаю что это происходит если в одном поселении несколько НП с одним именем, одно из которых имеет контур а другое нет. Придётся копаться в алгоритме а для этого нужен как минимум чистый прогон, т.е. 4 часа. Постараюсь разобраться с этой проблемой на этой неделе как первостепенной. А то падения стали происходить слишком часто.

Возможно пока можно ограничится публикацией виновника, нарисовать границу НП не так долго.

Валидатор снова упал, но времени разбираться с причиной не было. Просто отключил оптимизацию, и за 6 часов получил результат :slight_smile:

А багу так и не нашёл. Точнее в прошлый раз всё упало при одной странной конфигурации данных, но сейчас эта конфигурация не повторяется :slight_smile: Такое ощущение что было какое-то внутреннее падение, которое подпортило мои данные и на кривых данных всё упало. В общем пока всё хорошо, но уверенности в том что не будет проблем нет. Буду следить дальше.

Ну а одноимённые поселения попробую обработать на праздниках. Изменения несложные, но отладка отнимает очень много времени, это должен быть свободный от других дел день.

Так может быть его в open source надо? Может кто-то и пофиксит баг.

open source не панацея :slight_smile: Можно заметить по соседним темам.

Из нового. С января существенно упала скорость работы валидатора. Одноразово, без каких либо изменений валидатор стал работать почти в 2 раза медленнее. По времени это совпало с шумихой по поводу какой-то процессорной баги в Интеле. Ноутбук стал постоянно обновляться (включая BIOS). Ни на чём не заметил падения скорости кроме как на валидаторе. Никаких идей кроме того что как-то та процессорная бага и виртуалка как-то связаны нет.

В результате валидатор стал работать почти 8 часов что перестало входить в приемлимые для меня рамки. Поэтому валидатор перешёл в режим еженедельного обновления - 8 часов времени мне нужно специально находить. Возможно, станет лучше, когда я всё-таки смогу запускать валидатор на десктопе а не на ноуте, но это не вопрос нескольких недель.

Далее, пару недель назад довольно сильно обновился ОКТМО. Если изменения по Московской области простые то по другим регионам требуется больше усилий. Но ближайшие 2-3 недели скорее всего свободного времени совсем не будет. Поэтому валидатор пока будет бежать по старому справочнику.

Но всё же есть надежда на позитив :slight_smile: Есть ощущение что скоро свободного времени должно стать больше чем сейчас и по крайней мере наиболее срочные вопросы удастся порешать.

Баг вроде как говорят сказывается на операциях ввода/вывода. Может если сразу из дампа вырезать только границы и загнать его целиком в память будет веселее. Но это так, мысли в слух.

Если никаких приватных данных на компьютере нет (или подверженные багу программы на компьютере не запускаются), то патч (или эффект патча) можно отменить, вернув производительность.
Насчёт времени - разве нельзя поставить низкий приоритет для этих вычислений (по вводу/выводу, RAM и CPU)? Считаться будет дольше, но не должно мешать остальной деятельности.

Кстати, похоже на правду! Почти в 2 раза просели операции по работе с дампом. С этим можно бороться переписав алгоритм фильтрации входящего дампа.

А далее наложилась бага. Я боролся с падениями, которые стали очень частыми и как обычно - проблему решил, но внёс регрессию - всё стало работать правильно … но очень медленно :slight_smile: На выходных починил и регрессию.

Итого: валидатор стал работать на 20-25% медленнее по сравнению в декабрем. Это много, но прогон валидатора всё же укладывается в разумные рамки. При этом явно есть возможности по оптимизации на работе с дампом.

Поэтому пока валидатор останется в режиме 1-2 обновления в неделю, но надеюсь что он через месяц переедет с маломощного ноутбука на хороший домашний комп :slight_smile: И обновления станут происходить чаще.

Валидатор перешёл на новый ОКТМО. В последнее обновление вошло много изменений - большая часть за 2017, но всплыли и древние изменения, которые по каким-то причинам были пропущены разработчиками ОКТМО.

Подготовил отчёт, зашёл на сайт Росстата … и обнаружил что на этой неделе вышел ещё более новый ОКТМО :slight_smile: Так что фактически прогон по устаревшему ОКТМО. Буду разбираться с новым классификатором на неделе. Надеюсь что там изменения не такие глобальные.

Предложение добавить в общую информацию так же дату или версию ОКТМО.

С одной строны, это разумная идея. С другой стороны … Там почти всегда будет информация о последнем выпущенном классификатором ОКТМО. Я стараюсь переходить на новую версия сразу как только вижу, что случилось обновление. Исключение - ситуации типа командировок или текущей, но это какие-то разовые акции.

Но я даже больше скажу. Хотя база для классификатора - последний ОКТМО, это не единственный источник информации. Я периодически стараюсь отслеживать изменения на страницах из Упразднённые муниципальные образования России и вносить изменения в свою базу. Конкретно сейчас это плохо получается, но надеюсь что через месяц - другой я снова буду не отставать от ОКТМО а наоборот - опережать.

Это просто справочная информацию, смею предположить, что кроме тебя и Вовика, вряд ли вообще кто знает где это ОКТМО достать, не говоря уже о том, когда оно последний раз обновлялось.

Свежий прогон выдал массу ошибок в районе смоленско-белорусской границы. При этом визуально явных проблем не вижу. Возможно, двигалась граница из-за чего часть точек оказалась вырезана и дамп вышел битым. Посмотрю на праздниках детальнее.

Всё, это последнее обновление переработано, так как в праздники свободное время найти проще :slight_smile: Поскольку Смоленская область была уже кем-то приведена к актуальному состоянию то процент “матчинга” стал выше :slight_smile:

Отчёт валидатора пока не выложил. Сделаю на новом прогоне на днях.

Новый прогон прошёл, отчёт выложен. Смоленская область выправилась.

Поломанные границы ушли - всё-таки судя по всему поломка была реальной.

Артефакты на границе с РБ и РК остались - их нужно вычищать руками, сделаю на неделе.

Пользуюсь валидатором от wowik-а wowik.byethost7.com/places/ . Конкретно интересуюсь улицами и номерами домов.
В atd.osm.rambler.ru внутри населённого пункта ничего не вижу. Чем atd.osm.rambler.ru лучше wowik.byethost7.com/places/ ?

Это просто ещё один валидатор. ОСМ - вещь добровольная и каждый валидатор может потерять поддержку в любой момент, что происходило не раз. Поэтому избыточность это в ОСМ хорошо :slight_smile:

Что касается наполнения, то данный валидатор заточен на границы, валидатор wowik-а работает и с улицами и дорогами. Поэтому если важнее именно улицы и дома то данный валидатор ему не конкурент. А если важнее границы, то наоборот.

К сожалению, как и любое хобби, валидатор страдает от нехватки вложенного времени, поэтому развитие не соответствует ожиданиям. Но валидатор будет поддерживаться настолько долго, насколько это физически возможно, это договременная инвестиция. Есть много планов, но раньше лета вряд ли на разработку нового функционала смогу уделить существенное время.

Бор-Форпостовский сельсовет имеет какие-то фантастические границы - https://www.openstreetmap.org/relation/3445498

Немного лучше но тоже какая-то каша по Берёзовскому сельсовету - https://www.openstreetmap.org/relation/3445496

Всё Алтайский край.

Попробовал откатить https://www.openstreetmap.org/changeset/55642875
Стало лучше, но повылезали конфликты. Заливать не стал.
Там, видимо, надо только часть откатывать…

UPDATE. Откатил только изменения границ. Они, там, правда, как были кривые, так и остались (например, граница Малиноозёрского поссовета прямо через это Малиновое озеро и проходит), но хотя б без самопересечений…

Перешёл на самый новый ОКТМО. Но как раз сейчас Jake Strine внёс самые свежие изменения, которые в ОКТМО вряд ли появятся раньше осени, поэтому итоговый результат стал хуже. Но это обычная ситуация - для всех изменений обычно есть переходный период.