Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Да и ещё добавить favicon.ico а то трудно найти нужную закладку.

И дату проверки на глагне хотелось бы видеть, всего-то пара строчек кода.

В воскресенье хорошо перекорёжил код, в основном под будущие изменения. В частности добавил оптимизаций в основной алгоритм который пока отнимает больше всего времени. Я ожидал ускорения на 20-30% но на тестовой выборке в 1000 нп скорость увеличилась всего на 5%. Потом оптимизировал ещё. Сегодня запустил валидатор на утреннем дампе. В итоге оказалось что всё стало работать безумно медленно. Валидатор работал на 30% времени дольше чем обычно и до конца ему было работать и работать, я уже ушёл с работы. Такой вот неожиданный результат “оптимизаций”, но в бете это ожидаемо.

Надеюсь что завтра утром валидатор отработает и я опубликую его результаты (если конечно ещё проблем не обнаружится). И потом буду профилировать работу чтобы понять чего же это я так наоптимизировал :frowning:

“Богатыри - не мы”. Сколько ни пробовал ради общего развития изучать основы программирования - дальше “Хеллоу, Вёрлд!” не продвинулся. Извините за офтоп…

fserges: ты бы исходники выложил - глядишь можно было и нужную фичу самому сделать тебя не дёргая, и попрофайлить.

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

А алгоритмы частично оптимизированы под то что границы регионов живые, в случае разломанных границ валидатор идёт по неоптимизированной ветке а там реально всё медленнее. Но по любому после окончания оптимизаций эта проблема не будет стоять так остро, просто будет некоторое замедление работы.

И да, почините, пожалуйста, границы. Иначе валидатор будет слишком долго работать …

Проверь, не сломана ли граница Россия - Беларусия, а то возможно придётся все переоткатывать.

У меня дамп вчерашний, утренний. В нём граница России не сломана, но ничто не мешало сломать её позже. Её проще проверить в JOSM - результат проверки целости границы будет актуальным (хотя и придётся подождать пока границы загружаются).

Починил . Поломаны были границы - Беларуси, РФ, ЦФО, СЗФО. Надеюсь починил правильно ))
Виновник торжества bim2010

Почти, забыл 1 линию включить.
А почему у нас порезали boundary = administrative на границе с Казахстаном ?

Это какую и в каком отношении? josm показал целостность границ.

freeExec
Надо посильнее увеличить было, там сельский округ нарисован.
http://www.openstreetmap.org/browse/relation/2362240

del

Ну я разве помню, на границе с Белорусией.

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

А, понятно. Там грохнули тег boundary=administrative на всем участке. Вернул на место.

(added)
Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Если граница области разорвана. То вся область должна быть красной я думаю так правильно

Это нормально, не обязательно выносить теги на линию, хватит и в отношении. Просто там был какой-то огрызок от схемы тегирования.

Если почитать вики, внезапно выясняется, что баундари и админ_левел на линиях вовсе и не обязательны!

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона. Сегодня попрофилирую самый медленный алгоритм, и или найду багу у себя или пойму что поломанные границы настолько критичны для текущей версии алгоритма. Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон. Заодно и поймём насколько удалось восстановить границы.

Из мелочей - теперь обрабатываются isolated_dwelling, а admin_level=9 почему-то всё равно обрабатывается с ошибками - постараюсь сегодня ещё раз глянуть туда.

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.