Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Delin · 2013-11-24 10:49:15

И дату проверки на глагне хотелось бы видеть, всего-то пара строчек кода.

fserges · 2013-11-25 19:20:58

fserges wrote:

В общем на выходных буду проводить большой рефакторинг кода, поэтому вероятность того что валидатор обновится завтра невелика - слишком много где будут переделки, а бегущий в фоне валидатор хорошо подтормаживает комп. Поэтому вероятнее всего следующее обновление будет в понедельник вечером. Но там уже будет много улучшений, как минимум - всё будет работать быстрее

В воскресенье хорошо перекорёжил код, в основном под будущие изменения. В частности добавил оптимизаций в основной алгоритм который пока отнимает больше всего времени. Я ожидал ускорения на 20-30% но на тестовой выборке в 1000 нп скорость увеличилась всего на 5%. Потом оптимизировал ещё. Сегодня запустил валидатор на утреннем дампе. В итоге оказалось что всё стало работать безумно медленно. Валидатор работал на 30% времени дольше чем обычно и до конца ему было работать и работать, я уже ушёл с работы. Такой вот неожиданный результат "оптимизаций", но в бете это ожидаемо.

Надеюсь что завтра утром валидатор отработает и я опубликую его результаты (если конечно ещё проблем не обнаружится). И потом буду профилировать работу чтобы понять чего же это я так наоптимизировал

Эцелоп · 2013-11-25 19:47:54

"Богатыри - не мы". Сколько ни пробовал ради общего развития изучать основы программирования - дальше "Хеллоу, Вёрлд!" не продвинулся. Извините за офтоп...

AMDmi3 · 2013-11-25 20:15:04

fserges: ты бы исходники выложил - глядишь можно было и нужную фичу самому сделать тебя не дёргая, и попрофайлить.

fserges · 2013-11-26 08:36:17

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

А алгоритмы частично оптимизированы под то что границы регионов живые, в случае разломанных границ валидатор идёт по неоптимизированной ветке а там реально всё медленнее. Но по любому после окончания оптимизаций эта проблема не будет стоять так остро, просто будет некоторое замедление работы.

И да, почините, пожалуйста, границы. Иначе валидатор будет слишком долго работать ...

freeExec · 2013-11-26 09:27:01

Проверь, не сломана ли граница Россия - Беларусия, а то возможно придётся все переоткатывать.

fserges · 2013-11-26 09:35:29

У меня дамп вчерашний, утренний. В нём граница России не сломана, но ничто не мешало сломать её позже. Её проще проверить в JOSM - результат проверки целости границы будет актуальным (хотя и придётся подождать пока границы загружаются).

Last edited by fserges (2013-11-26 09:36:27)

Paspartu · 2013-11-26 09:59:42

Починил . Поломаны были границы - Беларуси, РФ, ЦФО, СЗФО. Надеюсь починил правильно ))
Виновник торжества bim2010

Last edited by Paspartu (2013-11-26 10:01:37)

freeExec · 2013-11-26 10:04:14

Почти, забыл 1 линию включить.
А почему у нас порезали boundary = administrative на границе с Казахстаном ?

Paspartu · 2013-11-26 10:09:31

freeExec wrote:

Почти, забыл 1 линию включить.

Это какую и в каком отношении? josm показал целостность границ.

chnav · 2013-11-26 10:09:50

freeExec
Надо посильнее увеличить было, там сельский округ нарисован.
http://www.openstreetmap.org/browse/relation/2362240

Last edited by chnav (2013-11-26 10:10:35)

Paspartu · 2013-11-26 10:14:27

del

Last edited by Paspartu (2013-11-26 10:15:31)

freeExec · 2013-11-26 10:17:54

Paspartu wrote:

Это какую и в каком отношении? josm показал целостность границ.

Ну я разве помню, на границе с Белорусией.

chnav wrote:

Надо посильнее увеличить было, там сельский округ нарисован.

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

chnav · 2013-11-26 10:25:57

freeExec wrote:

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

А, понятно. Там грохнули тег boundary=administrative на всем участке. Вернул на место.

(added)
Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Last edited by chnav (2013-11-26 10:32:54)

lenux · 2013-11-26 10:47:50

Если граница области разорвана. То вся область должна быть красной я думаю так правильно

freeExec · 2013-11-26 11:07:15

chnav wrote:

Это кусок реки без обоих тегов boundary и admin_level.

Это нормально, не обязательно выносить теги на линию, хватит и в отношении. Просто там был какой-то огрызок от схемы тегирования.

esaulenka · 2013-11-26 11:14:14

chnav wrote:

Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Если почитать вики, внезапно выясняется, что баундари и админ_левел на линиях вовсе и не обязательны!

fserges · 2013-11-26 14:52:00

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона. Сегодня попрофилирую самый медленный алгоритм, и или найду багу у себя или пойму что поломанные границы настолько критичны для текущей версии алгоритма. Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон. Заодно и поймём насколько удалось восстановить границы.

Из мелочей - теперь обрабатываются isolated_dwelling, а admin_level=9 почему-то всё равно обрабатывается с ошибками - постараюсь сегодня ещё раз глянуть туда.

freeExec · 2013-11-26 14:56:49

fserges wrote:

Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон.

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

fserges · 2013-11-26 15:23:09

freeExec wrote:

fserges wrote:
Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон.
А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Конкретно сейчас мне важнее добить работу логику самого валидатора, но если описанный выше алгоритм работает то попробую его немного позже.

P.S. А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?

wowik · 2013-11-26 16:33:23

freeExec wrote:

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Меня терзают смутные сомнения, что режется по POLY с ошибками, но пристально еще не проверял. Возможно ложечки найдутся, но осадок уже есть.

Zkir · 2013-11-26 16:55:34

fserges wrote:

А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?

Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/Osmupdate

Все там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.

Last edited by Zkir (2013-11-26 16:55:59)

AMDmi3 · 2013-11-26 16:59:37

fserges wrote:

Из мелочей - теперь обрабатываются isolated_dwelling

А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.

Delin · 2013-11-26 17:24:01

Может не совсем по теме, но я правильно понимаю, что для того чтобы проверить принадлежность НП региону (в общем случае любой node любой area), нужно решить задачу локализации точки в многоугольнике?

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона.

Все равно было бы неплохо регулярно выкладывать данные, пусть часть и побита, но часть же должна обновиться нормально.

Stalker61 · 2013-11-26 17:29:05

wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm

Нялинское сельское поселение

Это часом не твой афоризм? - http://forum.openstreetmap.org/viewtopi … 23#p381023

Административно-территориальное устройство
Муниципальные образования в границах Ханты-Мансийского района:
1) сельское поселение Горноправдинск, с находящимися в его составе населенными пунктами: поселок Горноправдинск (административный центр), поселок Бобровский, деревня Лугофилинская;
2) сельское поселение Цингалы, с находящимися в его составе населенными пунктами: село Цингалы (административный центр), деревня Семейка, деревня Чембакчина;
3) сельское поселение Кедровый, с находящимися в его составе населенными пунктами: поселок Кедровый (административный центр), село Елизарово;
4) сельское поселение Красноленинский, с находящимися в его составе населенными пунктами: поселок Красноленинский (административный центр), поселок Урманный, деревня Сухорукова;
5) сельское поселение Луговской, с находящимися в его составе населенными пунктами: поселок Луговской (административный центр), деревня Белогорье, поселок Кирпичный, село Троица, деревня Ягурьях;
6) сельское поселение Согом, с находящимся в его составе населенным пунктом деревней Согом (административный центр);
7) сельское поселение Нялинское, с находящимися в его составе населенными пунктами: село Нялинское (административный центр), деревня Нялина, деревня Скрипунова, поселок Пырьях;
8) сельское поселение Кышик, с находящимся в его составе населенным пунктом селом Кышик (административный центр);
9) сельское поселение Селиярово, с находящимся в его составе населенным пунктом селом Селиярово (административный центр);
10) сельское поселение Сибирский, с находящимися в его составе населенными пунктами: поселок Сибирский (административный центр), село Реполово, село Батово;
11) сельское поселение Выкатной, с находящимися в его составе населенными пунктами: поселок Выкатной (административный центр), село Тюли;
12) сельское поселение Шапша, с находящимися в его составе населенными пунктами: деревня Шапша (административный центр), деревня Ярки, село Зенково, село Базьяны.

http://www.hmrn.ru/duma/docduma/Ustav/St_1.php

Статья 1. Статус и границы Ханты-Мансийского района
1. Ханты-Мансийский район образован Постановлением ВЦИК «Об образовании Уральской области» от 12 ноября 1923 года.
2. Ханты-Мансийский район в соответствии с Законом Ханты-Мансийского автономного округа-Югры от 07 июля 2004 года № 43-ОЗ «Об административно-территориальном устройстве Ханты-Мансийского автономного округа-Югры и порядке его изменения» является административно-территориальной единицей Ханты-Мансийского автономного округа-Югры непосредственно, входящей в состав Ханты-Мансийского автономного округа-Югры.
3. Ханты-Мансийский район в соответствии с Законом Ханты-Мансийского автономного округа-Югры от 25 ноября 2004 года № 63–ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа - Югры» является муниципальным образованием Ханты-Мансийского автономного округа-Югры, наделенным статусом муниципального района.
4. Официальное наименование муниципального образования - Ханты-Мансийский район.
5. Границы муниципального образования Ханты-Мансийский район установлены Законом Ханты-Мансийского автономного округа–Югры от 25 ноября 2004 года № 63-ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа - Югры».
6. В границах территории Ханты-Мансийского района в соответствии с Законом Ханты-Мансийского автономного округа – Югры от 25 ноября 2004 года № 63-ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа-Югры» находятся:
1) территории сельских поселений: сельские поселения Выкатной, Горноправдинск, Цингалы, Кедровый, Красноленинский, Луговской, Нялинское, Кышик, Селиярово, Согом, Сибирский, Шапша;
2) территория деревни Долгое Плесо, не являющейся муниципальным образованием;
3) межселенные территории, находящиеся в пределах границ Ханты-Мансийского района.
7. Представительный орган муниципального образования и иные органы местного самоуправления Ханты-Мансийского района расположены в городе Ханты-Мансийске Ханты-Мансийского автономного округа-Югры.
8. В тексте настоящего устава словосочетания «Ханты-Мансийский район» и «муниципальный район», «муниципальное образование» равнозначны.

И нефиг под свой валидатор клепать данные. С дорогами бы опосля тебя разобраться.

Last edited by Stalker61 (2013-11-26 17:49:54)

Announcement

#76 2013-11-24 10:49:15

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#77 2013-11-25 19:20:58

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#78 2013-11-25 19:47:54

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#79 2013-11-25 20:15:04

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#80 2013-11-26 08:36:17

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#81 2013-11-26 09:27:01

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#82 2013-11-26 09:35:29

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#83 2013-11-26 09:59:42

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#84 2013-11-26 10:04:14

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#85 2013-11-26 10:09:31

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#86 2013-11-26 10:09:50

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#87 2013-11-26 10:14:27

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#88 2013-11-26 10:17:54

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#89 2013-11-26 10:25:57

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#90 2013-11-26 10:47:50

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#91 2013-11-26 11:07:15

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#92 2013-11-26 11:14:14

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#93 2013-11-26 14:52:00

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#94 2013-11-26 14:56:49

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#95 2013-11-26 15:23:09

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#96 2013-11-26 16:33:23

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#97 2013-11-26 16:55:34

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#98 2013-11-26 16:59:37

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#99 2013-11-26 17:24:01

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#100 2013-11-26 17:29:05

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Board footer