OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#76 2013-11-24 10:49:15

Delin
Member
From: N. Novgorod - Kirov
Registered: 2012-05-16
Posts: 91

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

И дату проверки на глагне хотелось бы видеть, всего-то пара строчек кода.

Offline

#77 2013-11-25 19:20:58

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,794

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

В общем на выходных буду проводить большой рефакторинг кода, поэтому вероятность того что валидатор обновится завтра невелика - слишком много где будут переделки, а бегущий в фоне валидатор хорошо подтормаживает комп. Поэтому вероятнее всего следующее обновление будет в понедельник вечером. Но там уже будет много улучшений, как минимум - всё будет работать быстрее smile

В воскресенье хорошо перекорёжил код, в основном под будущие изменения. В частности добавил оптимизаций в основной алгоритм который пока отнимает больше всего времени. Я ожидал ускорения на 20-30% но на тестовой выборке в 1000 нп скорость увеличилась всего на 5%. Потом оптимизировал ещё. Сегодня запустил валидатор на утреннем дампе. В итоге оказалось что всё стало работать безумно медленно. Валидатор работал на 30% времени дольше чем обычно и до конца ему было работать и работать, я уже ушёл с работы. Такой вот неожиданный результат "оптимизаций", но в бете это ожидаемо.

Надеюсь что завтра утром валидатор отработает и я опубликую его результаты (если конечно ещё проблем не обнаружится). И потом буду профилировать работу чтобы понять чего же это я так наоптимизировал sad


Бывший редактор ОСМ

Offline

#78 2013-11-25 19:47:54

Эцелоп
Member
From: Санкт-Петербург (Большая Охта)
Registered: 2012-06-19
Posts: 1,510

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

"Богатыри - не мы". Сколько ни пробовал ради общего развития изучать основы программирования - дальше "Хеллоу, Вёрлд!" не продвинулся. Извините за офтоп...

Offline

#79 2013-11-25 20:15:04

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges: ты бы исходники выложил - глядишь можно было и нужную фичу самому сделать тебя не дёргая, и попрофайлить.

Offline

#80 2013-11-26 08:36:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,794

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

А алгоритмы частично оптимизированы под то что границы регионов живые, в случае разломанных границ валидатор идёт по неоптимизированной ветке а там реально всё медленнее. Но по любому после окончания оптимизаций эта проблема не будет стоять так остро, просто будет некоторое замедление работы.

И да, почините, пожалуйста, границы. Иначе валидатор будет слишком долго работать ...


Бывший редактор ОСМ

Offline

#81 2013-11-26 09:27:01

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Проверь, не сломана ли граница Россия - Беларусия, а то возможно придётся все переоткатывать.

Offline

#82 2013-11-26 09:35:29

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,794

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

У меня дамп вчерашний, утренний. В нём граница России не сломана, но ничто не мешало сломать  её позже. Её проще проверить в JOSM - результат проверки целости границы будет актуальным (хотя и придётся подождать пока границы загружаются).

Last edited by fserges (2013-11-26 09:36:27)


Бывший редактор ОСМ

Offline

#83 2013-11-26 09:59:42

Paspartu
Member
From: Владивосток
Registered: 2011-03-12
Posts: 318

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Починил . Поломаны были границы - Беларуси, РФ, ЦФО, СЗФО. Надеюсь починил правильно ))
Виновник торжества bim2010

Last edited by Paspartu (2013-11-26 10:01:37)

Offline

#84 2013-11-26 10:04:14

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Почти, забыл 1 линию включить.
А почему у нас порезали boundary = administrative на границе с Казахстаном ?

Offline

#85 2013-11-26 10:09:31

Paspartu
Member
From: Владивосток
Registered: 2011-03-12
Posts: 318

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Почти, забыл 1 линию включить.

Это какую и в каком отношении? josm показал целостность границ.

Offline

#86 2013-11-26 10:09:50

chnav
Member
From: Moscow, Russia
Registered: 2010-03-18
Posts: 2,850

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec
Надо посильнее увеличить было, там сельский округ нарисован.
http://www.openstreetmap.org/browse/relation/2362240

Last edited by chnav (2013-11-26 10:10:35)

Offline

#87 2013-11-26 10:14:27

Paspartu
Member
From: Владивосток
Registered: 2011-03-12
Posts: 318

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

del

Last edited by Paspartu (2013-11-26 10:15:31)

Offline

#88 2013-11-26 10:17:54

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Paspartu wrote:

Это какую и в каком отношении? josm показал целостность границ.

Ну я разве помню, на границе с Белорусией.

chnav wrote:

Надо посильнее увеличить было, там сельский округ нарисован.

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

Offline

#89 2013-11-26 10:25:57

chnav
Member
From: Moscow, Russia
Registered: 2010-03-18
Posts: 2,850

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

А, понятно. Там грохнули тег boundary=administrative на всем участке. Вернул на место.

(added)
Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Last edited by chnav (2013-11-26 10:32:54)

Offline

#90 2013-11-26 10:47:50

lenux
Member
Registered: 2011-12-06
Posts: 617

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Если  граница области разорвана. То  вся область должна быть  красной я думаю так правильно

Offline

#91 2013-11-26 11:07:15

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

chnav wrote:

Это кусок реки без обоих тегов boundary и admin_level.

Это нормально, не обязательно выносить теги на линию, хватит и в отношении. Просто там был какой-то огрызок от схемы тегирования.

Offline

#92 2013-11-26 11:14:14

esaulenka
Member
From: Москва
Registered: 2010-08-21
Posts: 1,194
Website

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

chnav wrote:

Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Если почитать вики, внезапно выясняется, что баундари и админ_левел на линиях вовсе и не обязательны!

Offline

#93 2013-11-26 14:52:00

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,794

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона. Сегодня попрофилирую самый медленный алгоритм, и или найду багу у себя или пойму что поломанные границы настолько критичны для текущей версии алгоритма. Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон. Заодно и поймём насколько удалось восстановить границы.

Из мелочей - теперь обрабатываются isolated_dwelling, а admin_level=9 почему-то всё равно обрабатывается с ошибками - постараюсь сегодня ещё раз глянуть туда.


Бывший редактор ОСМ

Offline

#94 2013-11-26 14:56:49

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон.

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Offline

#95 2013-11-26 15:23:09

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,794

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:
fserges wrote:

Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон.

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Конкретно сейчас мне важнее добить работу логику самого валидатора, но если описанный выше алгоритм работает то попробую его немного позже.

P.S. А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?


Бывший редактор ОСМ

Offline

#96 2013-11-26 16:33:23

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,937

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Меня терзают смутные сомнения, что режется по POLY с ошибками, но пристально еще не проверял. Возможно ложечки найдутся, но осадок уже есть.

Offline

#97 2013-11-26 16:55:34

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?

Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/Osmupdate


Все там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.

Last edited by Zkir (2013-11-26 16:55:59)


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#98 2013-11-26 16:59:37

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Из мелочей - теперь обрабатываются isolated_dwelling

А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.

Offline

#99 2013-11-26 17:24:01

Delin
Member
From: N. Novgorod - Kirov
Registered: 2012-05-16
Posts: 91

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Может не совсем по теме, но я правильно понимаю, что для того чтобы проверить принадлежность НП региону (в общем случае любой node любой area), нужно решить задачу локализации точки в многоугольнике?

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона.

Все равно было бы неплохо регулярно выкладывать данные, пусть часть и побита, но часть же должна обновиться нормально.

Offline

#100 2013-11-26 17:29:05

Stalker61
Member
From: ХМн; СПб
Registered: 2011-06-21
Posts: 754

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm

Нялинское сельское поселение

lol  Это часом не твой афоризм? - http://forum.openstreetmap.org/viewtopi … 23#p381023

Административно-территориальное устройство
Муниципальные образования в границах Ханты-Мансийского района:
1) сельское поселение Горноправдинск, с находящимися в его составе населенными пунктами: поселок Горноправдинск (административный центр), поселок Бобровский, деревня Лугофилинская;
2) сельское поселение Цингалы, с находящимися в его составе населенными пунктами: село Цингалы (административный центр), деревня Семейка, деревня Чембакчина;
3) сельское поселение Кедровый, с находящимися в его составе населенными пунктами: поселок Кедровый (административный центр), село Елизарово;
4) сельское поселение Красноленинский, с находящимися в его составе населенными пунктами: поселок Красноленинский (административный центр), поселок Урманный, деревня Сухорукова;
5) сельское поселение Луговской, с находящимися в его составе населенными пунктами: поселок Луговской (административный центр), деревня Белогорье, поселок Кирпичный, село Троица, деревня Ягурьях;
6) сельское поселение Согом, с находящимся в его составе населенным пунктом деревней Согом (административный центр);
7) сельское поселение Нялинское, с находящимися в его составе населенными пунктами: село Нялинское (административный центр), деревня Нялина, деревня Скрипунова, поселок Пырьях;
8) сельское поселение Кышик, с находящимся в его составе населенным пунктом селом Кышик (административный центр);
9) сельское поселение Селиярово, с находящимся в его составе населенным пунктом селом Селиярово (административный центр);
10) сельское поселение Сибирский, с находящимися в его составе населенными пунктами: поселок Сибирский (административный центр), село Реполово, село Батово;
11) сельское поселение Выкатной, с находящимися в его составе населенными пунктами: поселок Выкатной (административный центр), село Тюли;
12) сельское поселение Шапша, с находящимися в его составе населенными пунктами: деревня Шапша (административный центр), деревня Ярки, село Зенково, село Базьяны.

http://www.hmrn.ru/duma/docduma/Ustav/St_1.php

Статья 1. Статус и границы Ханты-Мансийского района
1. Ханты-Мансийский район образован Постановлением ВЦИК «Об образовании Уральской области» от 12 ноября 1923 года.
2. Ханты-Мансийский район в соответствии с Законом Ханты-Мансийского автономного округа-Югры от 07 июля 2004 года № 43-ОЗ «Об административно-территориальном устройстве Ханты-Мансийского автономного округа-Югры и порядке его изменения» является административно-территориальной единицей Ханты-Мансийского автономного округа-Югры непосредственно, входящей в состав Ханты-Мансийского автономного округа-Югры.
3. Ханты-Мансийский район в соответствии с Законом Ханты-Мансийского автономного округа-Югры от 25 ноября 2004 года № 63–ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа - Югры» является муниципальным образованием Ханты-Мансийского автономного округа-Югры, наделенным статусом муниципального района.
4. Официальное наименование муниципального образования - Ханты-Мансийский район.
5. Границы муниципального образования Ханты-Мансийский район установлены Законом Ханты-Мансийского автономного округа–Югры от 25 ноября 2004 года  № 63-ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа - Югры».
6. В границах территории Ханты-Мансийского района в соответствии с Законом Ханты-Мансийского автономного округа – Югры от 25 ноября 2004 года  № 63-ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа-Югры» находятся:
1) территории сельских поселений: сельские поселения Выкатной, Горноправдинск, Цингалы, Кедровый, Красноленинский, Луговской, Нялинское, Кышик, Селиярово, Согом, Сибирский, Шапша;
2) территория деревни Долгое Плесо, не являющейся муниципальным образованием;
3) межселенные территории, находящиеся в пределах границ Ханты-Мансийского района.
7. Представительный орган муниципального образования и иные органы местного самоуправления Ханты-Мансийского района расположены в городе Ханты-Мансийске Ханты-Мансийского автономного округа-Югры.
8. В тексте настоящего устава словосочетания «Ханты-Мансийский район» и «муниципальный район», «муниципальное образование» равнозначны.

И нефиг под свой валидатор клепать данные. С дорогами бы опосля тебя разобраться. wink

Last edited by Stalker61 (2013-11-26 17:49:54)


Делай, что должен, и будь, что будет.

Offline

Board footer

Powered by FluxBB