You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#76 2013-11-24 10:49:15

Delin
Member
From: N. Novgorod - Kirov
Registered: 2012-05-16
Posts: 91

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

И дату проверки на глагне хотелось бы видеть, всего-то пара строчек кода.

Offline

#77 2013-11-25 19:20:58

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

В общем на выходных буду проводить большой рефакторинг кода, поэтому вероятность того что валидатор обновится завтра невелика - слишком много где будут переделки, а бегущий в фоне валидатор хорошо подтормаживает комп. Поэтому вероятнее всего следующее обновление будет в понедельник вечером. Но там уже будет много улучшений, как минимум - всё будет работать быстрее smile

В воскресенье хорошо перекорёжил код, в основном под будущие изменения. В частности добавил оптимизаций в основной алгоритм который пока отнимает больше всего времени. Я ожидал ускорения на 20-30% но на тестовой выборке в 1000 нп скорость увеличилась всего на 5%. Потом оптимизировал ещё. Сегодня запустил валидатор на утреннем дампе. В итоге оказалось что всё стало работать безумно медленно. Валидатор работал на 30% времени дольше чем обычно и до конца ему было работать и работать, я уже ушёл с работы. Такой вот неожиданный результат "оптимизаций", но в бете это ожидаемо.

Надеюсь что завтра утром валидатор отработает и я опубликую его результаты (если конечно ещё проблем не обнаружится). И потом буду профилировать работу чтобы понять чего же это я так наоптимизировал sad


Бывший редактор ОСМ

Offline

#78 2013-11-25 19:47:54

Эцелоп
Member
From: Санкт-Петербург (Большая Охта)
Registered: 2012-06-19
Posts: 1,510

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

"Богатыри - не мы". Сколько ни пробовал ради общего развития изучать основы программирования - дальше "Хеллоу, Вёрлд!" не продвинулся. Извините за офтоп...

Offline

#79 2013-11-25 20:15:04

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges: ты бы исходники выложил - глядишь можно было и нужную фичу самому сделать тебя не дёргая, и попрофайлить.

Offline

#80 2013-11-26 08:36:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Вместо стандартных 4-х часов валидатор работал почти 9 часов. Но возможно причина не только в кривизне оптимизации а в том что границы аж двух регионов оказались сломаны - Тверской области и Смоленской области!

А алгоритмы частично оптимизированы под то что границы регионов живые, в случае разломанных границ валидатор идёт по неоптимизированной ветке а там реально всё медленнее. Но по любому после окончания оптимизаций эта проблема не будет стоять так остро, просто будет некоторое замедление работы.

И да, почините, пожалуйста, границы. Иначе валидатор будет слишком долго работать ...


Бывший редактор ОСМ

Offline

#81 2013-11-26 09:27:01

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Проверь, не сломана ли граница Россия - Беларусия, а то возможно придётся все переоткатывать.

Offline

#82 2013-11-26 09:35:29

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

У меня дамп вчерашний, утренний. В нём граница России не сломана, но ничто не мешало сломать  её позже. Её проще проверить в JOSM - результат проверки целости границы будет актуальным (хотя и придётся подождать пока границы загружаются).

Last edited by fserges (2013-11-26 09:36:27)


Бывший редактор ОСМ

Offline

#83 2013-11-26 09:59:42

Paspartu
Member
From: Владивосток
Registered: 2011-03-12
Posts: 318

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Починил . Поломаны были границы - Беларуси, РФ, ЦФО, СЗФО. Надеюсь починил правильно ))
Виновник торжества bim2010

Last edited by Paspartu (2013-11-26 10:01:37)

Offline

#84 2013-11-26 10:04:14

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Почти, забыл 1 линию включить.
А почему у нас порезали boundary = administrative на границе с Казахстаном ?

Offline

#85 2013-11-26 10:09:31

Paspartu
Member
From: Владивосток
Registered: 2011-03-12
Posts: 318

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Почти, забыл 1 линию включить.

Это какую и в каком отношении? josm показал целостность границ.

Offline

#86 2013-11-26 10:09:50

chnav
Member
From: Russia, mapping Kazakhstan
Registered: 2010-03-18
Posts: 3,294

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec
Надо посильнее увеличить было, там сельский округ нарисован.
http://www.openstreetmap.org/browse/relation/2362240

Last edited by chnav (2013-11-26 10:10:35)

Offline

#87 2013-11-26 10:14:27

Paspartu
Member
From: Владивосток
Registered: 2011-03-12
Posts: 318

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

del

Last edited by Paspartu (2013-11-26 10:15:31)

Offline

#88 2013-11-26 10:17:54

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Paspartu wrote:

Это какую и в каком отношении? josm показал целостность границ.

Ну я разве помню, на границе с Белорусией.

chnav wrote:

Надо посильнее увеличить было, там сельский округ нарисован.

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

Offline

#89 2013-11-26 10:25:57

chnav
Member
From: Russia, mapping Kazakhstan
Registered: 2010-03-18
Posts: 3,294

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Причем тут округ, JOSM ругается на несовместимость тегов, тип границы есть, а признака самой границы нет. Именно по РФ, а не сельский округ.

А, понятно. Там грохнули тег boundary=administrative на всем участке. Вернул на место.

(added)
Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Last edited by chnav (2013-11-26 10:32:54)

Offline

#90 2013-11-26 10:47:50

lenux
Member
Registered: 2011-12-06
Posts: 669

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Если  граница области разорвана. То  вся область должна быть  красной я думаю так правильно

Offline

#91 2013-11-26 11:07:15

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

chnav wrote:

Это кусок реки без обоих тегов boundary и admin_level.

Это нормально, не обязательно выносить теги на линию, хватит и в отношении. Просто там был какой-то огрызок от схемы тегирования.

Offline

#92 2013-11-26 11:14:14

esaulenka
Member
From: Москва
Registered: 2010-08-21
Posts: 1,194
Website

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

chnav wrote:

Кстати на это ругается ? http://www.openstreetmap.org/browse/way/222042824
Это кусок реки без обоих тегов boundary и admin_level.

Если почитать вики, внезапно выясняется, что баундари и админ_левел на линиях вовсе и не обязательны!

Offline

#93 2013-11-26 14:52:00

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона. Сегодня попрофилирую самый медленный алгоритм, и или найду багу у себя или пойму что поломанные границы настолько критичны для текущей версии алгоритма. Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон. Заодно и поймём насколько удалось восстановить границы.

Из мелочей - теперь обрабатываются isolated_dwelling, а admin_level=9 почему-то всё равно обрабатывается с ошибками - постараюсь сегодня ещё раз глянуть туда.


Бывший редактор ОСМ

Offline

#94 2013-11-26 14:56:49

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон.

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Offline

#95 2013-11-26 15:23:09

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:
fserges wrote:

Завтра скачаю утренний дамп и на нём попробую получить более чистый прогон.

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Конкретно сейчас мне важнее добить работу логику самого валидатора, но если описанный выше алгоритм работает то попробую его немного позже.

P.S. А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?


Бывший редактор ОСМ

Offline

#96 2013-11-26 16:33:23

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,367

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

А не проще ли скачать osm_updater + poly для обрезки, он работа с pbf и диф за сутки не более 100Мб.

Меня терзают смутные сомнения, что режется по POLY с ошибками, но пристально еще не проверял. Возможно ложечки найдутся, но осадок уже есть.

Offline

#97 2013-11-26 16:55:34

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,110

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

А что такое osm_updater? Я погуглив не нашёл ничего standalone, может он как-нибудь иначе называется или часть чего-то большого?

Здравствуйте, товарищ!
http://wiki.openstreetmap.org/wiki/Osmupdate


Все там режется правильно, просто обрезка осм-данных по полигону задача не тривиальная.
Единственный фокус - нужно обрезать с нахлестом. Это гарантирует попадание всех нужных данных.

Last edited by Zkir (2013-11-26 16:55:59)


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#98 2013-11-26 16:59:37

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Из мелочей - теперь обрабатываются isolated_dwelling

А locality? И сделай ё хотя-бы на скорую руку - без хитрой логики, чтобы оно просто совпадало с е.

Offline

#99 2013-11-26 17:24:01

Delin
Member
From: N. Novgorod - Kirov
Registered: 2012-05-16
Posts: 91

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Может не совсем по теме, но я правильно понимаю, что для того чтобы проверить принадлежность НП региону (в общем случае любой node любой area), нужно решить задачу локализации точки в многоугольнике?

Поскольку из-за массово порушенных границ валидатор навыдавал гору ошибок которые, как я надеюсь, неактуальны, то решил не выкладывать результаты текущего прогона.

Все равно было бы неплохо регулярно выкладывать данные, пусть часть и побита, но часть же должна обновиться нормально.

Offline

#100 2013-11-26 17:29:05

Stalker61
Member
From: СПб
Registered: 2011-06-21
Posts: 871

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

wowik Может хватит велисапед изобретать и мапить откровенную чушь - http://wowik.000space.com/places/ru-khm/22.htm

Нялинское сельское поселение

lol  Это часом не твой афоризм? - http://forum.openstreetmap.org/viewtopi … 23#p381023

Административно-территориальное устройство
Муниципальные образования в границах Ханты-Мансийского района:
1) сельское поселение Горноправдинск, с находящимися в его составе населенными пунктами: поселок Горноправдинск (административный центр), поселок Бобровский, деревня Лугофилинская;
2) сельское поселение Цингалы, с находящимися в его составе населенными пунктами: село Цингалы (административный центр), деревня Семейка, деревня Чембакчина;
3) сельское поселение Кедровый, с находящимися в его составе населенными пунктами: поселок Кедровый (административный центр), село Елизарово;
4) сельское поселение Красноленинский, с находящимися в его составе населенными пунктами: поселок Красноленинский (административный центр), поселок Урманный, деревня Сухорукова;
5) сельское поселение Луговской, с находящимися в его составе населенными пунктами: поселок Луговской (административный центр), деревня Белогорье, поселок Кирпичный, село Троица, деревня Ягурьях;
6) сельское поселение Согом, с находящимся в его составе населенным пунктом деревней Согом (административный центр);
7) сельское поселение Нялинское, с находящимися в его составе населенными пунктами: село Нялинское (административный центр), деревня Нялина, деревня Скрипунова, поселок Пырьях;
8) сельское поселение Кышик, с находящимся в его составе населенным пунктом селом Кышик (административный центр);
9) сельское поселение Селиярово, с находящимся в его составе населенным пунктом селом Селиярово (административный центр);
10) сельское поселение Сибирский, с находящимися в его составе населенными пунктами: поселок Сибирский (административный центр), село Реполово, село Батово;
11) сельское поселение Выкатной, с находящимися в его составе населенными пунктами: поселок Выкатной (административный центр), село Тюли;
12) сельское поселение Шапша, с находящимися в его составе населенными пунктами: деревня Шапша (административный центр), деревня Ярки, село Зенково, село Базьяны.

http://www.hmrn.ru/duma/docduma/Ustav/St_1.php

Статья 1. Статус и границы Ханты-Мансийского района
1. Ханты-Мансийский район образован Постановлением ВЦИК «Об образовании Уральской области» от 12 ноября 1923 года.
2. Ханты-Мансийский район в соответствии с Законом Ханты-Мансийского автономного округа-Югры от 07 июля 2004 года № 43-ОЗ «Об административно-территориальном устройстве Ханты-Мансийского автономного округа-Югры и порядке его изменения» является административно-территориальной единицей Ханты-Мансийского автономного округа-Югры непосредственно, входящей в состав Ханты-Мансийского автономного округа-Югры.
3. Ханты-Мансийский район в соответствии с Законом Ханты-Мансийского автономного округа-Югры от 25 ноября 2004 года № 63–ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа - Югры» является муниципальным образованием Ханты-Мансийского автономного округа-Югры, наделенным статусом муниципального района.
4. Официальное наименование муниципального образования - Ханты-Мансийский район.
5. Границы муниципального образования Ханты-Мансийский район установлены Законом Ханты-Мансийского автономного округа–Югры от 25 ноября 2004 года  № 63-ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа - Югры».
6. В границах территории Ханты-Мансийского района в соответствии с Законом Ханты-Мансийского автономного округа – Югры от 25 ноября 2004 года  № 63-ОЗ «О статусе и границах муниципальных образований Ханты-Мансийского автономного округа-Югры» находятся:
1) территории сельских поселений: сельские поселения Выкатной, Горноправдинск, Цингалы, Кедровый, Красноленинский, Луговской, Нялинское, Кышик, Селиярово, Согом, Сибирский, Шапша;
2) территория деревни Долгое Плесо, не являющейся муниципальным образованием;
3) межселенные территории, находящиеся в пределах границ Ханты-Мансийского района.
7. Представительный орган муниципального образования и иные органы местного самоуправления Ханты-Мансийского района расположены в городе Ханты-Мансийске Ханты-Мансийского автономного округа-Югры.
8. В тексте настоящего устава словосочетания «Ханты-Мансийский район» и «муниципальный район», «муниципальное образование» равнозначны.

И нефиг под свой валидатор клепать данные. С дорогами бы опосля тебя разобраться. wink

Last edited by Stalker61 (2013-11-26 17:49:54)


Делай, что должен, и будь, что будет.

Online

Board footer

Powered by FluxBB