Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

fserges · 2013-10-09 10:53:20

Я пожалуй воздержусь от споров в данной теме но выскажу своё общее представление о проблеме с точки зрения "a user". Они абстрактные и не подразумевают каких-то побуждений к действиям

Как пользователь БД/ГИС я считал что принадлежность к региону это свойство населённого пункта а не геометрии. Когда как пользователь открываешь некий населённый пункт в JOSM и видишь только его название то кажется что чего-то не хватает - http://www.openstreetmap.org/browse/node/759358895 Деревня это или село, в каком районе расположено или поселении? В ОСМ нужны дополнительные действия чтобы узнать что это на самом деле деревня Сидорово Бежецкого района Тверской области. Границы могут быть хитрыми и населённые пункты с одинаковыми названиями могут быть рядом хотя и располагаться в разных районах, например, Воротынск - http://ru.wikipedia.org/wiki/%D0%92%D0% … E%D0%BD%29 и http://ru.wikipedia.org/wiki/%D0%92%D0% … E%D0%BD%29.
Свойства геометрии это например, площадь территории, длина границы, объекты попадающие внутрь. Предположим лес расположен на границе областей и глупо как-то резать лес по границе областей, но всегда можно вычислить что 30% леса расположено в одной области а 70% леса в другой. Административная принадлежность это не геометрическая принадлежность "что с воза упало" то наше.
Любые атрибуты если не поддерживать превращаются в мусор. Например, у нас есть атрибут "wikipedia". Вопрос, если мы такие принципиальные, а зачем мы вешаем этот тег в ОСМ? Как известно, страницы в Википедии регулярно переименовываются (я раз в год их переправляю) из-за разрешения неоднозначностей или приведения в какой-то порядок. Ссылка на википедию это ссылка а не id, её нужно регулярно проверять. Если устаревание тегов так критично, выкиньте "wikipedia" и напишите поиск по Википедии. http://www.openstreetmap.org/browse/node/27489825 - происходит перенаправление а не открывается указанная страница.

То есть текущая ситуация вполне приемлемая но дискутируемая.

wowik · 2013-10-09 10:54:17

freeExec wrote:

Тем самым оттягивая починку полигона.

Ага, полигон тогда нужен именно валидатору, а не конвертору, которому это все будет глубоко факультативно. Вот пользователи валидатора и починят.

Zkir · 2013-10-09 12:28:01

полигон тогда нужен именно валидатору, а не конвертору, которому это все будет глубоко факультативно. Вот пользователи валидатора и починят

Валидация ради валидации - это какая то шиза. Пользователи валидатора это и есть пользователи конвертора.

Ссылка на википедию это ссылка а не id, её нужно регулярно проверять.

Разумеется нужно. Горы и реки не часто меняют свои места, а вот пои, запреты поворотов, дорожные знаки обновляются довольно часто.
Актуализация, как проблема, только начинает осознаваться.

Zkir · 2013-10-09 12:41:46

То есть текущая ситуация вполне приемлемая но дискутируемая.

Тут надо не дискутировать, а взять на себя бремя лидерства - поднять кладр-бота, или валидатор админ. границ по типу дежинского.

Ну и не забывать, что любая деятельность должна иметь цель. Цель же должна быть измерима, реалистична и достижима.

Zkir · 2013-10-09 13:35:21

Можно сказать еще проще. Пользователи сырых осм данных делятся на две группы: на тех кто умеет проверять геометрию, и на тех у кого такого умения нет. Первые свои проблемы решили, им не нужно ничего делать. Вторые же просто не могут ничего сделать.

wowik · 2013-10-09 20:34:55

Zkir wrote:

Пользователи валидатора это и есть пользователи конвертора..

Напомнило мне это историю с HTML и XML.
При небольшой ошибке в документе браузер либо попытается показать документ хоть как-то или покажет фигу. Для пользователя конвертора важно получить хоть какой-то результат, пусть и с небольшими ошибками

dkiselev · 2013-10-10 06:53:34

Те кто умеют обрабатывать геометрию упираются в производительность, уже даже простой osm2pgsql может вызвать дикое FUUUU когда обнаружится что у вас нет 16-32гб оперативы + SSD.

Так что схема, когда множество програм получают адрес из атрибутов, а 1 валидатор проверяет их корректность с учетом геометрии имхо была бы вполне разумна.

Last edited by dkiselev (2013-10-10 06:57:42)

Alexandr Zeinalov · 2013-10-10 11:38:55

Вот, пожалуйста, дерево АТД, построенное чисто по геометрическому признаку на коленке: http://osm.sbin.ru/regtree/

Код: http://osm.sbin.ru/regtree/test.zip

freeExec · 2013-10-10 11:47:45

Ещё бы беззнаковый тип.

Alexandr Zeinalov · 2013-10-10 11:51:36

freeExec wrote:

Ещё бы беззнаковый тип.

В смысле?

Zkir · 2013-10-10 12:21:26

dkiselev wrote:

Так что схема, когда множество програм получают адрес из атрибутов, а 1 валидатор проверяет их корректность с учетом геометрии имхо была бы вполне разумна.

Эта схема называется "один с плошкой, семеро с ложкой". Что получат те кто с ложкой - понятно. А что получит тот кто с плошкой?

Last edited by Zkir (2013-10-10 12:24:34)

freeExec · 2013-10-10 12:30:02

Alexandr Zeinalov wrote:

В смысле?

Я имел ввиду непонятный "-" перед номером

-60189	2	Российская Федерация

Alexandr Zeinalov · 2013-10-10 12:43:18

freeExec wrote:

Alexandr Zeinalov wrote:
В смысле?
Я имел ввиду непонятный "-" перед номером
-60189	2	Российская Федерация

Так osm2pgsql оформляет мультиполигоны.

lenux · 2013-10-10 13:35:55

Alexandr Zeinalov wrote:

Вот, пожалуйста, дерево АТД, построенное чисто по геометрическому признаку на коленке: http://osm.sbin.ru/regtree/
Код: http://osm.sbin.ru/regtree/test.zip

Границы атд есть в выгрузках http://gis-lab.info/qa/osm-adm.html

Alexandr Zeinalov · 2013-10-10 13:44:59

lenux wrote:

Границы атд есть в выгрузках http://gis-lab.info/qa/osm-adm.html

В каком из файлов мне взять границу города Людиново?

lenux · 2013-10-10 13:56:55

Alexandr Zeinalov wrote:

В каком из файлов мне взять границу города Людиново?

Поскольку Людиново является центром, то следует воспользоваться вот этой выгрузкой http://gis-lab.info/qa/osm-regcenter.html id полигона третий столбец (130044517) .
Тогда я вас сейчас спрошу: Как мне из вашего файла и выгрузки взять границу и точку Сабельниц Ярославского района Ярославской области?

Last edited by lenux (2013-10-10 13:57:54)

Alexandr Zeinalov · 2013-10-10 14:41:04

lenux wrote:

Alexandr Zeinalov wrote:
В каком из файлов мне взять границу города Людиново?
Поскольку Людиново является центром, то следует воспользоваться вот этой выгрузкой http://gis-lab.info/qa/osm-regcenter.html id полигона третий столбец (130044517) .
Тогда я вас сейчас спрошу: Как мне из вашего файла и выгрузки взять границу и точку Сабельниц Ярославского района Ярославской области?

Никак. Это proof-of-concept.

fserges · 2013-10-11 22:06:31

Господа, требуется помощь! При проверке работы моих алгоритмов обнаружилось что часть границы РФ отсутствует в скачанном мною файле. А именно, остров Монерон - http://www.openstreetmap.org/browse/way/220394583 . Россию я скачиваю с Гислаба.

У меня 2 вопроса:

1) Действительно ли указанный остров выпадает из выгрузки России (может мне файл битый достался)?
2) Если он действительно выпадает - а не хотим ли мы его всё-таки включить в обрезку России?

Для работы собственно валидатора данный остров не важен - там нет населённых пунктов. Но мало ли кому понадобится вся Россия. Остров вполне вероятно мог быть пропущен в обрезке так как был добавлен 7 мая 2013 года.

Sergey Astakhov · 2013-10-11 22:21:50

Обрезка идёт по файлам poly - http://be.gis-lab.info/data/osm_dump/poly/
Если там надо что-то подправить - редактируете как надо и пишите на форум http://gis-lab.info/forum/viewtopic.php?f=3&t=8053

fserges · 2013-10-12 08:55:43

Честно говоря не занимался я правкой poly и если сообществу ОСМ граница вполне подходит (5 месяцев с правки Dinamik прошло) значит мелкая проблема. Во всяком случае меня она точно не задевает.

Мне вот интереснее другое, зачем в Кемеровской области у нас задвоенные районы? Например, Кемеровский район -

admin_level = 6
boundary = administrative
name = Кемеровский район
source = rosreestr
type = boundary
wikipedia = ru:Кемеровский_район_Кемеровской_области
http://www.openstreetmap.org/browse/relation/3240253

admin_level = 6
boundary = administrative
name = Кемеровский район
source = rosreestr
type = boundary
wikipedia = ru:Кемеровский_район_Кемеровской_области
http://www.openstreetmap.org/browse/relation/1147596

Валидатор на таких данных конечно глючит ...

fserges · 2013-10-12 09:10:21

wowik wrote:

дефолтная роль outer

Дефолтный когда? Мне вот такой интересный объект попался (хоть и на Украине но всё же) на котором заглючило:

admin_level = 6
boundary = administrative
name = Урало-Кавказ
place = town
type = boundary
http://www.openstreetmap.org/browse/relation/3157877

Откройте его в JOSM и скажите - правильно ли он создан и зачем там куча элементов в отношении без какой-либо роли? Кто там - внешний контур? Если такой объект валиден с точки зрения данных, мне нужно будет допиливать парсер.

lenux · 2013-10-12 09:11:49

fserges Это называется не "нет дела до мелкой проблемы", а нет инструмента, который отразил, что полигоны задвоены или там граица РФ порвалась. Задвоенность ественно ошибка. Можешь смело удалять один.

OverQuantum · 2013-10-12 09:54:04

3240253 содержит разрыв на аэропорту

fserges · 2013-10-12 14:28:17

Починили Спасибо за быстрое исправление!

fserges wrote:

wowik wrote:
дефолтная роль outer
Дефолтный когда? Мне вот такой интересный объект попался (хоть и на Украине но всё же) на котором заглючило:
admin_level = 6
boundary = administrative
name = Урало-Кавказ
place = town
type = boundary
http://www.openstreetmap.org/browse/relation/3157877
Откройте его в JOSM и скажите - правильно ли он создан и зачем там куча элементов в отношении без какой-либо роли? Кто там - внешний контур? Если такой объект валиден с точки зрения данных, мне нужно будет допиливать парсер.

fserges · 2013-10-12 18:40:55

Аналогичный пример в Московской области - Озёрский район:

Точка Озёры (256361873) в роли admin_centre
Линия 124033336 в роли outer
Линия 123959245 в роли outer
...
Линия 124024415 в роли outer
Линия 123959243 в роли outer
Отношение городское поселение Озёры (1693607) в роли subarea
Отношение сельское поселение Бояркинское (1693630) в роли subarea
Отношение Клишинское сельское поселение (1693651) в роли subarea
Точка Горы (1601977260)
Точка Марково (780808072)
...
Точка Бебехово (1604474547)
Точка Кудрино (1604525768)
Точка Болобново (780808073)
Точка Сенницы 1 (1604525767)
Точка Сенницы 2 (1604525766)
Точка Трегубово (1604605842)
Точка Сосновка (1604611231)
Точка Александровка (1604625117)
http://www.openstreetmap.org/browse/relation/184666

Куча точек в отношении не имеющие никакой роли. Нужно подписать роль? Какую? Удалить?

Лично я из валидатора пока такие вещи исключу, но потом я бы убрал из БД. Ведь данными ОСМ пользуются не только закоренелые старожилы ОСМ но и другие пользователя. Видя насколько криво поддерживаются данные в ОСМ новые пользователи ... могут подумать что у нас и с остальным так. Не экономьте на мелочах Имидж качественного продукта дорогого стоит

Upd: это отношение делал Felis Pimeja так что думаю он подскажет что и как лучше.

Last edited by fserges (2013-10-12 18:42:32)

Announcement

#1501 2013-10-09 10:53:20

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1502 2013-10-09 10:54:17

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1503 2013-10-09 12:28:01

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1504 2013-10-09 12:41:46

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1505 2013-10-09 13:35:21

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1506 2013-10-09 20:34:55

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1507 2013-10-10 06:53:34

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1508 2013-10-10 11:38:55

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1509 2013-10-10 11:47:45

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1510 2013-10-10 11:51:36

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1511 2013-10-10 12:21:26

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1512 2013-10-10 12:30:02

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1513 2013-10-10 12:43:18

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1514 2013-10-10 13:35:55

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1515 2013-10-10 13:44:59

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1516 2013-10-10 13:56:55

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1517 2013-10-10 14:41:04

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1518 2013-10-11 22:06:31

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1519 2013-10-11 22:21:50

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1520 2013-10-12 08:55:43

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1521 2013-10-12 09:10:21

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1522 2013-10-12 09:11:49

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1523 2013-10-12 09:54:04

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1524 2013-10-12 14:28:17

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

#1525 2013-10-12 18:40:55

Re: Проверялка границ по ОКТМО, НП по ОКАТО и улиц по КЛАДР

Board footer