OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#26 2013-11-22 06:04:20

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,423
Website

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Для полноты стоило бы ещё подумать, что делать с отдельно расположенными военными городками. В ОКАТО их в основном нет, но их перечни открыто опубликованы отдельно. Например, ФСО: http://www.zakonprost.ru/content/base/part/430476

Offline

#27 2013-11-22 06:07:41

freeExec
Moderator
From: Ульяновск
Registered: 2012-07-31
Posts: 6,786

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

А стоит ли из-за 10 штук особо парится, пусть так и висят на уровне района.

Offline

#28 2013-11-22 07:55:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Nikolya wrote:

все крупные города краснодар.края красные, что это значит?

Это из-за "МО город Армавир", мы это обсуждали в ветке про Краснодарский край. Поскольку обсуждение не закончилось (меня не переубедили, я не переубедил) то пока остаётся так.

Offline

#29 2013-11-22 08:09:53

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,423
Website

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

freeExec wrote:

А стоит ли из-за 10 штук особо парится

В этом перечне только ФСО-шные. А бывают ещё (и гораздо больше) у МО, у МВД, у ФСБ и фиг знает ещё у кого

ЗЫ
Вот список побольше: http://voengor.ru/perechen_zakrytyh_voe … rodkov.php

Offline

#30 2013-11-22 08:11:08

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

freeExec wrote:

А что с поселениями, называть "Имя" или "Имя сельское поселение" / "Имя СП" ну и аналогичные единицы АТД ?

Что писать в name это вещь которая обсуждается. По-хорошему это "Мичуринское сельское поселение". Вариант "Мичуринское СП" также распространён, но он нарушает принцип ОСМ do not abbreviate хотя и однозначно идентифицирует объект. Вариант "Мичуринское" требует чтобы поле official_status (или аналогичное, будем обсуждать) хранило бы в себе фразу "сельское поселение", поскольку иначе парсерам непонятно, что это - городское поселение, сельское поселение или какая-то ошибка.

При этом надо не забывать что вариативность названий сельских поселений поддерживается и на официальном уровне. Например название "Сельское поселение Александровский сельсовет" является вполне типичным как и Сельское поселение Алексеевская волость. Кстати именно поэтому мне не нравится кривое использование тега official_status. Для сельского поселения Александровский сельсовет именно "сельское поселение" является статусом а "сельсовет" частью названия, хотя из описания official_status можно понять и так и так. Поэтому я по-прежнему активный противник кривого использования official_status.

Offline

#31 2013-11-22 08:19:21

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,071

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Как раз статусы муниципальных образований сравнительно легко выпрямить валидатором. Они известны, поддержаны законодательством и действительно присваиваются официально.  Это бы имело практическую пользу (в отличие от расстановки ё по псевдоэталонному списку).

Last edited by Zkir (2013-11-22 08:27:04)


Обсуждение концепции форума -- De Constantia Sapientis --  De Vita Beata -- Apocolocyntosis divi Claudii *

Offline

#32 2013-11-22 08:21:56

freeExec
Moderator
From: Ульяновск
Registered: 2012-07-31
Posts: 6,786

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

liosha wrote:

Вот список побольше: http://voengor.ru/perechen_zakrytyh_voe … rodkov.php

Ну там по списку в 90% случаев адрес до НП. Если он геометрически не в НП, то по-идее addr:city/place=* должен помочь.

fserges wrote:

Поэтому я по-прежнему активный противник кривого использования official_status.

Кривой тег или кривое название тега ?

Offline

#33 2013-11-22 08:44:23

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Zkir wrote:

Как раз статусы муниципальных образований сравнительно легко выпрямить валидатором. Они известны, поддержаны законодательством и действительно присваиваются официально.  Это бы имело практическую пользу (в отличие от расстановки ё по псевдоэталонному списку).

Zkir, перфекционизм не знает границ smile И статусы поправим и с "ё" разбереёмся. Раз уж я взялся за это дело будем пилить пока золото не найдём smile

Offline

#34 2013-11-22 09:02:29

freeExec
Moderator
From: Ульяновск
Registered: 2012-07-31
Posts: 6,786

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Когда обновление данных ?

Offline

#35 2013-11-22 09:33:32

Takuto
Member
Registered: 2011-01-09
Posts: 208

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Валидатор важный и нужный.
Но что-то он меня загнал в тупик:
http://atd.osm.rambler.ru/r405899.html
Малоярославецкий район красный весь. Ошибка валидатора?

Опять же, НП (place=*) где есть только полигональная граница - это ошибка или ОК? А точка без границы?

Offline

#36 2013-11-22 09:34:55

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,071

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Takuto wrote:

Опять же, НП (place=*) где есть только полигональная граница - это ошибка или ОК? А точка без границы?

И то, и другое ошибка.


Обсуждение концепции форума -- De Constantia Sapientis --  De Vita Beata -- Apocolocyntosis divi Claudii *

Offline

#37 2013-11-22 09:51:43

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Takuto wrote:

Валидатор важный и нужный.
Но что-то он меня загнал в тупик:
http://atd.osm.rambler.ru/r405899.html
Малоярославецкий район красный весь. Ошибка валидатора?

Для данного валидатора важна полная иерархия АТД. А в данном случае отсутствуют все сельские поселения:

Малоярославецкий район — административно-территориальная единица и муниципальное образование в Калужской области России. Административный центр — город Малоярославец.

В состав района входят 1 городское поселение:

    Городское поселение «Город Малоярославец» (Малоярославец);

и 17 сельских поселений:

    Сельское поселение «Деревня Берёзовка» (Березовка);
    Сельское поселение «Деревня Воробьёво» (Воробьево);
    Сельское поселение «Село Головтеево» (Головтеево);
    Сельское поселение «Посёлок Детчино» (Детчино);
    Сельское поселение «Деревня Ерденево» (Ерденево);
    Сельское поселение «Деревня Захарово» (Захарово);
    Сельское поселение «Село Ильинское» (Ильинское);
    Сельское поселение «Село Коллонтай» (Коллонтай);
    Сельское поселение «Село Кудиново» (Кудиново);
    Сельское поселение «Село Маклино» (Маклино);
    Сельское поселение «Деревня Михеево» (Михеево);
    Сельское поселение «Село Недельное» (Недельное);
    Сельское поселение «Деревня Прудки» (Прудки);
    Сельское поселение «Деревня Рябцево» (Рябцево);
    Сельское поселение «Село Спас-Загорье» (Спас-Загорье);
    Сельское поселение «Деревня Шумятино» (Шумятино);
    Сельское поселение «Посёлок Юбилейный» (Юбилейный).


http://ru.wikipedia.org/wiki/%D0%9C%D0% … 0%BE%D0%BD

В ОСМ есть только городское поселение.

Offline

#38 2013-11-22 09:59:50

Vadimi
Member
From: Krasnodar
Registered: 2012-07-23
Posts: 230

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:
Nikolya wrote:

все крупные города краснодар.края красные, что это значит?

Это из-за "МО город Армавир", мы это обсуждали в ветке про Краснодарский край. Поскольку обсуждение не закончилось (меня не переубедили, я не переубедил) то пока остаётся так.

Не все крупные города, а практически все НП Краснодарского края не учитываются этим валидатором из-за того, что у нас отсутствуют границы поселений.
Валидатор CupIvan'а данный момент не учитывает, так как валидирует именно точечные центры НП по данным википедии.

Offline

#39 2013-11-22 10:09:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Vadimi wrote:
fserges wrote:
Nikolya wrote:

все крупные города краснодар.края красные, что это значит?

Это из-за "МО город Армавир", мы это обсуждали в ветке про Краснодарский край. Поскольку обсуждение не закончилось (меня не переубедили, я не переубедил) то пока остаётся так.

Не все крупные города, а практически все НП Краснодарского края не учитываются этим валидатором из-за того, что у нас отсутствуют границы поселений.
Валидатор CupIvan'а данный момент не учитывает, так как валидирует именно точечные центры НП по данным википедии.

Разные валидаторы верифицируют данные под разные задачи. Сельские/городские поселения (в советское время горсоветы/сельсоветы) важный момент в АТД хотя для многих задач это не требуется. Как я писал ранее, позже я добавлю обработку таких НП и ошибка будет считаться серьёзной но не критической (как сейчас), но ошибкой это всё равно будет считаться. Тем не менее уже сейчас во многих субъектах федерации информация по сельским поселениям уже достаточно полная и в целом по России около трети сельских поселений уже внесены.

Offline

#40 2013-11-22 10:15:08

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

freeExec wrote:

Когда обновление данных ?

Поскольку сейчас бета то главный интерес к доводке самого валидатора нежели к регулярности обновления. Я постоянно чего-то там правлю в результате валидатор иногда "ломается". Поэтому обновления будут относительно регулярными. Я постараюсь обновлять раз в 2 дня, но говорить что будет работать как часы не могу - валидатор может сломаться в неожиданном месте.

Кстати сейчас я загрузил ночную выгрузку с ГИС-Лаба, так что сегодня вечером (тьфу-тьфу-тьфу) должен обновиться. Если будет всё нормально то потом обновлю в воскресенье. Если делать чаще то мне это будет мешать допиливанию валидатора.

Offline

#41 2013-11-22 10:16:10

Dinamik
Member
Registered: 2010-08-12
Posts: 1,024

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Коллеги, позволю себе напомнить про предложение использовать тег oktmo:user для явного указания значения ОКТМО. Это позволит: а) устранить проблему расположенных рядом одноимённых населённых пунктов, б) сокращений (СП <-> сельское поселение), в) вариативных форм записи ("город Старая Русса" <-> Старорусское городское поселение), г) поселений со специфическим статусом (посёлок при станции).

Offline

#42 2013-11-22 10:24:06

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

liosha wrote:

Для полноты стоило бы ещё подумать, что делать с отдельно расположенными военными городками. В ОКАТО их в основном нет, но их перечни открыто опубликованы отдельно. Например, ФСО: http://www.zakonprost.ru/content/base/part/430476

Это уже в следующих версиях smile Тут с поселениями бы разобраться ...

Offline

#43 2013-11-22 10:45:38

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Dinamik wrote:

Коллеги, позволю себе напомнить про предложение использовать тег oktmo:user для явного указания значения ОКТМО. Это позволит: а) устранить проблему расположенных рядом одноимённых населённых пунктов, б) сокращений (СП <-> сельское поселение), в) вариативных форм записи ("город Старая Русса" <-> Старорусское городское поселение), г) поселений со специфическим статусом (посёлок при станции).

У меня к сожалению до этого пока руки не дошли, но в отличие от разработчика прежнего валидатора я лоялен к простой простановке кода ОКТМО, т.е. oktmo=xxxxx вместо oktmo:user=xxxxx. Аргументация почему oktmo плохо а oktmo:user хорошо для меня является слабой.

Сокращения "СП" и "ГП" валидатор вполне понимает и отрабатывает, но более честным конечно является ведение official_status или аналога где хранить статус и не засорять им name.

Вариативность форм записи будет пониматься на двух уровнях. С одной стороны я у себя в БД храню поле "альтернативное название" если оно довольно официальное. С другой стороны, я планирую использовать alt_name в ОСМ.

Поселения со сложным префиксом будут хранить значения в поле типа name:prefix (вот только не нужно утверждать что "посёлок" и "посёлок при станции" это разные статусы населённых пунктов!) - это будем обсуждать.

Подводя итог: хочется минимизировать использование oktmo:user, хотя его использование валидно. Пользователь ОСМа из Германии должен просто распарсить выгрузку не обращаясь к каким-то внешним данным. Но наличие oktmo не является проблемой. Код всё равно будет проверяться валидатором и в случае его смены (из-за смены а в АТД) будет отловлен валидатором.

Т.е. одна из главных идей валидатора - вся информация должна браться из тегов и геометрии. Ничего более, но теги будут иметь более высокий приоритет над геометрией так как ошибочно испортить геометрию гораздо проще чем случайно изменить теги точки.

Offline

#44 2013-11-22 11:24:05

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,416
Website

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

oktmo:user
okato:user
kladr:user

Просто потому что эти теги массово расставлялись для прошлого валидатора и являются де-факто стандартом. Не нужно, пожалуйста, плодить третьей схемы (вспомним cladr:code).

Last edited by Zverik (2013-11-22 11:25:10)


ШТОСМ | josm.ru | обо мне | taste is just another name for misogyny

Offline

#45 2013-11-22 11:28:26

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Zverik wrote:

oktmo:user
okato:user
kladr:user

Просто потому что эти теги массово расставлялись для прошлого валидатора и являются де-факто стандартом. Не нужно, пожалуйста, плодить третьей схемы (вспомним cladr:code).

Они устарели и теперь другие. Прежняя схема умерла.

Offline

#46 2013-11-22 11:40:31

Felis Pimeja
Member
Registered: 2010-10-27
Posts: 1,032

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:
Dinamik wrote:

Коллеги, позволю себе напомнить про предложение использовать тег oktmo:user для явного указания значения ОКТМО. Это позволит: а) устранить проблему расположенных рядом одноимённых населённых пунктов, б) сокращений (СП <-> сельское поселение), в) вариативных форм записи ("город Старая Русса" <-> Старорусское городское поселение), г) поселений со специфическим статусом (посёлок при станции).

У меня к сожалению до этого пока руки не дошли, но в отличие от разработчика прежнего валидатора я лоялен к простой простановке кода ОКТМО, т.е. oktmo=xxxxx вместо oktmo:user=xxxxx. Аргументация почему oktmo плохо а oktmo:user хорошо для меня является слабой.

...

Вы в свою очередь вовсе не представляете аргументов для введения новой схемы.

Offline

#47 2013-11-22 11:50:42

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Felis Pimeja wrote:
fserges wrote:
Dinamik wrote:

Коллеги, позволю себе напомнить про предложение использовать тег oktmo:user для явного указания значения ОКТМО. Это позволит: а) устранить проблему расположенных рядом одноимённых населённых пунктов, б) сокращений (СП <-> сельское поселение), в) вариативных форм записи ("город Старая Русса" <-> Старорусское городское поселение), г) поселений со специфическим статусом (посёлок при станции).

У меня к сожалению до этого пока руки не дошли, но в отличие от разработчика прежнего валидатора я лоялен к простой простановке кода ОКТМО, т.е. oktmo=xxxxx вместо oktmo:user=xxxxx. Аргументация почему oktmo плохо а oktmo:user хорошо для меня является слабой.

...

Вы в свою очередь вовсе не представляете аргументов для введения новой схемы.

Ну так у меня жёсткий аврал на работе, мне некогда вести длинные споры. А спорить можно практически за каждую строку алгоритмов. Всё будет и всему своё время. Я выложил бету но нигде не сказал что это окончательный продукт. По-понемногу будет всё и скоро придёт в норму. А пока просто общие мысли - что будет критично а что нет. В конце концов споры и нужны чтобы оттачивать решения. Ну не торопите события, пожалуйста!

Offline

#48 2013-11-22 12:05:22

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,416
Website

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:
Zverik wrote:

oktmo:user
okato:user
kladr:user

Просто потому что эти теги массово расставлялись для прошлого валидатора и являются де-факто стандартом. Не нужно, пожалуйста, плодить третьей схемы (вспомним cladr:code).

Они устарели и теперь другие. Прежняя схема умерла.

Не умерла ещё и самая первая схема. Схемы не умирают. Есть десятки тысяч тегов в прежней схеме, не одну сотню проставил я сам. Делать всю эту работу заново неохота. Зачем засорять базу? А её засоряют не обычные мапперы, а вот такие программисты — которым просто лень через правку двух-трёх строк сохранить преемственность.


ШТОСМ | josm.ru | обо мне | taste is just another name for misogyny

Offline

#49 2013-11-22 15:09:58

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

А что у нас является объектами admin_level=9? Я попробовал обработать объекты admin_level=9 среди которых районы городов (в частности Ульяновска) и поймал огромный список suburb. Куча объектов типа такого:

admin_level = 9
boundary = administrative
name = Центр
place = suburb
type = boundary

http://www.openstreetmap.org/browse/relation/3314748

Если такого рода объекты валидны (т.е. что городские районы что suburb являются admin_level=9) то тогда я буду просто отбрасывать place = suburb не глядя на admin_level.

Offline

#50 2013-11-22 15:21:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,637

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Данные для валидатора обновились ... Только вот файерволы не дают мне выложить результат. Выложу позднее вечером из дома.

Offline

Board footer

Powered by FluxBB