OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1326 2017-05-28 21:51:43

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Достаточно давно валидатор показывает, что Кировская область имеет невалидную границу ... Но чинить никто не берётся.

Ошибка здесь - https://www.openstreetmap.org/way/495468422/history. Этот outer Кировской области расположен в Северо-Западном ФО, поэтому Кировская область геометрически не является полностью лежащей в Приволжском ФО.

Аналогичная краснота и на заглавной странице, и уже много недель. Инновационный центр «Сколково» в ОСМ геометрически расположен и на территории Москвы и МО. Про посёлок Центральный даже есть отдельная тема. Этот посёлок в ОСМ расположен одновременно и во Владимирской и в Нижегородской областях. Валидатор не может приписать его к какой-либо конкретной области по геометрической вложенности.

Offline

#1327 2017-05-28 23:20:24

newpavlov
Member
Registered: 2014-03-28
Posts: 410

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Поправил Сколково, но в итоге граница там проведена несколько условно, ибо не понятно текущее состояние админ границ, которое не факт что окончательно устаканенно.

Про Центральный, там тоже вероятно проблема в том, что границы между регионами не согласованы, отсюда и возникают несоответствия. Если я правильно помню, то в текстовом описании границ там было сказано что граница идёт по реке и далее по границе землеотвода жд дороги, т.е. именно так как сейчас и внесено. Но мне всё-таки кажется там стоит подвинуть границу согласно генплану, дабы убрать противоречия.

Last edited by newpavlov (2017-05-28 23:24:59)

Offline

#1328 2017-06-17 12:55:30

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Не знаю, заметил ли кто, но валидатор переживает бурные времена. Он штатно работал на моём рабочем компе в нерабочее время, так же есть полная конфигурация дома, т.е. я могу легко запустить всё дома ... и ждать около 4 часов результатов работы.

Но всё хорошее когда кончается и проект на котором я работал закрылся и я стал безработным. ОК, валидатор можно гонять дома ... И тут я нашёл работу smile Это значит испытательный срок, никаких отпроситься и рискованно разворачивание не работе. ОК, погоняю дома не каждый день ... Тут внезапно нужно ехать в длительную командировку ... Ну и до кучи - придётся съезжать из текущей квартиры во что-то менее просторное.

Что в сухом остатке? Валидатор будет работать, но с непредсказуемой частотой обновления. Когда хоть что-то стабилизируется то отпишусь.

P.S. Я перешёл на самостоятельные вырезаемые дампы, поэтому пока есть некоторые артефакты обрезки, устаканится в ближайшее время.

Offline

#1329 2017-06-20 05:28:14

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:

P.S. Я перешёл на самостоятельные вырезаемые дампы, поэтому пока есть некоторые артефакты обрезки, устаканится в ближайшее время.

Граница РФ сдвинулась на несколько километров на юг от прошлой в сторону Монголии (в горах), поэтому часть точек в Бурятии не попало в обрезку. Так что границы - вещь скользкая smile

Offline

#1330 2017-06-25 22:21:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Сделал я собственный дамп, но Чукотка не полечилась. Теперь я уже не знаю что делать sad

fserges wrote:

А вот на Чукотке ГИС-Лабовский дамп переломан гораздо сильнее. Отсутствуют такие точки:

http://www.openstreetmap.org/node/1113705061
http://www.openstreetmap.org/node/1113705446

а также многие другие ...

В моём дампе отсутствуют такие точки (все на 180):

https://www.openstreetmap.org/node/1114446765
https://www.openstreetmap.org/node/1114447179
https://www.openstreetmap.org/node/1114447389
https://www.openstreetmap.org/node/1114447713

Команда которой я вырезал Россию из планеты:

osmupd.exe -v --day --hour --keep-tempfiles -B=RUS.poly planet-latest.osm.pbf RU-latest.osm.pbf

Сам poly-файл: http://atd.osm.rambler.ru/data/RUS.poly

Вроде всё проверил, но никаких проблем не нашёл. Единственное что не проверял - может планета сломалась и её нужно перекачать, но на первый взгляд это кажется маловероятным, а времени требуется мало ...

Какая-то бага конкретной версии osmupdate?

Offline

#1331 2017-06-26 06:10:26

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

А ещё, порядка 50 сельских поселений было удалено за последние дни. Где-то (особенно в Вологодской области) показатели просели сильно.

Offline

#1332 2017-06-26 08:09:16

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 6,869

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Возможно по тому, что точки находятся ровно в 180.0, попробуй в полигоне обрезки сделать границу 180.01

Offline

#1333 2017-06-30 22:21:40

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:

Сделал я собственный дамп, но Чукотка не полечилась. Теперь я уже не знаю что делать sad

fserges wrote:

А вот на Чукотке ГИС-Лабовский дамп переломан гораздо сильнее. Отсутствуют такие точки:

http://www.openstreetmap.org/node/1113705061
http://www.openstreetmap.org/node/1113705446

а также многие другие ...

В моём дампе отсутствуют такие точки (все на 180):

https://www.openstreetmap.org/node/1114446765
https://www.openstreetmap.org/node/1114447179
https://www.openstreetmap.org/node/1114447389
https://www.openstreetmap.org/node/1114447713

А также почему-то отсутствуют линии:

http://www.openstreetmap.org/way/134546604
http://www.openstreetmap.org/way/23824393
http://www.openstreetmap.org/way/239992379

(это линии содержащие точки -180).

Всё же мне это напоминает багу в osmconvert. Почему-то в старой версии osmconvert (год или 2 назад) проблем с этим poly файлом не было, а сейчас есть. Как-то несимметрично обрабатывается antimeridian - если +180.0000 - то точки/линии попадают в обрезку, если -180.0000 то точки/линии выбрасываются. Соответственно такая фигня у меня и судя по всему на ГИС-Лабе.

Остаётся попробовать обходной путь предложенный - freeExec. Явно кривое решение, но мне нужен правильный дамп а не красивое решение ... Попробую завтра. Может с этим обходным путём другие проблемы всплывут smile

Offline

#1334 2017-06-30 22:27:42

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:

Остаётся попробовать обходной путь предложенный - freeExec. Явно кривое решение, но мне нужен правильный дамп а не красивое решение ... Попробую завтра. Может с этим обходным путём другие проблемы всплывут smile

Сходу JOSM отверг такой poly-файл, сказал что точки "оказались за пределами мира" поэтому им перемещены (т.е. автоматически исправлены в 180.000000). Посмотрим что скажет osmconvert.

Offline

#1335 2017-07-01 12:34:12

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

freeExec wrote:

Возможно по тому, что точки находятся ровно в 180.0, попробуй в полигоне обрезки сделать границу 180.01

Собственно таким образом полученный дамп прошёл через валидатор без проблем. Точнее, +180.00000 обрабатывается osmconvert нормально, т.е. все линии и точки попадают в обрезку, но -180.00000 не отрабатывает, т.е. нужно ставить -180.00100

Offline

#1336 2017-07-12 10:14:43

DJ VK
Member
Registered: 2017-07-12
Posts: 4

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Предложения.
1. Предлагаю доопределить первый уровень деления Федеральных городов (Москва, СПБ, Севастополь) кодами из ОКАТО, также как это сделано в ТЕРСОН-МО (коды ТЕРСОН приведены в справочнике по численности населения).
2. Также не попали в административное деление управленческие округа Свердловской области и Бежтецкий участок, хотя им соответствуют объекты OSM, можно сгруппировать хотя бы по ним адм. единицы следующего уровня.

Вопросы.
Что можно предпринять, чтобы раз и навсегда устранить нелепые ошибки в делении. Начнем с того, что видно сразу.
а) Например, внутри города Балашиха почему то есть еще один город и сельские населенные пункты, продублированные в правильном месте.
б) Муниципальный округ Кунцево в Москве отсутствует в Западном административном округе, и висит выше уровнем под именем района Кунцево.
в) Амурская область. OSM объект ЗАТО Углегорск не ассоциируется с ОКТМО ЗАТО Циолковский.
г) Циолковский назван населенным пунктом, хотя у него есть код ОКТМО (почему-то здесь не указан), из которого однозначно следует, что он город (номера населенных пунктов 001-049 города, 051-099 пгт, 101 и далее сельские НП - это бы неплохо автоматизировать). Ранее он был Углегорском и впридачу поселком, как бы это указать?
P/s/ Я понимаю, что организационно эти вещи исправляются в josm довольно просто. Но то, что они существуют уже давно - это бага или фича? Какие именно исправления этих и им подобных ошибок не будут запилены под корень?

Offline

#1337 2017-08-13 21:16:31

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

^^ Выше ошибки из ОСМ, возможно уже исправлены ...

Обновился ОКТМО. В этот раз минимально - пара сельских поселений Ленинградской области стали городскими поселениями (нонсенс для последних лет), два малонаселённых поселений упразднено (Архангельская и Иркутская области). Также упразднено небольшое количество сельских НП.

При следующем обновлении валидатора подхватится последний классификатор. Только теперь валидатор обновляется несколько раз в неделю, поэтому трудно точно сказать когда это случиться. "На днях" будет самое точное.

Offline

#1338 2017-09-25 08:11:31

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Поскольку долго никто не спрашивает то отвечаю smile

Валидатор временно работает в режиме 1-2 обновления в неделю. И для этого есть важные причины. Ранее валидатор прекрасно работал на работе в утреннее/ночное время, к моему приходу на работу всё или отрабатывало или заканчивало работу. Но всё хорошее когда-либо кончается. Я потерял работу, валидатор был остановлен, запускался из дома. Новая работа нашлась довольно быстро, но там нет возможности ставить какой-либо сторонний софт - отключены USB, забанены GitHub, ftp, ssh, почтовые сервисы, мессенджеры и т.д. и т.п. Даже JOSM не запустить, нет коннекта с сервером. Вариант с ежедневным запуском на работе отсутствует в принципе.

Но как говорится, "беда не приходит одна" и помимо всего прочего пришлось съехать с хорошей квартиры в тесную однушку в которой физически нет места чтобы поставить стационарный компьютер. Поэтому единственная возможность сейчас - гонять валидатор с маломощного ноутбука по выходным, чем я и занимаюсь.

Технически валидатор - легко переносимая вещь. Это образ в VirtualBox, т.е. развёртывание на новой машине это вопрос десятков минут. Но сейчас вопрос в том что развёртывать особо негде sad

Однако ситуация не выглядит безнадёжной. Через несколько месяцев мы должны будем перебраться в более комфортабельную квартиру и тогда валидатор будет запускаться более регулярно. Но пока будет текущий режим - один, может два раза в неделю. Т.е. валидатор жив, но обновляется не так часть как раньше.

Вопросы по развитию валидатора, понятно, не стоят. Это будет уже следующий шаг и точно не в этом году.

Offline

#1339 2017-09-25 12:45:05

Jake Strine
Member
From: Санкт-Петербург
Registered: 2014-04-15
Posts: 71

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

fserges wrote:

Но пока будет текущий режим - один, может два раза в неделю.

Это гораздо лучше чем вообще никак). Пользуюсь регулярно, очень нужная вещь. Учитывая, что альтернативный валидатор почти всё лето не обновлялся... спасибо, что поддерживаете всё равно свой независимо от жизненных обстоятельств! wink

Last edited by Jake Strine (2017-09-25 12:45:44)

Offline

#1340 2017-09-25 13:03:36

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,012

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

С альтернативным почти та же история.
С рабочего убрал, ушел в отпуск, поставил на домашний, опять отпуск, переставил дома на другой.
Теперь все настроил и в выходные погонял. Восстановил работу через обновления, а не дампы.
Но всё равно - запуск по пинку по приходу с работы.

Offline

#1341 2017-09-27 08:57:23

dansit
Member
From: Astana Kazakhstan
Registered: 2017-05-31
Posts: 36

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Вопрос по Казахстану. А когда в последний раз обновлялись по нему исходные данные?
А то наносишь нас.пункт, а он ликвидирован, или переименован.
И получается ошибка остается sad:(

Offline

#1342 2017-09-27 09:00:59

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 6,869

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Так не надо мапить под валидатор. Нет, так нет.

Offline

#1343 2017-09-27 09:56:43

dansit
Member
From: Astana Kazakhstan
Registered: 2017-05-31
Posts: 36

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Я не маплю под него smile.
Просто хотелось знать как часто обновляется то с чего берутся данные

Offline

#1344 2017-09-27 11:20:16

chnav
Member
From: Moscow, Russia
Registered: 2010-03-18
Posts: 2,674

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

dansit wrote:

Вопрос по Казахстану. А когда в последний раз обновлялись по нему исходные данные?
А то наносишь нас.пункт, а он ликвидирован, или переименован.
И получается ошибка остается sad:(

Валидатор Вовика 21 сентября последнее обновление
http://wowik.000space.com/places/kz/

Что касается ликвидированных населенных пунктов - не беда что их нет в КАТО, если есть жилые дома то лучше оставлять. С переименованными конечно веселее ))

Ликвидированые НП я обычно переделываю в place=isolated_dwelling (если наблюдается движуха) или was:place=hamlet
Понадобится людям посетить могилки предков - уже помощь.

Offline

#1345 2017-09-27 11:39:57

П3тр0виЧъ
Member
From: Новотроицк, Оренбургская
Registered: 2016-12-08
Posts: 9

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

chnav wrote:

Ликвидированые НП я обычно переделываю в place=isolated_dwelling (если наблюдается движуха) или was:place=hamlet

Почему не в place=locality + abandoned:place=hamlet?

Offline

#1346 2017-10-13 09:43:28

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Поскольку валидатор стал запускаться реже, то и ошибки стали повторяться чаще, что стало приводить к падению валидатора. За две недели так и не смог прогнать ни разу.

Первая ошибка - были массово включены relation которые не имели роли, хотя судя по всему предполагались как subarea. Валидатор трактовал роли в relation как outer и далее глючил. Вроде исправил всё.

Сейчас упал на таких данных:

Какие ограничения длину строки у нас? Здесь 255 символов.

Offline

#1347 2017-10-13 13:49:46

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,012

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

O! mosstreet лепит урли прямо с гуглевским редиректом wink

Его отрезали по максимуму, плюс место для нулевого бита. Будет 256 байт?

Last edited by wowik (2017-10-13 13:51:20)

Offline

#1348 2017-10-13 14:03:51

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 6,869

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

wowik wrote:

Будет 256 байт?

Только не байт, а символов, так как храниться в UTF-8.

Offline

#1349 2017-10-13 17:01:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

wowik wrote:

O! mosstreet лепит урли прямо с гуглевским редиректом wink

Ага, в результате URL был обрезан и перестал быть валидным. Поправлю. А то source=google.ru несколько пугает smile

Offline

#1350 2017-10-13 17:18:58

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,658

Re: Валидатор населённых пунктов и границ (atd.osm.rambler.ru)

Валидатор таки обновился, но пока результат не красивый. Типовая ошибка - люди добавляют эксклавы для поселений/районов и забывают что эксклавы нужно проставлять и в областях/федеральных округах тоже. Я исправил, на выходных перепрогоню ещё раз.

Offline

Board footer

Powered by FluxBB