You are not logged in.

#1451 2020-03-08 07:37:07

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Где-то пару месяцев назад заметил странное новшество - в обрезанный мною дамп России стали попадать изменения со всего мира. Т.е. изменения в Аргентине, Ирландии, США, Индонезии и т.п. Соответственно, после каждого прогона нужно вычищать весь этот мусор. Появилось это единомоментно и не исчезает. Также появилось ощущение что osmupdate стал работать ощутимо дольше. Тащатся только relation, размер дампа увеличился не сильно.

Никто с подобным не сталкивался? Я с таким сталкивался пару лет назад, по воспоминаниям произошла какая-то смена формата pbf и osmupdate устарел, помогло обновление на новую версию osmupdate (которую скорее всего присылал freeExec).


Бывший редактор ОСМ

Offline

#1452 2020-03-08 07:51:59

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Хотя ... на 1 февраля дамп России у меня 2726 Мб, на 8 марта - 2758 Мб. Т.е. прирост на 32 Мб чуть больше чем за месяц. Раньше дамп рос медленнее. Файл обрезки не менялся уже много лет.

osmconvert 0.8.8
osmupdate 0.4.4


Бывший редактор ОСМ

Offline

#1453 2020-03-08 08:06:53

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,991

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Не припомню никаких смен pbf. А сам пользуюсь osmupdate от 2012 года. Впрочем она всего лишь обвёртка над osmconvert. Не могу утверждать, что у меня нет такого баг (в josm я его не открываю, чтобы такое увидеть), но при обработке не сталкивался с левыми деталями.
Свежие версии держу тут - https://frexosm.ru/about-tools.html

П.С. Дамп последние пол года растёт быстро из-за переписи.

Last edited by freeExec (2020-03-08 08:08:17)

Offline

#1454 2020-03-08 09:05:18

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 8,799

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Никто с подобным не сталкивался

Сталкивался. И мне кажется, что уже давно. Обрезка как-то не всегда срабатывает у osmupdate. Но раньше мне казалось это просто соседние регионы пролазил

Но теперь вот и пользователи замечать стали, причем такое вот далекое:
https://forum.openstreetmap.org/viewtop … 51#p777251

Алгорифм у меня такой:
- osmupdate федеральный округ.pbf с обрезкой по округу
- osmconvert из федерельного.pbf в регион.osm с обрезкой по региону.

Last edited by wowik (2020-03-08 09:12:35)

Offline

#1455 2020-03-13 21:43:45

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Вот данные последнего прогона. В pbf России попали регионы, муниципалитеты из США, Аргентины и Филиппин:

- https://www.openstreetmap.org/relation/289347
- https://www.openstreetmap.org/relation/5479748
- https://www.openstreetmap.org/relation/6490067

Полигоны находятся в pbf, но линии/точки найти не удалось. Проверял не всё, несколько наугад.

Выглядит как бага: кто-то поменял отношение, но ни одна из линий не попадает в дамп, поскольку все точки не попадают в зону обрезки (были обрезано в самом начале). Но алгоритм считает что не хорошо - терять отношения и добавляет его "на всякий случай".

Такое поведение заметил несколько месяцев назад (2-3 ?), хотя скрипты не менялись с 2018 года. Скрипт выглядит банально:

osmupdate.exe -v --day --hour -B=RUS.poly RU-latest.current.osm.pbf RU-latest.osm.pbf
osmupdate 0.4.4
Updates .osm, .o5m, .pbf files, downloads .osc, .o5c files.
To get detailed help, please enter: ./osmupdate -h

Бывший редактор ОСМ

Offline

#1456 2020-03-14 07:23:09

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,991

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Насколько я знаю, при обрезке всё что не имеет координат выкидывается.
У меня стоит дополнительный ключ, не помню уже всей истории, но при большем количестве что-то делалось криво, выдавал какие-то варнинги.

--max-merge=5

И для чистоты эксперимента только дневные обновления использую, но вряд ли в этом может быть проблема.
Указанных отношений не обнаружил.

Offline

#1457 2020-03-14 08:37:25

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Да, различия между запуском osmupdate не существенны. Похоже что разница не в этом.

Сейчас проверяю гипотезу что виноват не osmupdate а osmocnvert. Скачал с https://frexosm.ru/about-tools.html версию 0.8.10, тогда как у меня сейчас - 0.8.8

Update: Запустил обновление дампа и разница видна. Дамп России сделанный 0.8.8 весит 2766Мб, дамп сделанный 0.8.10 весит 2744Мб, т.е. разница - 22Мб pbf файла.

Вытащенные релейшены (xml ака osm) в 0.8.8 занимают 816Мб тогда как в 0.8.10 размер файла упал 464Мб. Размер веев и нод отличается на несколько мегабайт (запускал обновление с интервалом несколько часов).

Так что возможно причина найдена - версия osmcovert 0.8.8 некорректно отрабатывает релейшены у которых все члены не попадают в обрезку. Сегодня попробую провести полный цикл валидатора и посмотреть - стало лучше или нет.


Бывший редактор ОСМ

Offline

#1458 2020-03-14 09:47:28

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,991

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Эта версия тоже не без греха, похоже, при работе с отношениями.
Вот у меня

<relation id="4215198" version="182" timestamp="2019-08-11T11:52:26Z" changeset="73239483" uid="237049" user="siberiano">

А в базе

<relation id="4215198" version="185" timestamp="2020-01-29T20:45:35Z" changeset="80278305" uid="499800" user="freeExec">

П.С. Нет, тут я сам виноват, после вырезания накатывал другие старые куски, где и была данная версия.

Last edited by freeExec (2020-03-14 18:19:04)

Offline

#1459 2020-03-14 17:37:13

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

^^ Спасибо за предупреждение, буду здесь если что.

Перевёл валидатор на osmconvert 0.8.10 и обновился от дампа начала февраля - "заморские" муниципалитеты ушли, никаких новых артефактов не заметил. Размер файла отношений упал сильно (816 -> 464 Мб), размер файла нод и веев чуть-чуть уменьшился, что несколько странно, но разбираться с этим сейчас не хочется - это доли процента (размер распакованного файла веев был 14972 Мб, стал 14970 Мб).

Переход от дампа за январь не получился - osmupdate вылетел по ошибке MergeError, возможно, обновление за 2+ месяца слишком требовательная по ресурсам операция.

В общем пару недель понаблюдаю и поделюсь тем что получается. Пока всё ОК.


Бывший редактор ОСМ

Offline

#1460 2020-03-14 18:20:15

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,991

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Не, всё нормально, это я виноват.

Offline

#1461 2020-03-14 18:55:11

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Прогон валидатоа выдал такой список расхождений по сельским поселениям. На Северном Кавказе в 2020 году были небольшие изменения (изменение границ районов), т.е. ОКТМО устарел, остальные расхождения - поселение упразднено но пока есть в ОСМ. Т.е. нужно будет их удалить.

Вышневолоцкий район    Тверская область
Коломенское сельское поселение    Вышневолоцкий район
Горняцкое сельское поселение    Вышневолоцкий район
Овсищенское сельское поселение    Вышневолоцкий район
Терелесовское сельское поселение    Вышневолоцкий район
Сорокинское сельское поселение    Вышневолоцкий район
Садовое сельское поселение    Вышневолоцкий район
Холохоленское сельское поселение    Вышневолоцкий район
городское поселение Красномайский    Вышневолоцкий район
Есеновичское сельское поселение    Вышневолоцкий район
Дятловское сельское поселение    Вышневолоцкий район
Лужниковское сельское поселение    Вышневолоцкий район
Зеленогорское сельское поселение    Вышневолоцкий район
Солнечное сельское поселение    Вышневолоцкий район
Княщинское сельское поселение    Вышневолоцкий район
Борисовское сельское поселение    Вышневолоцкий район
Дубровинский сельсовет    Варгашинский район
Дундинский сельсовет    Варгашинский район
Медвежьевский сельсовет    Варгашинский район
Спорновский сельсовет    Варгашинский район
Строевский сельсовет    Варгашинский район
Михайловский сельсовет    Емельяновский район
Новокирсановское сельское поселение    Терновский район
Бамутское сельское поселение    Серноводский район
Куларинское сельское поселение    Ачхой-Мартановский район
Старо-Атагинское сельское поселение    Урус-Мартановский район
Лаха-Варандинское сельское поселение    Шатойский район
Дачу-Борзойское сельское поселение    Шатойский район
Ярыш-Мардинское сельское поселение    Шатойский район
Чишкинское сельское поселение    Шатойский район
Алтатский сельсовет    Пировский район
Балаганское сельское поселение    Балаганский район
Усть-Удинское сельское поселение    Усть-Удинский район
Большелугское сельское поселение    Шелеховский район
Крутогорское сельское поселение    Павинский район
Вендюры    Кондопожский район


Бывший редактор ОСМ

Offline

#1462 2020-03-16 11:23:37

Jake Strine
Member
From: Санкт-Петербург
Registered: 2014-04-15
Posts: 90

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

По Чечне ничего удалять не надо, я уже привёл к актуальному состоянию. ОКТМО отстаёт. Там переделали районы, часть поселений сменила район с 1 января 2020. Поэтому в валидаторе это выглядит как в некоторых районах есть отсутствующее и/или неверноприсутствующее ГП/СП.

Last edited by Jake Strine (2020-03-16 11:26:33)

Offline

#1463 2020-03-19 22:23:13

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

^^ По идее, нет больших проблем чтобы "подправить" это в валидаторе. Единственно что для меня важно, так это то что преобразования должны быть прошлого года - я использую ОКТМО для других проектов и не хочу получить проблем с целостностью данных (поселение в разных районах). Это изменение от 1 января 2020, поэтому скорее всего это должно быть относительно безопасной ситуацией для меня. Поэтому подожду следующего обновления ОКТМО - может они включат, тогда всё изменится автоматически, ну или я "ручками" исправлю.

Кстати, к выходным постараюсь "подправить" недавно созданные муниципальные и городские округа, которые пока не вошли в ОКТМО. Проверил (локально), что все нововведения в Московской области (например, Лотошинский городской округ), которые есть в ОСМ (но нет в последней версии ОКТМО) корректно отрабатываются у меня. Отпишусь как обновлю валидатор.


Бывший редактор ОСМ

Offline

#1464 2020-03-20 18:51:39

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

^^ Не стал ждать выходных, перезапустил валидацию сегодня. 99.3% сельских НП опознано.

Комментарий наверное для Jake Strine - я использую ОКТМО + могу вносить мелкие правки. Я прошёлся по тому что сейчас в ОСМ и исправил у себя (например, включил последние изменения по Московской области). Поэтому если отмечены какие-то последние изменения, то я могу их применить вручную, дайте мне знать.

Часть изменений для меня простые:
- муниципальный район -> муниципальный округ
- сельское поселение вошло в состав другого поселения

Часть изменений не такие безопасные, могу притормозить с обновлениями
- городское поселение -> сельское поселение (и наоборот)

Часть изменений не очень хорошо ложатся на мою базу данных, с ними спешить не буду:
- муниципальный район -> городской округ
- муниципальный район объединяется с городским округом


Бывший редактор ОСМ

Offline

#1465 2020-03-21 18:18:42

igitov
Member
From: Kotel'nich
Registered: 2011-12-08
Posts: 1,419

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Кировская область, Орловский район:
деревня Зубари (oktmo:user=33645420310) переименована в Высоковские Зубари
деревня Новосёловы (oktmo:user=33645420542) переименована в деревню Подгородняя
Основание - Закон Кировской области от 03.12.2019 № 324-ЗО http://www.zsko.ru/documents/docs/index.php?ID=29252

Offline

#1466 2020-03-28 16:11:46

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Jake Strine wrote:

По Чечне ничего удалять не надо, я уже привёл к актуальному состоянию. ОКТМО отстаёт. Там переделали районы, часть поселений сменила район с 1 января 2020. Поэтому в валидаторе это выглядит как в некоторых районах есть отсутствующее и/или неверноприсутствующее ГП/СП.

Валидатор перешёл на новый ОКТМО (на 1.04.2020). Там Чечня как раз приведена к актуальному состоянию. По Московской области ещё не прошло изменение по Ленинскому району, но это изменение я провёл у себя как правка.

Так что процент "зелёности" у валидатора сейчас высокий как нигогда.


Бывший редактор ОСМ

Offline

#1467 2020-03-30 11:24:27

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Поскольку из-за новой реальности появилось немного времени на валидатор, подправляю свою базу (в любом продукте есть баги) и вношу локальные правки в ОСМ (чиню границы, правлю статусы и т.п.)

Если ситуация затянется то валидатор может стать "очень зелёным" smile


Бывший редактор ОСМ

Offline

#1468 2020-04-03 20:56:36

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Из-за самоизоляции я дома и могу запускать валидатор гораздо чаще, что и делаю примерно раз в 2 дня. Подчищаю ошибки по мелочам.

Но вот крупные поломки границ всё же ждут своих героев: http://atd.openstreetmap.ru/broken.html


Бывший редактор ОСМ

Offline

#1469 2020-05-05 11:20:06

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Помимо кодов ОКТМО, валидатор выдаёт данные о численности населения объектов АТД. До сих пор использовались данные за 2016 год, т.е. несколько устаревшие. Сейчас я импортировал данные за 2020 год, т.е. следующие выгрузки валидатора будут приводить численность населения по состоянию на 1 января 2020 года.

В следующий раз обновлю, когда выйдут данные по переписи населения 2020 года (на борьбу с подготовкой к которой сообщество потратило немало сил smile).


Бывший редактор ОСМ

Offline

#1470 2020-05-10 13:30:54

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Перешёл на новый ОКТМО.

Поскольку изменения очень небольшие то отчёт почти не изменился.


Бывший редактор ОСМ

Offline

#1471 2020-05-22 16:23:31

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Не знаю в чём причина - вандалов стало больше или за картой стали следить меньше ...

Примерно половину прогонов валидатора не выкладываю - что-то сломано, т.е. лучше сохранить старый результат чем отображать кривой.

Сейчас вот снова граница России сломана, в Крыму. В прошлый раз Красноярский край стал автобусной остановкой. В позапрошлый раз - Башкортостан стал highway=residental "Бачкитау".

Никогда раньше не было таких результатов, за исключением вандализма в Крыму я почти не видел "надругательств" над регионами. А теперь грубые поломки висят много дней (судя по history).

Last edited by fserges (2020-05-22 16:24:38)


Бывший редактор ОСМ

Offline

#1472 2020-05-22 17:03:24

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,991

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Страницу с ошибками обновляй в любом случае. Иногда заглядываю туда.

Offline

#1473 2020-05-22 17:36:03

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Страницу с ошибками обновляй в любом случае. Иногда заглядываю туда.

ОК, буду знать и обновлять чаще!

Валидатор перепрогоню завтра ещё раз. Не думаю что эта правка долго будет неисправленной:

Russian annexion border - is not Russia

https://www.openstreetmap.org/changeset/85588028


Бывший редактор ОСМ

Offline

#1474 2020-05-27 14:33:18

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,872

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Теперь сломан Хабаровский край (https://www.openstreetmap.org/relation/151223 - южнее Хабаровска). Похоже расщепили линию а в полигон региона новый сегмент не добавили. Потенциально такое изменение может сломать много полигонов.


Бывший редактор ОСМ

Offline

#1475 2020-05-27 20:29:52

Jake Strine
Member
From: Санкт-Петербург
Registered: 2014-04-15
Posts: 90

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Теперь сломан Хабаровский край (https://www.openstreetmap.org/relation/151223 - южнее Хабаровска). Похоже расщепили линию а в полигон региона новый сегмент не добавили. Потенциально такое изменение может сломать много полигонов.

Поправил вроде.

Offline

Board footer

Powered by FluxBB