You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1426 2019-01-13 08:13:18

lenux
Member
Registered: 2011-12-06
Posts: 672

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Почему на atd.osm.rambler.ru сейчас не заходит

Offline

#1427 2019-01-13 10:32:11

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 4,281

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

домен  осм.рамблер.ру прекратил свою работу его перенесли http://atd.openstreetmap.ru/

Offline

#1428 2019-02-17 13:45:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Валидатор перешёл на новую версию ОКТМО. Чтобы найти разницу, в http://atd.openstreetmap.ru/old/ сегодняшний прогон по старому классификатору, в http://atd.openstreetmap.ru/new/ по новому.

P.S. ОКТМО никак не может угнаться за упразднением районов в Московской области, новые упразднения будут учтены в последующих обновлениях.


Бывший редактор ОСМ

Offline

#1429 2019-02-20 21:32:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

События в жизни иногда развиваются очень непредсказуемо. То что 1.5 года назад ожидалось как краткосрочный перерыв оказалось серьёзной остановкой. Остановленный летом 2017 года сервер был запущен только вчера и только в тестовом режиме.

fserges wrote:

Поскольку долго никто не спрашивает то отвечаю smile

Валидатор временно работает в режиме 1-2 обновления в неделю. И для этого есть важные причины. Ранее валидатор прекрасно работал на работе в утреннее/ночное время, к моему приходу на работу всё или отрабатывало или заканчивало работу. Но всё хорошее когда-либо кончается. Я потерял работу, валидатор был остановлен, запускался из дома. Новая работа нашлась довольно быстро, но там нет возможности ставить какой-либо сторонний софт - отключены USB, забанены GitHub, ftp, ssh, почтовые сервисы, мессенджеры и т.д. и т.п. Даже JOSM не запустить, нет коннекта с сервером. Вариант с ежедневным запуском на работе отсутствует в принципе.

Но как говорится, "беда не приходит одна" и помимо всего прочего пришлось съехать с хорошей квартиры в тесную однушку в которой физически нет места чтобы поставить стационарный компьютер. Поэтому единственная возможность сейчас - гонять валидатор с маломощного ноутбука по выходным, чем я и занимаюсь.

Однако ситуация не выглядит безнадёжной. Через несколько месяцев мы должны будем перебраться в более комфортабельную квартиру и тогда валидатор будет запускаться более регулярно. Но пока будет текущий режим - один, может два раза в неделю. Т.е. валидатор жив, но обновляется не так часть как раньше.

Вопросы по развитию валидатора, понятно, не стоят. Это будет уже следующий шаг и точно не в этом году.

Хорошая новость - валидатор можно запустить на двух компьютерах, т.е. нет зависимости от железа, что важно, так как ноут начал барахлить. Но железо находится во временном помещении, для каждого запуска его нужно разворачивать а после - убирать.

В сухом остатке - частота обновлений валидатора не меняется, 1-2 раза в неделю, но всё же сейчас больше надежды что через несколько месяцев он сможет перейти к более предсказуемому расписанию, а у меня появится время на развитие а не только на поддержку пусков.


Бывший редактор ОСМ

Offline

#1430 2019-02-24 12:19:44

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Неожиданно возврат к десктопу после ноутбука положительно сказался на валидаторе. Десктоп оказался банально мощнее. При этом ноутбуку всего 1.5 года и он выбирался среди относительно мощных моделей, комп же был куплен почти 6 лет назад. Но судя по всему прогресс в вычислительной мощности не такой каким был раньше, а до-крымские цены и пост-крымские отличаются. За комп и за ноут я отдал примерно одинаковую долю зарплаты, при этом в долларах разница (2013 и 2017) очевидно немалая.

Пока перевожу валидатор на двухразовый прогон в неделю. Чаще это скорее всего никому не нужно, но требует некоторых усилий с моей стороны, реже ... нет смысла. На этой неделе прогнал 3 раза. График буду держать примерно вторник-среда в первый раз и пятница-суббота второй раз. Единственно, сменилось время запуска. Раньше он запускался днём, теперь запускается поздно вечером. Т.е. раньше дамп снимался в 8-9 утра, результат был вечером, сейчас дамп снимается в 22-23, результат рано утром. Поэтому "дата дампа" сейчас может сбивать. Это дата по состоянию на конец какого дня он дамп снимался.


Бывший редактор ОСМ

Offline

#1431 2019-06-23 06:40:14

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Валидатор стабильно работает в режиме 2 обновления в неделю. На днях был переход на последнюю версию ОКТМО.


Бывший редактор ОСМ

Offline

#1432 2019-06-24 07:52:42

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,369

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

В ОКТМО с глузду посъезжали

46;651;000;000;4;1;Серпуховский муниципальный район;г Серпухов;Пояснение: входит в состав городского округа Серпухов;;0;14.06.2013;01.01.2014

Муниципальный район входит в составе городского округа.

Offline

#1433 2019-06-24 08:18:04

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,662

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

wowik wrote:

Муниципальный район входит в составе городского округа.

Так это теперь нормально. Во Владивостоке 5 муниципальных районов входят в состав ГО.

Offline

#1434 2019-06-24 08:36:16

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,547

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

KonTur wrote:
wowik wrote:

Муниципальный район входит в составе городского округа.

Так это теперь нормально. Во Владивостоке 5 муниципальных районов входят в состав ГО.

Они же одного уровня, как такая матрёшка получается

П.С. Да и в уставе ничего такого нет.

3. В состав территории Владивостокского городского округа входят внутригородские районы и сельские населенные пункты: Ленинский район, Первомайский район, Первореченский район, Советский район, Фрунзенский район, село Береговое, поселки Попова, Рейнеке, Русский, Трудовое.

Last edited by freeExec (2019-06-24 08:39:05)

Offline

#1435 2019-06-24 08:52:52

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,662

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Я все перепутал - прошу прощения. Неправильно истолковал.

Offline

#1436 2019-06-25 06:10:04

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

wowik wrote:

В ОКТМО с глузду посъезжали

46;651;000;000;4;1;Серпуховский муниципальный район;г Серпухов;Пояснение: входит в состав городского округа Серпухов;;0;14.06.2013;01.01.2014

Муниципальный район входит в составе городского округа.

Я тоже сначала был удивлён, когда прочитал это. Но потом после анализа понял, что они хотели сказать.

Звучит так - "Серпуховский муниципальный район", его центр - "г Серпухов", при этом центр не входит в состав района а "Пояснение: входит в состав городского округа Серпухов".

Во всяком случае именно это объяснение мне показалось наименее противоречивым. Пояснение сбивает с толку а не поясняет.


Бывший редактор ОСМ

Offline

#1437 2019-09-21 11:30:29

Jake Strine
Member
Registered: 2014-04-15
Posts: 101

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Когда планируется к включению последняя версия ОКТМО от сентября?

Offline

#1438 2019-09-21 13:54:21

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Через неделю. В этот прогон изменения ещё не вошли (не успел), следующий прогон планирую на следующую субботу.

Отличия сентябрьского ОКТМО относительно июньского невелики - три поселения упразднены, одно городское преобразовано в сельское, по мелочам изменения и в НП. Так что какого-то смысла в ускорении обновления не вижу.

Больше напрягают перемены, затеянные со сменой дизайна сайта Росстата - не всё работает. Просто по опыту, классификаторы активно обновляются в октябре-ноябре, когда начинается подготовка к работе над годовыми отчётами и накопившиеся изменения массово включаются. Затянувшегося бардака не хотелось бы.


Бывший редактор ОСМ

Offline

#1439 2019-12-15 22:17:05

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Поскольку после каких-то перестановок в Росстате произошли изменения в выгрузках, позволил себе некоторое ожидание. Но поскольку два последних изменения довольно большие, то штучно импортировал.

Пробный прогон прошёл успешно, на сайте валидатора выложу при следующем прогоне - может на следующих выходных а может и в какой-нибудь рабочий день. Отпишусь как новый отчёт будет готов.


Бывший редактор ОСМ

Offline

#1440 2019-12-16 07:49:30

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,369

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

А можно ссылочку, с которой скачивается успешно. А то в связи с этой чехардой те ссылки, что у меня были не работают теперь.
Нашел только в виде .DOCX тут https://www.gks.ru/classification, а где же .CSV?

Last edited by wowik (2019-12-16 07:52:12)

Offline

#1441 2019-12-16 09:48:42

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Место известное, но они всё забили результатами сельскохозяйственной переписи 2016 года.

Прямая ссылка - https://www.gks.ru/opendata/7708234640-oktmo2

Там важный комментарий:

Учет изменений 362/2019 (кроме изм-ий: 353/2019, 354/2019, 356/2019 - 361/2019 с датой введения 2020/01/01 будут загружены в январе 2020

Т.е. в январе скорее всего будет довольно большой апдейт.


Бывший редактор ОСМ

Offline

#1442 2019-12-16 20:55:44

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Забавно, но валидатор временно остановлен. В доме начали делать ремонт и "реставраторы" просто отрезали все провода во всём доме, включая интернет. Через сотовый конечно я могу заходить, но для валидатора это не решение. Сколько времени может понадобиться чтобы восстановить кабель - неясно с учётом Нового года. У меня вот только год назад закончился ремонт - вся проводка была убрана, теперь всё придётся снова долбить.

Буду искать какое-то временное решение.


Бывший редактор ОСМ

Offline

#1443 2019-12-21 16:48:03

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Интернет восстановили, но не известно, на сколько - судя по всему кабель пал жертвой какой-то многолетней борьбы ЖЭКа с интернет-провайдерами. Война может перейти в горячую фазу в любой день. Это же Петербург!

Валидатор запустил, но на неделе было зачищено много тегов по разным объектам, в результате валидатор отправил кучу областей за границу. Восстановил и перезапущу всё снова вечером.

Last edited by fserges (2019-12-21 16:49:00)


Бывший редактор ОСМ

Offline

#1444 2019-12-21 23:37:55

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Валидатор обновился, перешёл на последнюю версию ОКТМО. Если с кабелями в подъезде не будет приключений то валидатор будет обновляться штатно как и раньше.

В январе ожидаются большие изменения в ОКТМО (Росстат отложил ряд изменений до января, конца переходного периода по некоторым изменениям).


Бывший редактор ОСМ

Offline

#1445 2019-12-22 12:24:19

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Анализируя работу валидатора заметил что наиболее неэффективно время тратится при подготовке данных, поэтому возникла идея ускорить именно эту часть (максимум выигрыша за минимальное время).

Не подскажет ли кто-нибудь на основе своего опыта, какой Java библиотекой лучше пользоваться чтобы читать pbf файл напрямую? Поиск показал что есть варианты, но анализа что лучше/быстрее нет, многие посты 2-3 летней давности. По каким-то библиотекам было замечание что они не поддерживаются, т.е. потенциально могут перестать работать после каких-то очередных изменений (формата, Java и т.п.).

Требования к Java библиотеке такие: нужно читать pbf, запись не нужна, хотя наличие такой возможности может быть потенциально полезной. Нужно просто быстро читать pbf файл и анализировать теги всех записей. Работать нужно с pbf России, т.е. 2.5Гб файлом (т.е. не planet-OSM), т.е. работа в оперативке вполне устраивает.

Если у кого-то есть опыт - поделитесь, пожалуйста!


Бывший редактор ОСМ

Offline

#1446 2019-12-22 12:57:39

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,547

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

многие посты 2-3 летней давности.

pbf-формат и не менялся, поэтому нет ничего плохого в библиотеках такой давности.
Да и кратный прирост можно достичь, только из-за блочности формата, когда его можно читать в несколько потоков.
Так же не вижу смысла ворочить 2.5Гб файл, когда его можно предварительно отфильтровать и там останется мегабайт 100.

Offline

#1447 2020-01-04 16:19:03

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Классификатор пересчитан в соответствии с последним обновлением ОКТМО.

Поскольку, муниципальные округа ещё в него не вошли, я их добавлю в ручном режиме немного позднее. Мне сначала нужно будет добавить поддержку муниципальных округов в принципе, поскольку этот тип муниципальных образований не предполагался последние 13 лет. Это определённы рефакторинг. А потом поменяю типы округов.

"Было-стало" не делал, поскольку информация по АТД в ОСМ достаточно полная, поэтому все расхождения довольно легко вычисляются.


Бывший редактор ОСМ

Offline

#1448 2020-03-02 22:13:13

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Начал рефакторинг (вызванный появлением муниципальных округов) в конце новогодней недели, вышел на работу ... и узнал что нет работы. "Спасибо, но Вы нам не нужны". Пришлось бегать по собеседованиям, перечитывать тонны литературы/пересматривать километры видео. В итоге работа нашлась, но испытательный срок - время когда не получается расслабиться. В итоге только сегодня смог закончить рефакторинг так беспечно начатый сразу после Рождества.

Простые тесты прошли, на неделе попробую сделать прогон чтобы понять, не намудрил ли с чем-то.


Бывший редактор ОСМ

Offline

#1449 2020-03-03 07:19:55

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,369

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

А собственно мцниципальный округ чем он отличается от городского округа? Нет поселений и в том, и в другом.

Offline

#1450 2020-03-03 12:46:57

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,033

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

wowik wrote:

А собственно мцниципальный округ чем он отличается от городского округа? Нет поселений и в том, и в другом.

У меня поехала иерархическая система кодов, так как в момент создания софта не предполагалось что будет что-то помимо городского округа (города регионального подчинения) и муниципального района. В результате многие записи сменили тип объекта что нужно было подхватить софте.

Специфика работы скриптовых языков с базами данных. Сейчас я заложил диапазоны, так что добавление новых типов классификации не потребует изменения ранее введённых smile


Бывший редактор ОСМ

Offline

Board footer

Powered by FluxBB