Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

lenux · 2019-01-13 08:13:18

Почему на atd.osm.rambler.ru сейчас не заходит

pfg21 · 2019-01-13 10:32:11

домен осм.рамблер.ру прекратил свою работу его перенесли http://atd.openstreetmap.ru/

fserges · 2019-02-17 13:45:17

Валидатор перешёл на новую версию ОКТМО. Чтобы найти разницу, в http://atd.openstreetmap.ru/old/ сегодняшний прогон по старому классификатору, в http://atd.openstreetmap.ru/new/ по новому.

P.S. ОКТМО никак не может угнаться за упразднением районов в Московской области, новые упразднения будут учтены в последующих обновлениях.

fserges · 2019-02-20 21:32:51

События в жизни иногда развиваются очень непредсказуемо. То что 1.5 года назад ожидалось как краткосрочный перерыв оказалось серьёзной остановкой. Остановленный летом 2017 года сервер был запущен только вчера и только в тестовом режиме.

fserges wrote:

Поскольку долго никто не спрашивает то отвечаю
Валидатор временно работает в режиме 1-2 обновления в неделю. И для этого есть важные причины. Ранее валидатор прекрасно работал на работе в утреннее/ночное время, к моему приходу на работу всё или отрабатывало или заканчивало работу. Но всё хорошее когда-либо кончается. Я потерял работу, валидатор был остановлен, запускался из дома. Новая работа нашлась довольно быстро, но там нет возможности ставить какой-либо сторонний софт - отключены USB, забанены GitHub, ftp, ssh, почтовые сервисы, мессенджеры и т.д. и т.п. Даже JOSM не запустить, нет коннекта с сервером. Вариант с ежедневным запуском на работе отсутствует в принципе.
Но как говорится, "беда не приходит одна" и помимо всего прочего пришлось съехать с хорошей квартиры в тесную однушку в которой физически нет места чтобы поставить стационарный компьютер. Поэтому единственная возможность сейчас - гонять валидатор с маломощного ноутбука по выходным, чем я и занимаюсь.
Однако ситуация не выглядит безнадёжной. Через несколько месяцев мы должны будем перебраться в более комфортабельную квартиру и тогда валидатор будет запускаться более регулярно. Но пока будет текущий режим - один, может два раза в неделю. Т.е. валидатор жив, но обновляется не так часть как раньше.
Вопросы по развитию валидатора, понятно, не стоят. Это будет уже следующий шаг и точно не в этом году.

Хорошая новость - валидатор можно запустить на двух компьютерах, т.е. нет зависимости от железа, что важно, так как ноут начал барахлить. Но железо находится во временном помещении, для каждого запуска его нужно разворачивать а после - убирать.

В сухом остатке - частота обновлений валидатора не меняется, 1-2 раза в неделю, но всё же сейчас больше надежды что через несколько месяцев он сможет перейти к более предсказуемому расписанию, а у меня появится время на развитие а не только на поддержку пусков.

fserges · 2019-02-24 12:19:44

Неожиданно возврат к десктопу после ноутбука положительно сказался на валидаторе. Десктоп оказался банально мощнее. При этом ноутбуку всего 1.5 года и он выбирался среди относительно мощных моделей, комп же был куплен почти 6 лет назад. Но судя по всему прогресс в вычислительной мощности не такой каким был раньше, а до-крымские цены и пост-крымские отличаются. За комп и за ноут я отдал примерно одинаковую долю зарплаты, при этом в долларах разница (2013 и 2017) очевидно немалая.

Пока перевожу валидатор на двухразовый прогон в неделю. Чаще это скорее всего никому не нужно, но требует некоторых усилий с моей стороны, реже ... нет смысла. На этой неделе прогнал 3 раза. График буду держать примерно вторник-среда в первый раз и пятница-суббота второй раз. Единственно, сменилось время запуска. Раньше он запускался днём, теперь запускается поздно вечером. Т.е. раньше дамп снимался в 8-9 утра, результат был вечером, сейчас дамп снимается в 22-23, результат рано утром. Поэтому "дата дампа" сейчас может сбивать. Это дата по состоянию на конец какого дня он дамп снимался.

fserges · 2019-06-23 06:40:14

Валидатор стабильно работает в режиме 2 обновления в неделю. На днях был переход на последнюю версию ОКТМО.

wowik · 2019-06-24 07:52:42

В ОКТМО с глузду посъезжали

46;651;000;000;4;1;Серпуховский муниципальный район;г Серпухов;Пояснение: входит в состав городского округа Серпухов;;0;14.06.2013;01.01.2014

Муниципальный район входит в составе городского округа.

KonTur · 2019-06-24 08:18:04

wowik wrote:

Муниципальный район входит в составе городского округа.

Так это теперь нормально. Во Владивостоке 5 муниципальных районов входят в состав ГО.

freeExec · 2019-06-24 08:36:16

KonTur wrote:

wowik wrote:
Муниципальный район входит в составе городского округа.
Так это теперь нормально. Во Владивостоке 5 муниципальных районов входят в состав ГО.

Они же одного уровня, как такая матрёшка получается

П.С. Да и в уставе ничего такого нет.

3. В состав территории Владивостокского городского округа входят внутригородские районы и сельские населенные пункты: Ленинский район, Первомайский район, Первореченский район, Советский район, Фрунзенский район, село Береговое, поселки Попова, Рейнеке, Русский, Трудовое.

Last edited by freeExec (2019-06-24 08:39:05)

KonTur · 2019-06-24 08:52:52

Я все перепутал - прошу прощения. Неправильно истолковал.

fserges · 2019-06-25 06:10:04

wowik wrote:

В ОКТМО с глузду посъезжали
46;651;000;000;4;1;Серпуховский муниципальный район;г Серпухов;Пояснение: входит в состав городского округа Серпухов;;0;14.06.2013;01.01.2014
Муниципальный район входит в составе городского округа.

Я тоже сначала был удивлён, когда прочитал это. Но потом после анализа понял, что они хотели сказать.

Звучит так - "Серпуховский муниципальный район", его центр - "г Серпухов", при этом центр не входит в состав района а "Пояснение: входит в состав городского округа Серпухов".

Во всяком случае именно это объяснение мне показалось наименее противоречивым. Пояснение сбивает с толку а не поясняет.

Jake Strine · 2019-09-21 11:30:29

Когда планируется к включению последняя версия ОКТМО от сентября?

fserges · 2019-09-21 13:54:21

Через неделю. В этот прогон изменения ещё не вошли (не успел), следующий прогон планирую на следующую субботу.

Отличия сентябрьского ОКТМО относительно июньского невелики - три поселения упразднены, одно городское преобразовано в сельское, по мелочам изменения и в НП. Так что какого-то смысла в ускорении обновления не вижу.

Больше напрягают перемены, затеянные со сменой дизайна сайта Росстата - не всё работает. Просто по опыту, классификаторы активно обновляются в октябре-ноябре, когда начинается подготовка к работе над годовыми отчётами и накопившиеся изменения массово включаются. Затянувшегося бардака не хотелось бы.

fserges · 2019-12-15 22:17:05

Поскольку после каких-то перестановок в Росстате произошли изменения в выгрузках, позволил себе некоторое ожидание. Но поскольку два последних изменения довольно большие, то штучно импортировал.

Пробный прогон прошёл успешно, на сайте валидатора выложу при следующем прогоне - может на следующих выходных а может и в какой-нибудь рабочий день. Отпишусь как новый отчёт будет готов.

wowik · 2019-12-16 07:49:30

А можно ссылочку, с которой скачивается успешно. А то в связи с этой чехардой те ссылки, что у меня были не работают теперь.
Нашел только в виде .DOCX тут https://www.gks.ru/classification, а где же .CSV?

Last edited by wowik (2019-12-16 07:52:12)

fserges · 2019-12-16 09:48:42

Место известное, но они всё забили результатами сельскохозяйственной переписи 2016 года.

Прямая ссылка - https://www.gks.ru/opendata/7708234640-oktmo2

Там важный комментарий:

Учет изменений 362/2019 (кроме изм-ий: 353/2019, 354/2019, 356/2019 - 361/2019 с датой введения 2020/01/01 будут загружены в январе 2020

Т.е. в январе скорее всего будет довольно большой апдейт.

fserges · 2019-12-16 20:55:44

Забавно, но валидатор временно остановлен. В доме начали делать ремонт и "реставраторы" просто отрезали все провода во всём доме, включая интернет. Через сотовый конечно я могу заходить, но для валидатора это не решение. Сколько времени может понадобиться чтобы восстановить кабель - неясно с учётом Нового года. У меня вот только год назад закончился ремонт - вся проводка была убрана, теперь всё придётся снова долбить.

Буду искать какое-то временное решение.

fserges · 2019-12-21 16:48:03

Интернет восстановили, но не известно, на сколько - судя по всему кабель пал жертвой какой-то многолетней борьбы ЖЭКа с интернет-провайдерами. Война может перейти в горячую фазу в любой день. Это же Петербург!

Валидатор запустил, но на неделе было зачищено много тегов по разным объектам, в результате валидатор отправил кучу областей за границу. Восстановил и перезапущу всё снова вечером.

Last edited by fserges (2019-12-21 16:49:00)

fserges · 2019-12-21 23:37:55

Валидатор обновился, перешёл на последнюю версию ОКТМО. Если с кабелями в подъезде не будет приключений то валидатор будет обновляться штатно как и раньше.

В январе ожидаются большие изменения в ОКТМО (Росстат отложил ряд изменений до января, конца переходного периода по некоторым изменениям).

fserges · 2019-12-22 12:24:19

Анализируя работу валидатора заметил что наиболее неэффективно время тратится при подготовке данных, поэтому возникла идея ускорить именно эту часть (максимум выигрыша за минимальное время).

Не подскажет ли кто-нибудь на основе своего опыта, какой Java библиотекой лучше пользоваться чтобы читать pbf файл напрямую? Поиск показал что есть варианты, но анализа что лучше/быстрее нет, многие посты 2-3 летней давности. По каким-то библиотекам было замечание что они не поддерживаются, т.е. потенциально могут перестать работать после каких-то очередных изменений (формата, Java и т.п.).

Требования к Java библиотеке такие: нужно читать pbf, запись не нужна, хотя наличие такой возможности может быть потенциально полезной. Нужно просто быстро читать pbf файл и анализировать теги всех записей. Работать нужно с pbf России, т.е. 2.5Гб файлом (т.е. не planet-OSM), т.е. работа в оперативке вполне устраивает.

Если у кого-то есть опыт - поделитесь, пожалуйста!

freeExec · 2019-12-22 12:57:39

fserges wrote:

многие посты 2-3 летней давности.

pbf-формат и не менялся, поэтому нет ничего плохого в библиотеках такой давности.
Да и кратный прирост можно достичь, только из-за блочности формата, когда его можно читать в несколько потоков.
Так же не вижу смысла ворочить 2.5Гб файл, когда его можно предварительно отфильтровать и там останется мегабайт 100.

fserges · 2020-01-04 16:19:03

Классификатор пересчитан в соответствии с последним обновлением ОКТМО.

Поскольку, муниципальные округа ещё в него не вошли, я их добавлю в ручном режиме немного позднее. Мне сначала нужно будет добавить поддержку муниципальных округов в принципе, поскольку этот тип муниципальных образований не предполагался последние 13 лет. Это определённы рефакторинг. А потом поменяю типы округов.

"Было-стало" не делал, поскольку информация по АТД в ОСМ достаточно полная, поэтому все расхождения довольно легко вычисляются.

fserges · 2020-03-02 22:13:13

Начал рефакторинг (вызванный появлением муниципальных округов) в конце новогодней недели, вышел на работу ... и узнал что нет работы. "Спасибо, но Вы нам не нужны". Пришлось бегать по собеседованиям, перечитывать тонны литературы/пересматривать километры видео. В итоге работа нашлась, но испытательный срок - время когда не получается расслабиться. В итоге только сегодня смог закончить рефакторинг так беспечно начатый сразу после Рождества.

Простые тесты прошли, на неделе попробую сделать прогон чтобы понять, не намудрил ли с чем-то.

wowik · 2020-03-03 07:19:55

А собственно мцниципальный округ чем он отличается от городского округа? Нет поселений и в том, и в другом.

fserges · 2020-03-03 12:46:57

wowik wrote:

А собственно мцниципальный округ чем он отличается от городского округа? Нет поселений и в том, и в другом.

У меня поехала иерархическая система кодов, так как в момент создания софта не предполагалось что будет что-то помимо городского округа (города регионального подчинения) и муниципального района. В результате многие записи сменили тип объекта что нужно было подхватить софте.

Специфика работы скриптовых языков с базами данных. Сейчас я заложил диапазоны, так что добавление новых типов классификации не потребует изменения ранее введённых

Announcement

#1426 2019-01-13 08:13:18

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1427 2019-01-13 10:32:11

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1428 2019-02-17 13:45:17

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1429 2019-02-20 21:32:51

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1430 2019-02-24 12:19:44

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1431 2019-06-23 06:40:14

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1432 2019-06-24 07:52:42

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1433 2019-06-24 08:18:04

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1434 2019-06-24 08:36:16

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1435 2019-06-24 08:52:52

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1436 2019-06-25 06:10:04

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1437 2019-09-21 11:30:29

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1438 2019-09-21 13:54:21

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1439 2019-12-15 22:17:05

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1440 2019-12-16 07:49:30

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1441 2019-12-16 09:48:42

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1442 2019-12-16 20:55:44

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1443 2019-12-21 16:48:03

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1444 2019-12-21 23:37:55

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1445 2019-12-22 12:24:19

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1446 2019-12-22 12:57:39

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1447 2020-01-04 16:19:03

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1448 2020-03-02 22:13:13

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1449 2020-03-03 07:19:55

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#1450 2020-03-03 12:46:57

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Board footer