You are not logged in.
- Topics: Active | Unanswered
Announcement
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***
#1426 2019-01-13 08:13:18
- lenux
- Member
- Registered: 2011-12-06
- Posts: 672
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Почему на atd.osm.rambler.ru сейчас не заходит
Offline
#1427 2019-01-13 10:32:11
- pfg21
- Member
- From: Чебоксары
- Registered: 2012-10-18
- Posts: 4,281
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
домен осм.рамблер.ру прекратил свою работу его перенесли http://atd.openstreetmap.ru/
Offline
#1428 2019-02-17 13:45:17
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Валидатор перешёл на новую версию ОКТМО. Чтобы найти разницу, в http://atd.openstreetmap.ru/old/ сегодняшний прогон по старому классификатору, в http://atd.openstreetmap.ru/new/ по новому.
P.S. ОКТМО никак не может угнаться за упразднением районов в Московской области, новые упразднения будут учтены в последующих обновлениях.
Бывший редактор ОСМ
Offline
#1429 2019-02-20 21:32:51
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
События в жизни иногда развиваются очень непредсказуемо. То что 1.5 года назад ожидалось как краткосрочный перерыв оказалось серьёзной остановкой. Остановленный летом 2017 года сервер был запущен только вчера и только в тестовом режиме.
Поскольку долго никто не спрашивает то отвечаю
Валидатор временно работает в режиме 1-2 обновления в неделю. И для этого есть важные причины. Ранее валидатор прекрасно работал на работе в утреннее/ночное время, к моему приходу на работу всё или отрабатывало или заканчивало работу. Но всё хорошее когда-либо кончается. Я потерял работу, валидатор был остановлен, запускался из дома. Новая работа нашлась довольно быстро, но там нет возможности ставить какой-либо сторонний софт - отключены USB, забанены GitHub, ftp, ssh, почтовые сервисы, мессенджеры и т.д. и т.п. Даже JOSM не запустить, нет коннекта с сервером. Вариант с ежедневным запуском на работе отсутствует в принципе.
Но как говорится, "беда не приходит одна" и помимо всего прочего пришлось съехать с хорошей квартиры в тесную однушку в которой физически нет места чтобы поставить стационарный компьютер. Поэтому единственная возможность сейчас - гонять валидатор с маломощного ноутбука по выходным, чем я и занимаюсь.
Однако ситуация не выглядит безнадёжной. Через несколько месяцев мы должны будем перебраться в более комфортабельную квартиру и тогда валидатор будет запускаться более регулярно. Но пока будет текущий режим - один, может два раза в неделю. Т.е. валидатор жив, но обновляется не так часть как раньше.
Вопросы по развитию валидатора, понятно, не стоят. Это будет уже следующий шаг и точно не в этом году.
Хорошая новость - валидатор можно запустить на двух компьютерах, т.е. нет зависимости от железа, что важно, так как ноут начал барахлить. Но железо находится во временном помещении, для каждого запуска его нужно разворачивать а после - убирать.
В сухом остатке - частота обновлений валидатора не меняется, 1-2 раза в неделю, но всё же сейчас больше надежды что через несколько месяцев он сможет перейти к более предсказуемому расписанию, а у меня появится время на развитие а не только на поддержку пусков.
Бывший редактор ОСМ
Offline
#1430 2019-02-24 12:19:44
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Неожиданно возврат к десктопу после ноутбука положительно сказался на валидаторе. Десктоп оказался банально мощнее. При этом ноутбуку всего 1.5 года и он выбирался среди относительно мощных моделей, комп же был куплен почти 6 лет назад. Но судя по всему прогресс в вычислительной мощности не такой каким был раньше, а до-крымские цены и пост-крымские отличаются. За комп и за ноут я отдал примерно одинаковую долю зарплаты, при этом в долларах разница (2013 и 2017) очевидно немалая.
Пока перевожу валидатор на двухразовый прогон в неделю. Чаще это скорее всего никому не нужно, но требует некоторых усилий с моей стороны, реже ... нет смысла. На этой неделе прогнал 3 раза. График буду держать примерно вторник-среда в первый раз и пятница-суббота второй раз. Единственно, сменилось время запуска. Раньше он запускался днём, теперь запускается поздно вечером. Т.е. раньше дамп снимался в 8-9 утра, результат был вечером, сейчас дамп снимается в 22-23, результат рано утром. Поэтому "дата дампа" сейчас может сбивать. Это дата по состоянию на конец какого дня он дамп снимался.
Бывший редактор ОСМ
Offline
#1431 2019-06-23 06:40:14
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Валидатор стабильно работает в режиме 2 обновления в неделю. На днях был переход на последнюю версию ОКТМО.
Бывший редактор ОСМ
Offline
#1432 2019-06-24 07:52:42
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,369
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
В ОКТМО с глузду посъезжали
46;651;000;000;4;1;Серпуховский муниципальный район;г Серпухов;Пояснение: входит в состав городского округа Серпухов;;0;14.06.2013;01.01.2014
Муниципальный район входит в составе городского округа.
Offline
#1433 2019-06-24 08:18:04
- KonTur
- Member
- From: SPB
- Registered: 2010-03-10
- Posts: 1,662
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Муниципальный район входит в составе городского округа.
Так это теперь нормально. Во Владивостоке 5 муниципальных районов входят в состав ГО.
Offline
#1434 2019-06-24 08:36:16
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,547
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
wowik wrote:Муниципальный район входит в составе городского округа.
Так это теперь нормально. Во Владивостоке 5 муниципальных районов входят в состав ГО.
Они же одного уровня, как такая матрёшка получается
П.С. Да и в уставе ничего такого нет.
3. В состав территории Владивостокского городского округа входят внутригородские районы и сельские населенные пункты: Ленинский район, Первомайский район, Первореченский район, Советский район, Фрунзенский район, село Береговое, поселки Попова, Рейнеке, Русский, Трудовое.
Last edited by freeExec (2019-06-24 08:39:05)
Offline
#1435 2019-06-24 08:52:52
- KonTur
- Member
- From: SPB
- Registered: 2010-03-10
- Posts: 1,662
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Я все перепутал - прошу прощения. Неправильно истолковал.
Offline
#1436 2019-06-25 06:10:04
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
В ОКТМО с глузду посъезжали
46;651;000;000;4;1;Серпуховский муниципальный район;г Серпухов;Пояснение: входит в состав городского округа Серпухов;;0;14.06.2013;01.01.2014
Муниципальный район входит в составе городского округа.
Я тоже сначала был удивлён, когда прочитал это. Но потом после анализа понял, что они хотели сказать.
Звучит так - "Серпуховский муниципальный район", его центр - "г Серпухов", при этом центр не входит в состав района а "Пояснение: входит в состав городского округа Серпухов".
Во всяком случае именно это объяснение мне показалось наименее противоречивым. Пояснение сбивает с толку а не поясняет.
Бывший редактор ОСМ
Offline
#1437 2019-09-21 11:30:29
- Jake Strine
- Member
- Registered: 2014-04-15
- Posts: 101
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Когда планируется к включению последняя версия ОКТМО от сентября?
Offline
#1438 2019-09-21 13:54:21
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Через неделю. В этот прогон изменения ещё не вошли (не успел), следующий прогон планирую на следующую субботу.
Отличия сентябрьского ОКТМО относительно июньского невелики - три поселения упразднены, одно городское преобразовано в сельское, по мелочам изменения и в НП. Так что какого-то смысла в ускорении обновления не вижу.
Больше напрягают перемены, затеянные со сменой дизайна сайта Росстата - не всё работает. Просто по опыту, классификаторы активно обновляются в октябре-ноябре, когда начинается подготовка к работе над годовыми отчётами и накопившиеся изменения массово включаются. Затянувшегося бардака не хотелось бы.
Бывший редактор ОСМ
Offline
#1439 2019-12-15 22:17:05
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Поскольку после каких-то перестановок в Росстате произошли изменения в выгрузках, позволил себе некоторое ожидание. Но поскольку два последних изменения довольно большие, то штучно импортировал.
Пробный прогон прошёл успешно, на сайте валидатора выложу при следующем прогоне - может на следующих выходных а может и в какой-нибудь рабочий день. Отпишусь как новый отчёт будет готов.
Бывший редактор ОСМ
Offline
#1440 2019-12-16 07:49:30
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,369
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
А можно ссылочку, с которой скачивается успешно. А то в связи с этой чехардой те ссылки, что у меня были не работают теперь.
Нашел только в виде .DOCX тут https://www.gks.ru/classification, а где же .CSV?
Last edited by wowik (2019-12-16 07:52:12)
Offline
#1441 2019-12-16 09:48:42
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Место известное, но они всё забили результатами сельскохозяйственной переписи 2016 года.
Прямая ссылка - https://www.gks.ru/opendata/7708234640-oktmo2
Там важный комментарий:
Учет изменений 362/2019 (кроме изм-ий: 353/2019, 354/2019, 356/2019 - 361/2019 с датой введения 2020/01/01 будут загружены в январе 2020
Т.е. в январе скорее всего будет довольно большой апдейт.
Бывший редактор ОСМ
Offline
#1442 2019-12-16 20:55:44
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Забавно, но валидатор временно остановлен. В доме начали делать ремонт и "реставраторы" просто отрезали все провода во всём доме, включая интернет. Через сотовый конечно я могу заходить, но для валидатора это не решение. Сколько времени может понадобиться чтобы восстановить кабель - неясно с учётом Нового года. У меня вот только год назад закончился ремонт - вся проводка была убрана, теперь всё придётся снова долбить.
Буду искать какое-то временное решение.
Бывший редактор ОСМ
Offline
#1443 2019-12-21 16:48:03
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Интернет восстановили, но не известно, на сколько - судя по всему кабель пал жертвой какой-то многолетней борьбы ЖЭКа с интернет-провайдерами. Война может перейти в горячую фазу в любой день. Это же Петербург!
Валидатор запустил, но на неделе было зачищено много тегов по разным объектам, в результате валидатор отправил кучу областей за границу. Восстановил и перезапущу всё снова вечером.
Last edited by fserges (2019-12-21 16:49:00)
Бывший редактор ОСМ
Offline
#1444 2019-12-21 23:37:55
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Валидатор обновился, перешёл на последнюю версию ОКТМО. Если с кабелями в подъезде не будет приключений то валидатор будет обновляться штатно как и раньше.
В январе ожидаются большие изменения в ОКТМО (Росстат отложил ряд изменений до января, конца переходного периода по некоторым изменениям).
Бывший редактор ОСМ
Offline
#1445 2019-12-22 12:24:19
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Анализируя работу валидатора заметил что наиболее неэффективно время тратится при подготовке данных, поэтому возникла идея ускорить именно эту часть (максимум выигрыша за минимальное время).
Не подскажет ли кто-нибудь на основе своего опыта, какой Java библиотекой лучше пользоваться чтобы читать pbf файл напрямую? Поиск показал что есть варианты, но анализа что лучше/быстрее нет, многие посты 2-3 летней давности. По каким-то библиотекам было замечание что они не поддерживаются, т.е. потенциально могут перестать работать после каких-то очередных изменений (формата, Java и т.п.).
Требования к Java библиотеке такие: нужно читать pbf, запись не нужна, хотя наличие такой возможности может быть потенциально полезной. Нужно просто быстро читать pbf файл и анализировать теги всех записей. Работать нужно с pbf России, т.е. 2.5Гб файлом (т.е. не planet-OSM), т.е. работа в оперативке вполне устраивает.
Если у кого-то есть опыт - поделитесь, пожалуйста!
Бывший редактор ОСМ
Offline
#1446 2019-12-22 12:57:39
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,547
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
многие посты 2-3 летней давности.
pbf-формат и не менялся, поэтому нет ничего плохого в библиотеках такой давности.
Да и кратный прирост можно достичь, только из-за блочности формата, когда его можно читать в несколько потоков.
Так же не вижу смысла ворочить 2.5Гб файл, когда его можно предварительно отфильтровать и там останется мегабайт 100.
Offline
#1447 2020-01-04 16:19:03
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Классификатор пересчитан в соответствии с последним обновлением ОКТМО.
Поскольку, муниципальные округа ещё в него не вошли, я их добавлю в ручном режиме немного позднее. Мне сначала нужно будет добавить поддержку муниципальных округов в принципе, поскольку этот тип муниципальных образований не предполагался последние 13 лет. Это определённы рефакторинг. А потом поменяю типы округов.
"Было-стало" не делал, поскольку информация по АТД в ОСМ достаточно полная, поэтому все расхождения довольно легко вычисляются.
Бывший редактор ОСМ
Offline
#1448 2020-03-02 22:13:13
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
Начал рефакторинг (вызванный появлением муниципальных округов) в конце новогодней недели, вышел на работу ... и узнал что нет работы. "Спасибо, но Вы нам не нужны". Пришлось бегать по собеседованиям, перечитывать тонны литературы/пересматривать километры видео. В итоге работа нашлась, но испытательный срок - время когда не получается расслабиться. В итоге только сегодня смог закончить рефакторинг так беспечно начатый сразу после Рождества.
Простые тесты прошли, на неделе попробую сделать прогон чтобы понять, не намудрил ли с чем-то.
Бывший редактор ОСМ
Offline
#1449 2020-03-03 07:19:55
- wowik
- Member
- From: Zelenograd
- Registered: 2009-09-29
- Posts: 9,369
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
А собственно мцниципальный округ чем он отличается от городского округа? Нет поселений и в том, и в другом.
Offline
#1450 2020-03-03 12:46:57
- fserges
- Member
- From: St.Petersburg/Russia
- Registered: 2010-11-08
- Posts: 4,033
Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)
А собственно мцниципальный округ чем он отличается от городского округа? Нет поселений и в том, и в другом.
У меня поехала иерархическая система кодов, так как в момент создания софта не предполагалось что будет что-то помимо городского округа (города регионального подчинения) и муниципального района. В результате многие записи сменили тип объекта что нужно было подхватить софте.
Специфика работы скриптовых языков с базами данных. Сейчас я заложил диапазоны, так что добавление новых типов классификации не потребует изменения ранее введённых
Бывший редактор ОСМ
Offline