Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges в JOSM есть такая проверка? Валидатор и нужен, что бы фиксить, фиксить и ещё раз фиксить : ) .Я то же по старому правил так: Наделаешь фиг значит чего- на следующее утро поправляешь - и потом всё ок.

http://atd.osm.rambler.ru/r1697847.html отсутствуют тцать сельских поселений https://ru.wikipedia.org/wiki/%D0%91%D1%83%D0%B9%D1%81%D0%BA%D0%B8%D0%B9_%D1%80%D0%B0%D0%B9%D0%BE%D0%BD

А если прочитать эту статью в википедии до конца, то можно узнать, что их всё-таки три.

Планируется ли переходить на валидацию в реальном времени (по минутным дифам)?

Давно не новость, но все таки акцентирую: Согласно закона Курской области № 34-ЗКО от 10,06,2014 поселка Северный Курского района Курской области больше не существует, он вошел в состав города Курска. На карте исправил положение вещей, теперь хотелось бы чтоб валидаторы не выдавали ошибку в связи с отсутствием поселка Северный.

Спустись на землю, до сих пор не может перейди на собственные дампы чтобы наконец Крым вошёл в состав России. Ну и технология не позволяет этого, т.к. полный проход занимает пару часов.

Какое-то время назад я думал про такую концепцию (хотя конечно речь не о минутных дифах) но понял что это совсем другой подход к проектированию валидатора. Там получаются слишком сложные для меня алгоритмы да и софт будет совсем другой. Но с другой стороны данные АТД реально не сильно меняются, в идеале достаточно нескольких обновлений в день. Технически это достижимо, валидатор полностью обрабатывает дамп за 4-5 часов, т.е. 4-5 раз в день валидатор сможет проходить. Практически это означает что должна быть выделенная машина которая в общем-то только этим и занята. Я сейчас использую свою машину в лабе но мне не хочется чтобы она всё время работала, т.к. я на ней ещё и работу работаю.

Сейчас я готовлю компромиссный вариант - делать свой дамп ночью (когда наша страна спит и данные правятся минимально) чтобы утром отчёт был бы готов. Т.е. время от момента правки до отчёта должно стать строго меньше 24 часов (разве что за исключением Дальнего Востока). В таком ракурсе можно и 2 раза в день прогонять валидатор, т.е. делать и утренний и ночной отчёты. Но для начала мне нужно хотя бы сесть за самостоятельное приготовление дампов.

Тогда предлагаю снимать дампы в 6 утра (чтобы ночные правки были) и в 6 вечера (чтобы дневные правки были). Накатка суточного дампа занимает меньше 10 минут.

Я почитал новости касаемо этого решения и похоже НП действительно упразднён а не перешёл в состав городского округа. В общем-то ничего не мешает мне просто удалить данный НП из базы. Но здесь есть тонкий и общий момент который хочется решить в более глобальном ключе. На самом деле изменения в АТД происходят регулярно и проходит некоторое время прежде чем законы просачиваются во всевозможные базы классификаторы/базы данных. Например, сейчас данные в ОКТМО по Дальнему Востоку довольно серьёзно отстают от текущего состояния, например не учтены такие изменения:

законом Магаданской области от 31.07.2014 N 1777-ОЗ в Хасынском районе упразднено сельское поселение Карамкен. Входящее в его состав село Карамкен отнесено теперь к межселенной территории Хасынского района;

и законом Магаданской области от 31.07.2014 N 1778-ОЗ в Среднекамском районе упразднено сельское поселение Село Колымское. Входящее в его состав село Колымское отнесено теперь к межселенной территории Среднекамского района.

и таких изменений на самом деле довольно много. Но здесь вступает в силу проблема синхронизации. Новый ОКТМО обновляется довольно регулярно но задержки всё равно составляют 3-9 месяцев (по моим подсчётам). Но если я удалю упраздённые элементы АТД а Росстандарт задержит обновление то при очередной синхронизации с ОКТМО удалённые поселения/НП снова будут созданы. Поэтому нужно не просто удалить а создать механизм чтобы это удаление/уточнение было бы постоянным.

Пока этим заниматься не хочется так как ОКТМО на практике показался довольно нормально обновляемым документом а ОСМеры отслеживают далеко не все изменения в АТД. Можно просто подождать пару месяцев и дождаться нового обновления ОКТМО :slight_smile:

Я ожидаю такое обновление в ближайшее время и если в этом обновлении многие из изменений не будут учтены то буду прикручивать механизм пометки данных АТД как устаревшие.

Ну моя жизнь не только из ОСМа состоит :slight_smile: Поэтому как только появится свободное время так сразу, сейчас же дела были поважнее :slight_smile:

Если вдруг (мало ли, может пригодится) я тут отслеживаю регулярно изменения АТД по ДФО в хранилище http://cloud.mail.ru/public/bc5a62323e39/ДФО, в папке Доп.инфо или прямая ссылка http://goo.gl/tNznbV.

Что-то поломали много нового - Приволжский ФО и много всего в Новосибирской области.
Детали как обычно здесь - http://atd.osm.rambler.ru/broken.html

Теперь об этом можно рассказать в discussion автору правки http://www.openstreetmap.org/changeset/26475677

Границы починены и на фоне последних дней выглядят подозрительно хорошими :slight_smile:

А тем временем у меня произошёл качественный скачок. Собственно данный валидатор начинался как внутренний проект для анализа данных по АТД которые я собирался использовать после для валидирования моих данных используемых в научной работе. В публичный проект оно вышло только по причине отсутствия каких-либо альтернатив на тот момент. Но, например, данные о координатах всех райцентров у меня были собраны сразу после появления космоснимков Гугла (и когда-то они казались детальными!), т.е. много лет назад, но с тех пор качество мною не перепроверялось.

Теперь же наконец-то руки дошли до стыковки моей базы данных и валидатора и я наконец-то смогу проверить или точность/полноту моих данных или точность/полноту данных ОСМа. А это меняет подход к валидатору. Если раньше это был чисто академический проект - не все жёлтые НП распознались - ну и ладно, валидатору интересны только “зелёные” НП то теперь для валидации моих данных нужна более точная обработка “жёлтых” НП. Поэтому обнаружив что в отчёте “жёлтые” НП заданы или точками или контурами пришлось поискать ошибку. Их оказалось несколько, но в результате теперь и “зелёные” и “жёлтые” НП описаны как нодами там и веями.

В общем теперь валидатор будет иметь большее для меня значение чем раньше, поэтому стоит ожидать определённых улучшений в нём. Хотя далеко уходить за пределы работы с АТД/НП я и не собираюсь - данная область не относится к области моих научных интересов а время как известно ресурс дефицитный.

Нагнал я данные ОСМ против своей БД, всё оказалось не так печально, за исключением нескольких опечаток (типа 8 вместо 3) расхождения минимальны. В общем они расходятся только в НП имеющие несколько выраженных удалённых частей, типа Усть-Илимска и Межгорья, куда здесь помещать центр - вопрос дискуссионный и рискну предположить что ОСМ в этом плане точнее.

Забавным было обнаружить что ряд моих ошибочных данных перекочевал в Гугл :slight_smile: А вы говорите - не копируйте с Гугла, он в суд подаст :slight_smile: В своё время искал координаты закрытых городов и посёлков и в целом они находились довольно легко. Но никак не мог найти посёлок Кедровый Красноярского края (с 2007 года кстати он потерял статус ЗАТО). Перебрал все источники информации, просмотрел все открытые космоснимки на тот момент. И ткнул где-то в том районе, но в общем-то от балды. Сейчас открыл Гугл и Кедровый расположен там где я его поместил много лет назад :slight_smile: - https://www.google.ru/maps/place/%D0%9A%D0%B5%D0%B4%D1%80%D0%BE%D0%B2%D1%8B%D0%B9,+%D0%9A%D1%80%D0%B0%D1%81%D0%BD%D0%BE%D1%8F%D1%80%D1%81%D0%BA%D0%B8%D0%B9+%D0%BA%D1%80%D0%B0%D0%B9,+662054/@56.2796967,91.5439327,16z/data=!3m1!4b1!4m2!3m1!1s0x5cd432285cc7ca4b:0x59316a4238f980d8 Яндекс к слову показывает правильно - https://maps.yandex.ru/?text=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C%20%D0%9A%D1%80%D0%B0%D1%81%D0%BD%D0%BE%D1%8F%D1%80%D1%81%D0%BA%D0%B8%D0%B9%20%D0%BA%D1%80%D0%B0%D0%B9%2C%20%D0%B3%D0%BE%D1%80%D0%BE%D0%B4%D1%81%D0%BA%D0%BE%D0%B9%20%D0%BE%D0%BA%D1%80%D1%83%D0%B3%20%D0%9F%D0%BE%D1%81%D0%B5%D0%BB%D0%BE%D0%BA%20%D0%9A%D0%B5%D0%B4%D1%80%D0%BE%D0%B2%D1%8B%D0%B9%2C%20%D0%BF%D0%BE%D1%81%D0%B5%D0%BB%D0%BE%D0%BA%20%D0%B3%D0%BE%D1%80%D0%BE%D0%B4%D1%81%D0%BA%D0%BE%D0%B3%D0%BE%20%D1%82%D0%B8%D0%BF%D0%B0%20%D0%9A%D0%B5%D0%B4%D1%80%D0%BE%D0%B2%D1%8B%D0%B9&sll=92.327426%2C56.235255&ll=92.321568%2C56.237261&spn=0.135612%2C0.040821&z=14&l=sat%2Cskl%2Csat&pt=92.32639%2C56.23528

При этом я не думаю что Гугл передрал данные у меня. Скорее всего эти данные перекочевали в какой-то другой источник а оттуда уже попали в Гугл. Так что делайте выводы о качестве карт Гугла :slight_smile: И не верьте в “закладки”, они точно также потащили “закладки” с других сайтов :slight_smile: Несколько моих ошибок попало и в Яндекс, но там их минимальное количество и они на тему НП состоящих из нескольких частей, т.е. теоретически может быть просто случайное совпадение.

Ну и вопросу о закрытости :slight_smile: Данные о координатах закрытых посёлков и городов были собраны за несколько вечеров с использованием Гуглоснимков лохматых лет + простой поиск по Интернету. Не нужно пытаться скрыть явно видимые из космоса объекты. Это бессмысленно. Зашита от врагов состоит не в этом.

У гугла вроде всё верно, там ещё один Кедровый.

Значит там у Гугла каша. Про этот Кедровый у них написасно “Кедро́вый — посёлок городского типа в Красноярском крае России. Образует городской округ посёлок Кедровый.”

Сегодня в положенное время сайт ГИС-Лаба (откуда берутся дампы) не был доступен, поэтому валидатор не стартовал. Сайт уже доступен, но свежего дампа всё равно нет, поэтому перезапускать нечего. Буду ждать новых дампов завтра.

Вообще, переход на самостоятельные дампы является одной из ближайших задач, так как отсутствие Крыма делает валидатор ущербным, два региона не обсчитываются. Также полезным является возможность самостоятельного выбора времени появления дампа. Но это задача не текущей недели. Я планировал заняться этим ближе к концу месяца.

Интересно, а почему валидатор игнорирует населённые пункты Тигильского района? Там ведь есть и Ковран, и остальные.

А нет ли тут мапинга под валидатор с этими “сельское поселение Село Хайрюзово”. Потому, что смотрю на фгис, а там в подчинение только 7 сел и остальное межселенные территории.