OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1376 2017-12-07 22:54:57

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,703

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

вроде всегда было нужно

Offline

#1377 2017-12-10 13:34:13

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:

Я так расслабился что валидатор живёт на виртуалке, и его сломать сложно ... и  когда случайно грхонул одну из папок то не придал этому большого значения. Но ... там оказались все скрипты, которые я не выложил в backup (включая poly-файл). Так что обновления валидатора пока приостановятся ... буду искать предыдущую копию файлов а потом вспоминать что же я там делал последние 3-4 месяца. Мелочь, а не приятно.

К сожалению, восстановить валидатор не удалось. Вроде есть все ингредиенты - дамп по состоянию на пятницу, poly-файл России (не уверен что соответствующий дампу, но различия даже если и есть то минимальные) и osmupdate. Всё работает. Но на выходе файл с релейшенами нулевого размера. Из pbf файла извлекаются веи, ноды, но не находится ни одного релейшена.

Где-то какая-то несовместимость, грешу на osmupdate. Возможно что он почему-то несовместим с моей версией pbf-файла. Пробовал несколько раз результат очевидно такой же, pbf файл усыхает на 20 Мб. Скорее всего выход только один - брать свежий planet.osm и вырезать Россию снова. Однако сейчас у меня нет толстого интернета. Дома только медленный GSM-интернет, с лимитом 20Гб/месяц, на работе тоже не выкачать. Полноценный Интернет появится ближе к весне.

Вариант с дампами ГИС-Лаба тоже не выход так как 2Гб дома не вытащу а не работе - неясно, пройдёт или нет, мою закачку в любой момент могу отрезать.

Возможно, что-то смогу сделать раньше, но пока март видится как наиболее реальный срок.

Offline

#1378 2017-12-10 13:54:49

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

osmupdate не работает напрямую с дампами, он использует для этого osmconvert

Online

#1379 2017-12-10 14:31:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

osmupdate не работает напрямую с дампами, он использует для этого osmconvert

Ну значит в нём какая-то несовместимость ... Сейчас у меня такой - osmconvert 0.8.5.

Попробую поиграться разными версиями.

Offline

#1380 2017-12-10 15:32:12

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

C osmconvert 0.8.8 релейшены распаковались smile Как минимум с этим можно работать smile

Offline

#1381 2017-12-10 21:22:21

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Дамп таки обработался smile Валидатор обновился.

Но судя по всему там не последняя версия poly-файла, из-за этого "поломана" граница Чукотки вдоль -180 ^ 180, поэтому есть неправильные жалобы на сломанные границы. Но это лучше чем ничего. На неделе попробую исправить poly-файл. Если не получится то по идее должен добраться до другого компа на котором сохранено рабочее состояние проекта, только дамп старый. Ну тогда всё и восстановится smile

Offline

#1382 2017-12-10 21:32:33

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,703

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Уря!
Могу выслать свои poly
Собственно они всегда лежат на сайте.
Сейчас обновил (заодно лишний backup)
http://wowik.byethost7.com/poly.zip

Last edited by wowik (2017-12-10 21:37:00)

Offline

#1383 2017-12-11 06:51:16

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

wowik wrote:

вроде всегда было нужно

Да, был нужен плагин. Просто в первый раз он почему-то не скачался (были сетевые проблемы?) и я подумал что работа с poly-файлами была "из коробки". Но потом он прекрасно скачался.

Offline

#1384 2017-12-14 12:48:43

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Надеюсь что валидатор вернулся в прежнее состояние smile Спасибо всем за высланные файлы! Всё прошло без ошибок.

Сделал очередную копию всего, вероятность сбоя стала гораздо меньше smile

График как и был прежде - 2 раза в неделю - среда/четверг и суббота/воскресенье.

Надеюсь что к февралю я вернусь в нормальный режим с более частыми прогонами.

Offline

#1385 2017-12-19 12:48:18

Jake Strine
Member
From: Санкт-Петербург
Registered: 2014-04-15
Posts: 84

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

http://atd.osm.rambler.ru/r444017.html
Здесь перепутаны ОКТМО местами сельское поселение Посёлок Бабынино и сельское поселение Село Бабынино, из-за чего НП не проходят. В самом ОКТМО всё правильно, видимо ошибка в обработке валидатором. Ещё были перепутаны теги вики у этих двух Бабынино. Исправил. Может в этом быть дело?

Offline

#1386 2017-12-19 15:00:49

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Jake Strine wrote:

http://atd.osm.rambler.ru/r444017.html
Здесь перепутаны ОКТМО местами сельское поселение Посёлок Бабынино и сельское поселение Село Бабынино, из-за чего НП не проходят. В самом ОКТМО всё правильно, видимо ошибка в обработке валидатором. Ещё были перепутаны теги вики у этих двух Бабынино. Исправил. Может в этом быть дело?

Это бага валидатора. Два сельских поселения "Бабынино" различающиеся только статусом село/посёлок подхватываются неверно. Для валидатора оба поселения - "СП Бабынино". Я рассматривал разные варианты как починить, но там надо влезать в довольно сложный алгоритм что в текущих условиях для меня рисковано. Поэтому пока остаётся как есть. Возможно, на новогодних праздниках смогу найти время и приложить какой-то фикс.

Про проблему знаю, спасибо что напомнили!

Offline

#1387 2017-12-20 15:33:17

Jake Strine
Member
From: Санкт-Петербург
Registered: 2014-04-15
Posts: 84

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges wrote:
Jake Strine wrote:

http://atd.osm.rambler.ru/r444017.html
Здесь перепутаны ОКТМО местами сельское поселение Посёлок Бабынино и сельское поселение Село Бабынино, из-за чего НП не проходят. В самом ОКТМО всё правильно, видимо ошибка в обработке валидатором. Ещё были перепутаны теги вики у этих двух Бабынино. Исправил. Может в этом быть дело?

Это бага валидатора. Два сельских поселения "Бабынино" различающиеся только статусом село/посёлок подхватываются неверно. Для валидатора оба поселения - "СП Бабынино". Я рассматривал разные варианты как починить, но там надо влезать в довольно сложный алгоритм что в текущих условиях для меня рисковано. Поэтому пока остаётся как есть. Возможно, на новогодних праздниках смогу найти время и приложить какой-то фикс.

Про проблему знаю, спасибо что напомнили!

Может быть также как и два НП с одинаковым именем и статусом, по oktmo:user различать. Это сложно реализовать? На всякий случай добавил их октмо номера.

Offline

#1388 2017-12-21 07:32:36

maxphizik
Member
Registered: 2013-02-19
Posts: 227

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

На утверждённом генплане нарисовано две границы НП: "Фактически сложившаяся граница НП" и "Планируемая граница НП". Какую рисуем в ОСМ?

Offline

#1389 2017-12-21 07:34:50

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Фактическую, но которая захватывает все жилые на сегодняшний день дома.

Online

#1390 2017-12-21 07:37:22

maxphizik
Member
Registered: 2013-02-19
Posts: 227

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

А с промзоной, что тогда делать?

Offline

#1391 2017-12-21 07:56:28

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,703

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Ну если планируемая на следующи год, а не на 202?, то можно бы и планируемую, чтобы два раза не вставать.

Offline

#1392 2017-12-21 08:05:48

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

А с промзоной надо разбираться, входит она в земли населённых пунктов или нет.

Online

#1393 2017-12-24 21:19:13

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Валидатор опять упал ... Такое падение стало повторяться часто после того как я поборолся с другим падением. Как это получается - пока не понимаю, знаю что это происходит если в одном поселении несколько НП с одним именем, одно из которых имеет контур а другое нет. Придётся копаться в алгоритме а для этого нужен как минимум чистый прогон, т.е. 4 часа. Постараюсь разобраться с этой проблемой на этой неделе как первостепенной. А то падения стали происходить слишком часто.

Offline

#1394 2017-12-24 21:21:19

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Возможно пока можно ограничится публикацией виновника, нарисовать границу НП не так долго.

Online

#1395 2017-12-29 08:03:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Валидатор снова упал, но времени разбираться с причиной не было. Просто отключил оптимизацию, и за 6 часов получил результат smile

А багу так и не нашёл. Точнее в прошлый раз всё упало при одной странной конфигурации данных, но сейчас эта конфигурация не повторяется smile Такое ощущение что было какое-то внутреннее падение, которое подпортило мои данные и на кривых данных всё упало. В общем пока всё хорошо, но уверенности в том что не будет проблем нет. Буду следить дальше.

Ну а одноимённые поселения попробую обработать на праздниках. Изменения несложные, но отладка отнимает очень много времени, это должен быть свободный от других дел день.

Offline

#1396 2017-12-29 08:41:15

dair
Member
From: Ленинградская область
Registered: 2013-07-11
Posts: 1,020

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Так может быть его в open source надо? Может кто-то и пофиксит баг.

Offline

#1397 2018-02-13 08:15:32

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

open source не панацея smile Можно заметить по соседним темам.

Из нового. С января существенно упала скорость работы валидатора. Одноразово, без каких либо изменений валидатор стал работать почти в 2 раза медленнее. По времени это совпало с шумихой по поводу какой-то процессорной баги в Интеле. Ноутбук стал постоянно обновляться (включая BIOS). Ни на чём не заметил падения скорости кроме как на валидаторе. Никаких идей кроме того что как-то та процессорная бага и виртуалка как-то связаны нет.

В результате валидатор стал работать почти 8 часов что перестало входить в приемлимые для меня рамки. Поэтому валидатор перешёл в режим еженедельного обновления - 8 часов времени мне нужно специально находить. Возможно, станет лучше, когда я всё-таки смогу запускать валидатор на десктопе а не на ноуте, но это не вопрос нескольких недель.

Далее, пару недель назад довольно сильно обновился ОКТМО. Если изменения по Московской области простые то по другим регионам требуется больше усилий. Но ближайшие 2-3 недели скорее всего свободного времени совсем не будет. Поэтому валидатор пока будет бежать по старому справочнику.

Но всё же есть надежда на позитив smile Есть ощущение что скоро свободного времени должно стать больше чем сейчас и по крайней мере наиболее срочные вопросы удастся порешать.

Offline

#1398 2018-02-13 08:28:41

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,427

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Баг вроде как говорят сказывается на операциях ввода/вывода. Может если сразу из дампа вырезать только границы и загнать его целиком в память будет веселее. Но это так, мысли в слух.

Online

#1399 2018-02-15 08:54:37

Vort
Member
Registered: 2010-11-29
Posts: 502

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Если никаких приватных данных на компьютере нет (или подверженные багу программы на компьютере не запускаются), то патч (или эффект патча) можно отменить, вернув производительность.
Насчёт времени - разве нельзя поставить низкий приоритет для этих вычислений (по вводу/выводу, RAM и CPU)? Считаться будет дольше, но не должно мешать остальной деятельности.

Offline

#1400 2018-02-21 12:55:22

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,772

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

freeExec wrote:

Баг вроде как говорят сказывается на операциях ввода/вывода. Может если сразу из дампа вырезать только границы и загнать его целиком в память будет веселее. Но это так, мысли в слух.

Кстати, похоже на правду! Почти в 2 раза просели операции по работе с дампом. С этим можно бороться переписав алгоритм фильтрации входящего дампа.

А далее наложилась бага. Я боролся с падениями, которые стали очень частыми и как обычно - проблему решил, но внёс регрессию - всё стало работать правильно ... но очень медленно smile На выходных починил и регрессию.

Итого: валидатор стал работать на 20-25% медленнее по сравнению в декабрем. Это много, но прогон валидатора всё же укладывается в разумные рамки. При этом явно есть возможности по оптимизации на работе с дампом.

Поэтому пока валидатор останется в режиме 1-2 обновления в неделю, но надеюсь что он через месяц переедет с маломощного ноутбука на хороший домашний комп smile И обновления станут происходить чаще.

Offline

Board footer

Powered by FluxBB