Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges · 2014-06-11 02:34:23

К сожалению случайно затёр css файл валидатора (general.css) и он стал выгляедь гораздо хуже
К сожалению под рукой нет копии css так что пока будет как есть.

fserges · 2014-06-12 02:51:26

Копию css не нашёл но из темы вытащил предложения которые давали коллеги. Вроде выглядит как и было

И да, неужели никого не напрягает что дамп России не включает всю границу из-за чего она всегда "сломана"?

wowik · 2014-06-12 06:23:41

Она и раньше-то с битыми точками была, в их poly не влезала, так что не напрягает

Last edited by wowik (2014-06-12 06:23:58)

fserges · 2014-06-13 18:52:30

wowik wrote:

Она и раньше-то с битыми точками была, в их poly не влезала, так что не напрягает

Понятненько А то столько было патриотизма вокруг Крыма, а как подготовить нормальный дамп России так сразу - тебе надо ты и создавай Но я ближайшие пару недель до этого точно не дойду а там похоже придётся ...

На выходные поеду по стандартному маршруту русского туриста - Беверли Хиллз, Голливуд, Санта-Барабара. Так что будет точно не до валидатора. Но потом он снова заведётся

fserges · 2014-06-17 17:58:37

Санта-Барбару посетитеть не удалось (точнее крюк туда занял бы слишком много времени а уже хотелось в гостиницу), но валидатор завёлся и работает. Через несколько дней я полечу домой так что он снова остановится на несколько дней пока я буду в дороге.

По возвращении буду думать насчёт Крыма. Даже если будет нормальный дамп России то всё валидатор будет вести себя подозрительно, поэтому нужно будет поправить его оптимизационную часть. Ну а потом думать что-то насчёт нормального дампа России, соответствующего текущей границе в ОСМ. Ну а после этого можно будет задуматься о миграции в более удобную версию БД которая даст больше возможностей по автоматизации. Код я практически не правлю, поэтому миграция даже если немного затянется не должна создать проблем.

fserges · 2014-06-25 05:03:06

Ну вот я и вернулся Валидатор не работал только один день пока я был физически в полёте (14 часов в воздухе суммарно). Так что теперь в штатном режиме буду смотреть на проблемы и решать что делать. Вопрос номер 1, к сожаленю это Крым. Gis-Lab игнорирует то что граница РФ выходит за пределы дампа (там и раньше были проблемы - с Китаем, но там вылетало всего несколько точек) и валидатор порождает кучу совершенно ненужной красноты. Может есть нормальный дамп России в pbf где-нибудь ещё?

fserges · 2014-06-25 10:56:42

Статистика почти за месяц:

Городские поселения: +20
Сельские поселения: +182
Городские районы: +2

В основном улучшения произошли в Центральном ФО.

lenux · 2014-06-26 15:57:14

Может если позволяют ресурсы тогда сделать свой сервер с полной базой? Либо воспользоваться таковой БД на рамблере

freeExec · 2014-07-12 21:15:22

А нельзя что нибудь предусмотреть для отслеживания изменений, а то пропажу одного населённого пункта в области найти не реально. Подошёл бы даже банальный бекап.

fserges · 2014-07-13 13:12:06

freeExec wrote:

А нельзя что нибудь предусмотреть для отслеживания изменений, а то пропажу одного населённого пункта в области найти не реально. Подошёл бы даже банальный бекап.

Были разные идеи как устроить отчёты с хронологией, чтобы отслеживать изменения за какое-то время, например, сообщать что НП которые ранее распознавались перестали распознаваться. Но в итоге ничего не сделал так как практическая польза от таких отчётов не ясна. Например, НП перестал распознаваться. Появилась запись в отчёте. Прошла неделя, другая и т.п. Если никто ничего не исправит то ценность отчёта невелика. Но по факту самый главный источник потерь НП - сломаные границы. Т.е. каждый слом границ обычно приводит к многочисленным выпадениям НП (иногда сотен НП). В общем технически такие отчёты делать можно, но хочется чтобы в такого рода отчётах была бы какая-то польза.

В конкретном случае потери оптимальным является банальный дамп. Т.е. взять весь отчёт и сохранить. Я могу это делать локально, но поскольку НП довольно много то на сайте хранить много копий нереально. zip-архив отчёта занимет 15 мегабайт, поэтому скажем полугодовой архив будет тяжеловат. А для реальных поисков желательно имет архив за несколько месяцев.

В общем если есть какие-то идеи какие отчёты с хронологией - предлагайте. Я пока какого-то ценного отчёта не смог придумать, только классические отчёты а-ля типа рост числа НП по месяцам.

chilin · 2014-07-13 16:30:51

Если есть ресурсы, может лучше их направить на добавление улиц по Кладр. И валидатор НП будет иметь законченный вид, как в старые добрые времена

freeExec · 2014-07-13 18:40:24

Да, интересует именно, то что раньше определялось и пропало и не по вене разорванного контура, т.к. эти контуры видны и быстро исправляются.
Можно сделать просто большой листинг на всё Россию. В идеале конечно RSS.

fserges · 2014-07-18 13:27:53

Про динамику/историю подумаю. Поскольку проще сесть и сделать некоторый функционал сразу чем несколько раз добавлять маленькие функции в режиме патчей, то дождусь каких-нибудь выходных и придумаю что-нибудь более-менее универсальное. Как вариант - просто хранить все изменения состояний по НП/ГП/СП в отдельной таблице. Сейчас у меня никакая история не хранится вообще - перед сопоставлением НП между ОСМ и справочником информация о прежних сопоставлениях полностью удаляется.

fserges · 2014-07-21 19:57:10

Со страницы сломанных границ убрал объекты которые очевидно сломаны из-за кривизны дампа (т.е. Крым) чтобы реальные ошибки были бы более заметны.

fserges · 2014-08-07 12:36:43

Список сломанных границ бывший в начале лета небольшим продолжает разрастаться ... Но в этот раз поломан Южный ФО, Ростовская область и соответствующие районы ... так что отчёт будет очень красный. Но и без этого поломанных границ около 25 штук ...

freeExec · 2014-08-07 12:58:51

Ещё не перешёл на собственные дампы? А то что-то отставание больше суток

fserges · 2014-08-07 16:17:12

До своих дампов времени особо нет, но отсутствие Крыма пока для валидатора не критично.

А отставание не из-за этого. Сейчас валидатор отрабатывает где-то в районе 15-00, но с работы мне результаты не вытащить - ftp и ssh наружу заблокированы а веб-морды на osm.rambler нет. Вот и выкладываю результаты когда появляюсь вне защищённой сети.

fserges · 2014-08-10 17:33:23

Прямо какой-то праздник поломанных границ - и в Москве, и в Ленинградской области и в Удмуртии и в Ростовской области и в Томской области и т.п. ...

http://atd.osm.rambler.ru/broken.html

freeExec · 2014-08-10 19:39:51

fserges wrote:

Прямо какой-то праздник поломанных границ - и в Москве, и в Ленинградской области

Ну дык отмечали десятилетие, видно, что хорошо отмечали.

fserges · 2014-08-11 19:52:36

Похоже вошли в раж и не остановились Список разрушений пополнился Кировской областью ... Впрочем и список порушенных в Москве границ тоже расширился, это можно списать на 10-летие.

Delin · 2014-08-12 22:23:50

http://atd.osm.rambler.ru/r382780.html
Дубровское сельское поселение посёлок Дубровка 0 из 4 33605423
http://www.openstreetmap.org/relation/3951704
Что не так?

wowik · 2014-08-13 07:18:29

Delin wrote:

Что не так?

http://forum.openstreetmap.org/viewtopi … 05#p442605

В области несколько битых районов, вот объекты куда надо и не попадают, а попадают куда не надо.
Дубровское тут: http://atd.osm.rambler.ru/r382778.html

Last edited by wowik (2014-08-13 07:27:40)

fserges · 2014-08-13 12:52:16

wowik wrote:

Delin wrote:
Что не так?
http://forum.openstreetmap.org/viewtopi … 05#p442605
В области несколько битых районов, вот объекты куда надо и не попадают, а попадают куда не надо.
Дубровское тут: http://atd.osm.rambler.ru/r382778.html

Именно так. Алгоритмы определения вложенности объектов правильно работают только если границы не сломаны. Первоначальный алгоритм был более умным, но из-за этого всё работало на несколько часов дольше что для меня неприемлимо. В любом случае сломанные границы это очень плохая ситуация. В текущем прогоне границы районов Кировской области уже выглядят лучше, но не все вошли в утренний дамп.

Из сломанного (или затронутого Delin) остался Кукморский район Татарстана - http://analyser.openstreetmap.fr/cgi-bi … ion=367106

А вообще, границы это дело тонкое От таких ошибок почти никто не застрахован (я недавно ломал границы из-за краха JOSM), а по идее это должно отслеживаться на системном уровне ...

fserges · 2014-08-14 18:01:23

Delin wrote:

http://atd.osm.rambler.ru/r382780.html
Дубровское сельское поселение посёлок Дубровка 0 из 4 33605423
http://www.openstreetmap.org/relation/3951704
Что не так?

После того как вчера были починены сломаные границы всё стало на свои места.

Delin · 2014-08-14 18:35:06

Я уж понял сам же и чинил часть границ.

Announcement

#801 2014-06-11 02:34:23

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#802 2014-06-12 02:51:26

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#803 2014-06-12 06:23:41

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#804 2014-06-13 18:52:30

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#805 2014-06-17 17:58:37

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#806 2014-06-25 05:03:06

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#807 2014-06-25 10:56:42

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#808 2014-06-26 15:57:14

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#809 2014-07-12 21:15:22

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#810 2014-07-13 13:12:06

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#811 2014-07-13 16:30:51

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#812 2014-07-13 18:40:24

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#813 2014-07-18 13:27:53

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#814 2014-07-21 19:57:10

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#815 2014-08-07 12:36:43

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#816 2014-08-07 12:58:51

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#817 2014-08-07 16:17:12

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#818 2014-08-10 17:33:23

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#819 2014-08-10 19:39:51

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#820 2014-08-11 19:52:36

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#821 2014-08-12 22:23:50

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#822 2014-08-13 07:18:29

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#823 2014-08-13 12:52:16

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#824 2014-08-14 18:01:23

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#825 2014-08-14 18:35:06

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Board footer