Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

EugenyN · 2013-11-22 16:18:23

не подхватывает isolated_dwelling и place (н.п. с population=0) с названиями вроде "хутор Заросший (нежилой)" или "руины хутора Пустой"

http://atd.osm.rambler.ru/r2588411.html
http://www.openstreetmap.org/browse/node/1580986363

так же везде использовал okato:user.

AMDmi3 · 2013-11-22 16:22:26

EugenyN wrote:

не подхватывает isolated_dwelling и place (н.п. с population=0) с названиями вроде "хутор Заросший (нежилой)" или "руины хутора Пустой"

Правильно, таких названий быть не должно. Но вот place=locality должен подхватывать (его нужно использовать для исчезнувших деревень, ещё числящихся официально и isolated_dwelling, разумеется, тоже.

Last edited by AMDmi3 (2013-11-22 16:31:31)

fserges · 2013-11-22 16:35:12

EugenyN wrote:

не подхватывает isolated_dwelling
http://atd.osm.rambler.ru/r2588411.html
http://www.openstreetmap.org/browse/node/1580986363
так же везде использовал okato:user.

Да, isolated_dwelling не включён в фильтр, поправлю. Когда перепроверял результаты то смотрел в тех местах где их не было.

Upd: слово (нежилой) нужно будет отбрасывать на этапе сопоставления.

Last edited by fserges (2013-11-22 16:36:22)

EugenyN · 2013-11-22 16:40:33

AMDmi3 wrote:

EugenyN wrote:
не подхватывает isolated_dwelling и place (н.п. с population=0) с названиями вроде "хутор Заросший (нежилой)" или "руины хутора Пустой"
Правильно, таких названий быть не должно. Но вот place=locality должен подхватывать (его нужно использовать для исчезнувших деревень, ещё числящихся официально.

я понимаю, что name для нп должен быть без приставок вроде "(нежилой)" или "руины". но с другой стороны можно рассуждать так: place применяется ещё для обозначения "именнованного места". и когда мы видим пустырь или руины, урочище. ближе к этому оказывается широкое значение place, т.е. именованное место, а не НП. (это совсем не похоже на НП. это именно руины, возможно, заросший фундамент) и когда мы это трактуем как "именованное место" то у нас нет ограничений на название, какое бы мы имели в случае трактовки в качестве НП без населения.

но это тема для другой ветки.

Last edited by EugenyN (2013-11-22 16:41:51)

AMDmi3 · 2013-11-22 16:49:45

Вне зависимости от интерпретации, именованое место - "хутор Заросший". Остальное - его свойства, которые почему-то добавляются к названию.

fserges · 2013-11-22 17:13:37

EugenyN wrote:

AMDmi3 wrote:
EugenyN wrote:
не подхватывает isolated_dwelling и place (н.п. с population=0) с названиями вроде "хутор Заросший (нежилой)" или "руины хутора Пустой"
Правильно, таких названий быть не должно. Но вот place=locality должен подхватывать (его нужно использовать для исчезнувших деревень, ещё числящихся официально.
я понимаю, что name для нп должен быть без приставок вроде "(нежилой)" или "руины". но с другой стороны можно рассуждать так: place применяется ещё для обозначения "именнованного места". и когда мы видим пустырь или руины, урочище. ближе к этому оказывается широкое значение place, т.е. именованное место, а не НП. (это совсем не похоже на НП. это именно руины, возможно, заросший фундамент) и когда мы это трактуем как "именованное место" то у нас нет ограничений на название, какое бы мы имели в случае трактовки в качестве НП без населения.

На мой взгляд это явно должно быть где-то в name - alt_name, например. (нежилой) это помета а не часть имени, но для ориентирования на картах может быть полезным.

EugenyN · 2013-11-22 17:47:59

ок. а если это просто пустырь и даже фундамента не осталось ? всё так же называть это хутором ? или может быть селом ? учитывая принцип - что на местности, то и на карте, нельзя же пустырь или холмик хутором назвать, как и развалины старой церкви нельзя церковью назвать.

церковь:
http://www.pravoslavie.ru/sas/image/100280/28054.b.jpg

хутор:
http://4.bp.blogspot.com/_PM0oZANy5eE/S … G_4349.jpg

в том и дело, что это уже не церковь и не хутор. а руины или местность с названием. а то, что было раньше - это свойство.

Last edited by EugenyN (2013-11-22 17:51:01)

AMDmi3 · 2013-11-22 18:18:13

fserges wrote:

На мой взгляд это явно должно быть где-то в name - alt_name, например. (нежилой) это помета а не часть имени, но для ориентирования на картах может быть полезным.

Нет, alt_name это то же самое что name, для случая когда бывают разночтения названия, и также не допускает приписок.

EugenyN wrote:

ок. а если это просто пустырь и даже фундамента не осталось ? всё так же называть это хутором ? или может быть селом ? учитывая принцип - что на местности, то и на карте, нельзя же пустырь или холмик хутором назвать, как и развалины старой церкви нельзя церковью назвать.

Если даже фундамента не осталось, place меняется на locality, название же никто не менял. По сути, и некому.

Ещё я тут подумал насчёт okato/okato:user, и очень прошу отказаться от его использования в валидаторе вообще. Наша цель - создать качественный набор данных, который можно использовать самостоятельно, соответственно нужно обеспечить полноту информации и иметь возможность различать НП с одинаковыми названиями по объективным свойствам - для начала по статусной части. Возможность заткнуть валидатор, показывающий реальную ошибку - неразличимость НП в данных либо неправильное название, проставив okato:user - это очень и очень плохо. Случаи где без кода (сейчас) реально не обойтись нужно собрать и подумать что с ними делать. В самом крайнем случае это будет явный список, только для НП из которого допустимо использовать коды.

Last edited by AMDmi3 (2013-11-22 18:18:28)

freeExec · 2013-11-22 19:50:20

fserges wrote:

Если такого рода объекты валидны (т.е. что городские районы что suburb являются admin_level=9) то тогда я буду просто отбрасывать place = suburb не глядя на admin_level.

В данном случае я нигде не нашёл, что городской округ делится на административные районы. Так что это чья-то фантазия и теги admin_level = 9 и boundary = administrative лишние.

AMDmi3 wrote:

Ещё я тут подумал насчёт okato/okato:user

По сути если должно быть 2 НП с одни названием и в осм мы имеем 2 НП с одни названием, то стоит предположить что это они и есть. Если их 1 или 3, то значит все 1/3 неправильные.

fserges · 2013-11-22 19:55:52

fserges wrote:

Данные для валидатора обновились ... Только вот файерволы не дают мне выложить результат. Выложу позднее вечером из дома.

Валидатор обновился на утренний дамп. Принципиальных изменений нет, просто прогон на новых данных. Из нового - попробовал перейти на pbf -> osmconvert -> osm. Всё вроде нормально, но получилась ерунда с кавычками, нужно разбираться на каком этапе это происходит.

AMDmi3 · 2013-11-22 20:40:47

Из добавленного вчера не опознались два СП:

Уницкое тут: http://atd.osm.rambler.ru/r570637.html
Отрадновское тут: http://atd.osm.rambler.ru/r959859.html

в данных на вид всё нормально, остальные СП добавленные одновременно с этими нормально обработались.

fserges · 2013-11-22 21:29:41

AMDmi3 wrote:

Из добавленного вчера не опознались два СП:
Уницкое тут: http://atd.osm.rambler.ru/r570637.html
Отрадновское тут: http://atd.osm.rambler.ru/r959859.html
в данных на вид всё нормально, остальные СП добавленные одновременно с этими нормально обработались.

Я в этом прогоне в спешке забыл включить проверку границ на замкнутость. Глянул на Отрадновское и обнаружил что Мышкинский район разорван. Соответственно быстрый метод на вложенность дал неверный результат. В общем нужно править Мышкинский район а мне включить проверку границу в прогон по умолчанию.

Уницкое пропало из-за сломанности границ Кесовогорского района.

Last edited by fserges (2013-11-22 21:32:22)

AMDmi3 · 2013-11-22 21:46:39

Имхо, замкнутость границ соседних районов вообще не должна влиять на текущий.

AMDmi3 · 2013-11-23 04:52:09

Кажется ещё не находит ГП с полными названиями: http://atd.osm.rambler.ru/r389669.html

freeExec · 2013-11-23 05:55:29

Хм.. а тогда чего он osmID выводит раз не нашёл. Скорее всего что-то да ему не понравилось.
А вот с ё непонятки. На странице http://atd.osm.rambler.ru/r1760248.html валидатор ожидает "Озерское", а имеется "Озёрское сельское поселение", с ё указано на сайте района, так что тут гадать нечего.

Last edited by freeExec (2013-11-23 05:59:11)

fserges · 2013-11-23 08:35:05

AMDmi3 wrote:

Имхо, замкнутость границ соседних районов вообще не должна влиять на текущий.

Ну это побочный эфект самописных геометрических алгоритмов. Тут компромисс точности и скорости. Но ломаные границы так или иначе будут приводить к тем или иным глюкам. Впрочем, в будущем подобный эффект будет минимизирован модификацией алгоритма, который будет пытаться искать сообразно истории, но полностью от таких побочных эффектов не избавится. Но если границы в ОСМ будут ломаться очень часто, то конечно придётся подумать на эту тему.

fserges · 2013-11-23 08:39:10

AMDmi3 wrote:

Кажется ещё не находит ГП с полными названиями: http://atd.osm.rambler.ru/r389669.html

Тут рука у меня дрогнула и не захотел забивать префикс "Городское поселение Город " как валидный. Вроде бы и корректное название, но его длина смущает, хотя и не является избыточной как "муниципальное образование город Курган". Конкретно в данном случае проблема решается добавление одной строчки в функцию нормализации имени. Если скажете что это нормальное написание, добавлю эту строчку сегодня.

fserges · 2013-11-23 08:43:04

freeExec wrote:

Хм.. а тогда чего он osmID выводит раз не нашёл. Скорее всего что-то да ему не понравилось.

Совпадение это когда коду объекта в ОСМ сопоставился код ОКТМО (грубо, так как есть некоторое количество не имеющие кодов ОКТМО, например, федеральные округа).

freeExec wrote:

А вот с ё непонятки. На странице http://atd.osm.rambler.ru/r1760248.html валидатор ожидает "Озерское", а имеется "Озёрское сельское поселение", с ё указано на сайте района, так что тут гадать нечего.

Ну это значит я у себя не доглядел Я стараюсь следить за "ё" но сказать что проверил все поселения - не могу. Исправил. Спасибо!

AMDmi3 · 2013-11-23 11:30:18

fserges wrote:

Тут рука у меня дрогнула и не захотел забивать префикс "Городское поселение Город " как валидный. Вроде бы и корректное название, но его длина смущает, хотя и не является избыточной как "муниципальное образование город Курган". Конкретно в данном случае проблема решается добавление одной строчки в функцию нормализации имени. Если скажете что это нормальное написание, добавлю эту строчку сегодня.

Я думаю это единственное правильное написание (только регистр всей статусной части должен быть нижний):
- без сокращений
- настоящее название
- отличается от "XXX" и "город XXX" чтобы в адресах не было "город XXX - город XXX - улица YYY"
- на карте вроде как не рисуется, так что в этом плане проблем не сулит (хотя если рисутеся, опять таки будет понятно к чему относится, а не второй "город XXX" где-то в чистом поле

только не понял зачем тут что-то добавлять, когда это название по идее должно появиться автоматически из ожидаемых названия и статусной части. Если добавлять, то очевидно что понадобятся также "городское поселение посёлок" и т.д.

Nikolya · 2013-11-23 12:19:14

fserges wrote:

Поскольку обсуждение не закончилось (меня не переубедили, я не переубедил) то пока остаётся так.

грош цена такому валидатору, под который нужно еще убеждать автора в правильности данных

fserges · 2013-11-23 12:46:41

AMDmi3 wrote:

fserges wrote:
Тут рука у меня дрогнула и не захотел забивать префикс "Городское поселение Город " как валидный. Вроде бы и корректное название, но его длина смущает, хотя и не является избыточной как "муниципальное образование город Курган". Конкретно в данном случае проблема решается добавление одной строчки в функцию нормализации имени. Если скажете что это нормальное написание, добавлю эту строчку сегодня.
Я думаю это единственное правильное написание (только регистр всей статусной части должен быть нижний):
- без сокращений
- настоящее название
- отличается от "XXX" и "город XXX" чтобы в адресах не было "город XXX - город XXX - улица YYY"
- на карте вроде как не рисуется, так что в этом плане проблем не сулит (хотя если рисутеся, опять таки будет понятно к чему относится, а не второй "город XXX" где-то в чистом поле.

ОК, поправил. За регистром я пока смотреть не буду, пока основную структуру довести бы.

Кстати, а не ли возможности прогнать что-то вроде причёсывалки названий улиц на названия муниципальных образований (хотя бы привести регистр к единому виду) и по official_status (там вообще зоопарк). Такой бот не разрушает никаких данных но стандартизирует данные для последующей автоматической обработки.

fserges · 2013-11-23 12:51:47

Nikolya wrote:

fserges wrote:
Поскольку обсуждение не закончилось (меня не переубедили, я не переубедил) то пока остаётся так.
грош цена такому валидатору, под который нужно еще убеждать автора в правильности данных

Не очень понятна мысль, если честно. Валидатор находится в состоянии беты и далёк от идеала, все вопросы сразу не решаются а решаются в соответствии с внутреними приоритетами. Дойдут руки и до Краснодарского края. Решений которые устраивают всех не бывает (вот Zkir не любит "ё" и всё тут), поэтому будут те или иные компромиссы. Сейчас я в эти дебри даже лезть не хочу.

fserges · 2013-11-23 12:55:16

В общем на выходных буду проводить большой рефакторинг кода, поэтому вероятность того что валидатор обновится завтра невелика - слишком много где будут переделки, а бегущий в фоне валидатор хорошо подтормаживает комп. Поэтому вероятнее всего следующее обновление будет в понедельник вечером. Но там уже будет много улучшений, как минимум - всё будет работать быстрее

lenux · 2013-11-24 05:31:49

Значок ссылки на википедию можно уменьшить раза в четыре : )

freeExec · 2013-11-24 08:27:09

lenux wrote:

Значок ссылки на википедию можно уменьшить раза в четыре : )

Да и ещё добавить favicon.ico а то трудно найти нужную закладку.

#51 2013-11-22 16:18:23

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#52 2013-11-22 16:22:26

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#53 2013-11-22 16:35:12

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#54 2013-11-22 16:40:33

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#55 2013-11-22 16:49:45

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#56 2013-11-22 17:13:37

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#57 2013-11-22 17:47:59

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#58 2013-11-22 18:18:13

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#59 2013-11-22 19:50:20

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#60 2013-11-22 19:55:52

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#61 2013-11-22 20:40:47

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#62 2013-11-22 21:29:41

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#63 2013-11-22 21:46:39

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#64 2013-11-23 04:52:09

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#65 2013-11-23 05:55:29

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#66 2013-11-23 08:35:05

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#67 2013-11-23 08:39:10

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#68 2013-11-23 08:43:04

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#69 2013-11-23 11:30:18

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#70 2013-11-23 12:19:14

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#71 2013-11-23 12:46:41

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#72 2013-11-23 12:51:47

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#73 2013-11-23 12:55:16

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#74 2013-11-24 05:31:49

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

#75 2013-11-24 08:27:09

Re: Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

Board footer