Нормализация данных по областям

Zverik · 2011-10-10 08:41:23

6 октября Котяра начал нормализацию данных по областям. Он не составил описания процесса, что и на что меняется, поэтому предлагаю местным самим оценить полезность этих ченджсетов:

Мурманская область
Дагестан
Чувашия
Челябинская область
Чечня
Бурятия
Брянская область
Белгородская область
Башкирия
Амурская область
Алтайский край
Алтай
Адыгея
Ярославская область
Архангельская область

По некоторым областям несколько ченджсетов, я дал ссылку на один из.

Miroff: «Komzpa, зачем place_name на name заменил?»
Komzpa: «а ещё я, такой плохой, снёс кладр-названия-суффиксы, проставил name:ru, снёс кладрокоды со зданий, убрал "р." из рек, посносил name=гаражи c landuse=gareges и ещё примерно сотня других вещей»
Komzpa: «ах да, адреса. разброс схем от is_in:city до name=addr:housenumber тоже нормализуется.»

Лично я пока против только замены place_name на name, но подробно ченджсеты ещё не изучал.

Komяpa · 2011-10-10 08:48:35

Да, в планах пройтись по всем регионам.

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Правятся в основном очевиднын ошибки потлач-новичков, типа labduse=garages building=yes для описания одного гаража, и тому подобное.

Place_name действительно меняется на name. Я в курсе, что в мапнике это рендерится некрасиво, разъяснительная работа с мейнтейнерами стиля мапника уже ведётся. Других причин сохранять place_name мне не было названо.

Если есть другие замечания или предложения, что можно исправить - велкам.

Zverik · 2011-10-10 08:54:51

Komяpa wrote:

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Можно ссылку на хотя бы одно упоминание этих исходников в IRC, в контексте осм-бота? Я не нашёл.

и тому подобное.

Даже сложный xybot имеет подробное описание. Если собираешься натравить бота на чужие области — не поленить написать человекопонятное описание всех замен, которые он делает. Это уж всяко проще, чем программировать.

VikDD · 2011-10-10 09:27:05

Замена слегка деструктивная...
Перешёл по первой же ссылке на вей из чейнджсета Ярославской области.
Номер дома помещён в name=*, что есть не гуд.
Да и не надо менять place_name на name, если угодно, просто добавьте name=*, но place_name трогать не надо.
Да и вообще у 7 из 12 домов в этом районе произошла такая неправильная замена.

Last edited by VikDD (2011-10-10 09:29:43)

Hind · 2011-10-10 10:27:09

place_name трогать надо, но, наверное, лучше в два этапа. Сначала добавить name, перенастроить рендеры, поубивать place_name.

AlRight · 2011-10-10 10:55:07

ладно, помониторим, чё. Глюки починим, при необходимости

Ezhick · 2011-10-10 12:11:32

Komяpa wrote:

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Честно говоря цензурных слов нет. Совсем. Теперь все должны освоить Питон для понимания кто и что массово правит в осме? Котяра, мне кажется ты конкретно неправ. Вроде 100500 раз обсуждалось, что массовые правки хорошо бы согласовывать с сообществом.

2 модераторы - тему нужно от оффтопа отклеить, очевидно что она не оффтоп ниразу.

Max Vasilev · 2011-10-10 12:31:56

place_name надо сносить без вариантов, тега такого нет и быть не должно, проблема рендеров - это проблема рендеров. А вот перенос номера дома в name - это грубейшая ошибка, ломающая все схемы адресного поиска.

Last edited by Max Vasilev (2011-10-10 12:32:18)

Ezhick · 2011-10-10 12:37:01

2 Max Vasilev:
Безотносительно к правкам Котяры вопрос: такого тэга нет где? В осме появился фиксированный список тэгов? Можно ссылочку?

Aleksandr Dezhin · 2011-10-10 12:44:58

http://www.openstreetmap.org/browse/way … 73/history
Почему-то снят source=bing. created_by вроде как тоже рекомендуют удалять только косвенно, когда правится сам объект.

MatWay · 2011-10-10 13:43:01

VikDD wrote:

Номер дома помещён в name=*, что есть не гуд.

там до этого было

addr:housenumber = 8/24
addr:street = Заводская улица
building = yes
name = 8/24

т.е. не перенос, а вынос не того тега.

Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.

Hind · 2011-10-10 13:45:57

Ezhick wrote:

В осме появился фиксированный список тэгов?

В осме появился принцип «не рисуем под рендер». Причём очень давно.

Zverik · 2011-10-10 13:48:34

MatWay wrote:

Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.

В IRC об этом тоже не предупреждали. Неплохо было бы хоть где-нибудь написать заранее.

VikDD · 2011-10-10 14:10:46

MatWay wrote:

т.е. не перенос, а вынос не того тега.

А, сори, что-то не усмотрел... невнимательный стал. Но тег-то всё равно не лишним был.

Komяpa · 2011-10-10 15:18:38

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Про created_by и source: было замечено просто огромнейшее число нодов только с ними, в основном - в составе импортированных русел рек. При том, что русла после этого уже перемещались, а теги на них всё равно оставались, хоть и были продублированы на самом вее. Добавил проверку на то, что объект - узел. Если на объекте есть какие-то ещё теги, кроме, собственно, source=, то он остаётся.

AMDmi3 · 2011-10-10 15:33:08

Komяpa wrote:

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Это неправильно - есть номера типа "вл11" или просто "А". Я как-то делал то же самое (удалял name и housename совпадающие с housenumber) - перед этим, просмотре список замен, я не нашёл ни одного случая, где надо было сделать наоборот. Думаю, достаточно безопасно удалять name, но для спокойствия можно грепнуть на что-то имяобразное типа \w{4,} хотя думаю таких не будет.

А вообще, давайте договоримся - никаких массовых изменений/заливок без предварительной темы на форуме. Это не только неуважение к сообществу - это упущенная возможность найти ошибки типа упомянутых до заливки и плохой пример в целом.

Last edited by AMDmi3 (2011-10-10 15:34:52)

tefal · 2011-10-10 15:43:10

Если place_name меняется на name, тогда почему исчезли все name?

dedNikifor · 2011-10-10 16:00:28

я ЗА нормализацию

но ПРОТИВ того, как это начал делать Котяра

может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"

Aleksandr Dezhin · 2011-10-10 16:29:51

  if tags.get("entrance") == "yes":
    tags["building"] = "entrance"
    del tags["entrance"]

WTF?

dkiselev · 2011-10-10 18:50:43

Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.

(он - это вход конечно)

Last edited by dkiselev (2011-10-10 18:51:18)

Aleksandr Dezhin · 2011-10-10 19:14:14

dkiselev wrote:

Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.

Ну на building=entrance вообще никакого пропосала не было насколько я знаю. Да и недостатки такого обозначения очевидны. Даже если бы и был пропосал, то все равно менять одно на другое таким способом как-то по хамски что-ли. Поясню, я обозначал не очень много подъездов, но те что обозначал последнее время специально обозначал entrance=yes, т.к. считаю такой вариант более правильным, а теперь приходит Котяра и конвертирует скриптом.

fndoder · 2011-10-10 19:21:51

Список name, которые нужно удалять, конечно, далеко неполный.
Вот ещё несколько случаев, массово встречающихся в RU-ME.
landuse: farmland
name: пашня

landuse: farmyard
name: ферма

name: лес
natural: wood

landuse: allotments
name: частные участки

landuse: industrial
name: школьная территория

Удаление у дорог name вида Населённый пункт 1 - Населённый пункт 2 (Астрахань - Волгоград, например) присутствует? Если нет, стоит добавить, а то это так же мешает.

Last edited by fndoder (2011-10-10 19:41:19)

AMDmi3 · 2011-10-10 21:01:27

dedNikifor wrote:

я ЗА нормализацию
но ПРОТИВ того, как это начал делать Котяра
может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"

+1, я думал, стоит это предлагать или нет. Хорошо бы откатить, чтобы в следующий раз перед заливкой люди думали, а изменения проверялись. Тем более что находится всё больше и больше проблем.

Aleksandr Dezhin wrote:

  if tags.get("entrance") == "yes":
    tags["building"] = "entrance"
    del tags["entrance"]

WTF?

Для точек однозначно должно быть наоборот.

Zverik · 2011-10-10 21:05:15

building=entrance — 153 тысячи точек
entrance=yes — 4 тысячи точек
я за первый вариант
но против автоматического преобразования в любую сторону.

dedNikifor · 2011-10-10 22:35:23

/// entrance=yes — 4 тысячи точек

enrtance=main\public\fire_exit\private\etc
не так давно его предложили, поэтому еще мало отмечено и переделано

/// против автоматического преобразования в любую сторону.

+500

вообще, не ожидал такого от Котяры

upd:

// Хорошо бы откатить

кто возьмется?

Last edited by dedNikifor (2011-10-10 22:36:09)

#1 2011-10-10 08:41:23

Нормализация данных по областям

#2 2011-10-10 08:48:35

Re: Нормализация данных по областям

#3 2011-10-10 08:54:51

Re: Нормализация данных по областям

#4 2011-10-10 09:27:05

Re: Нормализация данных по областям

#5 2011-10-10 10:27:09

Re: Нормализация данных по областям

#6 2011-10-10 10:55:07

Re: Нормализация данных по областям

#7 2011-10-10 12:11:32

Re: Нормализация данных по областям

#8 2011-10-10 12:31:56

Re: Нормализация данных по областям

#9 2011-10-10 12:37:01

Re: Нормализация данных по областям

#10 2011-10-10 12:44:58

Re: Нормализация данных по областям

#11 2011-10-10 13:43:01

Re: Нормализация данных по областям

#12 2011-10-10 13:45:57

Re: Нормализация данных по областям

#13 2011-10-10 13:48:34

Re: Нормализация данных по областям

#14 2011-10-10 14:10:46

Re: Нормализация данных по областям

#15 2011-10-10 15:18:38

Re: Нормализация данных по областям

#16 2011-10-10 15:33:08

Re: Нормализация данных по областям

#17 2011-10-10 15:43:10

Re: Нормализация данных по областям

#18 2011-10-10 16:00:28

Re: Нормализация данных по областям

#19 2011-10-10 16:29:51

Re: Нормализация данных по областям

#20 2011-10-10 18:50:43

Re: Нормализация данных по областям

#21 2011-10-10 19:14:14

Re: Нормализация данных по областям

#22 2011-10-10 19:21:51

Re: Нормализация данных по областям

#23 2011-10-10 21:01:27

Re: Нормализация данных по областям

#24 2011-10-10 21:05:15

Re: Нормализация данных по областям

#25 2011-10-10 22:35:23

Re: Нормализация данных по областям

Board footer