You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2011-10-10 08:41:23

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Нормализация данных по областям

6 октября Котяра начал нормализацию данных по областям. Он не составил описания процесса, что и на что меняется, поэтому предлагаю местным самим оценить полезность этих ченджсетов:

Мурманская область
Дагестан
Чувашия
Челябинская область
Чечня
Бурятия
Брянская область
Белгородская область
Башкирия
Амурская область
Алтайский край
Алтай
Адыгея
Ярославская область
Архангельская область

По некоторым областям несколько ченджсетов, я дал ссылку на один из.

Miroff: «Komzpa, зачем place_name на name заменил?»
Komzpa: «а ещё я, такой плохой, снёс кладр-названия-суффиксы, проставил name:ru, снёс кладрокоды со зданий, убрал "р." из рек, посносил name=гаражи c landuse=gareges и ещё примерно сотня других вещей»
Komzpa: «ах да, адреса. разброс схем от is_in:city до name=addr:housenumber тоже нормализуется.»

Лично я пока против только замены place_name на name, но подробно ченджсеты ещё не изучал.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#2 2011-10-10 08:48:35

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,323
Website

Re: Нормализация данных по областям

Да, в планах пройтись по всем регионам.

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Правятся в основном очевиднын ошибки потлач-новичков, типа labduse=garages building=yes для описания одного гаража, и тому подобное.

Place_name действительно меняется на name. Я в курсе, что в мапнике это рендерится некрасиво, разъяснительная работа с мейнтейнерами стиля мапника уже ведётся. Других причин сохранять place_name мне не было названо.

Если есть другие замечания или предложения, что можно исправить - велкам.


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#3 2011-10-10 08:54:51

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Нормализация данных по областям

Komяpa wrote:

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Можно ссылку на хотя бы одно упоминание этих исходников в IRC, в контексте осм-бота? Я не нашёл.

и тому подобное.

Даже сложный xybot имеет подробное описание. Если собираешься натравить бота на чужие области — не поленить написать человекопонятное описание всех замен, которые он делает. Это уж всяко проще, чем программировать.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#4 2011-10-10 09:27:05

VikDD
Member
From: RU, Moscow-Yaroslavl
Registered: 2010-04-21
Posts: 1,867

Re: Нормализация данных по областям

Замена слегка деструктивная...
Перешёл по первой же ссылке на вей из чейнджсета Ярославской области.
Номер дома помещён в name=*, что есть не гуд.
Да и не надо менять place_name на name, если угодно, просто добавьте name=*, но place_name трогать не надо.
Да и вообще у 7 из 12 домов в этом районе произошла такая неправильная замена.

Last edited by VikDD (2011-10-10 09:29:43)

Offline

#5 2011-10-10 10:27:09

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,950

Re: Нормализация данных по областям

place_name трогать надо, но, наверное, лучше в два этапа. Сначала добавить name, перенастроить рендеры, поубивать place_name.

Offline

#6 2011-10-10 10:55:07

AlRight
Member
From: Perm, Russia
Registered: 2009-09-24
Posts: 861

Re: Нормализация данных по областям

ладно, помониторим, чё. Глюки починим, при необходимости

Offline

#7 2011-10-10 12:11:32

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Нормализация данных по областям

Komяpa wrote:

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Честно говоря цензурных слов нет. Совсем. Теперь все должны освоить Питон для понимания кто и что массово правит в осме? Котяра, мне кажется ты конкретно неправ. Вроде 100500 раз обсуждалось, что массовые правки хорошо бы согласовывать с сообществом.

2 модераторы - тему нужно от оффтопа отклеить, очевидно что она не оффтоп ниразу.

Offline

#8 2011-10-10 12:31:56

Max Vasilev
Member
Registered: 2009-06-16
Posts: 1,026
Website

Re: Нормализация данных по областям

place_name надо сносить без вариантов, тега такого нет и быть не должно, проблема рендеров - это проблема рендеров. А вот перенос номера дома в name - это грубейшая ошибка, ломающая все схемы адресного поиска.

Last edited by Max Vasilev (2011-10-10 12:32:18)

Offline

#9 2011-10-10 12:37:01

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Нормализация данных по областям

2 Max Vasilev:
Безотносительно к правкам Котяры вопрос: такого тэга нет где? В осме появился фиксированный список тэгов? Можно ссылочку?

Offline

#10 2011-10-10 12:44:58

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Нормализация данных по областям

http://www.openstreetmap.org/browse/way … 73/history
Почему-то снят source=bing. created_by вроде как тоже рекомендуют удалять только косвенно, когда правится сам объект.


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#11 2011-10-10 13:43:01

MatWay
Member
From: Yaroslavl
Registered: 2009-11-19
Posts: 54

Re: Нормализация данных по областям

VikDD wrote:

Номер дома помещён в name=*, что есть не гуд.

там до этого было

addr:housenumber = 8/24
addr:street = Заводская улица
building = yes
name = 8/24

т.е. не перенос, а вынос не того тега.

Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.

Offline

#12 2011-10-10 13:45:57

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,950

Re: Нормализация данных по областям

Ezhick wrote:

В осме появился фиксированный список тэгов?

В осме появился принцип «не рисуем под рендер». Причём очень давно.

Offline

#13 2011-10-10 13:48:34

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Нормализация данных по областям

MatWay wrote:

Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.

В IRC об этом тоже не предупреждали. Неплохо было бы хоть где-нибудь написать заранее.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#14 2011-10-10 14:10:46

VikDD
Member
From: RU, Moscow-Yaroslavl
Registered: 2010-04-21
Posts: 1,867

Re: Нормализация данных по областям

MatWay wrote:

т.е. не перенос, а вынос не того тега.

А, сори, что-то не усмотрел... невнимательный стал. Но тег-то всё равно не лишним был.

Offline

#15 2011-10-10 15:18:38

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,323
Website

Re: Нормализация данных по областям

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Про created_by и source: было замечено просто огромнейшее число нодов только с ними, в основном - в составе импортированных русел рек. При том, что русла после этого уже перемещались, а теги на них всё равно оставались, хоть и были продублированы на самом вее. Добавил проверку на то, что объект - узел. Если на объекте есть какие-то ещё теги, кроме, собственно, source=, то он остаётся.


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#16 2011-10-10 15:33:08

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Komяpa wrote:

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Это неправильно - есть номера типа "вл11" или просто "А". Я как-то делал то же самое (удалял name и housename совпадающие с housenumber) - перед этим, просмотре список замен, я не нашёл ни одного случая, где надо было сделать наоборот. Думаю, достаточно безопасно удалять name, но для спокойствия можно грепнуть на что-то имяобразное типа \w{4,} хотя думаю таких не будет.

А вообще, давайте договоримся - никаких массовых изменений/заливок без предварительной темы на форуме. Это не только неуважение к сообществу - это упущенная возможность найти ошибки типа упомянутых до заливки и плохой пример в целом.

Last edited by AMDmi3 (2011-10-10 15:34:52)

Offline

#17 2011-10-10 15:43:10

tefal
Member
From: Новозыбков (RU-BRY)
Registered: 2011-07-29
Posts: 140
Website

Re: Нормализация данных по областям

Если place_name меняется на name, тогда почему исчезли все name?

Offline

#18 2011-10-10 16:00:28

dedNikifor
Member
From: Белгород
Registered: 2009-09-11
Posts: 3,419

Re: Нормализация данных по областям

я ЗА нормализацию

но ПРОТИВ того, как это начал делать Котяра


может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"

Offline

#19 2011-10-10 16:29:51

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Нормализация данных по областям

  if tags.get("entrance") == "yes":
    tags["building"] = "entrance"
    del tags["entrance"]

WTF?


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#20 2011-10-10 18:50:43

dkiselev
Member
Registered: 2010-02-09
Posts: 3,364

Re: Нормализация данных по областям

Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.

(он - это вход конечно)

Last edited by dkiselev (2011-10-10 18:51:18)


mail: dkiselev@osm.me      skype: dmitry.v.kiselev
Open Street Maps are supreme! Exterminate all map forms! Exterminate! Exterminate!

Offline

#21 2011-10-10 19:14:14

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Нормализация данных по областям

dkiselev wrote:

Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.

Ну на building=entrance вообще никакого пропосала не было насколько я знаю. Да и недостатки такого обозначения очевидны. Даже если бы и был пропосал, то все равно менять одно на другое таким способом как-то по хамски что-ли. Поясню, я обозначал не очень много подъездов, но те что обозначал последнее время специально обозначал entrance=yes, т.к. считаю такой вариант более правильным, а теперь приходит Котяра и конвертирует скриптом.


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#22 2011-10-10 19:21:51

fndoder
Member
Registered: 2011-07-17
Posts: 396

Re: Нормализация данных по областям

Список name, которые нужно удалять, конечно, далеко неполный.
Вот ещё несколько случаев, массово встречающихся в RU-ME.
landuse: farmland
name: пашня

landuse: farmyard
name: ферма

name: лес
natural: wood

landuse: allotments
name: частные участки

landuse: industrial
name: школьная территория

Удаление у дорог name вида Населённый пункт 1 - Населённый пункт 2 (Астрахань - Волгоград, например) присутствует? Если нет, стоит добавить, а то это так же мешает.

Last edited by fndoder (2011-10-10 19:41:19)

Offline

#23 2011-10-10 21:01:27

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

dedNikifor wrote:

я ЗА нормализацию
но ПРОТИВ того, как это начал делать Котяра
может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"

+1, я думал, стоит это предлагать или нет. Хорошо бы откатить, чтобы в следующий раз перед заливкой люди думали, а изменения проверялись. Тем более что находится всё больше и больше проблем.

Aleksandr Dezhin wrote:
  if tags.get("entrance") == "yes":
    tags["building"] = "entrance"
    del tags["entrance"]

WTF?

Для точек однозначно должно быть наоборот.

Offline

#24 2011-10-10 21:05:15

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Нормализация данных по областям

building=entrance — 153 тысячи точек
entrance=yes — 4 тысячи точек
я за первый вариант
но против автоматического преобразования в любую сторону.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#25 2011-10-10 22:35:23

dedNikifor
Member
From: Белгород
Registered: 2009-09-11
Posts: 3,419

Re: Нормализация данных по областям

/// entrance=yes — 4 тысячи точек

enrtance=main\public\fire_exit\private\etc
не так давно его предложили, поэтому еще мало отмечено и переделано


/// против автоматического преобразования в любую сторону.

+500



вообще, не ожидал такого от Котяры hmm





upd:

// Хорошо бы откатить

кто возьмется?

Last edited by dedNikifor (2011-10-10 22:36:09)

Offline

Board footer

Powered by FluxBB