OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2011-10-10 08:41:23

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,432
Website

Нормализация данных по областям

6 октября Котяра начал нормализацию данных по областям. Он не составил описания процесса, что и на что меняется, поэтому предлагаю местным самим оценить полезность этих ченджсетов:

Мурманская область
Дагестан
Чувашия
Челябинская область
Чечня
Бурятия
Брянская область
Белгородская область
Башкирия
Амурская область
Алтайский край
Алтай
Адыгея
Ярославская область
Архангельская область

По некоторым областям несколько ченджсетов, я дал ссылку на один из.

Miroff: «Komzpa, зачем place_name на name заменил?»
Komzpa: «а ещё я, такой плохой, снёс кладр-названия-суффиксы, проставил name:ru, снёс кладрокоды со зданий, убрал "р." из рек, посносил name=гаражи c landuse=gareges и ещё примерно сотня других вещей»
Komzpa: «ах да, адреса. разброс схем от is_in:city до name=addr:housenumber тоже нормализуется.»

Лично я пока против только замены place_name на name, но подробно ченджсеты ещё не изучал.


ШТОСМ | josm.ru | обо мне | taste is just another name for misogyny

Offline

#2 2011-10-10 08:48:35

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,311
Website

Re: Нормализация данных по областям

Да, в планах пройтись по всем регионам.

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Правятся в основном очевиднын ошибки потлач-новичков, типа labduse=garages building=yes для описания одного гаража, и тому подобное.

Place_name действительно меняется на name. Я в курсе, что в мапнике это рендерится некрасиво, разъяснительная работа с мейнтейнерами стиля мапника уже ведётся. Других причин сохранять place_name мне не было названо.

Если есть другие замечания или предложения, что можно исправить - велкам.


world processing is what we do.
[OSMF BY Team] [http://latlon.org/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#3 2011-10-10 08:54:51

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,432
Website

Re: Нормализация данных по областям

Komяpa wrote:

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Можно ссылку на хотя бы одно упоминание этих исходников в IRC, в контексте осм-бота? Я не нашёл.

и тому подобное.

Даже сложный xybot имеет подробное описание. Если собираешься натравить бота на чужие области — не поленить написать человекопонятное описание всех замен, которые он делает. Это уж всяко проще, чем программировать.


ШТОСМ | josm.ru | обо мне | taste is just another name for misogyny

Offline

#4 2011-10-10 09:27:05

VikDD
Member
From: RU, Moscow-Yaroslavl
Registered: 2010-04-21
Posts: 1,867

Re: Нормализация данных по областям

Замена слегка деструктивная...
Перешёл по первой же ссылке на вей из чейнджсета Ярославской области.
Номер дома помещён в name=*, что есть не гуд.
Да и не надо менять place_name на name, если угодно, просто добавьте name=*, но place_name трогать не надо.
Да и вообще у 7 из 12 домов в этом районе произошла такая неправильная замена.

Last edited by VikDD (2011-10-10 09:29:43)

Offline

#5 2011-10-10 10:27:09

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,948

Re: Нормализация данных по областям

place_name трогать надо, но, наверное, лучше в два этапа. Сначала добавить name, перенастроить рендеры, поубивать place_name.

Offline

#6 2011-10-10 10:55:07

AlRight
Member
From: Perm, Russia
Registered: 2009-09-24
Posts: 857

Re: Нормализация данных по областям

ладно, помониторим, чё. Глюки починим, при необходимости

Offline

#7 2011-10-10 12:11:32

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Нормализация данных по областям

Komяpa wrote:

Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.

Честно говоря цензурных слов нет. Совсем. Теперь все должны освоить Питон для понимания кто и что массово правит в осме? Котяра, мне кажется ты конкретно неправ. Вроде 100500 раз обсуждалось, что массовые правки хорошо бы согласовывать с сообществом.

2 модераторы - тему нужно от оффтопа отклеить, очевидно что она не оффтоп ниразу.

Offline

#8 2011-10-10 12:31:56

Max Vasilev
Member
Registered: 2009-06-16
Posts: 1,025
Website

Re: Нормализация данных по областям

place_name надо сносить без вариантов, тега такого нет и быть не должно, проблема рендеров - это проблема рендеров. А вот перенос номера дома в name - это грубейшая ошибка, ломающая все схемы адресного поиска.

Last edited by Max Vasilev (2011-10-10 12:32:18)

Offline

#9 2011-10-10 12:37:01

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Нормализация данных по областям

2 Max Vasilev:
Безотносительно к правкам Котяры вопрос: такого тэга нет где? В осме появился фиксированный список тэгов? Можно ссылочку?

Offline

#10 2011-10-10 12:44:58

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Нормализация данных по областям

http://www.openstreetmap.org/browse/way … 73/history
Почему-то снят source=bing. created_by вроде как тоже рекомендуют удалять только косвенно, когда правится сам объект.


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#11 2011-10-10 13:43:01

MatWay
Member
From: Yaroslavl
Registered: 2009-11-19
Posts: 54

Re: Нормализация данных по областям

VikDD wrote:

Номер дома помещён в name=*, что есть не гуд.

там до этого было

addr:housenumber = 8/24
addr:street = Заводская улица
building = yes
name = 8/24

т.е. не перенос, а вынос не того тега.

Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.

Offline

#12 2011-10-10 13:45:57

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,948

Re: Нормализация данных по областям

Ezhick wrote:

В осме появился фиксированный список тэгов?

В осме появился принцип «не рисуем под рендер». Причём очень давно.

Offline

#13 2011-10-10 13:48:34

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,432
Website

Re: Нормализация данных по областям

MatWay wrote:

Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.

В IRC об этом тоже не предупреждали. Неплохо было бы хоть где-нибудь написать заранее.


ШТОСМ | josm.ru | обо мне | taste is just another name for misogyny

Offline

#14 2011-10-10 14:10:46

VikDD
Member
From: RU, Moscow-Yaroslavl
Registered: 2010-04-21
Posts: 1,867

Re: Нормализация данных по областям

MatWay wrote:

т.е. не перенос, а вынос не того тега.

А, сори, что-то не усмотрел... невнимательный стал. Но тег-то всё равно не лишним был.

Offline

#15 2011-10-10 15:18:38

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,311
Website

Re: Нормализация данных по областям

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Про created_by и source: было замечено просто огромнейшее число нодов только с ними, в основном - в составе импортированных русел рек. При том, что русла после этого уже перемещались, а теги на них всё равно оставались, хоть и были продублированы на самом вее. Добавил проверку на то, что объект - узел. Если на объекте есть какие-то ещё теги, кроме, собственно, source=, то он остаётся.


world processing is what we do.
[OSMF BY Team] [http://latlon.org/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#16 2011-10-10 15:33:08

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Komяpa wrote:

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Это неправильно - есть номера типа "вл11" или просто "А". Я как-то делал то же самое (удалял name и housename совпадающие с housenumber) - перед этим, просмотре список замен, я не нашёл ни одного случая, где надо было сделать наоборот. Думаю, достаточно безопасно удалять name, но для спокойствия можно грепнуть на что-то имяобразное типа \w{4,} хотя думаю таких не будет.

А вообще, давайте договоримся - никаких массовых изменений/заливок без предварительной темы на форуме. Это не только неуважение к сообществу - это упущенная возможность найти ошибки типа упомянутых до заливки и плохой пример в целом.

Last edited by AMDmi3 (2011-10-10 15:34:52)

Offline

#17 2011-10-10 15:43:10

tefal
Member
From: Новозыбков (RU-BRY)
Registered: 2011-07-29
Posts: 140
Website

Re: Нормализация данных по областям

Если place_name меняется на name, тогда почему исчезли все name?

Offline

#18 2011-10-10 16:00:28

dedNikifor
Member
From: Свердловская обл.
Registered: 2009-09-11
Posts: 3,414

Re: Нормализация данных по областям

я ЗА нормализацию

но ПРОТИВ того, как это начал делать Котяра


может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"


Графическая (в виде карты с точками опасных объектов) база спидкамов для разных навигационных программ. Подложка OSM присутствует

Offline

#19 2011-10-10 16:29:51

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Нормализация данных по областям

  if tags.get("entrance") == "yes":
    tags["building"] = "entrance"
    del tags["entrance"]

WTF?


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#20 2011-10-10 18:50:43

dkiselev
Member
Registered: 2010-02-09
Posts: 3,361

Re: Нормализация данных по областям

Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.

(он - это вход конечно)

Last edited by dkiselev (2011-10-10 18:51:18)


mail: dkiselev@osm.me      skype: dmitry.v.kiselev
Open Street Maps are supreme! Exterminate all map forms! Exterminate! Exterminate!

Offline

#21 2011-10-10 19:14:14

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Нормализация данных по областям

dkiselev wrote:

Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.

Ну на building=entrance вообще никакого пропосала не было насколько я знаю. Да и недостатки такого обозначения очевидны. Даже если бы и был пропосал, то все равно менять одно на другое таким способом как-то по хамски что-ли. Поясню, я обозначал не очень много подъездов, но те что обозначал последнее время специально обозначал entrance=yes, т.к. считаю такой вариант более правильным, а теперь приходит Котяра и конвертирует скриптом.


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#22 2011-10-10 19:21:51

fndoder
Member
Registered: 2011-07-17
Posts: 247

Re: Нормализация данных по областям

Список name, которые нужно удалять, конечно, далеко неполный.
Вот ещё несколько случаев, массово встречающихся в RU-ME.
landuse: farmland
name: пашня

landuse: farmyard
name: ферма

name: лес
natural: wood

landuse: allotments
name: частные участки

landuse: industrial
name: школьная территория

Удаление у дорог name вида Населённый пункт 1 - Населённый пункт 2 (Астрахань - Волгоград, например) присутствует? Если нет, стоит добавить, а то это так же мешает.

Last edited by fndoder (2011-10-10 19:41:19)

Offline

#23 2011-10-10 21:01:27

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

dedNikifor wrote:

я ЗА нормализацию
но ПРОТИВ того, как это начал делать Котяра
может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"

+1, я думал, стоит это предлагать или нет. Хорошо бы откатить, чтобы в следующий раз перед заливкой люди думали, а изменения проверялись. Тем более что находится всё больше и больше проблем.

Aleksandr Dezhin wrote:
  if tags.get("entrance") == "yes":
    tags["building"] = "entrance"
    del tags["entrance"]

WTF?

Для точек однозначно должно быть наоборот.

Offline

#24 2011-10-10 21:05:15

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,432
Website

Re: Нормализация данных по областям

building=entrance — 153 тысячи точек
entrance=yes — 4 тысячи точек
я за первый вариант
но против автоматического преобразования в любую сторону.


ШТОСМ | josm.ru | обо мне | taste is just another name for misogyny

Offline

#25 2011-10-10 22:35:23

dedNikifor
Member
From: Свердловская обл.
Registered: 2009-09-11
Posts: 3,414

Re: Нормализация данных по областям

/// entrance=yes — 4 тысячи точек

enrtance=main\public\fire_exit\private\etc
не так давно его предложили, поэтому еще мало отмечено и переделано


/// против автоматического преобразования в любую сторону.

+500



вообще, не ожидал такого от Котяры hmm





upd:

// Хорошо бы откатить

кто возьмется?

Last edited by dedNikifor (2011-10-10 22:36:09)


Графическая (в виде карты с точками опасных объектов) база спидкамов для разных навигационных программ. Подложка OSM присутствует

Offline

Board footer

Powered by FluxBB