You are not logged in.
- Topics: Active | Unanswered
#1 2011-10-10 08:41:23
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Нормализация данных по областям
6 октября Котяра начал нормализацию данных по областям. Он не составил описания процесса, что и на что меняется, поэтому предлагаю местным самим оценить полезность этих ченджсетов:
Мурманская область
Дагестан
Чувашия
Челябинская область
Чечня
Бурятия
Брянская область
Белгородская область
Башкирия
Амурская область
Алтайский край
Алтай
Адыгея
Ярославская область
Архангельская область
По некоторым областям несколько ченджсетов, я дал ссылку на один из.
Miroff: «Komzpa, зачем place_name на name заменил?»
Komzpa: «а ещё я, такой плохой, снёс кладр-названия-суффиксы, проставил name:ru, снёс кладрокоды со зданий, убрал "р." из рек, посносил name=гаражи c landuse=gareges и ещё примерно сотня других вещей»
Komzpa: «ах да, адреса. разброс схем от is_in:city до name=addr:housenumber тоже нормализуется.»
Лично я пока против только замены place_name на name, но подробно ченджсеты ещё не изучал.
Offline
#2 2011-10-10 08:48:35
- Komяpa
- Member
- From: Minsk
- Registered: 2009-04-14
- Posts: 1,322
- Website
Re: Нормализация данных по областям
Да, в планах пройтись по всем регионам.
Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.
Правятся в основном очевиднын ошибки потлач-новичков, типа labduse=garages building=yes для описания одного гаража, и тому подобное.
Place_name действительно меняется на name. Я в курсе, что в мапнике это рендерится некрасиво, разъяснительная работа с мейнтейнерами стиля мапника уже ведётся. Других причин сохранять place_name мне не было названо.
Если есть другие замечания или предложения, что можно исправить - велкам.
world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]
Offline
#3 2011-10-10 08:54:51
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Re: Нормализация данных по областям
Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.
Можно ссылку на хотя бы одно упоминание этих исходников в IRC, в контексте осм-бота? Я не нашёл.
и тому подобное.
Даже сложный xybot имеет подробное описание. Если собираешься натравить бота на чужие области — не поленить написать человекопонятное описание всех замен, которые он делает. Это уж всяко проще, чем программировать.
Offline
#4 2011-10-10 09:27:05
- VikDD
- Member
- From: RU, Moscow-Yaroslavl
- Registered: 2010-04-21
- Posts: 1,867
Re: Нормализация данных по областям
Замена слегка деструктивная...
Перешёл по первой же ссылке на вей из чейнджсета Ярославской области.
Номер дома помещён в name=*, что есть не гуд.
Да и не надо менять place_name на name, если угодно, просто добавьте name=*, но place_name трогать не надо.
Да и вообще у 7 из 12 домов в этом районе произошла такая неправильная замена.
Last edited by VikDD (2011-10-10 09:29:43)
Offline
#5 2011-10-10 10:27:09
- Hind
- Member
- From: Moscow
- Registered: 2009-05-25
- Posts: 3,950
Re: Нормализация данных по областям
place_name трогать надо, но, наверное, лучше в два этапа. Сначала добавить name, перенастроить рендеры, поубивать place_name.
Offline
#6 2011-10-10 10:55:07
- AlRight
- Member
- From: Perm, Russia
- Registered: 2009-09-24
- Posts: 861
Re: Нормализация данных по областям
ладно, помониторим, чё. Глюки починим, при необходимости
Offline
#7 2011-10-10 12:11:32
- Ezhick
- Member
- From: Moscow
- Registered: 2008-10-08
- Posts: 2,508
- Website
Re: Нормализация данных по областям
Исходники лежат в открытом виде по адресу https://github.com/Komzpa/fuzzy-osm - об этом неоднократно упоминалось в IRC.
Честно говоря цензурных слов нет. Совсем. Теперь все должны освоить Питон для понимания кто и что массово правит в осме? Котяра, мне кажется ты конкретно неправ. Вроде 100500 раз обсуждалось, что массовые правки хорошо бы согласовывать с сообществом.
2 модераторы - тему нужно от оффтопа отклеить, очевидно что она не оффтоп ниразу.
Offline
#8 2011-10-10 12:31:56
- Max Vasilev
- Member
- Registered: 2009-06-16
- Posts: 1,026
- Website
Re: Нормализация данных по областям
place_name надо сносить без вариантов, тега такого нет и быть не должно, проблема рендеров - это проблема рендеров. А вот перенос номера дома в name - это грубейшая ошибка, ломающая все схемы адресного поиска.
Last edited by Max Vasilev (2011-10-10 12:32:18)
Offline
#9 2011-10-10 12:37:01
- Ezhick
- Member
- From: Moscow
- Registered: 2008-10-08
- Posts: 2,508
- Website
Re: Нормализация данных по областям
2 Max Vasilev:
Безотносительно к правкам Котяры вопрос: такого тэга нет где? В осме появился фиксированный список тэгов? Можно ссылочку?
Offline
#10 2011-10-10 12:44:58
- Aleksandr Dezhin
- Member
- From: Msk
- Registered: 2008-05-25
- Posts: 2,109
- Website
Re: Нормализация данных по областям
http://www.openstreetmap.org/browse/way … 73/history
Почему-то снят source=bing. created_by вроде как тоже рекомендуют удалять только косвенно, когда правится сам объект.
[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода
Offline
#11 2011-10-10 13:43:01
- MatWay
- Member
- From: Yaroslavl
- Registered: 2009-11-19
- Posts: 54
Re: Нормализация данных по областям
Номер дома помещён в name=*, что есть не гуд.
там до этого было
addr:housenumber = 8/24
addr:street = Заводская улица
building = yes
name = 8/24
т.е. не перенос, а вынос не того тега.
Но в форуме неплохо было бы загодя отписаться, в IRC не все регулярно бывают.
Offline
#12 2011-10-10 13:45:57
- Hind
- Member
- From: Moscow
- Registered: 2009-05-25
- Posts: 3,950
Re: Нормализация данных по областям
В осме появился фиксированный список тэгов?
В осме появился принцип «не рисуем под рендер». Причём очень давно.
Offline
#13 2011-10-10 13:48:34
- Zverik
- Moderator
- From: Минск
- Registered: 2010-10-14
- Posts: 5,693
- Website
Offline
#14 2011-10-10 14:10:46
- VikDD
- Member
- From: RU, Moscow-Yaroslavl
- Registered: 2010-04-21
- Posts: 1,867
Re: Нормализация данных по областям
т.е. не перенос, а вынос не того тега.
А, сори, что-то не усмотрел... невнимательный стал. Но тег-то всё равно не лишним был.
Offline
#15 2011-10-10 15:18:38
- Komяpa
- Member
- From: Minsk
- Registered: 2009-04-14
- Posts: 1,322
- Website
Re: Нормализация данных по областям
Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.
Про created_by и source: было замечено просто огромнейшее число нодов только с ними, в основном - в составе импортированных русел рек. При том, что русла после этого уже перемещались, а теги на них всё равно оставались, хоть и были продублированы на самом вее. Добавил проверку на то, что объект - узел. Если на объекте есть какие-то ещё теги, кроме, собственно, source=, то он остаётся.
world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]
Offline
#16 2011-10-10 15:33:08
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: Нормализация данных по областям
Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.
Это неправильно - есть номера типа "вл11" или просто "А". Я как-то делал то же самое (удалял name и housename совпадающие с housenumber) - перед этим, просмотре список замен, я не нашёл ни одного случая, где надо было сделать наоборот. Думаю, достаточно безопасно удалять name, но для спокойствия можно грепнуть на что-то имяобразное типа \w{4,} хотя думаю таких не будет.
А вообще, давайте договоримся - никаких массовых изменений/заливок без предварительной темы на форуме. Это не только неуважение к сообществу - это упущенная возможность найти ошибки типа упомянутых до заливки и плохой пример в целом.
Last edited by AMDmi3 (2011-10-10 15:34:52)
Offline
#18 2011-10-10 16:00:28
- dedNikifor
- Member
- From: Белгород
- Registered: 2009-09-11
- Posts: 3,419
Re: Нормализация данных по областям
я ЗА нормализацию
но ПРОТИВ того, как это начал делать Котяра
может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"
Offline
#19 2011-10-10 16:29:51
- Aleksandr Dezhin
- Member
- From: Msk
- Registered: 2008-05-25
- Posts: 2,109
- Website
Re: Нормализация данных по областям
if tags.get("entrance") == "yes":
tags["building"] = "entrance"
del tags["entrance"]
WTF?
[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода
Offline
#20 2011-10-10 18:50:43
- dkiselev
- Member
- Registered: 2010-02-09
- Posts: 3,364
Re: Нормализация данных по областям
Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.
(он - это вход конечно)
Last edited by dkiselev (2011-10-10 18:51:18)
mail: dkiselev@osm.me skype: dmitry.v.kiselev
Open Street Maps are supreme! Exterminate all map forms! Exterminate! Exterminate!
Offline
#21 2011-10-10 19:14:14
- Aleksandr Dezhin
- Member
- From: Msk
- Registered: 2008-05-25
- Posts: 2,109
- Website
Re: Нормализация данных по областям
Ну вроде по вики он building=entrance а не entrance=yes
по entrance=* вроде был пропозал но для мапинга запасных, главных, служебных и т.п. входов. Но вроде не принят еще.
Ну на building=entrance вообще никакого пропосала не было насколько я знаю. Да и недостатки такого обозначения очевидны. Даже если бы и был пропосал, то все равно менять одно на другое таким способом как-то по хамски что-ли. Поясню, я обозначал не очень много подъездов, но те что обозначал последнее время специально обозначал entrance=yes, т.к. считаю такой вариант более правильным, а теперь приходит Котяра и конвертирует скриптом.
[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода
Offline
#22 2011-10-10 19:21:51
- fndoder
- Member
- Registered: 2011-07-17
- Posts: 366
Re: Нормализация данных по областям
Список name, которые нужно удалять, конечно, далеко неполный.
Вот ещё несколько случаев, массово встречающихся в RU-ME.
landuse: farmland
name: пашня
landuse: farmyard
name: ферма
name: лес
natural: wood
landuse: allotments
name: частные участки
landuse: industrial
name: школьная территория
Удаление у дорог name вида Населённый пункт 1 - Населённый пункт 2 (Астрахань - Волгоград, например) присутствует? Если нет, стоит добавить, а то это так же мешает.
Last edited by fndoder (2011-10-10 19:41:19)
Offline
#23 2011-10-10 21:01:27
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: Нормализация данных по областям
я ЗА нормализацию
но ПРОТИВ того, как это начал делать Котяра
может это и глупо, но предлагаю откатить эти ченджсеты и начать "с чистого листа"
+1, я думал, стоит это предлагать или нет. Хорошо бы откатить, чтобы в следующий раз перед заливкой люди думали, а изменения проверялись. Тем более что находится всё больше и больше проблем.
if tags.get("entrance") == "yes": tags["building"] = "entrance" del tags["entrance"]
WTF?
Для точек однозначно должно быть наоборот.
Offline
#25 2011-10-10 22:35:23
- dedNikifor
- Member
- From: Белгород
- Registered: 2009-09-11
- Posts: 3,419
Re: Нормализация данных по областям
/// entrance=yes — 4 тысячи точек
enrtance=main\public\fire_exit\private\etc
не так давно его предложили, поэтому еще мало отмечено и переделано
/// против автоматического преобразования в любую сторону.
+500
вообще, не ожидал такого от Котяры
upd:
// Хорошо бы откатить
кто возьмется?
Last edited by dedNikifor (2011-10-10 22:36:09)
Offline