You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#26 2011-10-10 23:51:47

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Zverik wrote:

building=entrance — 153 тысячи точек
entrance=yes — 4 тысячи точек

На самом деле сравнивать надо с entrance=*

Zverik wrote:

я за первый вариант

Эти тэги вообще не взаимозаменяемы, ибо первое - устаревший метод обозначения входа, а по-хорошему должен обозначать подъезд http://osm.org/go/0t21OPznF-- , а второе - конкретно и однозначно вход.

dedNikifor wrote:

кто возьмется?

Может автор и откатит?

Last edited by AMDmi3 (2011-10-10 23:53:14)

Offline

#27 2011-10-11 04:27:28

metadenisik
Member
From: Stroitel, Izhevsk, Udmurtia
Registered: 2010-08-16
Posts: 346

Re: Нормализация данных по областям

Пожалуйста, не ломайте теги entrance: в них содержится порой достаточно полезная информация о том, какой вход основной, какой пожарный, а какой служебный. Пример.


На высоте 5000 метров

Offline

#28 2011-10-11 10:09:00

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,323
Website

Re: Нормализация данных по областям

Если кто-то очень любит откаты и считает, что откат тут просто необходим - пусть откатывает; заодно оценит количество явной лажи как нормализатора, так и собственно базы.

Исходники нормализатора продолжают лежать в том же месте, желающие навести порядок в своей области могут воспользоваться.


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#29 2011-10-11 10:29:07

tefal
Member
From: Новозыбков (RU-BRY)
Registered: 2011-07-29
Posts: 140
Website

Re: Нормализация данных по областям

Любит-не любит... При чем тут это? Вещь хорошая, но спросить стоило бы. А то бах-бах и name даже пропали

Offline

#30 2011-10-11 10:38:54

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Нормализация данных по областям

Komяpa wrote:

Если кто-то очень любит откаты и считает, что откат тут просто необходим - пусть откатывает; заодно оценит количество явной лажи как нормализатора, так и собственно базы.

Исходники нормализатора продолжают лежать в том же месте, желающие навести порядок в своей области могут воспользоваться.

Вот только детских обид тут не хватало... Ну да, найти в себе мужество признаться в том, что облажался, это непросто.

Offline

#31 2011-10-11 22:56:44

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Komяpa wrote:

Если кто-то очень любит откаты и считает, что откат тут просто необходим - пусть откатывает

Ты сам-то как считаешь? Что десять тысяч удалённых source перевешивает сотню добавленных реальных ошибок, или просто "и так сойдёт"?

Last edited by AMDmi3 (2011-10-11 23:23:12)

Offline

#32 2011-10-12 00:04:59

Sadless74
Member
Registered: 2010-10-16
Posts: 286

Re: Нормализация данных по областям

Заметил в одном месте обозначал ооочень  ужасную грунтовку http://www.openstreetmap.org/browse/way … 32/history  track, а после Котяры стало просто road... то есть моё определение дороги не понравилось скрипту? мне не понятно почему так получилось и кажется мне это не в одном месте... тоесть туча вполне определенных траков стало роад и теперь снова нужно их найти и менять на трак? не верю что люди по второму кругу пойдут определятся... хотя прикольно, раз в год скидывать всю классификацию дорог и пусть ее заново делают... вдруг где чего поменялость smile

приношу свои извинения sad

Last edited by Sadless74 (2011-10-12 20:07:30)

Offline

#33 2011-10-12 01:52:44

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Я посмотрю на неделе что там наворочено и откачу явную хрень.

Offline

#34 2011-10-12 04:31:22

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Нормализация данных по областям

Откат необходим как минимум чтобы  вот это правильно бы отработало

Komяpa wrote:

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Offline

#35 2011-10-12 04:52:45

Ilis
Member
From: Екатеринбург
Registered: 2009-05-24
Posts: 5,970

Re: Нормализация данных по областям

Sadless74 wrote:

Заметил в одном месте обозначал ооочень  ужасную грунтовку http://www.openstreetmap.org/browse/way … 32/history  track, а после Котяры стало просто road... то есть моё определение дороги не понравилось скрипту?
мне не понятно почему так получилось и кажется мне это не в одном месте... тоесть туча вполне определенных траков стало роад
и теперь снова нужно их найти и менять на трак?
не верю что люди по второму кругу пойдут определятся...

хотя прикольно, раз в год скидывать всю классификацию дорог и пусть ее заново делают... вдруг где чего поменялость smile

Сам же исправил в 15-й версии объекта, а на Котяру гонишь! smile

Offline

#36 2011-10-12 05:26:50

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,323
Website

Re: Нормализация данных по областям

AMDmi3 wrote:

Ты сам-то как считаешь? Что десять тысяч удалённых source перевешивает сотню добавленных реальных ошибок, или просто "и так сойдёт"?

Конкретно по name/addr:housenumber: можно и нужно исправить и без отката.

Снесенный source на объектах без прочих тегов считаю откатывать нецелесообразным, их всё равно надо пересматривать местным руками - source наверняка изменится.

Прочие нормализации - также считаю откатывать бессмысленным.


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#37 2011-10-12 06:10:50

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,808

Re: Нормализация данных по областям

Sadless74 wrote:

Заметил в одном месте обозначал ооочень  ужасную грунтовку http://www.openstreetmap.org/browse/way … 32/history  track, а после Котяры стало просто road... то есть моё определение дороги не понравилось скрипту?

Будьте, пожалуйста внимательнее - track на этой дороге был всего несколько часов 2.5 года назад.

Offline

#38 2011-10-12 09:24:41

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Нормализация данных по областям

Komяpa wrote:

Конкретно по name/addr:housenumber: можно и нужно исправить и без отката.

1) Как? Я, к сожалению, не вижу алгоритма, который бы это починил. Приведите, если не сложно.
2) Когда? Базу по факту этим перекосило. Когда она вернется в нормальное состояние?

Offline

#39 2011-10-12 13:38:22

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,110

Re: Нормализация данных по областям

Komяpa wrote:

Про addr:housenumber при наличии name: сейчас полностью числовые номера остаются в addr:housenumber, остальные - в name. Исправил на проверку первого символа, чтобы дроби и корпуса не уходили в name.

Komяpa, делать замену тега без анализа по сути - вообще неправильно. Уверен, что в 99,9% случаев должно быть наоборот, даже если значение addr:housenumber  начинается с буквы.

AMDmi3 wrote:

А вообще, давайте договоримся - никаких массовых изменений/заливок без предварительной темы на форуме. Это не только неуважение к сообществу - это упущенная возможность найти ошибки типа упомянутых до заливки и плохой пример в целом.

+1. Причина этого проста.  ОSM процесс коллективный, и если ты хочешь чтобы было "так-то" нужно хотя бы довести до широких народных масс.


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#40 2011-10-12 13:47:33

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Komяpa wrote:

Конкретно по name/addr:housenumber: можно и нужно исправить и без отката.

Ну так исправь, пожалуйста. Я всю ночь писал откатывалку, а мог бы писать streetmangler который ты сам же просил. Или поспать, например.

Komяpa wrote:

Снесенный source на объектах без прочих тегов считаю откатывать нецелесообразным, их всё равно надо пересматривать местным руками - source наверняка изменится.

К source и много чему ещё у меня лично претензий нет, поэтому я и не хочу откатывать changeset'ы целиком, а выбрать объекты по тэгам.

Komяpa wrote:

Прочие нормализации - также считаю откатывать бессмысленным.

Давай для начала ты их все перечислишь и мы их обсудим.

Мне совершенно не нравятся, как минимум:
- адреса которые стали name
- entrance
- удаление name у почт и заправок

Что там было с той грунтовкой, и что ещё у тебя нормализуется?

А исправить без отката это нельзя, потому что данные уже похерены и в историю надо лезть в любом случае. Last good версии всех объектов до твоих правок я уже скачал, так что можно выбрать и откатить нужные объекты. После этого ты сможешь прогнать поверх исправленный нормализатор и будет счастье. Ну либо сам всё исправь - с откатом ли, без отката, но чтобы ошибок не было.

Offline

#41 2011-10-12 14:15:57

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,323
Website

Re: Нормализация данных по областям

Scondo wrote:
Komяpa wrote:

Конкретно по name/addr:housenumber: можно и нужно исправить и без отката.

1) Как? Я, к сожалению, не вижу алгоритма, который бы это починил. Приведите, если не сложно.
2) Когда? Базу по факту этим перекосило. Когда она вернется в нормальное состояние?

1) для адресного поиска нужны те дома, на которых уже есть addr:street.
Наличие на контуре addr:street, отсутствие addr:housenumber (или его равенство name), первый символ addr:housenumber - цифра, отсутствие amenity= или shop= на контуре (против name=6-й корпус СГУ, 1000 мелочей) - оказались вполне неплохим ключом для выборки.

2) Отсмотрел список глазами, исправил руками: http://www.openstreetmap.org/browse/changeset/9538701


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#42 2011-10-12 14:38:15

pankdm
Member
From: Moscow | Kemerovo
Registered: 2010-08-20
Posts: 320

Re: Нормализация данных по областям

Komяpa wrote:

2) Отсмотрел список глазами, исправил руками: http://www.openstreetmap.org/browse/changeset/9538701

Не очень понял, а в чем вот здесь заключалось исправление http://www.openstreetmap.org/browse/way … 48/history ?
Был housename=1, и куда-то исчез.. sad

Offline

#43 2011-10-12 15:06:38

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,110

Re: Нормализация данных по областям

для адресного поиска нужны те дома, на которых уже есть addr:street.

Это не совсем так. В addr:housenumber  мог быть в самом деле номер дома, при том что addr:street отсутствует. В Москве такого много. Такие дома показывались в адресном валидаторе как ошибки.

Last edited by Zkir (2011-10-12 15:08:26)


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#44 2011-10-12 15:56:00

AlRight
Member
From: Perm, Russia
Registered: 2009-09-24
Posts: 861

Re: Нормализация данных по областям

Komяpa wrote:

...
2) Отсмотрел список глазами, исправил руками: http://www.openstreetmap.org/browse/changeset/9538701

1728 линий на 87 страницах. Всего-то ...
охренеть благодетельство

Offline

#45 2011-10-12 16:04:19

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Komяpa wrote:

1) для адресного поиска нужны те дома, на которых уже есть addr:street.
Наличие на контуре addr:street, отсутствие addr:housenumber (или его равенство name), первый символ addr:housenumber - цифра, отсутствие amenity= или shop= на контуре (против name=6-й корпус СГУ, 1000 мелочей) - оказались вполне неплохим ключом для выборки.

Я уже сказал почему первый символ не канает. При совпадении name и housenumber лучше проверять что это название, а не наоборот, т.к. это проще и таких случаев меньше. А название проверяется банальным \w{4,}.

Komяpa wrote:

2) Отсмотрел список глазами, исправил руками: http://www.openstreetmap.org/browse/changeset/9538701

Вот с этого и надо было начинать. Ok, это адреса. Остальное?

Last edited by AMDmi3 (2011-10-12 16:05:09)

Offline

#46 2011-10-12 21:26:07

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Нормализация данных по областям

Слушайте, это уже за гранью. «По просьбе AMDmi3». Да вы хоть вдесятером там соберитесь, свои building=entrance я не согласен менять на entrance=yes. Вики лежит, но сомневаюсь, что там есть пропозал на такую замену. Я сейчас пытаюсь откатить этот ченджсет.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#47 2011-10-12 22:03:41

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,323
Website

Re: Нормализация данных по областям

По просьбе AMDmi3 и в результате обсуждений сегодня днём в IRC залито:

Номер раз: http://www.openstreetmap.org/browse/changeset/9541061 - вернуты на место те name, которые были при нормализации разнесены по другим тегам.
Номер два: http://www.openstreetmap.org/browse/changeset/9541529 - в пределах РФ building=entrance преобразован в entrance=*.

По поводу второй правки:
- Osmarender уже пофикшен http://trac.openstreetmap.org/changeset/26833 ;
- Zkir по поводу конвертации в СитиГид уже оповещён;
- рендеринг подъездов с номерами квартир настроен: http://openstreetmap.by/?lat=53.8698190 … 67&zoom=18


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#48 2011-10-12 22:14:27

Zverik
Moderator
From: Tallinn
Registered: 2010-10-14
Posts: 5,695
Website

Re: Нормализация данных по областям

Начато голосование по пропозалу entrance=yes: http://wiki.openstreetmap.org/wiki/Prop … s/entrance
Вторую правку я сейчас пытаюсь откатить. Это явный пример рисования под рендерер, от авторов рендереров.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#49 2011-10-12 22:47:32

GaM
Member
From: Saint-Petersburg/Russia
Registered: 2011-01-10
Posts: 3,208
Website

Re: Нормализация данных по областям

Zverik wrote:

Начато голосование по пропозалу entrance=yes: http://wiki.openstreetmap.org/wiki/Prop … s/entrance
Вторую правку я сейчас пытаюсь откатить. Это явный пример рисования под рендерер, от авторов рендереров.

Явно поторопились что-то всё править, +1 за откат.


Чем меньше ты флудишь, тем больше нарисуешь!

Offline

#50 2011-10-12 22:57:55

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Нормализация данных по областям

Я должен извиниться, ибо настойчиво просил Котяру исправить ошибки, в том числе откатить замену entrance=yes на building=entrance, что в итоге по моей вине превратилось в обратную замену. Я руководствовался тем что entrance, являясь надмножеством building=entrance во всех случаях является лучшей ему заменой, хотя на деле оказалось что building=entrance используется на полтора порядка шире entrance (и на два порядка шире чем я думал) и где-то по нему даже строится адресация, в то время как entrance=* даже не принят. Итого я напоролся на то за что боролся, что в очередной раз подтверждает насколько плохо делать массовые правки без предварительного уведомления и обсуждения.

Замену действительно стоит откатить, либо добавить к каждому из building=entrance и entrance=yes второй. Только не надо больше спешить.

Offline

Board footer

Powered by FluxBB