OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2012-09-12 21:33:41

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Чистка cladr тэгов

Ситуация следующая: в базе присутствуют некоторые данные, связанные с или взятые из КЛАДР.

- cladr:name, cladr:suffix на улицах. Это данные из КЛАДР и их распространение в OSM нарушает лицензию на использование классификатора КЛАДР: http://www.gnivc.ru/html/gnivcsoft/KLAD … _kladr.doc Кроме того, эти данные не обновляются и постепенно тухнут (не добавляются для новых объектов; не обновляются по новым версиям КЛАДР; перестают соответствать действительности когда, например, оказывается что кусок улицы принадлежит другой улице - name меняется, cladr:* - нет)
- 17-значный cladr:code на зданиях. Эти коды были проставлены специально для pocketgis как средство связи зданий и улиц, и больше не нужны (Ezhick это подтвердил). В них по факту содержатся неверные данные, потому что
  - это коды улиц, а не зданий (в КЛАДР для зданий используются 19-значные коды), соотв-но на зданиях их быть не должно
  - это коды не улиц, по которым по факту адресуется здание, а ближайших улиц. Соответственно во многих случаях просто неверные

По этим объективным причинам предлагается эти данные удалить. Вопрос к сообществу - не пользуется ли ими кто-то для каких-то задач, поскольку в таком случае будет иметь смысл обсудить альтернативные варианты решения этих задач и, возможно, помочь с их реализацией.

Сразу скажу что cladr:code я удалять не предлагаю: во-первых, он нужен для связи баз, во-вторых, я не считаю что его использование подпадает под распространение базы данных КЛАДР.

Также (но уже по субъективным) причинам предлагаю удалить sorting_name. Если я правильно понял, он проставлялся из ОМКУМ'а только по Москве. Причины для его удаления следующие:
- опять же, не обновляется со всеми вытекающими (отсутствует на новых улицых, не меняется на переименованных)
- для real-world применения не подходит по причине локальности - одна Москва используется редко, а для остальных случаев если использовать этот тэг, его придётся мешать с сортировочными именами, полученными по другим алгоритмам. Это будет работать плохо.
- название для сортировки можно всегда получить из name тем же streetmangler'ом

Подробнее о том же самом: http://wiki.openstreetmap.org/wiki/User … ladr_тэгов

Offline

#2 2012-09-12 22:46:43

RusFox
Member
From: С-Пб
Registered: 2012-06-05
Posts: 469
Website

Re: Чистка cladr тэгов

в чем конкретно противоречие с лицензией КЛАДР?


Информация для всех... Даром... И пусть никто не уйдет обиженным!
WEB-анализатор треков | Interactive map for Zabbix

Offline

#3 2012-09-12 23:02:50

dedNikifor
Member
From: Свердловская обл.
Registered: 2009-09-11
Posts: 3,414

Re: Чистка cladr тэгов

Сразу скажу что cladr:code я удалять не предлагаю

удалять нужно все cladr-теги
уже были ситуации, когда кладр-код не соответствовал НП. причем неоднократно


Графическая (в виде карты с точками опасных объектов) база спидкамов для разных навигационных программ. Подложка OSM присутствует

Offline

#4 2012-09-12 23:04:53

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Чистка cladr тэгов

RusFox wrote:

в чем конкретно противоречие с лицензией КЛАДР?

Пользователь КЛАДР обязуется не распространять КЛАДР. Под распространением
понимается предоставление доступа третьим лицам к воспроизведенной в любой
форме КЛАДР и ее компонентам  путем продажи, проката, сдачи внаем,
предоставления взаймы или иными способами отчуждения.

Last edited by AMDmi3 (2012-09-12 23:05:11)

Offline

#5 2012-09-12 23:05:39

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Чистка cladr тэгов

dedNikifor wrote:

Сразу скажу что cladr:code я удалять не предлагаю

удалять нужно все cladr-теги
уже были ситуации, когда кладр-код не соответствовал НП. причем неоднократно

Нет, коды надо валидировать. Удалять их нельзя.

Offline

#6 2012-09-12 23:16:45

RusFox
Member
From: С-Пб
Registered: 2012-06-05
Posts: 469
Website

Re: Чистка cladr тэгов

AMDmi3 wrote:
RusFox wrote:

в чем конкретно противоречие с лицензией КЛАДР?

Пользователь КЛАДР обязуется не распространять КЛАДР. Под распространением
понимается предоставление доступа третьим лицам к воспроизведенной в любой
форме КЛАДР и ее компонентам  путем продажи, проката, сдачи внаем,
предоставления взаймы или иными способами отчуждения.

но никто ничего никуда не передает, просто с помощью КЛАДР вводится информация в ЭВМ.


Информация для всех... Даром... И пусть никто не уйдет обиженным!
WEB-анализатор треков | Interactive map for Zabbix

Offline

#7 2012-09-12 23:28:47

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,071

Re: Чистка cladr тэгов

Право использования КЛАДР ограничивается правом на воспроизведение (запись в память ЭВМ, архивное копирование и инсталляция)  и правом пользования (осуществление действий,  связанных с функционированием КЛАДР в соответствии с ее назначением).

А вот собственно назначение КЛАДР:

КЛАДР, предназначен для ... стандартизации представления адресной информации  в целях:
корректного ввода адресной информации в ЭВМ пользователем;
корректного представления адресной информации в электронных документах;
унификации способов представления адресной информации при информационном взаимодействии, в т.ч. межведомственном;
автоматического распознавания адресной информации при ее обработке, отождествлении и сортировке;
унификации способов хранения и обработки адресной информации;
автоматического определения по адресу связанной информации (отделения почтовой связи, кода административно – территориального образования, налогового органа и т.п.);
сокращения объемов адресной информации как при ее передаче (по каналам связи, на магнитных носителях), так и при хранении в базах данных;
унифицированного контроля и других видов обработки адресной информации.

Короче, в OSM кладр и кладр-коды использовались по прямому назначению, в целях унификации адресной информации и автоматического контроля, при хранении ее в базе данных (osm) в строгом соответствии с лицензией.

Last edited by Zkir (2012-09-12 23:39:38)


Обсуждение концепции форума -- De Constantia Sapientis --  De Vita Beata -- Apocolocyntosis divi Claudii *

Offline

#8 2012-09-13 00:23:39

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Чистка cladr тэгов

В отквотированном речь идёт о использовании КЛАДР как отдельной базы. Т.е. "можете не хранить/передавать сразу кучу номеров и строк, а передавать один кладрокод, а остальное получать из КЛАДР налету". Поэтому cladr:code хранить можно.
А вот когда у нас в тэгах хранится cladr:name и cladr.suffix, это однозначно "предоставление доступа третьим лицам к компоненту КЛАДР".

Last edited by AMDmi3 (2012-09-13 00:24:30)

Offline

#9 2012-09-13 01:05:37

StreloG
Member
Registered: 2010-06-30
Posts: 591

Re: Чистка cladr тэгов

Ситуация следующая: в базе присутствуют некоторые данные, связанные с или взятые из КЛАДР.
- cladr:name, cladr:suffix на улицах.

addr:postcode на улицах от туда же и не всегда верно (намого чаще не верно)
addr:city на полигоне нп, вместо addr:district, еще и с устаревшими/не верными данными

Offline

#10 2012-09-13 06:17:57

Fortress
Member
From: Russia, Saint-Petersburg
Registered: 2009-07-09
Posts: 1,109

Re: Чистка cladr тэгов

Я за удаление! Пока ещё никто не привел пример прямого использования данных тегов. Не используется = не нужно. При это за более чем год после остановки кладр бота никто не озаботился его реанимацией. Так что, ИМХО - стирать.

Offline

#11 2012-09-13 06:22:15

RusFox
Member
From: С-Пб
Registered: 2012-06-05
Posts: 469
Website

Re: Чистка cladr тэгов

а та информация мешает кому-то?
а по какой причине стопанули бота?

UPD: "Прежде, чем разрушать что-то, будь уверен, что сможешь создать нечто лучшее взамен." ©

Last edited by RusFox (2012-09-13 06:30:28)


Информация для всех... Даром... И пусть никто не уйдет обиженным!
WEB-анализатор треков | Interactive map for Zabbix

Offline

#12 2012-09-13 06:26:07

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,425
Website

Re: Чистка cladr тэгов

Я смотрю, выпиливание и стирание тегов - новый тренд в ОСМ.
Привет от building=entrance и addr:street  smile

Offline

#13 2012-09-13 06:49:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,659

Re: Чистка cladr тэгов

Какой тренд? Данные давно являются неживыми. Тут только два варианта - реанимировать бота по проставлению кода или удалить мусорные данные. Третьего не дано. За пару лет бота никто так и не реанимировал ...

Offline

#14 2012-09-13 10:11:33

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 6,876

Re: Чистка cladr тэгов

Не знаю как для улиц, а вот cladr:suffix для НС бывает полезным.

Offline

#15 2012-09-13 10:22:02

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,018

Re: Чистка cladr тэгов

freeExec wrote:

Не знаю как для улиц, а вот cladr:suffix для НС бывает полезным.

Ему придумали замену — official_status:ru

Offline

#16 2012-09-13 18:18:39

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Чистка cladr тэгов

RusFox wrote:

а та информация мешает кому-то?

Я об этом ясно написал, по-моему. Одну нельзя иметь в базе по лицензионным соображением, другая изначально неверена, а всё вместе стухло. При этом то же самое всегда можно получить напрямую из (свежего!) КЛАДР.

А НП я пока трогать не планирую.

Last edited by AMDmi3 (2012-09-13 18:21:34)

Offline

#17 2012-09-13 18:28:24

andriano
Member
Registered: 2009-06-15
Posts: 1,667

Re: Чистка cladr тэгов

Что за "удалятельский" зуд поразил в последнее время ОСМ?

Насколько я понимаю:
- если тебе нужны какие-то данные - сносишь их в ОСМ,
- если обнаружил ошибку - исправил,
- если лично тебе какие-то данные не нужны - игнорируешьо их,
- но удалять - не сметь! Ибо - вандализм.

Что же касается бота, то, думаю, он определенную часть работы сделал и больше гн нужен. Остальное следует делать ручками, а именно - проставлять теги новых объектов и исправлять те ошибки, которые бот в свое времяч допустил. Реанимация бота никого смысла не имеет - она лишь увековечит имеющиеся ошибки.
Это нормально - когда нужно проделать большой объем работы, который невозможно на 100% формализовать, то сначала то часть, которую можно, делаент бот, а по окончании его работы - остатки разгребаются ручками.
Поэтому факт остановки бота не может служить аргументом в пользу ненужности данных - это рациональный этап работы, который закончен.

В конце концов, если есть соображения по поводу замены одних тегов на другие (кстати, зачем?), то разумная организация этого процесса:
- расставить заменяющие теги,
- провести валидациию новых тегов с существующими кладр-тегами,
- только после этого поднимать вопрос об удалении ДУБЛИРУЮЩЕЙ информации.
Хочу подчеркнуть: именно ДУБЛИРУЮЩЕЙ, а не той, которая по чьему-то мнению не нужна.

PS. Лично я использую только cladr:code, но категорически против удаления, т.к. исхожу из принципа: "внося свою лепту, не выноси чужую".

PPS. По поводу "протухшей" инеформации: вношу альтернативное предложение - удалять как протухшие любые данные, которые не редактировались в течение 12 месяцев.

Last edited by andriano (2012-09-13 18:31:30)

Offline

#18 2012-09-13 18:41:08

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Чистка cladr тэгов

andriano, не читатель?

Offline

#19 2012-09-13 18:57:11

Scondo
Member
Registered: 2011-03-16
Posts: 474

Re: Чистка cladr тэгов

AMDmi3 wrote:

... а всё вместе стухло. При этом то же самое всегда можно получить напрямую из (свежего!) КЛАДР.

А НП я пока трогать не планирую.

Кстати, есть подозрение, что именно из-за этого соглашение на КЛАДР и запрещает редистрибуцию. Чтобы не выдавали непоймешь что непоймешь какой давности за КЛАДР.

Last edited by Scondo (2012-09-13 18:58:05)

Offline

#20 2012-09-13 19:33:14

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,071

Re: Чистка cladr тэгов

AMDmi3 wrote:

В отквотированном речь идёт о использовании КЛАДР как отдельной базы.

Нет, в  нем идет речь об использовании КЛАДР вообще. Про отдельную базу там ничего не говориться.

Поэтому cladr:code хранить можно.
А вот когда у нас в тэгах хранится cladr:name и cladr.suffix, это однозначно "предоставление доступа третьим лицам к компоненту КЛАДР".

Ахренеть! кладр-код хранить можно, а адреса нет! Напомню, Кладр получен коллекционированием адресов [налогоплательщиков], имеющимися в обиходе. Никакого исключительного права у ФНС на адреса нет.

Last edited by Zkir (2012-09-13 19:48:35)


Обсуждение концепции форума -- De Constantia Sapientis --  De Vita Beata -- Apocolocyntosis divi Claudii *

Offline

#21 2012-09-13 19:56:00

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 6,876

Re: Чистка cladr тэгов

Ну на адреса нет, а на классификатор адресов есть. В то по вашей логике можно сказать, что никакого исключительного права у гугл-транслейт на перевод нет. Буду брать их перевод и заносить к себе в базу.

Offline

#22 2012-09-13 20:33:48

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Чистка cladr тэгов

Zkir wrote:

Нет, в  нем идет речь об использовании КЛАДР вообще. Про отдельную базу там ничего не говориться.

"Использование КЛАДР вообще" и есть отдельная база. А тут речь идёт о её распространении.

Zkir wrote:

Ахренеть! кладр-код хранить можно, а адреса нет!

Суть базы в хранении данных и обеспечении связи между ними. Один код - не часть базы. Код в паре с любым другим полем из КЛАДР - часть.

Offline

#23 2012-09-13 21:22:05

GaM
Member
From: Saint-Petersburg/Russia
Registered: 2011-01-10
Posts: 3,135
Website

Re: Чистка cladr тэгов

Я за удаление этого мега-мусора!

Offline

#24 2012-09-13 22:07:09

Aleksandr Dezhin
Member
From: Msk
Registered: 2008-05-25
Posts: 2,109
Website

Re: Чистка cladr тэгов

AMDmi3 wrote:

Один код - не часть базы. Код в паре с любым другим полем из КЛАДР - часть.

Почему именно в паре, а не весь набор полей? Сам по себе КЛАДР код в своей структуре несет значительный объем информации: принадлежность к субъекту, району, НП и т.д.


[ Проверка границ и НП | Дампы | Валидатор рек | Кое-что ещё ]
- Нет! Не надо пытаться. Делай. Или не делай. Не надо пытаться. (c) Йода

Offline

#25 2012-09-13 22:40:16

GaM
Member
From: Saint-Petersburg/Russia
Registered: 2011-01-10
Posts: 3,135
Website

Re: Чистка cladr тэгов

Кладр код кстати тоже не считаю нужным, сопоставление другой базы с нашей не наша задача, тем более что сопоставить можно всегда по name*. Да сложнее, но это нужно тем, кому нужно. Если у нас будет десятка 3 баз, нам что все их коды прописывать для привязки баз? Я думаю это глупо и задача нейтральной стороны, которая обрабатывает данные обоих баз.

Offline

Board footer

Powered by FluxBB