КЛАДР

liosha · 2010-04-04 15:13:07

andriano, у тебя есть два выхода: или быть ОЧЕНЬ аккуратным, и не ошибаться, или написать правильного бота, стойкого к ошибкам

andriano · 2010-04-04 15:48:59

liosha, увы, человеку свойственно ошибаться, поэтому первого выхода у меня нет.
По поводу второго - я уже где-то с неделю прорабатываю этот вариант. Правда, в качестве первоосновы у меня фигурируют не непосредственные данные ОСМ, а результат работы твоей программы (за которую тебе еще раз спасибо).

PS. "Прорабатываю", - это не значит, что я непременно этим буду заниматься. Это значит, что я пытаюсь понять, чего можно ожидать в результате такой работы и вообще, стоит ли "овчинка выделки". Кстати, как вариант рассматривается и такое: второй бот берет результаты работы первого и по возможности их "допиливает".

barkulex · 2010-04-04 19:21:02

andriano wrote:

liosha wrote:
Выяснить кладр-код и прописать его в cladr:note
Увы, это метод очень нестоек к ошибкам.
Во-первых, не знаю, кому как, а лично мне гораздо труднее запомнить 11-значный код, чем географическое название.
Во-вторых, если я ошибусь в одной букве названия, бот по-прежнему будет "отбраковывать" имеющуюся информацию, а что будет, если я ошибусь в одной цифре кода?

Можно искать кладр-код по названию на http://osm.tesoro-shop.ru/ и чтобы не ошибаться копировать его оттуда

andriano · 2010-04-04 20:09:50

barkulex wrote:

Можно искать кладр-код по названию на http://osm.tesoro-shop.ru/ и чтобы не ошибаться копировать его оттуда

Может, я что-то не так делаю, но у меня не получается при правке вручную что-то вставить из буфера. А ввод код вручную, как я уже писал выше, чреват ошибками.

Ezhick · 2010-04-04 20:25:29

Ctrl+V работает везде.

dedNikifor · 2010-04-04 20:25:33

юзайте ctrl+c & ctrl+v

dedNikifor · 2010-04-07 07:07:24

недавно обозвал улицу в hamlet
сегодня посмотрел - ей присвоены кладр-теги. получается бот обрабатывает не только города\поселки, но и деревни?

Alexandr Zeinalov · 2010-04-07 07:11:57

dedNikifor wrote:

недавно обозвал улицу в hamlet
сегодня посмотрел - ей присвоены кладр-теги. получается бот обрабатывает не только города\поселки, но и деревни?

Да, это давно так...

dedNikifor · 2010-04-07 07:25:47

а можно тогда по деревням тоже как-то размещать инфо на http://osm.tesoro-shop.ru/ ?

вопрос к Кексине, конечно

...............
прошу прощения
это уже делается..

Last edited by dedNikifor (2010-04-07 07:34:43)

kot3245 · 2010-04-08 16:43:02

Почему то бот упорно не видит границу поселка Правдинский Пушкинский район
boundary administrative
cladr:note 5002700006800
place hamlet

Может что то не верно сделал?

dedNikifor · 2010-04-08 21:09:27

kot3245 wrote:

Почему то бот упорно не видит границу поселка Правдинский Пушкинский район
boundary administrative
cladr:note 5002700006800
place hamlet
Может что то не верно сделал?

обязательно должны быть
name=*
place=*

так как насчет того, чтобы исключить субурбы из обработки?

yashka · 2010-04-09 10:58:31

Бот дурачится в Ростовской области. Седьмого числа он насчитал 343 улицы в РнД, 55 -- в Азове, 17 -- в Батайске. Восьмого -- 171, 7, 0. Сегодня -- 131, 55, 17. Границы не редактировались. Улицы тоже.

Добавлено 10.04.2010
Проблема рассосалась сама собой.

Last edited by yashka (2010-04-10 15:18:41)

break1 · 2010-04-10 23:34:47

При указании адреса для жилого дома нужно ли там указывать тег cladr:code с правильным кодом?

andriano · 2010-04-11 05:36:15

У меня два вопроса: один, вроде как, непосредственно связанный с топиком, а второй - нет, но зато непосредственно связанный с первым.

1. Вносит ли КЛАДР-бот изменения в сами данные OSM? С одной стороны, вроде, некоторые записи выполнены им, но с другой - дополнил точку на карте указанием cladr:note и cladr:name, после чего бот в своих отчетах стал ее распознавать. Но по ссылке в OSM выводится та информация, которую я заносил. Ни cladr:name, ни всяких там ОКАТО и почтовых индексов не появилось. Может кто-то прокомментировать ситуацию?

2. Можно ли вообще вносить изменения в базу OSM пакетным образом? Например, я обнаружил массовые ошибки (скажем, "удвоение" населенных пунктов). Могу ли я внести правку сразу нескольких сотен или тысяч объектов, притом программным образом.

Ezhick · 2010-04-11 09:19:48

Первое - да. но не в этом случае. В этом случае он просто занес ее в свою статистику.
Второе - да, только очень аккуратно.

break1 · 2010-04-11 10:20:18

Ответьте и на мой вопрос - так как читая вики - создается такое впечатление что один там спрашивает другой отвечает но не на тот вопрос... Реально не понятно что тут делается с OSM и CLADR - можно четко сформулировать в 3-х 4-х предложениях? Чтобы новичек мог прочитать и понять.

andriano · 2010-04-11 12:26:13

Ezhick wrote:

Первое - да. но не в этом случае. В этом случае он просто занес ее в свою статистику.

Тогда очевидный вопрос - чем данный случай отличается от остальных?

Второе - да, только очень аккуратно.

Вот здесь хотелось бы поподробнее:
- какие существуют средства пакетного внесения изменения в базу OSM?
- какие существуют предохранительные механизмы от деструктивных действий средств из п.1?

liosha · 2010-04-11 12:28:24

andriano, есть josm, есть bulk_upload
Зашита - определённый профессиональный ценз, ну или откаты.

Dimster · 2010-04-12 09:45:30

кудато пропали 600 улиц в Воронеже. Бот их исключил из статистики, теперь не узнает. А мы так старались, можно сказать только и живем, нажимая на Ф5 в статистике! Верните, я все прощу!

yashka · 2010-04-12 13:31:42

Dimster wrote:

кудато пропали 600 улиц в Воронеже. Бот их исключил из статистики, теперь не узнает. А мы так старались, можно сказать только и живем, нажимая на Ф5 в статистике! Верните, я все прощу!

Намедни в статистике по РнД пропало 200 улиц на 2 дня. Номинатим тоже не работает. Латлон.орг сгорел. Это восстание машин. Бунт ботов.

dedNikifor · 2010-04-12 16:38:35

деревня Кашина

http://www.openstreetmap.org/browse/way/50824662
http://www.openstreetmap.org/browse/node/449707917

границе НП уже долгое время бот не может навешать кладр-теги. на http://osm.tesoro-shop.ru/ эту деревню найти тоже не получилось (хотел уточнить названия и количество улиц), хотя тут http://osm.tesoro-shop.ru/66000000000(с … ласть).htm она есть (код 6600800001800)

и еще момент
на указателях НП на белом фоне эта деревня называется как КашинО, а не КашинА
как можно выяснить что это - ошибка в кладре или ошибка на аншлагах?

andriano · 2010-04-13 05:04:20

liosha wrote:

andriano, есть josm, есть bulk_upload
Зашита - определённый профессиональный ценз, ну или откаты.

Спасибо.
Насколько я представляю, josm - это редактор. Т.е. мне предлагается своей программой сымитировать работу josm c базой OSM?
bulk_upload - скрипт на Питоне. Увы, это последнее обстоятельство очень напрягает. Кроме того, насколько я представляю, исходный *.osm запрашивается на сервере ручками, после чего обрабатывается и заливается обратно by bulk_upload. Это так?
Но, по опыту, импортировать себе на компьютер можно лишь крохотный кусочек данных OSM.
Вот, к примеру, такая задача:
В Украине масса дубликатов населенных пунктов. Допустим, я хочу избавиться от всех дублей и добиться, чтобы каждый населенный пункт входил в базу ровно один раз. Т.е. я должен загрузить данные OSM по всей Украине, провести у себя обработку, а результаты этой обработки залить обратно на OSM. (притом, "заливать" можно, минимум, двумя способами: либо набором команд редактирования, т.е. для каждой POI удалить ненужные данные и дополнить нужными; либо целиком загрузить фрагмент карты, ЗАМЕНИВ им существующий).
Какова может быть стратегия подобного действа?

Ну и хотелось бы знать, что такое "профессиональный ценз". Нужно иметь ученую степень в области географических наук или достаточно профильного образования?

И насчет откатов: тут в соседней ветке обсуждается прецедент удаления из базы военных объектов. Если с откатом все так просто, то почему факт удаления вызвал столько разговоров - ведь можно было без проблем вернуть все обратно?

liosha · 2010-04-13 05:17:17

Josm - редактор, но он очень неплохо умеет загружать данные на сервер. И для разовых задач его использовать удобнее.
Для периодических уже нужен bulk_upload.

Кроме импорта небольших кусков бывают ещё дампы отдельных стран. Например: http://download.geofabrik.de/osm/

Под "профессиональным цензом" я имел в виду необходимый скилл и время, чтобы разобраться с нужными тулзами, суметь подготовить osmDiff etc.
С откатами всё не так уж просто, а в соседней теме разговор вообще о другом идёт

dedNikifor · 2010-04-13 05:19:11

andriano,
имхо, лучше поднимите валидатор, который покажет неверные данные - пользователи сами пофиксят их ручками

KekcuHa · 2010-04-13 14:50:35

Dimster wrote:

кудато пропали 600 улиц в Воронеже. Бот их исключил из статистики, теперь не узнает. А мы так старались, можно сказать только и живем, нажимая на Ф5 в статистике! Верните, я все прощу!

Какая-то "плавающая" ошибка, видно связана с блокировкой базы во время применения обновления (чейнджсетов).
Сегодня Воронеж КМК правильный. Буду смотреть что можно сделать.

Last edited by KekcuHa (2010-04-13 14:51:41)

Announcement

#851 2010-04-04 15:13:07

Re: КЛАДР

#852 2010-04-04 15:48:59

Re: КЛАДР

#853 2010-04-04 19:21:02

Re: КЛАДР

#854 2010-04-04 20:09:50

Re: КЛАДР

#855 2010-04-04 20:25:29

Re: КЛАДР

#856 2010-04-04 20:25:33

Re: КЛАДР

#857 2010-04-07 07:07:24

Re: КЛАДР

#858 2010-04-07 07:11:57

Re: КЛАДР

#859 2010-04-07 07:25:47

Re: КЛАДР

#860 2010-04-08 16:43:02

Re: КЛАДР

#861 2010-04-08 21:09:27

Re: КЛАДР

#862 2010-04-09 10:58:31

Re: КЛАДР

#863 2010-04-10 23:34:47

Re: КЛАДР

#864 2010-04-11 05:36:15

Re: КЛАДР

#865 2010-04-11 09:19:48

Re: КЛАДР

#866 2010-04-11 10:20:18

Re: КЛАДР

#867 2010-04-11 12:26:13

Re: КЛАДР

#868 2010-04-11 12:28:24

Re: КЛАДР

#869 2010-04-12 09:45:30

Re: КЛАДР

#870 2010-04-12 13:31:42

Re: КЛАДР

#871 2010-04-12 16:38:35

Re: КЛАДР

#872 2010-04-13 05:04:20

Re: КЛАДР

#873 2010-04-13 05:17:17

Re: КЛАДР

#874 2010-04-13 05:19:11

Re: КЛАДР

#875 2010-04-13 14:50:35

Re: КЛАДР

Board footer