Vitalts, думаю, нужно просто выложить ваши файлы с точками для других мапперов и потихоньку кусками импортировать. Для примера посмотрите аналогичный проект — правда, не столько про адреса, сколько про сами домики.
И да, лучше уточнить у них, чтобы быть полностью уверенным.
Zverik, интересное решение, доступность данных падает, но и база не захламляется. Местечко бы где-нить под это дело и продумать процесс донесения информации до местных маперов, самых активных можно и в личке уведомить.
Пока займусь выяснением правомерности использования данных, далее будет видно.
Неплохо бы делать как поступили с импортом GNS - иметь возможность в некой окрестности подкачать данные на дополнительный слой в JOSM и с него уже дергать в основной.
wowik, я так понимаю, это предложение эквивалентно предложению Zverik?
Сделал запрос в земельное ведомство о правомерности использования данных, жду ответа, попутно готовлю данные. Уже надергал самый большой уезд по более меньшим кускам - волостям, так будет удобнее подгружать нужное.
Урааа!!! Получил официальное разрешение на использование данных. Более того, получил доступ к их ftp на котором можно будет еще всяких вкусностей взять в более подробном виде, нежели в шейпах из веб морды (Пока еще даже не пробовал коннектится, решил сразу поделиться радостью с вами)
Покопаю, что там у них, чтобы оценить масштабы работ.
Попутно можно далее поразмышлять о предоставления адресных данных ОСМерам.
wowik, авто подгрузка данных в зависимости от загружаемой зоны в JOSM это очень даже здорово, но как сие реализовано? Отдельный плагин для JOSM?
PS: Предложения вариантов решения и возможного предоставления помощи (в частности, интересует местечно на хостинге, своего пока нет) можно и в ИРКе делать. Он-лайн, как минимум, в рабочие дни 08:00 - 15:00 по Гринвичу (могу ответить не сразу, т.к. время все же, работее).
Zverik, я не понимаю, чем технически отличается ваше предложние:
от предложения wowik
Ибо wowik писал:
Вот и спрашиваю, какого же это оличие? Как в варианте, предложенном wowik, осущесвлена подгрузка данных, чем она оличается от ручного скачивания OSM XML и загрузки в JOSM?
Там и там простое скачивание данных в OSM XML. Разница в отслеживании уже нарисованного. В валидаторе это делается автоматически: в скачиваемый XML не добавляются обозначенные на карте населённые пункты. В самарском проекте добавления домов предварительно подготовленные данные кропотливо сливаются с данными OSM. Автоматизировать такую работу почти невозможно, иначе появятся дубликаты и чёрт знает что ещё. Подход в каждом случае придумывается свой, в зависимости от поставленной задачи.
Для базы адресов приходит в голову две идеи по реализации. Первое — банальные точки с addr:* в OSM XML по регионам. При редактировании они открываются вторым слоем, и нужные данные копируются вручную. Минусы — можно случайно залить не тот слой в OSM, копировать неудобно.
Второе — WMS-слой со впечатанными адресами. Можно его подложить в редактор и переписывать адреса на здания. Минусы — нужно вводить вручную.
Можно ещё что-нибудь придумать. Например, упомянутый сервис: выделяешь объекты, жмёшь кнопку, сервис лезет на сервер, скачивает ближайшие к выделенному адресные точки и пробует расставить. Минусы — нужно писать хитрый плагин и сервер (заточка под один редактор), проверять результаты на корректность никто не будет — адреса могут пропасть, могут попасть не туда.
Если разговор про импорт из Х-GIS Maa-amet, то перед заливкой всё-же рекомендовал бы на местности смотреть что к чему. Данных там очень много, и часть типа лесов - полей уже массовым импортом в ОСМ залита, но на сегодняшний момент данные староваты. Косяков тоже хватает. Например, территория свалки по конфигурации не совпадает с реальной конфигурацией мусорного кургана, снесённые и брошенные дома и гаражи, ангары в базе - те же полигоны что и жилые дома. Да и перестроенные дома местами обозначены старыми не совпадающими по форме полигонами.
pashgan, да, они самые, уже решил, что импорт все же производится не будет. Конвертну данные в OSM XLS и выложу их на всеобщее обозрение. Данные хочу разбить на небольшие регионы, дабы не качать лишнего. Хотелось бы конечно и инструмент, отслеживающий, что внесено, из предоставленных файлов, а что нет, но пока даже голову этим забивать не стоит.
С кривыми импортами с X-GIS уже не однократно сам встречался.
Откликнулся еще один местный ОСМовец, который пару лет назад задавался той же целью, у него уже есть некоторые наработки. ОСМ файлы имеют довольно много ифнормации, но старые и большими кусками, что очень не удобно. Далеко не каждый захочет загружать адресные точки в 42Mb XML.
Вообщем, на данный момент получилось приблизительно так (скрин малой части таблицы): http://pix.am/HIIO.png
Еще не хватает почтовых индексов, их я попробую раздобыть у местного комьюнити.
Адреса пока использовались только “валидные”, всякие хутора, не имеющие в официальном адресе названий улиц и номеров домов, пока скипнул.
Пока это все готовится в полуручном режиме, безумно много процессорного времени занимает подготовка статистики, над этим буду еще работать, есть идеи как ускорить сей процесс. Ну и кончено, все будет по возмоности автоматизироваться.
В дальнейшем, также, намерен прикрутить дифф файлы, содержащие только точки, отсутствующие в ОСМ. Также, этот огромный html (941 строка) будет переделан на пачку мелких с более удобной навигацией.
Ну и подготовить туже кухню для “невалидный” адресов (читай выше), а также, хейвеев, ну и всего остального, если еще что найду интересного.
Теперь же встает вопрос о предоставлении, хотя бы таких данных, общественности. Своего хостинга не имею, есть кто желающий помочь в этом вопросе?
Не думал я, что с адресами настолько туго, даже столица не блещет, хотя, по большей части, это из-за несовпадения спелинга.
ЗЫ: Данные все еще без почтовых инексов
Проанализировал текущее положение дел в Эстонии, и оказалось, что у 80% зданий не прописан даже номер.
Я так понимаю, что тема заглохла, что-то не получилось?
Я правильно понял, что Maa-amet дал полное разрешение на использование своих данных, и даже доступ к каким-то исходникам на фтп?
Недавно я занялся нумерацией зданий. Взял Merkaartor, поставил WMS Маамета фоном, попробовал…
Поняв, что обкликать такой объём в обычных редакторах не удастся, написал собственный скрипт, упрощающий до “набрал номер - нажал enter”.
В данный момент пронумеровал 5500 зданий через него, это около 5%. Один наверное не справлюсь.
Как сообщество относится к такой идее? Есть желающие помочь? Язык не поворачивается сказать “обкликать”, т.к. мышь здесь не потребуется
Работает это так:
Скрипт выбирает рандомное здание (чтобы было честно, и всем городам досталось) у которого нет тега addr:housenumber, и показывает два слоя: на нижнем карту Maa-amet, на верхнем синим цветом - контур здания по версии OSM. Остаётся набрать номер, жать Enter, и показывается следующее.
Выглядит так:
Всё обкликанное сохраняется на мой сервер, потом по желанию - ещё раз проверяется, и запускается экспорт накликанного прямо в API.
Окошко в левом нижнем углу, с ответами сервера, используется также для обратной связи? Оно какое-то очень интерактивное.
Восклицательный знак нужно ставить в окно для номера дома, так? Это не очевидно из описания.
Если синий контур явно не совпадает с полигоном здания по форме, однако, представляет всё же одно и то же здание, об этому можно/нужно как-то сообщить?
Пример к случаю №3:
Немного “поиграл” в “скрипт” - очень интересно, всем советую.
Позволю себе несколько советов автору скрипта:
По Help, размещенном на странице.
Help не раскрывает ситуацию, что делать в случаях, когда контур дома в OSM очень сильно не совпадает с контуром в растре Maa-amet, но при этом, контур является одним домом (Help говорит только о “склеенных” домах).
Контур же может быть сильно неверной формы, или быть сильно смещенным в пространстве.
Возникает сомнение - помечать контур как “!”, или же просто проставить ему номер и согласиться с тем, что с контуром все OK.
Я считаю, что эта ситуация должна быть описана явно, чтобы не гадать.
Есть, минимум, три возможных исхода, но какой бы не выбрал автор, его нужно описать явным образом:
a. контур одного дома OSM, не совпадающий с контуром одного дома на растре, считать валидным, поскольку эта ситуация не входит в scope данного скрипта. Смещенному контуру нужно проставить номер, как обычно.
b. не совпадающий с растром контур нужно пометить “!”, как нуждающийся в правке, номер проставлять не нужно.
c. (смесь вариантов a. и b. - считаю его наилучшим) Такому дому нужно проставить номер, но пометить его, как нуждающимся в правке контура через “!”. Например: 6!, !6, “6 !” и т.д.
Еще про Help
На картинках Help жирные черные цифры можно понимать двояко: как то, что написано на растре (укрупненно), и как то, что нужно ввести в поле. Было бы логично считать, что это подсказка, что вводить в поле, однако первая картинка с точкой явно противоречит (ведь точку-то вводить не нужно - так?). Здесь нужно более точное визуальное разделение - что именно символизируют цифры на картинках. Возможно, достаточно в тексте, описывающим картинку, явно написать, что нужно вводить, как это сделано для “!” (тогда цифры на картинках будем понимать, как укрупненное изображение с растра). Собственно, проблема только с картинкой где цифра с точкой.
Снова про Help
Нужно уточнить, что цифры с угловых зданий нужно читать и вносить в поле в том порядке, как они написаны, даже если читать приходится вверх ногами - т.е. “2 6” и “6 2” - это не одно и то же.
По интерфейсу:
Было бы в 17 раз удобнее, если бы большая карта подгружалась бы на эту же страницу ниже малой карты, а не открывалась в отдельном окне. Понимаю, что зависит от разрешения монитора, но даже если появится скролинг страницы - это все равно будет удобнее - проще крутануть колесо мыши (ведь мышь у нас уже в руках, раз мы кликнули линк), чем переключаться в другую вкладку (ну - субъективно, признаю).
Еще по интерфейсу:
Контур дома в OSM [в моем браузере - Opera] появляется весьма не надолго, а когда потухнет - его цвет практически не выделяется на цветовой гамме растра. Было бы удобнее, чтобы он тух немного подольше, а потухнув, был более контрастный - лучше красный. Иллюстрация:
И самое главное.
Если хочется привлечь больше участников, нужно внести элемент соревновательности. Не буду приводить примеры - их тысячи - но в мире OSM в любой коллективной работе с достижимым результатом всегда есть статистика, Top-100 или что-то подобное. Если участник сможет увидеть, что его вклад - 17% и он на 2-м месте - это даст ему, и всем остальным, стимул сделать еще больше. Конечно, можно просто дать поле для ввода своего произвольного имени (как делает OSMBugs в комментариях к багу), но для ведения статистики это плохо подходит - 5% участников назовутся именем Alex. Наиболее разумно было бы сделать авторизацию через базу OSM. Исключительно по желанию, конечно - с целью сохранения результатов. Саму статистику (только первые 10 мест, плюс отдельно - мой вклад) нужно показывать на этой же странице (на ней полно свободного места), плюс возможность перейти на страницу с более подробной статистикой.
Реально. Если задача та же, и тоже имеется карта, с которой можно позаимствовать.
Окошко исключительно для отладки. Позволяет убедиться, что изменение записано, и записано правильно. Обратной связи нет (извиняюсь, если ввёл в заблуждение).
Да. Позже я придумаю, что с ними делать. Либо сяду редактировать сам, либо экспортирую в openstreetbugs. Либо проставлю какой-нидь тег FIXME (Обсуждаемо).
Нет, если здание однозначно идентифицировано (“представляет всё же одно и то же здание”), то его следует нормально пронумеровать
Восклицательный знак я ставлю, когда контур плох настолько, что есть сомнения, то ли это здание (либо контур охватил 2 и более здания), и уже не понятно, какой номер проставлять.
Предложение принято! Можно писать “6!”, если здание однозначно идентифицировано, но контур всё же сильно кривой (главное не злоупотреблять, а то там половина зданий либо немного мимо, либо немного криво, кто ж это потом разгребать будет )
Именно так Не думал, что введёт в заблуждение.
Точку вводить не нужно, но она ещё раз показана, чтобы было совсем очевидно. (хотя если кто ввёл - ничего страшного, при экспорте почищу)
А как считать порядок? С левого\правого\верхнего\нижнего? По часовой, или против?
Предлагаю такой вариант:
Первым идёт номер той улицы, к которой здание ближе.
Обоснование:
Запись “2 6” на самом деле будет преобразована в
addr:housenumber=2
addr:2:housenumber=6
Пока мы ещё не проставили тег addr:street, поиск по адресам поздразумевает номер именно addr:housenumber, а в качестве addr:street - ближайшую к зданию улицу.
Тогда, я бы мог основную карту сделать побольше На первое место ставилось быстродействие, чтобы всё подгружалось очень шустро.
Но если надо, сделаю опционально включаемой.
По разрешению - один знакомый выставляет себе масштаб браузером, чтобы глаза не напрягать.
А у меня ноутбук небольшой, 13.3", это да. Не проверял на больших мониторах.
Контур тухнет для того, чтобы не закрывал собой номер (иногда он так делает). А быстро - были жалобы, что долго ждать приходится, если номер не видно
Подумаю, что можно сделать Сейчас у меня пишется только IP автора правки, этого будет достаточно? “авторизацию через базу OSM” - немного круто для этого