habrahabr.ru - топики, касающиеся OSM

Postgis тип данных Geometry на примере импортированных OpenStreetMap карт

http://habrahabr.ru/post/245015/

Ужас какой.

Статья-то ладно, главное, что народ начал не только интересоваться, но и использовать на практике.

Интересно в двух словах что не так в статье и если все не так, то чем не лучше написать об этом на хабре?

ОЧЕНЬ поверхностно и непоследовательно. Создаём базу данных, используем функции PostGIS, устанавливаем и настраиваем osm2pgsql, и в конце — наконец-то, результат: оказывается, есть четыре типа геометрии! Ни их описания, ни причины для использования osm и его инструментов, ни объяснения, что такое postgis, ни функций… Просто бессвязный поток мыслей.

GPS контроль для персонального использования (часть 3. Обзор систем)

http://habrahabr.ru/company/euler2012/blog/245383/

Надеюсь у них будет 4 часть с обзором http://osmo.mobi/

http://habrahabr.ru/company/yandex/blog/245393/ - реклама какой-то новой технологии, которая в нашем случае может быть применена для автоматического создания карты. Или для улучшения карт. Возможно эту систему можно обучить под многие другие задачи - распознавание домиков, озер, рек и тд.

Сюрприз, но системы автоматической классификации снимков существуют уже много лет (уже в конце девяностых они точно были).
Только в OSM (по крайней мере - в России, потому что в других странах с импортами не все так безнадежно) все либо боятся использовать их результат, либо не умеют ими пользоваться.

хыхыг, есть Scanaerial, но результат его работы на мой взглд не однозначен, за ним все таки прибираться надо.
да и массовые импорты сколь помню притормаживали развитие района…
пусть уж в осм будут ручные данные, а результат работы ботов будет лежать отдельно.

pfg21 кроме довольно убогого Scanaerial, есть еще R и GRASS (и это только из бесплатного).
Убейте, не могу понять, как “притормозить развитие района” может, например, то, что я возьму и внесу (совершенно корректно с точки зрения топологии), например, все большие водоемы и все лесные массивы, которые будут распознаны по снимкам. Эти данные ни чем не будут отличаться от нарисованных вручную, кроме того, что они будут внесены за несколько меньший срок, чем если бы я делал то же самое вручную. Забить на их обновление я могу точно также (и кто угодно может).

А по поводу чудо-технологий Яндекса - это очень забавная история, на самом деле. Они там все время хвастаются, как собирают у себя всяких высоколобых ученых дядек, которые офигеть как владеют математикой, плюс у них даже “школа анализа данных” есть. Только почему-то карты для них делают левой задней ногой наемные фрилансеры-студенты, а единственным принципиальным усовершенствованием карты у них является ежегодный редизайн стиля. Это при том, что у Google, например, уже полное трехмерное изображение в сверхвысоком разрешении (по крайней мере, в крупных городах США такое видел), до отдельных деревьев.

Дык пробовали - выпилили в итоге. Ибо результат очень кривой. Хорошо оттюненый алгоритм для одной местности легко может давать кривые результаты для другой.

В малой скорости добавления тоже есть свои плюсы. Во первых инструменты развиваются одновременно с ростом объёма данных. После того импорта у нас перестали работать конвертеры (выгрузки в навигаторы и т.п.).
Во вторых скорость роста данных не должна сильно опережать скорость их актуализации. Вы рассматриваете с точки зрения одного маппера. А у нас тут социальный проект, где важную роль играет сообщество. Грубо говоря: качество данных = плотность мапперов/плотность данных. Данные со временем становятся неактуальными. Каково бы ни было изначальное качество данных (а в автораспознавалках оно изначально не очень высокое), без поддержки мапперов оно деградирует. Резко увеличивая объём данных, не увеличивая число тех, кто будет заниматься их актуализацией вы тем самым резко снижаете качество. А низкое качество имеет отрицательную мотивацию (никому не интересно разгребать чужие импорты), тем самым ухудшается рост числа мапперов.

Потом, улучшите вы алгоритм распознавания, теперь он делает на 50% меньше ошибок, а данные вы уже залили, что делать будете? Выпиливать всё (даже то, что уже другие поправили) и заливать по новой? Такие данные намного полезнее в виде отдельной базы а не залитой в OSM. Тогда её можно использовать и обновлять без значительных проблем.

Мне Марек заливал леса по Черногории распознаные. Что-то результат не очень. Но если у вас есть годные результаты автотрейса, можно и импортнуть.

Ещё цитата в тему:

http://www.kommersant.ru/doc/2629501
Тут каждое предложение очень многое говорит.

Sergey Astakhov ну вы же вроде как в среде ГИС работаете, так что знаете, что автоматическое распознавание там - нормальная практика совершенно. “Очень кривой результат” - это из-за кривых рук, либо из-за того, что классы настраивались для огромной площади, например. Про “потом улучшите” - опять же, вы должны быть в курсе, что для ГИС подобное обновление контуров - вообще не проблема, особенно в полуавтоматическом режиме, когда сначала строится XOR старых и новых данных, а потом человек каждый кусок, где они не совпали, просматривает вручную и присваивает ему атрибут “прибавить/вырезать/исключить из рассмотрения”.
Правда, я сторонник того, чтобы сразу делать хорошо, так что этот аргумент получается мимо. Рассказы про “данные без поддержки деградируют” я слышу уже много лет, и это правда, но выше я уже сказал (фразой, что мне ничто не мешает забить), что автоматически распознанные и вручную распознанные данные деградируют совершенно одинаково, это не вопрос происхождения данных, а вопрос желания и возможности их поддерживать. Вручную обрисованные леса тоже никто поддерживать особо не стремится.

Реальная проблема с распознаванием в том, что снимки высокого разрешения, которые мы берем у BING, ужасно испорчены сжатием. А халява вроде Landsat или ASTER имеет низкое разрешение.
Так что я не говорю, что с автоматическим распознаванием нет проблем. Я говорю, что традиционная аргументация против него - несостоятельна, потому что основана на недостатке знаний о технологии.

Нет, я с традиционными ГИС не работаю, но дело не в этом, а в том, что опыт и практика ГИС плохо соотносится с проектами типа OSM, основной упор в которых делается на crowdsourcing, у которого своя специфика и далеко не всё, что хорошо работает в традиционных сферах так же хорошо применимо к ним.

Традиционный подход: у нас есть такое-то ограниченное кол-во народу, такие-то источники, надо запахать такой-то объём к такому-то сроку. Конечно в таких условиях автораспознавалки выглядят привлекательно - ведь они сильно экономят усилия и позволяют успеть к нужному сроку (пусть и ценой качества).

Подход crowdsourcing: у нас есть потенциально неограниченное кол-во народу, но их надо завлечь (мотивацией, валидаторами, плюшками в виде конвертеров в навигаторы и т.п.), сроки неограниченны. Т.е. создаём условия для роста и смотрим как оно растёт (или не растёт, если условия получились плохие). В таких условиях автораспознавалки и прочий импорт могут принести большой вред (ломая мотивацию и т.п.), поэтому их надо применять с большой осторожностью (если вообще применять).

Яркий пример - импорт tiger в америке. Да, по началу это позволило получить куда больший объём данных. Но поломало мотивацию к росту местного community. Если бы они не делали бы импорт, а рисовали бы всё с 0 - сейчас у них было бы качество данных гараздо лучше + большое активное community, которое бы поддерживало его актуальность.

Sergey Astakhov сослагательное наклонение в анализе поведения людей - очень скользкая ненадежная штука. Я с тем же успехом могу предположить, что американцы не хотят ничего рисовать, потому что у них уже все есть, как им кажется. Я разговаривал с людьми, которые преподают в Штатах технологии ГИС (фактически - софт ESRI) и они реально недоумевают, нафига нужны открытые проекты, если все можно просто купить или скачать у USGS. Отдельные либертарианцы - не считаются.
Это я к тому, что никто реально не исследовал влияние разных ситуаций на поведение участников открытых проектов, хотя очень многие горазды говорить об этом так, будто они об этом все точно знают. Так что речи о поломке мотивации может и имеют какое-то зерно истины (потому что очевидно, что если ты где-то что-то начал рисовать, а потом туда свалилась куча хлама, который надо разгребать - это демотивирует), но это совершенно точно нельзя утверждать с полной уверенностью о любом импорте вообще. Это также антинаучно, как ставить медицинские опыты на одной единственной мыши, которую поймали на улице (потому что она одна, потому что мы о ней ничего не знаем, и так далее).

Поймите: мы почти ничего не знаем о большинстве участников проекта (тем более - в мировых масштабах), потому всякие заявления типа “это их обязательно демотивирует, потому что это импорт” или “нам нужен бот, который будет писать всем новичкам поздравление с их десятой правкой, тогда все они будут работать вдвое лучше” - банально безосновательны, совсем. И я понимаю, когда такую ерунду городит d1g - у него на лицо все признаки обсессивного расстройства, ему положено генерировать сверхценные идеи. Но от опытных участников слышать повторение мантры о том, что импорты - зло, потому что они по определению - кривые, мягко говоря, странно.

В мире ГИС кроме упомянутых вами ограниченных ресурсов, есть еще такая штука, как стандарты и требования, которых в OSM, считай, нет. Если профессионал выдаст карту лесов, которая будет далека от истины, он либо не получит денег за работу, либо вообще может попасть под судебное преследование (я не говорю о частном российском случае). Так что за качество автоматизированных процессов он отвечает, чего нельзя сказать о Васе, который обклацывает Бинг на скорость. Так что не стоит наезжать на автоматику, как таковую. Повторюсь, с ней есть проблемы, но точность результата без всякого сомнения не входит в список неразрешимых проблем.

Алгоритм не зависит от местности, карельская тундра везде выглядит более или менее одинаково, будь то Выборг или
Суомуссалми. Даже на озере Инари в Лапландии меня больше всего поразило то, что не зная где я,
никогда бы не догадался, что это не окрестности Выборга.
Авторов Global Forest Cover
http://www.nasa.gov/content/goddard/nasa-usgs-landsat-data-yield-best-view-to-date-of-global-forest-losses-gains/
тоже можно обвинить в том что у них просеки сдвинуты на пол-пиксела
в данных Landsat7 от 2002 года, но я бы в любом случае предпочел
их лес тому, что с такой любовью к деталям прорисовано как “лес” по кривому бингу
сейчас около того же Выборга.
Точность геометрической привязки Landsat8 на тех же row/path которые я брал для 2002 года
гораздо выше, но есть нюансы с 16битностью вместо 8битности каналов,
поэтому я не смог с налету переклассифицировать карту.
Июльский 2014 Landsat8 ни в какое сравнение не идет с бингом в части новых карьеров и просек ЛЭП и газопроводов.
От краудсорсеров еще можно долго ждать карты лесных кварталов и нормальной DEM.
Они также как и landcover плохо вписываются в концепцию микромаппинга пивных и всяких шаверм,
поэтому им тоже видимо не место в ОСМ.

В Европе государственные и окологосударственные контракторы обожают ОСМ.
Несмотря на огромное количество официальных данных FRONTEX http://frontex.europa.eu и всевозможные службы
гражданской обороны вовсю пользуются ОСМ даже для очень оперативных задач :sunglasses:

usm78-gis - ну вот последний абзац, в общем, прекрасно подтверждает мой тезис: в одной и той же ситуации разные люди ведут себя совершенно по-разному, европейцы предпочитают OSM, а американцы говорят “нафига”. Потому любой, кто говорит, что знает, как могли бы себя повести те или иные пользователи, вероятнее всего, глубоко заблуждается. Без реальных исследований - никто не знает.

По поводу того, что старательное ручное обрисовывание Бинга, снятого в видимом диапазоне, ведет к тому, что “лесом” становится вообще все, что имеет темный зеленый цвет (то есть лес, кустарник, болота и т.п.), а “травой” - все, что имеет более светлый цвет (опять же, включая кусты и болота) - абсолютно согласен. Не говоря уже о древности этого Бинга.

Так ясен пень у них там все есть но для США. Есть конечно для остального мира - но не в таких количествах.

Open-rynda: краудсорс решение для ЧС и сетевой координации волонтеров

повторное открытие Ushahidi ?