You are not logged in.

#201 2014-11-28 16:19:23

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,074

Re: habrahabr.ru - топики, касающиеся OSM

Offline

#202 2014-12-05 07:21:33

guanchzhou
Member
From: St Petersburg, Russia
Registered: 2012-04-23
Posts: 263
Website

Re: habrahabr.ru - топики, касающиеся OSM

Postgis тип данных Geometry на примере импортированных OpenStreetMap карт

http://habrahabr.ru/post/245015/

Offline

#203 2014-12-05 07:33:15

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,682
Website

Re: habrahabr.ru - топики, касающиеся OSM

Ужас какой.


ШТОСМ | josm.ru | обо мне | a soldier will fight long and hard for a bit of colored ribbon

Offline

#204 2014-12-05 07:39:17

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,074

Re: habrahabr.ru - топики, касающиеся OSM

Статья-то ладно, главное, что народ начал не только интересоваться, но и использовать на практике.

Offline

#205 2014-12-05 11:28:09

tbicr
Member
Registered: 2014-04-02
Posts: 150

Re: habrahabr.ru - топики, касающиеся OSM

Zverik wrote:

Ужас какой.

freeExec wrote:

Статья-то ладно, главное, что народ начал не только интересоваться, но и использовать на практике.

Интересно в двух словах что не так в статье и если все не так, то чем не лучше написать об этом на хабре?

Offline

#206 2014-12-05 11:44:19

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,682
Website

Re: habrahabr.ru - топики, касающиеся OSM

ОЧЕНЬ поверхностно и непоследовательно. Создаём базу данных, используем функции PostGIS, устанавливаем и настраиваем osm2pgsql, и в конце — наконец-то, результат: оказывается, есть четыре типа геометрии! Ни их описания, ни причины для использования osm и его инструментов, ни объяснения, что такое postgis, ни функций... Просто бессвязный поток мыслей.


ШТОСМ | josm.ru | обо мне | a soldier will fight long and hard for a bit of colored ribbon

Offline

#207 2014-12-10 19:14:02

guanchzhou
Member
From: St Petersburg, Russia
Registered: 2012-04-23
Posts: 263
Website

Re: habrahabr.ru - топики, касающиеся OSM

GPS контроль для персонального использования (часть 3. Обзор систем)

http://habrahabr.ru/company/euler2012/blog/245383/

Offline

#208 2014-12-10 20:36:55

kastellano
Member
Registered: 2014-01-15
Posts: 229
Website

Re: habrahabr.ru - топики, касающиеся OSM

guanchzhou wrote:

GPS контроль для персонального использования

Надеюсь у них будет 4 часть с обзором http://osmo.mobi/

http://habrahabr.ru/company/yandex/blog/245393/ - реклама какой-то новой технологии, которая в нашем случае может быть применена для автоматического создания карты. Или для улучшения карт. Возможно эту систему можно обучить под многие другие задачи - распознавание домиков, озер, рек и тд.

Offline

#209 2014-12-11 01:54:51

BushmanK
Member
Registered: 2011-05-03
Posts: 5,106

Re: habrahabr.ru - топики, касающиеся OSM

Сюрприз, но системы автоматической классификации снимков существуют уже много лет (уже в конце девяностых они точно были).
Только в OSM (по крайней мере - в России, потому что в других странах с импортами не все так безнадежно) все либо боятся использовать их результат, либо не умеют ими пользоваться.


"Не умею" не значит "невозможно", "не видел" не значит "не бывает". "Нет проблемы", вероятнее всего, значит, что "нет мозгов".

Offline

#210 2014-12-11 06:33:58

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 3,796

Re: habrahabr.ru - топики, касающиеся OSM

хыхыг, есть Scanaerial, но результат его работы на мой взглд не однозначен, за ним все таки прибираться надо.
да и массовые импорты сколь помню притормаживали развитие района...
пусть уж в осм будут ручные данные, а результат работы ботов будет лежать отдельно.

Offline

#211 2014-12-11 08:59:40

BushmanK
Member
Registered: 2011-05-03
Posts: 5,106

Re: habrahabr.ru - топики, касающиеся OSM

pfg21 кроме довольно убогого Scanaerial, есть еще R и GRASS (и это только из бесплатного).
Убейте, не могу понять, как "притормозить развитие района" может, например, то, что я возьму и внесу (совершенно корректно с точки зрения топологии), например, все большие водоемы и все лесные массивы, которые будут распознаны по снимкам. Эти данные ни чем не будут отличаться от нарисованных вручную, кроме того, что они будут внесены за несколько меньший срок, чем если бы я делал то же самое вручную. Забить на их обновление я могу точно также (и кто угодно может).

А по поводу чудо-технологий Яндекса - это очень забавная история, на самом деле. Они там все время хвастаются, как собирают у себя всяких высоколобых ученых дядек, которые офигеть как владеют математикой, плюс у них даже "школа анализа данных" есть. Только почему-то карты для них делают левой задней ногой наемные фрилансеры-студенты, а единственным принципиальным усовершенствованием карты у них является ежегодный редизайн стиля. Это при том, что у Google, например, уже полное трехмерное изображение в сверхвысоком разрешении (по крайней мере, в крупных городах США такое видел), до отдельных деревьев.


"Не умею" не значит "невозможно", "не видел" не значит "не бывает". "Нет проблемы", вероятнее всего, значит, что "нет мозгов".

Offline

#212 2014-12-11 10:18:40

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,699

Re: habrahabr.ru - топики, касающиеся OSM

BushmanK wrote:

Только в OSM (по крайней мере - в России, потому что в других странах с импортами не все так безнадежно) все либо боятся использовать их результат, либо не умеют ими пользоваться.

BushmanK wrote:

Убейте, не могу понять, как "притормозить развитие района" может, например, то, что я возьму и внесу (совершенно корректно с точки зрения топологии), например, все большие водоемы и все лесные массивы, которые будут распознаны по снимкам. Эти данные ни чем не будут отличаться от нарисованных вручную, кроме того, что они будут внесены за несколько меньший срок, чем если бы я делал то же самое вручную. Забить на их обновление я могу точно также (и кто угодно может).

Дык пробовали - выпилили в итоге. Ибо результат очень кривой. Хорошо оттюненый алгоритм для одной местности легко может давать кривые результаты для другой. 

В малой скорости добавления тоже есть свои плюсы. Во первых инструменты развиваются одновременно с ростом объёма данных. После того импорта у нас перестали работать конвертеры (выгрузки в навигаторы и т.п.).
Во вторых скорость роста данных не должна сильно опережать скорость их актуализации. Вы рассматриваете с точки зрения одного маппера. А у нас тут социальный проект, где важную роль играет сообщество. Грубо говоря: качество данных = плотность мапперов/плотность данных. Данные со временем становятся неактуальными. Каково бы ни было изначальное качество данных (а в автораспознавалках оно изначально не очень высокое), без поддержки мапперов оно деградирует. Резко увеличивая объём данных, не увеличивая число тех, кто будет заниматься их актуализацией вы тем самым резко снижаете качество. А низкое качество имеет отрицательную мотивацию (никому не интересно разгребать чужие импорты), тем самым ухудшается рост числа мапперов.

Потом, улучшите вы алгоритм распознавания, теперь он делает на 50% меньше ошибок, а данные вы уже залили, что делать будете? Выпиливать всё (даже то, что уже другие поправили) и заливать по новой? Такие данные намного полезнее в виде отдельной базы а не залитой в OSM. Тогда её можно использовать и обновлять без значительных проблем.

Offline

#213 2014-12-11 10:50:13

dkiselev
Member
Registered: 2010-02-09
Posts: 3,364

Re: habrahabr.ru - топики, касающиеся OSM

Мне Марек заливал леса по Черногории распознаные. Что-то результат не очень. Но если у вас есть годные результаты автотрейса, можно и импортнуть.


mail: dkiselev@osm.me      skype: dmitry.v.kiselev
Open Street Maps are supreme! Exterminate all map forms! Exterminate! Exterminate!

Offline

#214 2014-12-11 19:03:39

fndoder
Member
Registered: 2011-07-17
Posts: 251

Re: habrahabr.ru - топики, касающиеся OSM

kastellano wrote:

http://habrahabr.ru/company/yandex/blog/245393/ - реклама какой-то новой технологии, которая в нашем случае может быть применена для автоматического создания карты. Или для улучшения карт. Возможно эту систему можно обучить под многие другие задачи - распознавание домиков, озер, рек и тд.

BushmanK wrote:

А по поводу чудо-технологий Яндекса - это очень забавная история, на самом деле. Они там все время хвастаются, как собирают у себя всяких высоколобых ученых дядек, которые офигеть как владеют математикой, плюс у них даже "школа анализа данных" есть. Только почему-то карты для них делают левой задней ногой наемные фрилансеры-студенты, а единственным принципиальным усовершенствованием карты у них является ежегодный редизайн стиля. Это при том, что у Google, например, уже полное трехмерное изображение в сверхвысоком разрешении (по крайней мере, в крупных городах США такое видел), до отдельных деревьев.

Ещё цитата в тему:

— Сколько сотрудников работает в проекте?

— Два-три десятка человек. Пришлось нанять совсем новых людей. Нужна была экспертиза, которой у нас в "Яндексе" нет.

http://www.kommersant.ru/doc/2629501
Тут каждое предложение очень многое говорит.

Offline

#215 2014-12-11 21:26:32

BushmanK
Member
Registered: 2011-05-03
Posts: 5,106

Re: habrahabr.ru - топики, касающиеся OSM

Sergey Astakhov ну вы же вроде как в среде ГИС работаете, так что знаете, что автоматическое распознавание там - нормальная практика совершенно. "Очень кривой результат" - это из-за кривых рук, либо из-за того, что классы настраивались для огромной площади, например. Про "потом улучшите" - опять же, вы должны быть в курсе, что для ГИС подобное обновление контуров - вообще не проблема, особенно в полуавтоматическом режиме, когда сначала строится XOR старых и новых данных, а потом человек каждый кусок, где они не совпали, просматривает вручную и присваивает ему атрибут "прибавить/вырезать/исключить из рассмотрения". 
Правда, я сторонник того, чтобы сразу делать хорошо, так что этот аргумент получается мимо. Рассказы про "данные без поддержки деградируют" я слышу уже много лет, и это правда, но выше я уже сказал (фразой, что мне ничто не мешает забить), что автоматически распознанные и вручную распознанные данные деградируют совершенно одинаково, это не вопрос происхождения данных, а вопрос желания и возможности их поддерживать. Вручную обрисованные леса тоже никто поддерживать особо не стремится.

Реальная проблема с распознаванием в том, что снимки высокого разрешения, которые мы берем у BING, ужасно испорчены сжатием. А халява вроде Landsat или ASTER имеет низкое разрешение.
Так что я не говорю, что с автоматическим распознаванием нет проблем. Я говорю, что традиционная аргументация против него - несостоятельна, потому что основана на недостатке знаний о технологии.


"Не умею" не значит "невозможно", "не видел" не значит "не бывает". "Нет проблемы", вероятнее всего, значит, что "нет мозгов".

Offline

#216 2014-12-11 23:21:06

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,699

Re: habrahabr.ru - топики, касающиеся OSM

BushmanK wrote:

Sergey Astakhov ну вы же вроде как в среде ГИС работаете, так что знаете, что автоматическое распознавание там - нормальная практика совершенно.

Нет, я с традиционными ГИС не работаю, но дело не в этом, а в том, что опыт и практика ГИС плохо соотносится с проектами типа OSM, основной упор в которых делается на crowdsourcing, у которого своя специфика и далеко не всё, что хорошо работает в традиционных сферах так же хорошо применимо к ним.

Традиционный подход: у нас есть такое-то ограниченное кол-во народу, такие-то источники, надо запахать такой-то объём к такому-то сроку. Конечно в таких условиях автораспознавалки выглядят привлекательно - ведь они сильно экономят усилия и позволяют успеть к нужному сроку (пусть и ценой качества).

Подход crowdsourcing: у нас есть потенциально неограниченное кол-во народу, но их надо завлечь (мотивацией, валидаторами, плюшками в виде конвертеров в навигаторы и т.п.), сроки неограниченны. Т.е. создаём условия для роста и смотрим как оно растёт (или не растёт, если условия получились плохие). В таких условиях автораспознавалки и прочий импорт могут принести большой вред (ломая мотивацию и т.п.), поэтому их надо применять с большой осторожностью (если вообще применять).

Яркий пример - импорт tiger в америке. Да, по началу это позволило получить куда больший объём данных. Но поломало мотивацию к росту местного community. Если бы они не делали бы импорт, а рисовали бы всё с 0 - сейчас у них было бы качество данных гараздо лучше + большое активное community, которое бы поддерживало его актуальность.

Offline

#217 2014-12-12 00:20:18

BushmanK
Member
Registered: 2011-05-03
Posts: 5,106

Re: habrahabr.ru - топики, касающиеся OSM

Sergey Astakhov сослагательное наклонение в анализе поведения людей - очень скользкая ненадежная штука. Я с тем же успехом могу предположить, что американцы не хотят ничего рисовать, потому что у них уже все есть, как им кажется. Я разговаривал с людьми, которые преподают в Штатах технологии ГИС (фактически - софт ESRI) и они реально недоумевают, нафига нужны открытые проекты, если все можно просто купить или скачать у USGS. Отдельные либертарианцы - не считаются.
Это я к тому, что никто реально не исследовал влияние разных ситуаций на поведение участников открытых проектов, хотя очень многие горазды говорить об этом так, будто они об этом все точно знают. Так что речи о поломке мотивации может и имеют какое-то зерно истины (потому что очевидно, что если ты где-то что-то начал рисовать, а потом туда свалилась куча хлама, который надо разгребать - это демотивирует), но это совершенно точно нельзя утверждать с полной уверенностью о любом импорте вообще. Это также антинаучно, как ставить медицинские опыты на одной единственной мыши, которую поймали на улице (потому что она одна, потому что мы о ней ничего не знаем, и так далее).

Поймите: мы почти ничего не знаем о большинстве участников проекта (тем более - в мировых масштабах), потому всякие заявления типа "это их обязательно демотивирует, потому что это импорт" или "нам нужен бот, который будет писать всем новичкам поздравление с их десятой правкой, тогда все они будут работать вдвое лучше" - банально безосновательны, совсем. И я понимаю, когда такую ерунду городит d1g - у него на лицо все признаки обсессивного расстройства, ему положено генерировать сверхценные идеи. Но от опытных участников слышать повторение мантры о том, что импорты - зло, потому что они по определению - кривые, мягко говоря, странно.

В мире ГИС кроме упомянутых вами ограниченных ресурсов, есть еще такая штука, как стандарты и требования, которых в OSM, считай, нет. Если профессионал выдаст карту лесов, которая будет далека от истины, он либо не получит денег за работу, либо вообще может попасть под судебное преследование (я не говорю о частном российском случае). Так что за качество автоматизированных процессов он отвечает, чего нельзя сказать о Васе, который обклацывает Бинг на скорость. Так что не стоит наезжать на автоматику, как таковую. Повторюсь, с ней есть проблемы, но точность результата без всякого сомнения не входит в список неразрешимых проблем.


"Не умею" не значит "невозможно", "не видел" не значит "не бывает". "Нет проблемы", вероятнее всего, значит, что "нет мозгов".

Offline

#218 2014-12-12 01:31:54

usm78-gis
Member
Registered: 2008-04-21
Posts: 2,572

Re: habrahabr.ru - топики, касающиеся OSM

Sergey Astakhov wrote:

Ибо результат очень кривой. Хорошо оттюненый алгоритм для одной местности легко может давать кривые результаты для другой.

Алгоритм не зависит от местности, карельская тундра везде выглядит более или менее одинаково, будь то Выборг или
Суомуссалми. Даже на озере Инари в Лапландии меня больше всего поразило то, что не зная где я,
никогда бы не догадался, что это не окрестности Выборга.
Авторов Global Forest Cover
http://www.nasa.gov/content/goddard/nas … ses-gains/
тоже можно обвинить в том что у них просеки сдвинуты на пол-пиксела
в данных Landsat7 от 2002 года, но я бы в любом случае предпочел
их лес тому, что с такой любовью к деталям прорисовано как "лес" по кривому бингу
сейчас около того же Выборга.
Точность геометрической привязки Landsat8 на тех же row/path которые я брал для 2002 года
гораздо выше, но есть нюансы с 16битностью вместо 8битности каналов,
поэтому я не смог с налету переклассифицировать карту.
Июльский 2014 Landsat8 ни в какое сравнение не идет с бингом в части новых карьеров и просек ЛЭП и газопроводов.
От краудсорсеров еще можно долго ждать карты лесных кварталов и нормальной DEM.
Они также как и landcover плохо вписываются в концепцию микромаппинга пивных и всяких шаверм,
поэтому им тоже видимо не место в ОСМ.

BushmanK wrote:

они реально недоумевают, нафига нужны открытые проекты

В Европе государственные и окологосударственные контракторы  обожают ОСМ.
Несмотря на огромное количество официальных данных FRONTEX http://frontex.europa.eu и всевозможные службы
гражданской обороны вовсю пользуются ОСМ даже для очень оперативных задач cool

Offline

#219 2014-12-12 07:05:47

BushmanK
Member
Registered: 2011-05-03
Posts: 5,106

Re: habrahabr.ru - топики, касающиеся OSM

usm78-gis - ну вот последний абзац, в общем, прекрасно подтверждает мой тезис: в одной и той же ситуации разные люди ведут себя совершенно по-разному, европейцы предпочитают OSM, а американцы говорят "нафига". Потому любой, кто говорит, что знает, как могли бы себя повести те или иные пользователи, вероятнее всего, глубоко заблуждается. Без реальных исследований - никто не знает.

По поводу того, что старательное ручное обрисовывание Бинга, снятого в видимом диапазоне, ведет к тому, что "лесом" становится вообще все, что имеет темный зеленый цвет (то есть лес, кустарник, болота и т.п.), а "травой" - все, что имеет более светлый цвет (опять же, включая кусты и болота) - абсолютно согласен. Не говоря уже о древности этого Бинга.


"Не умею" не значит "невозможно", "не видел" не значит "не бывает". "Нет проблемы", вероятнее всего, значит, что "нет мозгов".

Offline

#220 2014-12-12 09:42:41

Saint_Byte
Member
Registered: 2010-08-12
Posts: 282

Re: habrahabr.ru - топики, касающиеся OSM

BushmanK wrote:

если все можно просто купить или скачать у USGS.

Так ясен пень у них там все есть но для США. Есть конечно для остального мира - но не в таких количествах.

Offline

#221 2015-01-09 02:49:45

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: habrahabr.ru - топики, касающиеся OSM


Последняя заметка в дневниках: Шикотан вам в ленту

Offline

#222 2015-02-03 11:40:35

dkiselev
Member
Registered: 2010-02-09
Posts: 3,364

Re: habrahabr.ru - топики, касающиеся OSM


mail: dkiselev@osm.me      skype: dmitry.v.kiselev
Open Street Maps are supreme! Exterminate all map forms! Exterminate! Exterminate!

Offline

#223 2015-02-09 12:27:18

NetWormKido
Member
From: Chapaevsk@63RUS
Registered: 2011-11-22
Posts: 966

Re: habrahabr.ru - топики, касающиеся OSM

[офтопик]
Тут пишут, что прошёл глобальный вброс инвайтов на хабр, гт и т.д. Пользователи так вообще говорят, что девать некуда. Если у кого из наших форумчан есть лишний инвайт на гиктайм или хабр (лучше гт - после разделения понял, что хабр мне не так интересен), то буду признателен.
[/офтопик]

Offline

#224 2015-02-09 12:33:30

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,950

Re: habrahabr.ru - топики, касающиеся OSM

А у меня есть аккаунт, но вахтер перевел его в read only. А после появления GT они радостно скопировали туда этот статус. Вообще ужас.

Offline

#225 2015-02-09 13:36:10

Felis Pimeja
Member
Registered: 2010-10-27
Posts: 1,035

Re: habrahabr.ru - топики, касающиеся OSM

Та же фигня

Offline

Board footer

Powered by FluxBB