Автоматизированная классификация снимков ДЗЗ Landsat

Sergey Astakhov · 2010-05-08 23:02:39

usm78-gis wrote:

Для классификации хочешь не хочешь придется создавать методику верификации, и ждать, пока редакторы (josm,potlatch,etc.) поумнеют.
Может занять несколько лет, но от этих проблем им никуда не уйти.

Дык, понятное дело что решать эти проблемы авторам всяко придётся. Но форсировать это заливкой неперивариваемых данных - это хороший способ нажить себе врагов. Надо мягче..., ещё мягче...

usm78-gis · 2010-05-08 23:13:27

Sergey Astakhov wrote:

Но форсировать это заливкой неперивариваемых данных - это хороший способ нажить себе врагов.

Я еще помню времена, когда utf8 в ОСМ тоже считался "заливкой неперивариваемых данных", и доставлял немало работы операторам
mysql БД. Так что все познается в сравнении

Zkir · 2010-05-09 09:22:01

Zkir, эта проблема как раз легко решаема.

Так ты ее решишь?

А вот эта очень может быть совсем не решаемой [конвертация в СГ продолжалась 6 часов и закончилась падением]

Все идет к тому что она будет решена фильтрацией по source osm-файла перед конвертацией. Иными словами твои заливки в карты для ГисРуссы и СГ попадать просто не будут

Last edited by Zkir (2010-05-09 09:23:23)

chilin · 2010-05-09 10:54:57

Пол года назад были решено много проблем по выстраиванию процесса полностью автоматического конвертирования совместимых осмовских карт всех 83 регионов РФ в массовый формат .nm2. Ресурсов на конвертирование этого гигабайта болот и лесов у участников данного сегмента нет. Помимо собственно использования этого формата на практике, целевым направлением было привлечение к проекту новых участников. Судя по письмам, которые сыпались мне в личку эти пол года, цель была достигнута. Теперь, два региона, один из которых второй в РФ по кол-ву активных участников, отвалился из данного процесса. Считаю, что в текущем виде, данный аплоад необходимо откатить.

P.S. Всю жизнь занимаюсь БД. Несколько раз на себе испытывал, как под давлением административного ресурса в базу автоматом заливались подобные "шумные" данные. И всегда такие эксперименты приводили к несоизмеримым проблемам в будущем. И выхода было два: весь жизненный цикл БД затыкать дыры (наподобие фильтрации osm файлов), или удалить кучу залитого мусора, и всё заводить руками.

mbiker · 2010-05-10 05:46:03

chilin wrote:

Теперь, два региона, один из которых второй в РФ по кол-ву активных участников, отвалился из данного процесса. Считаю, что в текущем виде, данный аплоад необходимо откатить.

+1

usm78-gis · 2010-05-10 06:13:44

chilin wrote:

Считаю, что в текущем виде, данный аплоад необходимо откатить.

Процесс уже некоторое время идет, но медленно. Так что присоединяйтесь.
Я борюсь с главной для меня проблемой - распознаванием определенного типа
соснового леса на песке как болота, и буду смотреть что получается при реклассификации
IRS, RapidEye и GeoEye (где доступен).
v.generalize придется основательно патчить, для запрета генерализации границ
тайлов (линейные системы будут выглядеть несколько по другому).
Есть также несколько интересных мыслей по дополнениям к r.neighbors
Заливать тайлы в будущем если буду, то 1 tile/changeset, с сохранением пары x/y (как в .png), так легче с ними работать.

Ну и монахи-ручные-карторисователи-в-кельях, не забывайте историю про Ивана Федорова

liosha · 2010-05-10 06:46:08

usm78-gis wrote:

Заливать тайлы в будущем если буду, то 1 tile/changeset, с сохранением пары x/y (как в .png), так легче с ними работать.

Ну очень прошу выложить тайлы в нормальном виде отдельно. Так с ними работать будет ЕЩЁ намного легче

alexsaf · 2010-05-10 16:41:41

usm78-gis wrote:

chilin wrote:
Считаю, что в текущем виде, данный аплоад необходимо откатить.
Процесс уже некоторое время идет, но медленно. Так что присоединяйтесь.

По поводу отката - похоже что-то не срослось: после отката осталось огромное количество точек без тегов

http://www.openstreetmap.org/edit?lat=6 … 81&zoom=15

usm78-gis · 2010-05-10 21:37:42

alexsaf wrote:

По поводу отката - похоже что-то не срослось: после отката осталось огромное количество точек без тегов

Вы батенька однако оптимист. Автоматический откат займет как минимум неделю, а потом еще надо будет фильтровать и добивать
ошибки откатного скрипта.

usm78-gis · 2010-05-10 22:02:56

liosha wrote:

Ну очень прошу выложить тайлы в нормальном виде отдельно.

Я поэтому и говорю "если буду". Тратить драгоценное время на порой малокомпетентные и
откровенно недружественные комментарии не хочется. Я вполне доволен той дорожной и "тропинной"
сетью, которую там нарисовал по трекам. Путем сравнения финских двухсотметровок с гуглом и яндекс/майл.ру будет
несложно до лета добавить недостающие проезжаемые дороги и без треков.
Двухсотметровки я лично и официально купил прямо в "Финкартографии" aka Maanmittauslaitos
http://www.maanmittauslaitos.fi/default.asp?id=874
поэтому никаких даже потенциальных лицензионных проблем нет.

alexsaf · 2010-05-11 09:33:15

usm78-gis wrote:

alexsaf wrote:
По поводу отката - похоже что-то не срослось: после отката осталось огромное количество точек без тегов
Вы батенька однако оптимист. Автоматический откат займет как минимум неделю, а потом еще надо будет фильтровать и добивать
ошибки откатного скрипта.

В данном вопросе я пессимист - я прекрасно понимаю что откат займет минимум несколько недель, а на самом деле какой-то мусор останется и через несколько месяцев. Но появление точек без тегов всё равно странно. Очень жаль, что в настоящее время не существует механизма премодерации и предварительного тестирования в "песочнице" для такого рода импортов. (((

liosha · 2010-05-11 09:41:24

Песочница-то как раз есть:

If you want to test your software against the API you should consider using http://api06.dev.openstreetmap.org/ instead of the live-api.

http://wiki.openstreetmap.org/wiki/API_ … ed_Testing

Aleksandr Dezhin · 2010-05-13 02:09:23

usm78-gis, а ты не пробовал по пути i.maxlik ходить? идея такая:
1) на более менее известной территории делаем i.maxlik
2) смотрим какие классы из получившихся чему соответствуют
3) ну и дальше их уже векторизуем

просто идея тащить тренировочную карту из финляндии или еще откуда по цепочке очень нехорошая вроде как, независимо от того грузить это или тайлы генерить просто.

usm78-gis · 2010-05-14 23:40:39

Aleksandr Dezhin wrote:

usm78-gis, а ты не пробовал по пути i.maxlik ходить? идея такая:
2) смотрим какие классы из получившихся чему соответствуют
3) ну и дальше их уже векторизуем

Эти классы только решают математическую задачу максимальной/оптимальной спектральной разделимости.
Такой класс, вообще говоря, не обязан соответствовать какому-то реальному физическому landcover.
Воду так, конечно, очень легко выделить, но с остальными классами все будет гораздо проблематичнее.
От того что класс номер 4 соответсвует на 80% лесоболотным распаханным полям - толку никакого.
К тому же maxlik страдает жуткой "пикселизацией", smap в этом смысле гораздо более разумен, хотя и создает
иногда квадратные болота

просто идея тащить тренировочную карту из финляндии или еще откуда по цепочке очень нехорошая вроде как

Это самый оптимальный вариант: добрый финский дядя создал за свои деньги отличную тренировочную карту,
EEA ее распространяет бесплатно всем желающим, а те же самые сосны-ели не знают в финской части южной Карелии они
находятся, или советской.
Обсуждать надо на самом деле конкретные результаты и методы.
Меня в данный момент больше всего интересует что получится, если использовать ландсатовскую классификацию
как тренировочную карту для IRS или гугловского geoeye. Воду по geoeye улучшить наверняка удастся,
а вот по поводу типа леса (не говоря о болотах) у меня есть сильные сомнения.

usm78-gis · 2010-05-15 12:39:33

Начинать надо с малого: кто из тех, кто интересуется результатами классификации
может (знает как) установить и запустить GRASS ?

liosha · 2010-05-15 19:28:07

usm78-gis wrote:

Начинать надо с малого: кто из тех, кто интересуется результатами классификации может (знает как) установить и запустить GRASS ?

Я интересуюсь, но пока не устанавливал и не запускал. С этим будут проблемы? Доберусь до компа - попробую

mbiker · 2010-05-15 20:16:25

usm78-gis wrote:

Начинать надо с малого: кто из тех, кто интересуется результатами классификации
может (знает как) установить и запустить GRASS ?

Недавно вот как раз в связи с этой задачей поставил и разобрался с основами GRASS. Так что +1

sim · 2010-05-16 01:27:37

под win например вот так:
http://gis-lab.info/qa/qgis-osgeo4w.html

Aleksandr Dezhin · 2010-05-16 01:56:55

usm78-gis wrote:

Эти классы только решают математическую задачу максимальной/оптимальной спектральной разделимости.
Такой класс, вообще говоря, не обязан соответствовать какому-то реальному физическому landcover.
Воду так, конечно, очень легко выделить, но с остальными классами все будет гораздо проблематичнее.
От того что класс номер 4 соответсвует на 80% лесоболотным распаханным полям - толку никакого.
К тому же maxlik страдает жуткой "пикселизацией", smap в этом смысле гораздо более разумен, хотя и создает
иногда квадратные болота

Я бы и от i.smap тоже чудес не ожидал. Если классы спектрально не разделимы, то и он их вряд-ли как-то разделит...
Насколько я понял, i.smap что-то вроде r.neighborhoods + подклассы на лету делает (кстати теряя при этом инфу о вероятности выбранного класса), но его и после i.maxlik сделать самому можно.

usm78-gis wrote:

Это самый оптимальный вариант: добрый финский дядя создал за свои деньги отличную тренировочную карту,
EEA ее распространяет бесплатно всем желающим, а те же самые сосны-ели не знают в финской части южной Карелии они
находятся, или советской.

Ну так если тащить тренировочную карту по цепочке, то и ошибка будет накапливаться... Если же не тащить, а взять сразу тренировочную карту другого региона, то тоже будут ошибки...

usm78-gis wrote:

Меня в данный момент больше всего интересует что получится, если использовать ландсатовскую классификацию
как тренировочную карту для IRS

Это я пробовал, с целью улучшить контур, но я так понял, что три канала в IRS - это три канала, и классифицировать по ним, по крайней мере этими методами, бесполезно - лес с водой стабильно путаются, так же как в общем-то и на глаз.

usm78-gis wrote:

Начинать надо с малого: кто из тех, кто интересуется результатами классификации
может (знает как) установить и запустить GRASS ?

Я чуть-чуть лесов на границе московской-владимирской-ярославской области грузил, но совсем немного - поскольку приходилось руками чистить, в итоге мне "обклацывание" IRS показалось более эффективной вещью... И да, я для себя так и не смог определить грань между кустами и лесом, то есть то, что я бы в одном месте назвал кустами, то в другом месте я бы назвал лесом - посему нормальную groundtruth карту я составить не смог. Т.е. смог, но она меня не устроила.

usm78-gis · 2010-05-16 17:33:40

Aleksandr Dezhin wrote:

Я бы и от i.smap тоже чудес не ожидал. Если классы спектрально не разделимы, то и он их вряд-ли как-то разделит...

"Максимально разделимы" и "разделимы" это, сильно упрощая, как если два вектора ортогональны (угол 90°) или угол не равен 0°.
Неразделимы только те векторы, угол между которыми равен 0°. Грубо говоря, 40° это вода, 60° это лес, а 90° непонятно что.

Насколько я понял, i.smap что-то вроде r.neighborhoods + подклассы на лету делает (кстати теряя при этом инфу о вероятности выбранного класса),

Подклассы генерирует gensigset, пытаясь найти центры нормально распределенных подгрупп внутри класса, задаваемых тренировочной картой,
а затем smap сгруппировывает все пикселы, основываясь на этой статистике.
Как было видно на залитых данных, в классе "вода" были разделены по крайней мере подклассы похожие на "чистая вода", "мелководье=песок", "заболоченная вода" и т.д.
По умолчанию происходит поиск 10 таких гауссовских подклассов, но это число можно менять.
Я видел только 1 грубую ошибку: определенное сосновое редколесье определялось как болото. Это видимо связано с похожим типом мха.

Это я пробовал, с целью улучшить контур, но я так понял, что три канала в IRS - это три канала, и классифицировать по ним, по крайней мере этими методами, бесполезно - лес с водой стабильно путаются, так же как в общем-то и на глаз.

Выложите куда-нибудь IRS geotiff и тренировочную карту, и скажите какую дату+row/path брать для ландсата.
Доказанный отрицательный результат это тоже важный результат.

usm78-gis · 2010-05-16 17:38:45

mbiker wrote:

Недавно вот как раз в связи с этой задачей поставил и разобрался с основами GRASS. Так что +1

Ok, давайте определяться со сценой ландсата, и (потом) тренировочной картой.
Зная сцену, уже можно много что попробовать и сделать полезного.

SenatoR · 2010-05-16 18:14:53

usm78-gis, задам вопросец, немного не в тему, но все же. Чтобы не засорять форум, можно ответить в личку.

Вот я турист-сплавщик. Я плыву по реке, а вокруг пустота и изредка отмеченные мной же стоянки. Но стоянки значат лишь то, что там можно стоять, а может там лес в 2 км от реки. Спутниковый снимок в навигатор не загрузишь. Могу ли я, простой пользователь Линукс, используя какую-либо тренировочную карту создать для себя любимого небольшой кусочек векторизации в виде формата, пригодного для конвертации в Гармин? Насколько это сложно и где почитать? Заранее спасибо!

mbiker · 2010-05-16 20:27:59

usm78-gis wrote:

Ok, давайте определяться со сценой ландсата, и (потом) тренировочной картой.
Зная сцену, уже можно много что попробовать и сделать полезного.

К сожалению, на район, который меня интересует, похоже, есть только довольно старые снимки. Хотя возможно, это не так уж важно:

p185r018_7x20020422.ETM-EarthSat-Orthorectified или
p185r018_7x20020812.ETM-EarthSat-Orthorectified

usm78-gis · 2010-05-16 23:14:44

SenatoR wrote:

Могу ли я, простой пользователь Линукс, используя какую-либо тренировочную карту создать для себя любимого небольшой кусочек векторизации в виде формата, пригодного для конвертации в Гармин?

Конвертация не проблема, с технической стороны надо только поправить маленький баг ogr2osm на который мне указали финны, и можно из моих тайлов генерировать гарминовские карты
так же как это делают с высотами SRTM. От вас требуется только тренировочная карта для этого района, т.е. полигоны с подписанным классом, скажем: вода (class=1), лес (class=2), поле=трава (class=3), поле=земля (class=4),
болото без леса (class=5), песок,камни,карьер (class=6). Можете делать прямо в формате .osm. Набор классов можете расширить, но ориентируйтесь на имеющиеся гарминовские типы. Это первое, что мне пришло
в голову. Будет от вас .osm, будет вам и .img. А дальше будете ругаться, как на этом форуме

usm78-gis · 2010-05-16 23:25:16

mbiker wrote:

К сожалению, на район, который меня интересует, похоже, есть только довольно старые снимки. Хотя возможно, это не так уж важно:

После 2003 года SLC off, с ними тоже можно работать, но как подойти к склейке мне не совсем понятно.

p185r018_7x20020422.ETM-EarthSat-Orthorectified или
p185r018_7x20020812.ETM-EarthSat-Orthorectified

http://35.8.163.122/beta/access_v_2/acc … 1&cloud=10

Апрельский снимок я бы не стал брать для классификации, там еще даже лед на Ладоге виден,
а вот август - самое то. Облачка несколько портят дело, модуль i.landsat.acca я для grass7.0 портировать
не смог, буду пробовать собрать для 6.4. А так если вручную отрезать левый верхний кусок с облаками, можно
сделать все стандартные операции описанные выше.
Используя мою классификацию в Ломоносовском районе как тренировочную карту, сделать i.smap и для
этой сцены будет несложно, тогда можно будет более предметно говорить о качестве и ошибках.

Last edited by usm78-gis (2010-05-16 23:26:13)

Announcement

#101 2010-05-08 23:02:39

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#102 2010-05-08 23:13:27

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#103 2010-05-09 09:22:01

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#104 2010-05-09 10:54:57

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#105 2010-05-10 05:46:03

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#106 2010-05-10 06:13:44

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#107 2010-05-10 06:46:08

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#108 2010-05-10 16:41:41

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#109 2010-05-10 21:37:42

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#110 2010-05-10 22:02:56

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#111 2010-05-11 09:33:15

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#112 2010-05-11 09:41:24

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#113 2010-05-13 02:09:23

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#114 2010-05-14 23:40:39

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#115 2010-05-15 12:39:33

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#116 2010-05-15 19:28:07

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#117 2010-05-15 20:16:25

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#118 2010-05-16 01:27:37

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#119 2010-05-16 01:56:55

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#120 2010-05-16 17:33:40

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#121 2010-05-16 17:38:45

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#122 2010-05-16 18:14:53

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#123 2010-05-16 20:27:59

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#124 2010-05-16 23:14:44

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#125 2010-05-16 23:25:16

Re: Автоматизированная классификация снимков ДЗЗ Landsat

Board footer