Автоматизированная классификация снимков ДЗЗ Landsat

Alexey Guseynov · 2010-05-03 17:16:22

А может надо поднимать вопрос о необходимости дополнительных баз данных? Куда бы можно было выгружать такую информацию. Желательно с возможностью ручного переноса данных в основную базу и использования в качестве подложки?

liosha · 2010-05-03 18:04:48

Alexey Guseynov, а для чего база??
Информацию такого типа просто выкладывают на ftp отдельными тайлами, бОльшего обычно не требуется

Alexey Guseynov · 2010-05-03 18:07:42

liosha wrote:

Alexey Guseynov, а для чего база??
Информацию такого типа просто выкладывают на ftp отдельными тайлами, бОльшего обычно не требуется

Чтобы не только тайлы были, но и вектор. И чтобы с минимальными заморочками можно было в редакторах и просмотровщиках увидеть сразу два слоя.

liosha · 2010-05-03 18:09:35

Я про вектор и говорю. Вектор-то тут всё равно в тайлы группируется.

zgremlin · 2010-05-03 19:05:22

liosha wrote:

Alexey Guseynov, а для чего база??
Информацию такого типа просто выкладывают на ftp отдельными тайлами, бОльшего обычно не требуется

В принципе достаточно.
Но для большего комфорта хорошо бы замутить инфраструктуру, где можно будет отмечать кто с какими тайлами начал работать и т.д.
(хотя и это можно просто на форуме, а лучше на wiki организовать).
А уж растровая подложка (в виде WMS) со слоями LandSat (все-таки возможность поканальной работы очень не помешала бы), да и растр попиксельной классификации (еще бы и с выбором подмножества с которым работать - гидрография, растительность, горные породы...), ну и, само собой, общая калибровка на все слои, были бы просто роскошью. Но это уже совсем неслабая работа и нужен мощный сервер.

Sergey Astakhov · 2010-05-03 20:11:59

Я тоже голосую за отдельную БД. Использовать её как дополнительный источник, куда можно посмотреть - это было бы супер. Но заливать всё в основную базу - не стоит. Помимо качества, вызывающего вопросы, есть ещё один существенный момент - ну не готовы существующие инструменты к такому объёму. Вон, осмосис уже не может нормально переварить даже то сейчас залито, а дальше будет только хуже.

Ezhick · 2010-05-03 22:12:06

Sergey Astakhov wrote:

Я тоже голосую за отдельную БД. Использовать её как дополнительный источник, куда можно посмотреть - это было бы супер. Но заливать всё в основную базу - не стоит. Помимо качества, вызывающего вопросы, есть ещё один существенный момент - ну не готовы существующие инструменты к такому объёму. Вон, осмосис уже не может нормально переварить даже то сейчас залито, а дальше будет только хуже.

Справедливости ради - осмосис не может переварить в одном конкретном месте - на сервере гислаба. В принципе он может переварить гораздо больше, просто гислаб и так тратит кучу ресурсов на нарезки по регионам и менять конфиги сервера в сторону падения производительности из-за одного региона они, ясное дело, не будут. Тут действительно лучше исключить один регион в пользу других.

Sergey Astakhov · 2010-05-03 23:16:18

Ezhick wrote:

Справедливости ради - осмосис не может переварить в одном конкретном месте - на сервере гислаба.

Это первая ласточка. Если продолжить наполнять базу в том же духе - дальше проблемы будут нарастать как снежный ком. Начнуться проблемы с рендерами, конвертерами, навигаторами и т.д.. Когда всё рисуется вручную, постепенно, то и инструменты тоже постепенно подтянутся. А если на них вывалить всё и сразу - то это вызывает отторжение, как к сломавшему ранее работавшую вещь.

Вот представьте, завтра половину данных БД сконвертируют перекидыванием тегов с way-ев/node в relation, а поддержку в инструментах делать не станут. Вроде всё корректно, информация не потерялась, но, ИМХО, большинство сочтёт это вандализмом. OSM без соответствующих инструментов - не жилец.

sim · 2010-05-03 23:41:09

гислаб может переварить, но медленно
нужно ли это ради вырезки региона в 1 гб (треть общероссийского дампа), который, я подозреваю, никто и открыть не сможет.

Ezhick · 2010-05-04 09:17:13

Ну чаво вы на меня накинулись? Последнюю строчку поста никто не увидел???

SenatoR · 2010-05-06 05:34:56

Все же, чем плохо отдаленные территории так обрисовывать? Главное, не затирать уже существующее.

mbiker · 2010-05-06 06:49:53

SenatoR wrote:

Все же, чем плохо отдаленные территории так обрисовывать? Главное, не затирать уже существующее.

По крайней мере, алгоритм нуждается в доработке. Импорт в Эстонии вполне прилично выглядит - никаких ступенек, и мелких (точечных) областей. Редактировать, впрочем, не пробовал.

SenatoR · 2010-05-06 17:45:22

Ну, понятно после доработки напильником

liosha · 2010-05-06 19:33:22

SenatoR wrote:

Все же, чем плохо отдаленные территории так обрисовывать? Главное, не затирать уже существующее.

Тут два момента.
Во-первых, в текущем варианте оно очень плохо тем, что ЭТО невозможно подредактировать и исправить.
А во-вторых, сама идея заливать в OSM подобные данные очень спорна. Ради чего это надо? Это данные другого типа, и ими было бы гораздо удобнее пользоваться, если бы они лежали отдельно от базы OSM

SenatoR · 2010-05-07 15:33:40

Да, наверное стоит иметь это в виде отдельной подложки.

alexsaf · 2010-05-08 10:44:00

Отдельная подложка может была бы полезной.
Но я за то чтобы как можно быстрее убрать этот кошмар с карты :
http://www.openstreetmap.org/?lat=60.53 … rs=B000FTF - дома пересекают "пляжи" и "болота", "кустарники" и "лес" наехали на парковку
http://www.openstreetmap.org/?lat=60.36 … rs=B000FTF - порт и береговая линия захламлены "болотами"
Автоматизация такого рода не применима в населенных пунктах. И крайне плохо работает вблизи береговой линии. Редактировать такое количество мусора вручную не хочется - руки опускаются (((

Last edited by alexsaf (2010-05-08 11:20:56)

usm78-gis · 2010-05-08 16:44:45

liosha wrote:

ЭТО невозможно подредактировать и исправить.

liosha, а как надо по твоему рисовать/редактировать лоскутное одеяло типа landcover ?
Я попал в интересный "перекрестный огонь" в том числе, тех, кто явно рисует по снимкам высокого
разрешения с google, и обвиняют меня в плохой геометрической точности landsat7
(лес, кустарник наехал на дома)
и data providers - sim, ты и Zkir, кто говорит, что нужна еще большая генерализация,
т.к. и с этим то объемом данных вам не справиться.
Куда податься крестьянину ?

PS. Пользователи тайлов mapnik, кстати, в восторге от результатов рендеринга, судя по тем
приватным сообщениям которые я получил. Финны, которые рисуют озерную систему Саймаа,
стоят из-за мультиполигонов перед еще бОльшими проблемами, с потлатчем там вообще делать
нечего. Я через нарезку сеткой z=13 сделал жизнь потлатчевателей гораздо комфортнее,
и не моя вина в тормознутости spatial index для полигонов-релейшенов в ОСМ.

PPS. Я не получил никаких претензий со стороны "большого" ОСМ, ни по объему, ни по плотности
данных, хотя уверен, что создал серьезные проблемы системе автоматического рендеринга тайлов.

liosha · 2010-05-08 17:19:49

usm78-gis wrote:

liosha, а как надо по твоему рисовать/редактировать лоскутное одеяло типа landcover ?
...
Куда податься крестьянину ?

Ну могу ещё раз повторить: никак в ОСМ не надо рисовать landcover (тем более автоматически сгенерённый landcover). Это всё-таки база объектов, а не землепользования.
А landcover надо держать в отдельной базе.

usm78-gis wrote:

Пользователи тайлов mapnik, кстати, в восторге от результатов рендеринга, судя по тем
приватным сообщениям которые я получил.

Да кто бы сомневался...
Но кто мешает при рендеринге этих тайлов брать этот же landcover из отдельной базы?

sim · 2010-05-08 17:21:16

usm78-gis, я лично всячески поддерживаю твои эксперименты, т.е. крестьянину надо продолжать с этим работать, просто _пока_ результат :

1. нуждается в доработке, более тщательном обсуждении и решении как и что заливать и как с этим работать.
2. создает большие проблемы для текущего софта с кучей неприятных следствий (прекращение создания выгрузок в гармин и т.п.)

Учитывая 1 и 2, мне кажется, что заливать это в OSM пока рано, отдельно - нет проблем. У нас просто нет ресурсов решать все проблемы (софт, серверные мощности, улучшение классификации) одновременно. Я за откат того, что сейчас выгружено. Все хорошо в свое время.

liosha · 2010-05-08 17:43:56

Ну целиком-то страна в гармин продолжает собираться
Только режется на 33 части вместо 26
А вот из сборки регионов ЛО пришлось убрать.

Anton Martchukov · 2010-05-08 17:49:27

liosha wrote:

Ну могу ещё раз повторить: никак в ОСМ не надо рисовать landcover (тем более автоматически сгенерённый landcover). Это всё-таки база объектов, а не землепользования. А landcover надо держать в отдельной базе.

А чем леса, поля, болота и озёра не объекты? Всё же OSM уже переросла уровень карты для автомобилистов?

liosha · 2010-05-08 17:53:53

Anton Martchukov wrote:

А чем леса, поля, болота и озёра не объекты? Всё же OSM уже переросла уровень карты для автомобилистов?

Дык дело в том, что landcover - это никаким боком не объекты. А против самих лесов и болот вроде бы никто нигде не возражал

Zkir · 2010-05-08 19:08:34

Я попал в интересный "перекрестный огонь" в том числе, тех, кто явно рисует по снимкам высокого
разрешения с google, и обвиняют меня в плохой геометрической точности landsat7
(лес, кустарник наехал на дома)

usm78-gis, проблема не в низкой геометрической точности ландсата, а в том что в общую базу заливается нечто, что никак не увязано с уже имеющимися в базе объектами - болота посреди моря, пляжи под домиками, etc. это очевидные ошибки. Какая бы ни была "точность", домик не может оказаться посреди озера, даже если они, скажем, рисуются от руки.

Так что я поддерживаю мнения sim из поста #94

крестьянину надо продолжать с этим работать, просто _пока_ результат нуждается в доработке, более тщательном обсуждении и решении как и что заливать и как с этим работать.

usm78-gis · 2010-05-08 22:33:02

Zkir wrote:

usm78-gis, проблема не в низкой геометрической точности ландсата, а в том что в общую базу заливается нечто, что никак не увязано с уже имеющимися в базе объектами - болота посреди моря, пляжи под домиками, etc. это очевидные ошибки. Какая бы ни была "точность", домик не может оказаться посреди озера, даже если они, скажем, рисуются от руки.

Zkir, эта проблема как раз легко решаема.
А вот эта очень может быть совсем не решаемой:

Zkir wrote:

Предыдущая попытка проживать ЛО продолжалась 6 часов и закончилась Geneneral Protection Fault

Полный атлас без роутинга для руссы я конечно для себя соберу. для лучшего ориентирования и пометки
ошибок классификации.

usm78-gis · 2010-05-08 22:44:29

sim wrote:

У нас просто нет ресурсов решать все проблемы (софт, серверные мощности, улучшение классификации) одновременно. Я за откат того, что сейчас выгружено. Все хорошо в свое время.

Ок, против этого действительно возразить нечего. 1-2-3 человека вполне договорятся о таком value-added продукте и без ОСМ.
Для классификации хочешь не хочешь придется создавать методику верификации, и ждать, пока редакторы (josm,potlatch,etc.) поумнеют.
Может занять несколько лет, но от этих проблем им никуда не уйти.

Announcement

#76 2010-05-03 17:16:22

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#77 2010-05-03 18:04:48

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#78 2010-05-03 18:07:42

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#79 2010-05-03 18:09:35

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#80 2010-05-03 19:05:22

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#81 2010-05-03 20:11:59

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#82 2010-05-03 22:12:06

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#83 2010-05-03 23:16:18

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#84 2010-05-03 23:41:09

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#85 2010-05-04 09:17:13

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#86 2010-05-06 05:34:56

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#87 2010-05-06 06:49:53

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#88 2010-05-06 17:45:22

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#89 2010-05-06 19:33:22

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#90 2010-05-07 15:33:40

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#91 2010-05-08 10:44:00

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#92 2010-05-08 16:44:45

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#93 2010-05-08 17:19:49

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#94 2010-05-08 17:21:16

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#95 2010-05-08 17:43:56

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#96 2010-05-08 17:49:27

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#97 2010-05-08 17:53:53

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#98 2010-05-08 19:08:34

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#99 2010-05-08 22:33:02

Re: Автоматизированная классификация снимков ДЗЗ Landsat

#100 2010-05-08 22:44:29

Re: Автоматизированная классификация снимков ДЗЗ Landsat

Board footer