Актуальные задачи, требующие искусства программирования

Komяpa · 2011-10-22 07:40:01

А вот ещё интересная задачка.

Дано: растр, libjpeg.
Надо: пропатчить libjpeg/gdal так, чтобы пиксели со значением (0,0,0) не оказывали никакое влияние на тот спектр, который будет записан для блока самим libjpeg.
Подробнее: https://plus.google.com/u/0/10129102939 … 5vyUKGkPjF

Если это сделать, то геотиффы с фотографиями (а-ля Великие Луки http://latlon.org/maxi?zoom=10&lat=56.4 … FF0000FBF) можно будет спокойно делать не 50-, а 3-4-меабайтными, без боязни того, что на склейках вылезут чёрные края от артефактов сжатия jpeg.

Upliner · 2011-10-23 18:10:51

Komяpa wrote:

А вот ещё интересная задачка.

Да, это задачка скорее для математиков, чем для программистов. Известно, что аудиокодеки, например Vorbis использует Linear prediction для того, чтобы избежать артефактов в начале и конце трека(в случае, когда они начинаются/заканчиваются не тишиной). А тут поневоле придётся изобретать Bilinear prediction.

Last edited by Upliner (2011-10-23 18:11:43)

usm78-gis · 2011-10-23 18:37:19

Komяpa wrote:

без боязни того, что на склейках вылезут чёрные края от артефактов сжатия jpeg.

Не проще ли отказаться от jpeg для таких тайлов, и использовать png ?

Komяpa · 2011-10-23 19:05:48

usm78-gis, внутри geotiff'a мешать jpg и png? Это ещё страшнее

Суть вопроса как раз не в том, чтобы раздавать конечную мозаику в jpeg (там, как раз, ничего страшного, если на границе чёрного с цветным что-то вылезет - кому надо, попросят у wms png), а в том, чтобы при хранении/выкладке в интернеты один геотифф занимал не 50-200 мегабайт, а 4-10, как исходная фотография.

Last edited by Komяpa (2011-10-23 19:11:10)

usm78-gis · 2011-10-23 19:23:02

Komяpa wrote:

при хранении/выкладке в интернеты один геотифф занимал не 50-200 мегабайт, а 4-10, как исходная фотография.

Тогда все равно придется декларировать новый (приватный) кодек
для геотиффа и читать его никто не сможет.
Впрочем убогие программы и deflate то не понимают
Выкладывайте тогда
уж jpeg2000, хотя я в душе тоже скорее сторонник обновленного геотиффа

кому надо, попросят у wms png

Хм, покажите реальную статистику пользователей josm, запрашивающих format=image/png.

Last edited by usm78-gis (2011-10-23 19:27:36)

Komяpa · 2011-10-23 19:43:30

usm78-gis wrote:

Тогда все равно придется декларировать новый (приватный) кодек
для геотиффа и читать его никто не сможет.

Cо времён gdal 1.8.0 geotiff умеет хранить битовую маску NODATA в сжатом виде: http://www.gdal.org/frmt_gtiff.html

"Новый" кодек декларировать необязательно:
- тупые программы не поймут jpeg вообще (они нас и так не интересуют, всё на базе gdal его умеет);
- программы, не умеющие читать сжатую битовую маску NODATA - покажут всё, и по краям нарисуют разводы размером с jpeg-овский блок - неприятно, но и нефатально;
- target-программы (gdal 1.8 плюс поддержка mask со стороны софта, mapserver 6.0+ в частности) - покажут только то, что будет разрешено маской, соответственно, на новое раскодированное значение бывших чёрных пикселей глубоко наплевать.

Плюс от такого подхода - убирается "грязь" на склейках.

Как-то так.

fserges · 2011-10-25 10:13:31

Zkir wrote:

ЗАДАЧА 5.
Cоздание компактной обзорной карты России. Данные ОСМ хорошо подходят для создания крупномасштабных и, в меньшей степени среднемасшабных карт.
Требуется примерно следующее. Надо выкачивать все дороги секондари и выше, все тауны и выше, ЖД, воду, берег, границы областей и упрощать это всё.
Плюс ко всему, результаты этой трансформации должны регулярно (например ежедневно) выгоняться (и выкладываться в интернет) либо обратно в OSM-файл (чтобы заинтересованные стороны могли его обрабатывать стандартными средствами), либо в mp.
Технология: Любая, но на выходе должне быть OSM или mp.

Открываю книгу (простенькую, но всё же ...) - Берлянт А.М. Картография, М.:2001, стр. 129.

Глава 7. Картографическая генерализация
7.1. Сущность генерализации
...
Процесс генерализации труднее других картографических процессов поддаётся формализации и автоматизации. Не все этаппы могут быть алгоритмизированы, не все критерии удаётся однозначно формализовать. Качество генерализации во многом зависит от понимания картографом содержательной сущности изображаемых объектов и явлений, умения выявить главные типичные их особенности. Опыт показывает, что автоматизация картографической генерализации должна опираться на интерактивные, диалоговые процедуры, обеспечивающее активное участие картографа.

Господа программисты, вперёд

Zkir · 2011-10-25 10:44:52

fserges, речь идет о том, чтобы из данных осм сделать маломальски годную мелкомасштабную карту, в частности, обзорную карту России (а так же карты Мира, Евразии) пригодную для навигации, а не об отыскании Чаши Грааля или Семи Городов Сиболы.

fserges · 2011-10-25 11:03:34

Что-то мне подсказывает (я про генерализацию читал в нескольких темах форума) что требование к генерализации выставлены как раз "об отыскании Чаши Грааля". Чёткая узкая задача решаема (решена ?), глобальная абстрактная однозначно требует вдумчивого участия картографа.

Например, можно глянуть сюда - http://www.openstreetmap.org/?lat=55.88 … 6&layers=M Тут правильно проведена генерализация?

liosha · 2011-10-25 11:12:22

fserges, речь как бы о генерализации графа дорог. По ссылке его нет - там просто картинка.

fserges · 2011-10-25 11:21:03

liosha, читаем первоисточник

Zkir wrote:

ЗАДАЧА 5.
Cоздание компактной обзорной карты России. Данные ОСМ хорошо подходят для создания крупномасштабных и, в меньшей степени среднемасшабных карт.
Требуется примерно следующее. Надо выкачивать все дороги секондари и выше, все тауны и выше, ЖД, воду, берег, границы областей и упрощать это всё.
При этом ключевое слово здесь - упрощать. Т.е. нужно сделать генерализацию данных, чтобы получилась карта масштаба, например 1:1 000 000- 1:10 000 000.

ну а картинка это просто графическое представление модели. Мне же не выдрать данные из которых mapnik создаёт картинку.

liosha · 2011-10-25 11:28:49

fserges, кроме первоисточника неплохо бы ещё прочесть и обсуждение, чтобы понимать, в какую сторону разговор ушёл.

И кстати, если я ничего не путаю, эта картинка ни фига не генерализована, а просто нарисована в мелком масштабе.

fserges · 2011-10-25 11:35:15

Обсуждение может менять направление 100 раз. Именно для для этого в шапке темы всегда пишут актуальное состояние проблемы, постановка задачи так сказать ...

По поводу картинки я и спросил - а что не так с генерализацией на приведённой странице. Чем алгоритм mapnik плох? Понимание этого позволит задачу поставить чётче.

liosha · 2011-10-25 11:57:39

fserges wrote:

По поводу картинки я и спросил - а что не так с генерализацией на приведённой странице. Чем алгоритм mapnik плох?

liosha wrote:

картинка ни фига не генерализована, а просто нарисована в мелком масштабе.

Komяpa · 2011-10-25 11:58:30

fserges, mapnik не производит никакой генерализации. Чтобы отрисовать картинку 256х256, из базы достаются те же самые сотни мегабайт информации. Рекомендую посмотреть на конфигурацию сервера, рендерящего тайлы, и сравнить его с конфигурацией любого навигатора.

fserges · 2011-10-25 12:44:31

Ну раз вы самые умные то и решайте эту задачу Наша вашего не понимает

P.S. Для генерализации из базы достаются те же самые сотни мегабайт информации ...

Last edited by fserges (2011-10-25 12:53:35)

Larry0ua · 2011-10-25 13:30:16

подозреваю, что имеется ввиду следующее
генерализация - процесс сворачивания гигабайтного файла до 10 метров (например) с возможностью навигации и поиска городов/стран по ним, упрощенными линиями и т.д.
а мапник, чтоб отрисовать тайл на 6-12 масштабе выкачает все данные этого квадрата в оперативку и там их начнет мучить. то-есть сам мапник не делает генерализации, он только рисует самое важное на данном зуме, как в правилах написано.

fserges · 2011-10-25 13:44:41

Вот то что написал Larry0ua гораздо более похоже на постановку задачи для программиста

И всё же я готов поспорить - mapnik делает генерализацию Только его упор - на визуальное представление тогда как я понимаю задача Zkir - сохранение каких-то свойств дорожного графа. Т.е. генерализация для разных задач разная!

Hind · 2011-10-25 13:57:08

fserges wrote:

И всё же я готов поспорить - mapnik делает генерализацию

Вот в этом месте я засмеялся

liosha · 2011-10-25 13:58:06

fserges, мапник её не делает, просто потому что его задача - отрисовка, а не генерализация.

Alexandr Zeinalov · 2011-10-25 14:03:15

Есть открыть всю Россию, сделать поиск highway=* и сменить всё на highway=trunk - то мы неожиданно поймём, что собственно генерализацию делает не мапник, а мапперы, которые ставят trunk на очень небольшое количество не очень плотно расставленных дорог.

fserges · 2011-10-25 14:18:02

Ещё раз повторю цитату.

Процесс генерализации труднее других картографических процессов поддаётся формализации и автоматизации. Не все этаппы могут быть алгоритмизированы, не все критерии удаётся однозначно формализовать. Качество генерализации во многом зависит от понимания картографом содержательной сущности изображаемых объектов и явлений, умения выявить главные типичные их особенности. Опыт показывает, что автоматизация картографической генерализации должна опираться на интерактивные, диалоговые процедуры, обеспечивающее активное участие картографа.

highway=trunk это и есть пресловутая "диалоговая процедура, обеспечивающее активное участие картографа".

Zkir · 2011-10-25 15:20:52

fserges wrote:

Например, можно глянуть сюда - http://www.openstreetmap.org/?lat=55.88 … 6&layers=M Тут правильно проведена генерализация?

Нет конечно. Тут плохо ВСЁ. Во-первых я не вижу Волгу - а она ведь самый крупный (длинный) объект в Европейской части России. Где Ока, Москва-река, Клязьма?

Дороги отобраны правильно (trunk/primary), но отображаются слишком бледно, их едва можно разобрать.

При всем этом карта практически лысая - в Тверской области из городов показана только Тверь, во Владимирской области есть Ковров, но нет самого Владимира и.т.д.

Если это политическая карта, можно раскрасить области в разные цвета, а если физическая - показать лес.

Это что касается визуализации.

ну а картинка это просто графическое представление модели. Мне же не выдрать данные из которых mapnik создаёт картинку.

В том то и проблема, что нет у мапника никакой модели. Он просто пытается отрендерить то, что есть в osm-базе, отфильтровав определенные типы объектов.

liosha wrote:

fserges, мапник её не делает, просто потому что его задача - отрисовка, а не генерализация.

Угу, а поскольку одно без другого невозможно, уже с 8-го уровня начинается полный бред, какой просто стыдно называть картой.

Last edited by Zkir (2011-10-25 15:40:33)

Zkir · 2011-10-25 15:33:16

Теперь что касается данных.

Larry0ua wrote:

подозреваю, что имеется ввиду следующее
генерализация - процесс сворачивания гигабайтного файла до 10 метров (например) с возможностью навигации и поиска городов/стран по ним, упрощенными линиями и т.д.

Да, примерно так. Требуется породить файл разумного размера (10-50 мб) с векторными данными, содержащий геометрию и атрибуты, чтобы эту карту можно было отрендерить и строить маршруты между городами.

Почему геометрия должна быть упрощенной, мне казалось довольно очевидно. Например, береговая линия России (Северный ледовитый и Тихий океаны), содержит многие тысячи, а может уже и миллионы точек. А если нужно показать всю Россию целиком, на экране пусть даже не навигатора, а компьютера, с разрешением 1600x1200, столько просто не нужно.

Last edited by Zkir (2011-10-25 15:33:47)

ErshKUS · 2011-10-25 20:33:38

задача 5:
-менять все полигоны городов/поселков на точки
-оставить транки, примари со сьздами. Тут сложней, стандарты на классы дорог различны внутри и снаружи городов (как мне кажется), поэтому придется понижать дороги внутри городов.
-составить список обектов кому место на общей карте
-упростить линии, например ST_Simplify (постгис), но тут есть другие грабли, нужно тщательно подбирать коэфициенты и алгоритмы, т.к. упрощая, например границу России, я сократил количество точек до нужного (не помню сколько), но Кгд обл. упростилась до 5 точек (може преставить как она выглядела)
- реки тоже упростить до way

P.S. это так, краткий очерк, вдруг кому будет полезно

Announcement

#26 2011-10-22 07:40:01

Re: Актуальные задачи, требующие искусства программирования

#27 2011-10-23 18:10:51

Re: Актуальные задачи, требующие искусства программирования

#28 2011-10-23 18:37:19

Re: Актуальные задачи, требующие искусства программирования

#29 2011-10-23 19:05:48

Re: Актуальные задачи, требующие искусства программирования

#30 2011-10-23 19:23:02

Re: Актуальные задачи, требующие искусства программирования

#31 2011-10-23 19:43:30

Re: Актуальные задачи, требующие искусства программирования

#32 2011-10-25 10:13:31

Re: Актуальные задачи, требующие искусства программирования

#33 2011-10-25 10:44:52

Re: Актуальные задачи, требующие искусства программирования

#34 2011-10-25 11:03:34

Re: Актуальные задачи, требующие искусства программирования

#35 2011-10-25 11:12:22

Re: Актуальные задачи, требующие искусства программирования

#36 2011-10-25 11:21:03

Re: Актуальные задачи, требующие искусства программирования

#37 2011-10-25 11:28:49

Re: Актуальные задачи, требующие искусства программирования

#38 2011-10-25 11:35:15

Re: Актуальные задачи, требующие искусства программирования

#39 2011-10-25 11:57:39

Re: Актуальные задачи, требующие искусства программирования

#40 2011-10-25 11:58:30

Re: Актуальные задачи, требующие искусства программирования

#41 2011-10-25 12:44:31

Re: Актуальные задачи, требующие искусства программирования

#42 2011-10-25 13:30:16

Re: Актуальные задачи, требующие искусства программирования

#43 2011-10-25 13:44:41

Re: Актуальные задачи, требующие искусства программирования

#44 2011-10-25 13:57:08

Re: Актуальные задачи, требующие искусства программирования

#45 2011-10-25 13:58:06

Re: Актуальные задачи, требующие искусства программирования

#46 2011-10-25 14:03:15

Re: Актуальные задачи, требующие искусства программирования

#47 2011-10-25 14:18:02

Re: Актуальные задачи, требующие искусства программирования

#48 2011-10-25 15:20:52

Re: Актуальные задачи, требующие искусства программирования

#49 2011-10-25 15:33:16

Re: Актуальные задачи, требующие искусства программирования

#50 2011-10-25 20:33:38

Re: Актуальные задачи, требующие искусства программирования

Board footer