Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

sim · 2009-11-13 20:08:34

Коллеги,

по многочисленным просьбам, выкладываю использованные нами для ежедневных обрезок файлы границ обрезки по всем субъектам РФ в трех вариантах + источники данных и расширение для их генерации в QGIS.
http://gis-lab.info/qa/osm-poly.html

А здесь результаты резки РФ регионами осмосисом с кучей всяких параметров, может кому-то будет интересно.
http://gis-lab.info/qa/osmosis-bm.html

Eugene · 2009-11-14 08:13:33

Результаты очень интересные. Правда, есть небольшие комментарии:
1. В тексте не описан режим Р, хотя он есть в табличке и упоминается в описании режима М.

2. В режиме РС у некоторых областей (Иркутской, Карелии и т.д.) время генерации измеряется тысячами минут. Это действительно так? Заметно, что у них гораздо больше узлов, но в то же время есть области с близким их числом - Коми и Карелия, а время генерации отличается в 50 раз. Или там ошибка (потому что число узлов совпадает до единицы у них и еще у Марий Эл).

3. Вы не пробовали сначала разделить Россию еще на прямогугольные блоки (например, по Федеральным округам) и вырезать уже из них? Теоретически, должно получиться быстрее, чем каждый раз брать весь файл.

4. Распаковывается ли planet.osm, если да, то включено ли время на это и на запаковку результатов?

5. Что критичнее для процесса обрезки - мощность процессора или объем памяти?

Рекомендую добавить эти бенчмарки в вики, там есть отдельная страничка для Osmosis'а. И спасибо за описание.

sim · 2009-11-14 17:20:54

1. Опечатка, поправил
2. Да, с completeways все занимает именно столько. количество узлов в Марий Эл и Коми - странная ошибка, пардон. Исправлено.
3. Не поможет, проверено на отдельном регионе. Размер входного блока не имеет значения при резке с completeways. Не хочется повторять такой бенчмарк, так как опять придется ждать выполнения 4 дня Добавил в выводы.
4. Да, распакован и обрезан, это было указано выше.
5. Процессор.

Про вики, если кто добавит - я не против, чуть-чуть занят сейчас.
Спасибо, что внимательно посмотрел! Закон Линуса в действии

Last edited by sim (2009-11-14 20:31:59)

Zkir · 2009-11-15 00:39:39

А нельзя ли сделать файлы из кучки "20 км от границы" с меньшим числом узлов. Мне кажется что для них такое большое число узлов избыточно.

sim · 2009-11-15 06:13:05

Zkir, можно, но если ты думаешь, что это сильно замедляет работу Osmosis, то это не так. Или ты еще из каких-то соображений?

Zkir · 2009-11-15 08:38:50

Нет, только из соображений скорости обрезки.

sim · 2009-11-15 19:28:01

тогда не стоит менять, наверное, посмотри в бенчмарках как меняется скорость при использовании Mbr и сложного полигона, сильно это не помогает.

Zkir · 2009-11-15 23:18:39

Ладно, будет время сравню со своими (грубыми, максимум 20 вершин) поли-файлами.

sim · 2009-11-16 00:05:53

ок, сообщай, если я что-то пропустил, упрощу границы.

sim · 2009-11-18 04:48:28

woidrick, я добавил в архив poly/russia_full.poly - это граница РФ, т.е. общий poly для всех в этой папке.

Границу евразии пока не делал, если хочешь я объясню из чего и как именно она делается. Суть в том, что там куча островов, которые по хорошему надо включить в общую границу, я это сделал для РФ, но мне влом сидеть и это делать, это ручная работа.

woidrick · 2009-11-18 16:33:46

sim, спасибо скачал.

за инструкцию - буду благодарен

пока нет смысла муторно включать все острова, я планирую это просто про запас, когда эти детали кто-нибудь попросит. евразию мне достаточно приблизительно, просто она мне нужна по задуманной логике вложений территорий. можно даже грубо прямоугольниками до северного полюса, обойдя гренландию, поаккуратнее по границе с африкой, хотя что там аккуратничать - суэцкий канал, далее все острова около малазии - нахрен, японию включать если включена англия (она ничем её не хуже тоже грубо прямоугольниками (просто инструкцию я пока осилю, а резать планирую в пятницу, когда планета скачается.

sim · 2009-11-20 16:34:03

woidrick wrote:

за инструкцию - буду благодарен

Я немного расширил описание на странице.
Дополнительно в твоем случае нужно:
1. Загрузить вимэп, например здесь: http://gis-lab.info/qa/vmap0.html
2. Выбрать нужный слой (например bnd-political-boundary-a из EUR и SAS)
3. Дальше по инструкции в QGIS
4. Создать новый слой - нарисовать большой полигон (сильно точно не надо, прото границу континента по морю с захватом нужных областей)
5. Ну и наконец расширением выкинуть полик.

woidrick · 2009-11-21 19:52:49

sim: спасибо, буду разбираться, а вы пробовали одновременную резку и сократит ли это время, примерно так, как описано http://lists.openstreetmap.org/pipermai … 11635.html ?

sim · 2009-11-22 01:49:34

-tee помогает, но не с completeways, там ничего не помогает
наверное стоит еще всю страну на 6 областей разделить и с помощью -tee прогнать, но так непонятно как время выполнение конкретного региона посчитать, можно только общее.

woidrick · 2009-11-22 19:20:48

sim: насчёт qgis - решил попробовать упростить себе жизнь и не рисовать вручную границу, а попробовать объединить полигоны средствами qgis. но что но не вижу ничего похожего на эту функцию
upd: всё же удалось применить geoprocessing функцию dissolve

удалось

использовать плагин split shapefile для вырезания группы полигонов по признаку принадлежности к стране, но они остаются раздельными полигонами, и на всём administrative boundary a падает от нехватки ресурсов, успев вырезать десятка три стран.

склеить eur и sas плагином geoprocessing функция union

удалить из получившегося всё кроме относящегося к европе и азии, выделив расширенным поиском a_NA3_DESC != 'Asia' AND a_NA3_DESC != 'Europe' AND b_NA3_DESC != 'Asia' AND b_NA3_DESC != 'Europe' и удалив то, что выделилось. сохранить в файле это не получается

Last edited by woidrick (2009-11-22 19:28:20)

sim · 2009-11-22 21:55:33

я специально не стал советовать идти по пути геопроцессинга, по нескольким причинам
1. результирующий полигон будет включать массу узлов
2. нарисовать границу гораздо быстрее
3. dissolve с отдельными островами приведет к появлению мультиполигонов - лишний геморой

если ты все же хочешь пойти по этому пути, то попробуй не удалять все кроме выделенного, а наоборот выделить то что тебе необходимо и сохранить в отдельный новый слой, для этого после выделения надо щелкнуть правой по слою в списке и выбрать Save selection as shapefile.

woidrick · 2009-12-02 16:56:03

sim, простите, ещё вопрос, не совсем по теме

я практически уверен что вы где то упоминали, что режете осмозисом в режиме исполнения на нескольких ядрах, но я никак не могу найти этот пост

не подскажете командную строку/опции явы для запуска резки на нескольких ядрах?

Ezhick · 2009-12-02 21:43:01

имхо не умеет осмосис несколько ядер юзать...

sim · 2009-12-03 21:39:02

осмосис использует одно ядро, поэтому имеет смысл запускать несколько параллельных потоков
можно использовать top для того, чтобы убедиться, что это работает

Ezhick · 2009-12-04 08:42:39

это смотря что делать... если апдейт базы делаешь, то несколько потоков не запускаются одновременно

Кстати. интересно, а что быстрее на не очень производительной машине - ежечасные обновления или суточные? Я имею в виду в абсолютных затратах процессорного времени?

woidrick · 2009-12-04 14:48:16

Я думаю на тему как ускорить наложение дейли диффов на planet.osm файл. Процесс у меня занимает полтора суток на каждый дифф. В таком режиме я от реалтайма отстаю. Подскажите, если использовать базу - улучшится ли скорость? Предварительные изыскания показали что нэймфайндер база mysql обновляется довольно шустро, за исключением DELETE, которое на каждую операцию тратит 3 минуты. И в таком режиме я отстаю даже больше, чем на 2 суток на каждый дифф.

Так же выяснилось что почему-то Россия по модифицированному russia_full.poly (добавлена Калининградская область и Чукотка за антимеридианом (+-180) обрезается дня 4 (уже не помню, когда запустил) хотя просто russia_full.poly за несколько часов, моя евразия (тоже с куском за антимеридианом, вырезается за часов 5-6, и при этом состоит из порядка 50 вершин. Кто нибудь может посоветовать, как ускорить обозначенные проблемы?

Ezhick · 2009-12-04 15:44:45

Юзаю постгре + полная база (без обрезки по РФ), на довольно слабеньком п4-2400. Обновления в базу часовыми файлами работают без проблем и без отставания от графика, то есть часовое обновление заливается меньше часа

Сегодня хочу попробовать перейти на суточные, дабы обновляться ночью а днем уменьшать нагрузку на сервер.

sim · 2009-12-04 18:49:53

господа, эта тема про poly-файлы, и про скорость _обрезки_
я могу подробнейшим образом отчитаться, что сколько занимает у нас в нашей схеме, но создайте для этого отдельный топик.

sim · 2010-01-02 17:55:46

проблема с completeways=yes вроде решена, бенчмарки обновлены, данные теперь разрезаются с этим ключем
результаты обрезки обсуждаются здесь http://forum.openstreetmap.org/viewtopic.php?id=5274

Announcement

#1 2009-11-13 20:08:34

Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#2 2009-11-14 08:13:33

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#3 2009-11-14 17:20:54

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#4 2009-11-15 00:39:39

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#5 2009-11-15 06:13:05

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#6 2009-11-15 08:38:50

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#7 2009-11-15 19:28:01

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#8 2009-11-15 23:18:39

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#9 2009-11-16 00:05:53

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#10 2009-11-18 04:48:28

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#11 2009-11-18 16:33:46

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#12 2009-11-20 16:34:03

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#13 2009-11-21 19:52:49

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#14 2009-11-22 01:49:34

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#15 2009-11-22 19:20:48

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#16 2009-11-22 21:55:33

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#17 2009-12-02 16:56:03

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#18 2009-12-02 21:43:01

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#19 2009-12-03 21:39:02

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#20 2009-12-04 08:42:39

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#21 2009-12-04 14:48:16

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#22 2009-12-04 15:44:45

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#23 2009-12-04 18:49:53

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

#24 2010-01-02 17:55:46

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Board footer