OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2009-11-13 20:08:34

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Коллеги,

по многочисленным просьбам, выкладываю использованные нами для ежедневных обрезок файлы границ обрезки по всем субъектам РФ в трех вариантах + источники данных и расширение для их генерации в QGIS.
http://gis-lab.info/qa/osm-poly.html

А здесь результаты резки РФ регионами осмосисом с кучей всяких параметров, может кому-то будет интересно.
http://gis-lab.info/qa/osmosis-bm.html

Offline

#2 2009-11-14 08:13:33

Eugene
Member
Registered: 2009-02-25
Posts: 168
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Результаты очень интересные. Правда, есть небольшие комментарии:
1. В тексте не описан режим Р, хотя он есть в табличке и упоминается в описании режима М.

2. В режиме РС у некоторых областей (Иркутской, Карелии и т.д.) время генерации измеряется тысячами минут. Это действительно так? Заметно, что у них гораздо больше узлов, но в то же время есть области с близким их числом - Коми и Карелия, а время генерации отличается в 50 раз. Или там ошибка (потому что число узлов совпадает до единицы у них и еще у Марий Эл).

3. Вы не пробовали сначала разделить Россию еще на прямогугольные блоки (например, по Федеральным округам) и вырезать уже из них? Теоретически, должно получиться быстрее, чем каждый раз брать весь файл.

4. Распаковывается ли planet.osm, если да, то включено ли время на это и на запаковку результатов?

5. Что критичнее для процесса обрезки - мощность процессора или объем памяти?

Рекомендую добавить эти бенчмарки в вики, там есть отдельная страничка для Osmosis'а. И спасибо за описание.


Состою в OpenStreetMap Foundation | Участвую в работе Совета Российского OSM | Отвечаю за OpenStreetMap.ru
Действительный член Humanitarian OpenStreetMap Team

Offline

#3 2009-11-14 17:20:54

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

1. Опечатка, поправил
2. Да, с completeways все занимает именно столько. количество узлов в Марий Эл и Коми - странная ошибка, пардон. Исправлено.
3. Не поможет, проверено на отдельном регионе. Размер входного блока не имеет значения при резке с completeways. Не хочется повторять такой бенчмарк, так как опять придется ждать выполнения 4 дня smile Добавил в выводы.
4. Да, распакован и обрезан, это было указано выше.
5. Процессор.

Про вики, если кто добавит - я не против, чуть-чуть занят сейчас.
Спасибо, что внимательно посмотрел! Закон Линуса в действии smile

Last edited by sim (2009-11-14 20:31:59)

Offline

#4 2009-11-15 00:39:39

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

А нельзя ли сделать файлы из кучки "20 км от границы" с меньшим числом узлов. Мне кажется что для них такое большое число узлов избыточно.


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#5 2009-11-15 06:13:05

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Zkir, можно, но если ты думаешь, что это сильно замедляет работу Osmosis, то это не так. Или ты еще из каких-то соображений?

Offline

#6 2009-11-15 08:38:50

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Нет, только из соображений скорости обрезки.


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#7 2009-11-15 19:28:01

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

тогда не стоит менять, наверное, посмотри в бенчмарках как меняется скорость при использовании Mbr и сложного полигона, сильно это не помогает.

Offline

#8 2009-11-15 23:18:39

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Ладно, будет время сравню со своими (грубыми, максимум 20 вершин) поли-файлами.


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#9 2009-11-16 00:05:53

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

ок, сообщай, если я что-то пропустил, упрощу границы.

Offline

#10 2009-11-18 04:48:28

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

woidrick, я добавил в архив poly/russia_full.poly - это граница РФ, т.е. общий poly для всех в этой папке.

Границу евразии пока не делал, если хочешь я объясню из чего и как именно она делается. Суть в том, что там куча островов, которые по хорошему надо включить в общую границу, я это сделал для РФ, но мне влом сидеть и это делать, это ручная работа.

Offline

#11 2009-11-18 16:33:46

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

sim, спасибо скачал.

за инструкцию - буду благодарен

пока нет смысла муторно включать все острова, я планирую это просто про запас, когда эти детали кто-нибудь попросит. евразию мне достаточно приблизительно, просто она мне нужна по задуманной логике вложений территорий. можно даже грубо прямоугольниками до северного полюса, обойдя гренландию, поаккуратнее по границе с африкой, хотя что там аккуратничать - суэцкий канал, далее все острова около малазии - нахрен, японию включать если включена англия (она ничем её не хуже smile тоже грубо прямоугольниками (просто инструкцию я пока осилю, а резать планирую в пятницу, когда планета скачается.

Offline

#12 2009-11-20 16:34:03

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

woidrick wrote:

за инструкцию - буду благодарен

Я немного расширил описание на странице.
Дополнительно в твоем случае нужно:
1. Загрузить вимэп, например здесь: http://gis-lab.info/qa/vmap0.html
2. Выбрать нужный слой (например bnd-political-boundary-a из EUR и SAS)
3. Дальше по инструкции в QGIS
4. Создать новый слой - нарисовать большой полигон (сильно точно не надо, прото границу континента по морю с захватом нужных областей)
5. Ну и наконец расширением выкинуть полик.

Offline

#13 2009-11-21 19:52:49

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

sim: спасибо, буду разбираться, а вы пробовали одновременную резку и сократит ли это время, примерно так, как описано http://lists.openstreetmap.org/pipermai … 11635.html ?

Offline

#14 2009-11-22 01:49:34

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

-tee помогает, но не с completeways, там ничего не помогает
наверное стоит еще всю страну на 6 областей разделить и с помощью -tee прогнать, но так непонятно как время выполнение конкретного региона посчитать, можно только общее.

Offline

#15 2009-11-22 19:20:48

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

sim: насчёт qgis - решил попробовать упростить себе жизнь и не рисовать вручную границу, а попробовать объединить полигоны средствами qgis. но что но не вижу ничего похожего на эту функцию
upd: всё же удалось применить geoprocessing функцию dissolve


удалось

использовать плагин split shapefile для вырезания группы полигонов по признаку принадлежности к стране, но они остаются раздельными полигонами, и на всём administrative boundary a падает от нехватки ресурсов, успев вырезать десятка три стран.

склеить eur и sas плагином geoprocessing функция union

удалить из получившегося всё кроме относящегося к европе и азии, выделив расширенным поиском a_NA3_DESC != 'Asia' AND a_NA3_DESC != 'Europe' AND b_NA3_DESC != 'Asia' AND b_NA3_DESC != 'Europe' и удалив то, что выделилось. сохранить в файле это не получается

Last edited by woidrick (2009-11-22 19:28:20)

Offline

#16 2009-11-22 21:55:33

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

я специально не стал советовать идти по пути геопроцессинга, по нескольким причинам
1. результирующий полигон будет включать массу узлов
2. нарисовать границу гораздо быстрее
3. dissolve с отдельными островами приведет к появлению мультиполигонов - лишний геморой

если ты все же хочешь пойти по этому пути, то попробуй не удалять все кроме выделенного, а наоборот выделить то что тебе необходимо и сохранить в отдельный новый слой, для этого после выделения надо щелкнуть правой по слою в списке и выбрать Save selection as shapefile.

Offline

#17 2009-12-02 16:56:03

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

sim, простите, ещё вопрос, не совсем по теме

я практически уверен что вы где то упоминали, что режете осмозисом в режиме исполнения на нескольких ядрах, но я никак не могу найти этот пост

не подскажете командную строку/опции явы для запуска резки на нескольких ядрах?

Offline

#18 2009-12-02 21:43:01

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

имхо не умеет осмосис несколько ядер юзать...

Offline

#19 2009-12-03 21:39:02

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

осмосис использует одно ядро, поэтому имеет смысл запускать несколько параллельных потоков
можно использовать top для того, чтобы убедиться, что это работает

Offline

#20 2009-12-04 08:42:39

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

это смотря что делать... если апдейт базы делаешь, то несколько потоков не запускаются одновременно sad

Кстати. интересно, а что быстрее на не очень производительной машине - ежечасные обновления или суточные? Я имею в виду в абсолютных затратах процессорного времени?

Offline

#21 2009-12-04 14:48:16

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Я думаю на тему как ускорить наложение дейли диффов на planet.osm файл. Процесс у меня занимает полтора суток на каждый дифф. В таком режиме я от реалтайма отстаю. Подскажите, если использовать базу - улучшится ли скорость? Предварительные изыскания показали что нэймфайндер база mysql обновляется довольно шустро, за исключением DELETE, которое на каждую операцию тратит 3 минуты. И в таком режиме я отстаю даже больше, чем на 2 суток на каждый дифф.

Так же выяснилось что почему-то Россия по модифицированному russia_full.poly (добавлена Калининградская область и Чукотка за антимеридианом (+-180) обрезается дня 4 (уже не помню, когда запустил) хотя просто russia_full.poly за несколько часов, моя евразия (тоже с куском за антимеридианом, вырезается за часов 5-6, и при этом состоит из порядка 50 вершин. Кто нибудь может посоветовать, как ускорить обозначенные проблемы?

Offline

#22 2009-12-04 15:44:45

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

Юзаю постгре + полная база (без обрезки по РФ), на довольно слабеньком п4-2400. Обновления в базу часовыми файлами работают без проблем и без отставания от графика, то есть часовое обновление  заливается меньше часа smile

Сегодня хочу попробовать перейти на суточные, дабы обновляться ночью а днем уменьшать нагрузку на сервер.

Offline

#23 2009-12-04 18:49:53

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

господа, эта тема про poly-файлы, и про скорость _обрезки_
я могу подробнейшим образом отчитаться, что сколько занимает у нас в нашей схеме, но создайте для этого отдельный топик.

Offline

#24 2010-01-02 17:55:46

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Бенчмарки Osmosis и наборы POLY-файлов по регионам РФ

проблема с completeways=yes вроде решена, бенчмарки обновлены, данные теперь разрезаются с этим ключем
результаты обрезки обсуждаются здесь http://forum.openstreetmap.org/viewtopic.php?id=5274

Offline

Board footer

Powered by FluxBB