Ежедневные выгрузки .osm по регионам

sim · 2009-10-29 20:02:19

Выгрузки в OSM XML: http://gis-lab.info/projects/osm_dump/
Выгрузки в ESRI Shapefile: http://gis-lab.info/projects/osm_shp.html

Список регионов: Все субъекты РФ, РФ целиком, Армения, Азербайджан, Беларусь, Киргизия, Туркмения, Казахстан, Таджикистан, Грузия, Украина

Все кроме РФ целиком режется с completeways=true.
Регионы РФ режутся с 20 км буферной зоной.
Обновление ежедневное.

В этой теме сообщайте об отсутствующих объектах и других проблемах.
Тут же можно попросить добавить слоёв или атрибутов в выгрузку

Last edited by sim (2016-01-10 00:39:27)

liosha · 2009-10-29 20:05:26

Имеется в виду: в каком виде база, как часто обновления накладываются, чем выполняется обрезка и по какой границе, итд.

UPD
Посмотрел МО.
Обрезка кривая (осмозис), граничние веи обкусанные получаются.
То есть использовать не получится, роутинга между областями не будет

sim · 2009-10-29 20:12:55

так бы сразу и сказал
итак:
База в виде ежедневного обновляемого дифами дампа osm
Обрезка производится осмосисом
Границы - vmap0 расширенные с учетом островов, краев и т.д. Эти же границы используются для нарезки шейпов.

Чуть попозже выложу поли-файлы и расширения для кугиса написал для быстрой их генерации из шейп-слоя, ну и сам слой.

Короче говоря - если что-то в границах надо поправить - незамедлительно обращайтесь.

Last edited by sim (2010-05-29 17:38:39)

sim · 2009-10-29 20:15:30

liosha: если скажешь как поправить - давай поправим, без проблем.

liosha · 2009-10-29 20:21:03

Я осмозис давно последний раз видел...
У него есть опция для сохранения целостности веев при обрезке?

UPD
вроде есть: completeWays
надо бы с ней попробовать

sim · 2009-10-29 20:23:22

completeWays
Include all available nodes for ways which have at least one node in the bounding box.

оно? если да, сейчас переделаю

UPD: поменял, через некоторое время можно будет новый вариант скачать

Last edited by sim (2009-10-29 20:37:08)

sim · 2009-10-29 21:25:43

liosha, глянь адыгею, если не сложно, теперь лучше?

UPD: мда, обновиться обновилось, но таким образом обновление в 6 раз больше времени занимает.

Last edited by sim (2009-10-30 00:47:23)

liosha · 2009-10-30 05:43:51

Ivan Komarov, получил, выгрузку настрою.

sim, так гораздо лучше.
Хотя не все файлы обновились, например, МО осталась прежней.
А можно ещё сами .poly выложить?

sim · 2009-10-30 06:17:53

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

Ezhick · 2009-10-30 06:48:48

sim,

а не хотите попробовать резать не осмосисом, а постгисом? у вас же все равно База стоит полная! границы всех регионов есть, пусть и в релейшенах. собираем их, создаем мультиполигон, постигисом выбираем из него все данные, формируем xml. Засада на последнем этапе - конвертера постгис-осм нема. Остальное - вроде решаемо.

Я так собирался делать, помнишь на вашем форуме советовался по сборке веев в мультиполигон. Вот только руки пока не дошли попробовать.

liosha · 2009-10-30 07:05:07

sim wrote:

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

наверно, стоит сделать упрощённые полигоны с бОльшим охватом.

sim · 2009-10-30 16:03:29

Ezhick, да, база стоит и работает, но проблема в том, что, как ты сказал нет постгис-осм. Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Еще подумаем и поэкспериментируем. Пока будет обрезаться без completeWays, для статистики это пойдет даже лучше.

Ezhick · 2009-10-30 16:35:10

sim wrote:

Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Это нехорошо, если об этом не знает пользователь. А если он об этом знает и набор данных в файле идентичен (разными получатся только структура xml кода) - то это не проблема... Я попробую набросать скриптк pgsql2osm, не так это в принципе сложно, а пригодиться может очень даже. Просто надежды на работоспособность этого больше, чем на кардинальное улучшение осмосиса.

UPD Кстати, в таком экспортном срипте можно реализовать контроль целостности релейшенов...

Last edited by Ezhick (2009-10-30 16:54:39)

sim · 2009-10-30 18:20:49

Боюсь ты прав про скорость осмосиса. Было бы здорово иметь такой скрипт, если захочешь - давай прикрутим к базе.

А я пока сделаю серию бенчмарков по скорости с разными вариантами резки осмосисом, квадратами, полными границами и т.п.

Last edited by sim (2009-10-30 18:21:16)

liosha · 2009-10-30 18:39:18

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Ezhick · 2009-10-30 18:53:01

liosha wrote:

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Поэтому режется все хреновенько

sim · 2009-10-30 20:24:58

liosha wrote:

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Я попробовал было москву прямоугольником - болт. Все равно супермедленно. Бенчмарки почти запустил, надеюсь скоро более прицельно можно будет пообсуждать.

"Скоро" - разумеется придется подождать мучительного завершения всех вариантов.

Last edited by sim (2009-10-30 20:25:57)

sim · 2009-11-05 19:58:59

В общем сделал так:

По прежнему ежедневная обрезка, все регионы с захватом +20 км полосы вдоль границы.

clipIncompleteEntities=true
completeWays=no

Что на человеческом означает, что объекты заходящие за границу обрезки модифицируются, что должно поддержать целостность данных. Но лохматости за границами обрезки если резать осмосисом не будет.

PS: с completeWays можно даже не пытаться работать, запредельно медленные скорости (скоро выложу результаты бенчмарков).

Last edited by sim (2009-11-05 20:02:09)

liosha · 2009-11-09 11:11:42

sim,
багрепорт по выгрузкам: http://forum.openstreetmap.org/viewtopi … 038#p45038
В файл попадают разные версии одного и того же объекта.

sim · 2009-11-10 07:06:04

хм, странно, при обновлении дифом что ли удвоение произошло, обновлю из общего дампа на днях

Calibrator · 2009-11-10 14:49:40

Ещё 1 ноября я поменял в адресе дома http://www.openstreetmap.org/browse/way/30350546
addr:street Было "Профсоюзная", стало "Профсоюзная улица"
Сегодня, 10 ноября, я скачал файл Московской области с сайта Gislab. Сконвертировал его в формат Навител. Жму на этот дом, смотрю его инфо - вижу что есть две странички инфо. Листаю, на первой "Профсоюзная, 9", а на второй "Профсоюзная улица, 9". И чего получается, вся история так и добегает до итогового файла? Или это баг, о котором надо сообщить в trac ?

liosha · 2009-11-10 14:57:18

Calibrator, см 1 сообщением выше

Calibrator · 2009-11-10 15:37:13

Есть ли у кого-нибудь "хвосты из истории" очень древнего происхождения? Если нет - может происходит так, что "добавление" происходит чаще, чем "удаление" объектов из файла osm. И беспокоиться не стоит, так как "хвосты истории" исчезнут через некоторое время сами. Вопрос - сколько времени ждать, если это так.

Last edited by Calibrator (2009-11-10 15:38:17)

sim · 2009-11-17 00:32:41

Calibrator, это баг осмосис, сейчас с ним разбираемся.
Надеюсь что в ближайшие дни все нормализуется. Я обязательно сообщу отдельно.

woidrick · 2009-11-17 16:55:13

Не могли бы вы сделать и выложить .poly для евроазиатского континента, и всей России?

Announcement

#1 2009-10-29 20:02:19

Ежедневные выгрузки .osm по регионам

#2 2009-10-29 20:05:26

Re: Ежедневные выгрузки .osm по регионам

#3 2009-10-29 20:12:55

Re: Ежедневные выгрузки .osm по регионам

#4 2009-10-29 20:15:30

Re: Ежедневные выгрузки .osm по регионам

#5 2009-10-29 20:21:03

Re: Ежедневные выгрузки .osm по регионам

#6 2009-10-29 20:23:22

Re: Ежедневные выгрузки .osm по регионам

#7 2009-10-29 21:25:43

Re: Ежедневные выгрузки .osm по регионам

#8 2009-10-30 05:43:51

Re: Ежедневные выгрузки .osm по регионам

#9 2009-10-30 06:17:53

Re: Ежедневные выгрузки .osm по регионам

#10 2009-10-30 06:48:48

Re: Ежедневные выгрузки .osm по регионам

#11 2009-10-30 07:05:07

Re: Ежедневные выгрузки .osm по регионам

#12 2009-10-30 16:03:29

Re: Ежедневные выгрузки .osm по регионам

#13 2009-10-30 16:35:10

Re: Ежедневные выгрузки .osm по регионам

#14 2009-10-30 18:20:49

Re: Ежедневные выгрузки .osm по регионам

#15 2009-10-30 18:39:18

Re: Ежедневные выгрузки .osm по регионам

#16 2009-10-30 18:53:01

Re: Ежедневные выгрузки .osm по регионам

#17 2009-10-30 20:24:58

Re: Ежедневные выгрузки .osm по регионам

#18 2009-11-05 19:58:59

Re: Ежедневные выгрузки .osm по регионам

#19 2009-11-09 11:11:42

Re: Ежедневные выгрузки .osm по регионам

#20 2009-11-10 07:06:04

Re: Ежедневные выгрузки .osm по регионам

#21 2009-11-10 14:49:40

Re: Ежедневные выгрузки .osm по регионам

#22 2009-11-10 14:57:18

Re: Ежедневные выгрузки .osm по регионам

#23 2009-11-10 15:37:13

Re: Ежедневные выгрузки .osm по регионам

#24 2009-11-17 00:32:41

Re: Ежедневные выгрузки .osm по регионам

#25 2009-11-17 16:55:13

Re: Ежедневные выгрузки .osm по регионам

Board footer