OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2009-10-29 20:02:19

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Ежедневные выгрузки .osm по регионам

Выгрузки в OSM XML: http://gis-lab.info/projects/osm_dump/
Выгрузки в ESRI Shapefile: http://gis-lab.info/projects/osm_shp.html

Список регионов: Все субъекты РФ, РФ целиком, Армения, Азербайджан, Беларусь, Киргизия, Туркмения, Казахстан, Таджикистан, Грузия, Украина

Все кроме РФ целиком режется с completeways=true.
Регионы РФ режутся с 20 км буферной зоной.
Обновление ежедневное.

В этой теме сообщайте об отсутствующих объектах и других проблемах.
Тут же можно попросить добавить слоёв или атрибутов в выгрузку

Last edited by sim (2016-01-10 00:39:27)

Offline

#2 2009-10-29 20:05:26

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Имеется в виду: в каком виде база, как часто обновления накладываются, чем выполняется обрезка и по какой границе, итд.

UPD
Посмотрел МО.
Обрезка кривая (осмозис), граничние веи обкусанные получаются.
То есть использовать не получится, роутинга между областями не будет

Offline

#3 2009-10-29 20:12:55

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

так бы сразу и сказал smile
итак:
База в виде ежедневного обновляемого дифами дампа osm
Обрезка производится осмосисом
Границы - vmap0 расширенные с учетом островов, краев и т.д. Эти же границы используются для нарезки шейпов.

Чуть попозже выложу поли-файлы и расширения для кугиса написал для быстрой их генерации из шейп-слоя, ну и сам слой.

Короче говоря - если что-то в границах надо поправить - незамедлительно обращайтесь.

Last edited by sim (2010-05-29 17:38:39)

Offline

#4 2009-10-29 20:15:30

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

liosha: если скажешь как поправить - давай поправим, без проблем.

Offline

#5 2009-10-29 20:21:03

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Я осмозис давно последний раз видел...
У него есть опция для сохранения целостности веев при обрезке?

UPD
вроде есть: completeWays
надо бы с ней попробовать

Offline

#6 2009-10-29 20:23:22

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

completeWays
Include all available nodes for ways which have at least one node in the bounding box.

оно? если да, сейчас переделаю

UPD: поменял, через некоторое время можно будет новый вариант скачать

Last edited by sim (2009-10-29 20:37:08)

Offline

#7 2009-10-29 21:25:43

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

liosha, глянь адыгею, если не сложно, теперь лучше?

UPD: мда, обновиться обновилось, но таким образом обновление в 6 раз больше времени занимает.

Last edited by sim (2009-10-30 00:47:23)

Offline

#8 2009-10-30 05:43:51

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Ivan Komarov, получил, выгрузку настрою.

sim, так гораздо лучше.
Хотя не все файлы обновились, например, МО осталась прежней.
А можно ещё сами .poly выложить?

Offline

#9 2009-10-30 06:17:53

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

Offline

#10 2009-10-30 06:48:48

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Ежедневные выгрузки .osm по регионам

sim,

а не хотите попробовать резать не осмосисом, а постгисом? у вас же все равно База стоит полная! границы всех регионов есть, пусть и в релейшенах. собираем их, создаем мультиполигон, постигисом выбираем из него все данные, формируем xml. Засада на последнем этапе - конвертера постгис-осм нема. Остальное - вроде решаемо.

Я так собирался делать, помнишь на вашем форуме советовался по сборке веев в мультиполигон. Вот только руки пока не дошли попробовать.

Offline

#11 2009-10-30 07:05:07

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

sim wrote:

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

наверно, стоит сделать упрощённые полигоны с бОльшим охватом.

Offline

#12 2009-10-30 16:03:29

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

Ezhick, да, база стоит и работает, но проблема в том, что, как ты сказал нет постгис-осм. Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Еще подумаем и поэкспериментируем. Пока будет обрезаться без completeWays, для статистики это пойдет даже лучше.

Offline

#13 2009-10-30 16:35:10

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Ежедневные выгрузки .osm по регионам

sim wrote:

Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Это нехорошо, если об этом не знает пользователь. А если он об этом знает и набор данных в файле идентичен (разными получатся только структура xml кода) - то это не проблема... Я попробую набросать скриптк pgsql2osm, не так это в принципе сложно, а пригодиться может очень даже. Просто надежды на работоспособность этого больше, чем на кардинальное улучшение осмосиса.

UPD Кстати, в таком экспортном срипте можно реализовать контроль целостности релейшенов...

Last edited by Ezhick (2009-10-30 16:54:39)

Offline

#14 2009-10-30 18:20:49

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

Боюсь ты прав про скорость осмосиса. Было бы здорово иметь такой скрипт, если захочешь - давай прикрутим к базе.

А я пока сделаю серию бенчмарков по скорости с разными вариантами резки осмосисом, квадратами, полными границами и т.п.

Last edited by sim (2009-10-30 18:21:16)

Offline

#15 2009-10-30 18:39:18

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Offline

#16 2009-10-30 18:53:01

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Ежедневные выгрузки .osm по регионам

liosha wrote:

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Поэтому режется все хреновенько sad

Offline

#17 2009-10-30 20:24:58

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

liosha wrote:

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Я попробовал было москву прямоугольником - болт. Все равно супермедленно. Бенчмарки почти запустил, надеюсь скоро более прицельно можно будет пообсуждать.

"Скоро" - разумеется придется подождать мучительного завершения всех вариантов.

Last edited by sim (2009-10-30 20:25:57)

Offline

#18 2009-11-05 19:58:59

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

В общем сделал так:

По прежнему ежедневная обрезка, все регионы с захватом +20 км полосы вдоль границы.

clipIncompleteEntities=true
completeWays=no

Что на человеческом означает, что объекты заходящие за границу обрезки модифицируются, что должно поддержать целостность данных. Но лохматости за границами обрезки если резать осмосисом не будет.

PS: с completeWays можно даже не пытаться работать, запредельно медленные скорости (скоро выложу результаты бенчмарков).

Last edited by sim (2009-11-05 20:02:09)

Offline

#19 2009-11-09 11:11:42

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

sim,
багрепорт по выгрузкам: http://forum.openstreetmap.org/viewtopi … 038#p45038
В файл попадают разные версии одного и того же объекта.

Offline

#20 2009-11-10 07:06:04

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

хм, странно, при обновлении дифом что ли удвоение произошло, обновлю из общего дампа на днях

Offline

#21 2009-11-10 14:49:40

Calibrator
Member
From: Интернет
Registered: 2009-08-19
Posts: 892

Re: Ежедневные выгрузки .osm по регионам

Ещё 1 ноября я поменял в адресе дома http://www.openstreetmap.org/browse/way/30350546
addr:street Было "Профсоюзная", стало "Профсоюзная улица"
Сегодня, 10 ноября, я скачал файл Московской области с сайта Gislab. Сконвертировал его в формат Навител. Жму на этот дом, смотрю его инфо - вижу что есть две странички инфо. Листаю, на первой  "Профсоюзная, 9", а на второй "Профсоюзная улица, 9". И чего получается, вся история так и добегает до итогового файла? Или это баг, о котором надо сообщить в trac ?

Offline

#22 2009-11-10 14:57:18

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Calibrator, см 1 сообщением выше  smile

Offline

#23 2009-11-10 15:37:13

Calibrator
Member
From: Интернет
Registered: 2009-08-19
Posts: 892

Re: Ежедневные выгрузки .osm по регионам

Есть ли у кого-нибудь "хвосты из истории" очень древнего происхождения? Если нет - может происходит так, что "добавление" происходит чаще, чем "удаление" объектов из файла osm. И беспокоиться не стоит, так как "хвосты истории" исчезнут через некоторое время сами. Вопрос - сколько времени ждать, если это так.

Last edited by Calibrator (2009-11-10 15:38:17)

Offline

#24 2009-11-17 00:32:41

sim
Member
Registered: 2008-04-19
Posts: 629
Website

Re: Ежедневные выгрузки .osm по регионам

Calibrator, это баг осмосис, сейчас с ним разбираемся.
Надеюсь что в ближайшие дни все нормализуется. Я обязательно сообщу отдельно.

Offline

#25 2009-11-17 16:55:13

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Ежедневные выгрузки .osm по регионам

Не могли бы вы сделать и выложить .poly для евроазиатского континента, и всей России?

Offline

Board footer

Powered by FluxBB