You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2009-10-29 20:02:19

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Ежедневные выгрузки .osm по регионам

Выгрузки в OSM XML: http://gis-lab.info/projects/osm_dump/
Выгрузки в ESRI Shapefile: http://gis-lab.info/projects/osm_shp.html

Список регионов: Все субъекты РФ, РФ целиком, Армения, Азербайджан, Беларусь, Киргизия, Туркмения, Казахстан, Таджикистан, Грузия, Украина

Все кроме РФ целиком режется с completeways=true.
Регионы РФ режутся с 20 км буферной зоной.
Обновление ежедневное.

В этой теме сообщайте об отсутствующих объектах и других проблемах.
Тут же можно попросить добавить слоёв или атрибутов в выгрузку

Last edited by sim (2016-01-10 00:39:27)

Offline

#2 2009-10-29 20:05:26

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Имеется в виду: в каком виде база, как часто обновления накладываются, чем выполняется обрезка и по какой границе, итд.

UPD
Посмотрел МО.
Обрезка кривая (осмозис), граничние веи обкусанные получаются.
То есть использовать не получится, роутинга между областями не будет

Offline

#3 2009-10-29 20:12:55

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

так бы сразу и сказал smile
итак:
База в виде ежедневного обновляемого дифами дампа osm
Обрезка производится осмосисом
Границы - vmap0 расширенные с учетом островов, краев и т.д. Эти же границы используются для нарезки шейпов.

Чуть попозже выложу поли-файлы и расширения для кугиса написал для быстрой их генерации из шейп-слоя, ну и сам слой.

Короче говоря - если что-то в границах надо поправить - незамедлительно обращайтесь.

Last edited by sim (2010-05-29 17:38:39)

Offline

#4 2009-10-29 20:15:30

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

liosha: если скажешь как поправить - давай поправим, без проблем.

Offline

#5 2009-10-29 20:21:03

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Я осмозис давно последний раз видел...
У него есть опция для сохранения целостности веев при обрезке?

UPD
вроде есть: completeWays
надо бы с ней попробовать

Offline

#6 2009-10-29 20:23:22

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

completeWays
Include all available nodes for ways which have at least one node in the bounding box.

оно? если да, сейчас переделаю

UPD: поменял, через некоторое время можно будет новый вариант скачать

Last edited by sim (2009-10-29 20:37:08)

Offline

#7 2009-10-29 21:25:43

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

liosha, глянь адыгею, если не сложно, теперь лучше?

UPD: мда, обновиться обновилось, но таким образом обновление в 6 раз больше времени занимает.

Last edited by sim (2009-10-30 00:47:23)

Offline

#8 2009-10-30 05:43:51

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Ivan Komarov, получил, выгрузку настрою.

sim, так гораздо лучше.
Хотя не все файлы обновились, например, МО осталась прежней.
А можно ещё сами .poly выложить?

Offline

#9 2009-10-30 06:17:53

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

Offline

#10 2009-10-30 06:48:48

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Ежедневные выгрузки .osm по регионам

sim,

а не хотите попробовать резать не осмосисом, а постгисом? у вас же все равно База стоит полная! границы всех регионов есть, пусть и в релейшенах. собираем их, создаем мультиполигон, постигисом выбираем из него все данные, формируем xml. Засада на последнем этапе - конвертера постгис-осм нема. Остальное - вроде решаемо.

Я так собирался делать, помнишь на вашем форуме советовался по сборке веев в мультиполигон. Вот только руки пока не дошли попробовать.

Offline

#11 2009-10-30 07:05:07

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

sim wrote:

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

наверно, стоит сделать упрощённые полигоны с бОльшим охватом.

Offline

#12 2009-10-30 16:03:29

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

Ezhick, да, база стоит и работает, но проблема в том, что, как ты сказал нет постгис-осм. Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Еще подумаем и поэкспериментируем. Пока будет обрезаться без completeWays, для статистики это пойдет даже лучше.

Offline

#13 2009-10-30 16:35:10

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Ежедневные выгрузки .osm по регионам

sim wrote:

Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Это нехорошо, если об этом не знает пользователь. А если он об этом знает и набор данных в файле идентичен (разными получатся только структура xml кода) - то это не проблема... Я попробую набросать скриптк pgsql2osm, не так это в принципе сложно, а пригодиться может очень даже. Просто надежды на работоспособность этого больше, чем на кардинальное улучшение осмосиса.

UPD Кстати, в таком экспортном срипте можно реализовать контроль целостности релейшенов...

Last edited by Ezhick (2009-10-30 16:54:39)

Offline

#14 2009-10-30 18:20:49

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

Боюсь ты прав про скорость осмосиса. Было бы здорово иметь такой скрипт, если захочешь - давай прикрутим к базе.

А я пока сделаю серию бенчмарков по скорости с разными вариантами резки осмосисом, квадратами, полными границами и т.п.

Last edited by sim (2009-10-30 18:21:16)

Offline

#15 2009-10-30 18:39:18

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Offline

#16 2009-10-30 18:53:01

Ezhick
Member
From: Moscow
Registered: 2008-10-08
Posts: 2,508
Website

Re: Ежедневные выгрузки .osm по регионам

liosha wrote:

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Поэтому режется все хреновенько sad

Offline

#17 2009-10-30 20:24:58

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

liosha wrote:

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Я попробовал было москву прямоугольником - болт. Все равно супермедленно. Бенчмарки почти запустил, надеюсь скоро более прицельно можно будет пообсуждать.

"Скоро" - разумеется придется подождать мучительного завершения всех вариантов.

Last edited by sim (2009-10-30 20:25:57)

Offline

#18 2009-11-05 19:58:59

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

В общем сделал так:

По прежнему ежедневная обрезка, все регионы с захватом +20 км полосы вдоль границы.

clipIncompleteEntities=true
completeWays=no

Что на человеческом означает, что объекты заходящие за границу обрезки модифицируются, что должно поддержать целостность данных. Но лохматости за границами обрезки если резать осмосисом не будет.

PS: с completeWays можно даже не пытаться работать, запредельно медленные скорости (скоро выложу результаты бенчмарков).

Last edited by sim (2009-11-05 20:02:09)

Offline

#19 2009-11-09 11:11:42

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

sim,
багрепорт по выгрузкам: http://forum.openstreetmap.org/viewtopi … 038#p45038
В файл попадают разные версии одного и того же объекта.

Offline

#20 2009-11-10 07:06:04

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

хм, странно, при обновлении дифом что ли удвоение произошло, обновлю из общего дампа на днях

Offline

#21 2009-11-10 14:49:40

Calibrator
Member
From: Интернет
Registered: 2009-08-19
Posts: 893

Re: Ежедневные выгрузки .osm по регионам

Ещё 1 ноября я поменял в адресе дома http://www.openstreetmap.org/browse/way/30350546
addr:street Было "Профсоюзная", стало "Профсоюзная улица"
Сегодня, 10 ноября, я скачал файл Московской области с сайта Gislab. Сконвертировал его в формат Навител. Жму на этот дом, смотрю его инфо - вижу что есть две странички инфо. Листаю, на первой  "Профсоюзная, 9", а на второй "Профсоюзная улица, 9". И чего получается, вся история так и добегает до итогового файла? Или это баг, о котором надо сообщить в trac ?

Offline

#22 2009-11-10 14:57:18

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Ежедневные выгрузки .osm по регионам

Calibrator, см 1 сообщением выше  smile

Offline

#23 2009-11-10 15:37:13

Calibrator
Member
From: Интернет
Registered: 2009-08-19
Posts: 893

Re: Ежедневные выгрузки .osm по регионам

Есть ли у кого-нибудь "хвосты из истории" очень древнего происхождения? Если нет - может происходит так, что "добавление" происходит чаще, чем "удаление" объектов из файла osm. И беспокоиться не стоит, так как "хвосты истории" исчезнут через некоторое время сами. Вопрос - сколько времени ждать, если это так.

Last edited by Calibrator (2009-11-10 15:38:17)

Offline

#24 2009-11-17 00:32:41

sim
Member
Registered: 2008-04-19
Posts: 632
Website

Re: Ежедневные выгрузки .osm по регионам

Calibrator, это баг осмосис, сейчас с ним разбираемся.
Надеюсь что в ближайшие дни все нормализуется. Я обязательно сообщу отдельно.

Offline

#25 2009-11-17 16:55:13

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Ежедневные выгрузки .osm по регионам

Не могли бы вы сделать и выложить .poly для евроазиатского континента, и всей России?

Offline

Board footer

Powered by FluxBB