Ежедневные выгрузки .osm по регионам

да, я приостановил пока процесс, тут даже 8 ядер не помогают, что делать пока непонятно, не хочется по 6-8 часов ждать одной обрезки.
poly - выложу.

sim,

а не хотите попробовать резать не осмосисом, а постгисом? у вас же все равно База стоит полная! границы всех регионов есть, пусть и в релейшенах. собираем их, создаем мультиполигон, постигисом выбираем из него все данные, формируем xml. Засада на последнем этапе - конвертера постгис-осм нема. Остальное - вроде решаемо.

Я так собирался делать, помнишь на вашем форуме советовался по сборке веев в мультиполигон. Вот только руки пока не дошли попробовать.

наверно, стоит сделать упрощённые полигоны с бОльшим охватом.

Ezhick, да, база стоит и работает, но проблема в том, что, как ты сказал нет постгис-осм. Дело в том, что как не исхитряйся, полученный таким образом OSM XML не будет идентичен исходному, а это как я понимаю не очень хорошо.

Еще подумаем и поэкспериментируем. Пока будет обрезаться без completeWays, для статистики это пойдет даже лучше.

Это нехорошо, если об этом не знает пользователь. А если он об этом знает и набор данных в файле идентичен (разными получатся только структура xml кода) - то это не проблема… Я попробую набросать скриптк pgsql2osm, не так это в принципе сложно, а пригодиться может очень даже. Просто надежды на работоспособность этого больше, чем на кардинальное улучшение осмосиса.

UPD Кстати, в таком экспортном срипте можно реализовать контроль целостности релейшенов…

Боюсь ты прав про скорость осмосиса. Было бы здорово иметь такой скрипт, если захочешь - давай прикрутим к базе.

А я пока сделаю серию бенчмарков по скорости с разными вариантами резки осмосисом, квадратами, полными границами и т.п.

Клаудмейд режет осмозисом всю планету, только у них в .poly - набор прямоугольников

Поэтому режется все хреновенько :frowning:

Я попробовал было москву прямоугольником - болт. Все равно супермедленно. Бенчмарки почти запустил, надеюсь скоро более прицельно можно будет пообсуждать.

“Скоро” - разумеется придется подождать мучительного завершения всех вариантов.

В общем сделал так:

По прежнему ежедневная обрезка, все регионы с захватом +20 км полосы вдоль границы.

clipIncompleteEntities=true
completeWays=no

Что на человеческом означает, что объекты заходящие за границу обрезки модифицируются, что должно поддержать целостность данных. Но лохматости за границами обрезки если резать осмосисом не будет.

PS: с completeWays можно даже не пытаться работать, запредельно медленные скорости (скоро выложу результаты бенчмарков).

sim,
багрепорт по выгрузкам: http://forum.openstreetmap.org/viewtopic.php?pid=45038#p45038
В файл попадают разные версии одного и того же объекта.

хм, странно, при обновлении дифом что ли удвоение произошло, обновлю из общего дампа на днях

Ещё 1 ноября я поменял в адресе дома http://www.openstreetmap.org/browse/way/30350546
addr:street Было “Профсоюзная”, стало “Профсоюзная улица”
Сегодня, 10 ноября, я скачал файл Московской области с сайта Gislab. Сконвертировал его в формат Навител. Жму на этот дом, смотрю его инфо - вижу что есть две странички инфо. Листаю, на первой “Профсоюзная, 9”, а на второй “Профсоюзная улица, 9”. И чего получается, вся история так и добегает до итогового файла? Или это баг, о котором надо сообщить в trac ?

Calibrator, см 1 сообщением выше :slight_smile:

Есть ли у кого-нибудь “хвосты из истории” очень древнего происхождения? Если нет - может происходит так, что “добавление” происходит чаще, чем “удаление” объектов из файла osm. И беспокоиться не стоит, так как “хвосты истории” исчезнут через некоторое время сами. Вопрос - сколько времени ждать, если это так.

Calibrator, это баг осмосис, сейчас с ним разбираемся.
Надеюсь что в ближайшие дни все нормализуется. Я обязательно сообщу отдельно.

Не могли бы вы сделать и выложить .poly для евроазиатского континента, и всей России?

woidrick, это? http://gis-lab.info/qa/osm-poly.html
Если ты имеешь в виду единый poly для континента и страны?

Я я полагаю ты хотел написать “или”.

Я взял файлы для регионов с этой страницы, и попытался сам в жосме склеить из них всю Россию.
Замучался, и решил попросить готовое. :slight_smile:

Мне нужно вырезать точно Россию прямо по границе (без +хх км). Буду пытаться по этому .poly время от времени делать статистику tagwatch.

Евразия мне нужна отдельно, как запас на будущее. Просто грамотеи писавшие tagwatch, как первый уровень вложения использовали континент, которыми они почему-то назвали наряду с прочими европу и азию (которые на самом деле части света) в оригинальном тегвотче. Кое-где это слово уже поменяли на area, но местами ещё проглядывает.

А мне слово континент нравится, и пусть у меня будет правильный континент евразия :slight_smile: чтобы если кому надо, можно было добавить другие страны.

Так что на первом этапе хочу сделать tagwatch по Евразия-Россия-Регионы. Но не хочется залезать глубоко в то в чём не очень разбираюсь, и поэтому прошу помочь.

За poly для регионов - спасибо.

Кстати, может стоит Адыгею и Краснодарский край выгружать одним файлом? А то сейчас имеем в принципе 2 бестолковых файла. :slight_smile: