Ежедневные выгрузки .osm по регионам

Communities Россия (Russia)
101

sim, спасибо что попробовал. Странно оно как-то работает, очень странно, где-то какая-то ошибка - так быть точно не должно.
Такое ощущение, что просто в дам складываются все релейшны, которые есть и все. Члены релейшнов в дамп не попадают.

Количество релейшнов в дампе Адыгеи (16449) почти точно равно кол-ву релейшнов в дампе РФ (16480) - не может быть у нас такой связности релейшнов.
Вейев и нодов почти столько же.

Еще вот пример релейшна, который ни как не связан с Адыгеей, но попадает в дамп: http://www.openstreetmap.org/browse/relation/389603

Вообще, я ожидал такую логику работы completeRelations=yes:

  1. определить релейшны которые напрямую (узел или вей) попадают в полигон обрезки
  2. обеспечить для них ссылочную целостность
102

Aleksandr Dezhin, все верно, складывает все подряд и похоже, что это старый баг,
http://www.mail-archive.com/osmosis-dev@openstreetmap.org/msg00279.html

надо жаловаться и выяснять.

103

osmosis это один большой баг. Аффторы не могут поддерживать его актуальность с базой осма, что уж говорить про такие баги… А ошибка чейнджсета при импорте, которая отжирает несколько часов времени… Короче надежды мало…

104

Буду пытаться выяснить, в прошлом решать проблемы с осмосисом удавалось, возможно решим и эту. Opensource, что ж поделаешь.

105

Ну дай бог…

106

sim, а можно добавить к шейпфайлам просеки, ЛЭП и трубопроводы ?

107

usm78-gis, можно, но я попрошу вас пройти вот сюда:
http://gis-lab.info/forum/viewtopic.php?f=3&t=4135

и приписать прямо какие тэги нужны, чтобы мы оперативно добавили. Надеюсь не затруднит.

108

Информация к размышлению любителям completeRelations=yes.

Ненавязчивые пинки разработчиков osmosis, как обычно приносят свои плоды. Режим completeRelations=yes, который как оказалось и не работал никогда, заработал, заодно (к моему ужасу) был переписан completeWays.

Пример как это работает можно посмотреть вот по этой ссылке: http://gis-lab.info/data/osm/dagestan/dagestan-cr.osm.bz2

К сожалению, исправление привело к примерно 5-кратному замедлению работы (собираюсь произвести более масштабный тест как-нибудь). К счастью, без completeRelations=yes, вроде скорость осталась такой же.

109

Попробовал прогнать Дагестан через osm2pgsql - результат довольно странный, релейшн РФ опять не собрался (хотя на тот момент он был замкнут), но собралось ощутимо больше субъектов, причем граница из границы Калининградской области не попала только морская часть. Зато попало например деление Московской области )

sim, а можно по-подробней про то как вы вырезку делаете узнать? Я почему-то думал что вы держите полную копию базы и каждый раз ее режете. Но судя по симптомам вы обрезаете еще при заливке планеты и пытаетесь обрезать ежедневные дифы - что я так понимаю с точки зрения ссылочной целостности довольно стрёмная операция.

110

Тут надо разбираться. У меня недостаточно хороший уровень понимания этого дела. Давай попробуем обсудить в ирсе.

Я не совсем понял про полную копию базы, дифы резать я как не старался - не научился (видимо к лучшему). Вот схема работы:

  1. В принципе Планета заливается один раз, скажем последний раз она заливалась 2 месяца назад.
  2. Планета один раз обрезается общим poly
  3. Скачивается планетарный диф, накладывается (получается РФ + бахрома по всему миру).
  4. Результат пред. операции еще раз обрезается тем же общим poly (бахрому долой).
  5. Все режется на регионы.
  6. Повторять 3-5 пока не случится непредвиденный коллапс, в этом случае начать с 1.
111

Да, давай в ирсе лучше - постараюсь в ближайшее время поймать тебя на #gis-lab.
Судя по схеме и по тому какой полигон обрезки используется для дампа, то проблема как минимум в нем. Я так понял это russia_bound_full у вас на сервере, только без буфера.

112

нет, еще раз - к базе резка отношения никакого не имеет
poly который используется здесь - вот этот
http://gis-lab.info/projects/osmrus/poly/russia_full_gen.poly

полигон для дампа шейпов - другой вопрос, в нем могут быть глюки (но это другой вопрос)

113

Теперь вроде содержит, проверьте.

Я не очень понял в чем была проблема, возможно был пропущен один импорт, при чистом импорте заново пропажа “ушла”. Надо поглядывать на другие места и если там тоже пропадают, то тогда это очередная ошибка осмосиса, которую надо обнаружить и ликвидировать.

114

В связи с сильным ростом дампа в последнее время (похоже что это связано с питером), все поломалось и не влезает в быстрый рамдиск, осмосис генерирует кучу временных файлов огромного размера, все переполняется и валится.

Боюсь, что питер придется выкинуть из дампа и вырезок, еще можно перевести на медленный диск, но тогда все будет значительно дольше работать и сервер жалко.

115

Блин… Я все регионы у вас как раз беру :frowning: Ну не качать же Питер через апи :frowning:

116

Сейчас вырезка Ленобласти - 1.15 Гб, что составляет примерно одну треть от всего дампа РФ (без компрессии).

117

Мрак… И по тэгам не фильтрануть…

118

Можно фильтровать по юзернейму и диапазону дат

119

Если вы всерьез планируете ежедневные дампы России, то 8ГБ ОЗУ явно недостаточно.
База для всего мира работает на 32 ГБ машине, и вроде пока без особых проблем.

120

usm78-gis, дампы как бы не то чтобы планируют, а давно уже делают :slight_smile: