Ежедневные выгрузки .osm по регионам

sim · 2010-10-17 00:40:02

Ответ:

The reason for the dropped relation is a limitation of how Osmosis performs bounding-box/bounding-polygon processing. Osmosis processes all data in a stream. First it processes all nodes one by one and keeps track of which nodes are in the bounding box. It then processes each way one by one and uses the node list to determine which ways are in the bounding box. Then it processes the relations one by one and uses the list of nodes, ways, and already selected relations to determine if a relation is in the bounding box.
In your example, relation 795 is processed first and contains relation 792. But 792 hasn't been processed (in your example, the two ids are out of order) yet so Osmosis doesn't know that it will be inside the bounding box and ignores it. It then processes 792 which has two ways inside the bounding box so it includes that relation. But it never goes back to include relation 795 because it has forgotten about it. In your example, if you switched the order of relation 792 and 795 then 795 *would* get included.
The only way to avoid this limitation is to replace your existing --bp step:
--bp file=test.poly
with
--bp file=test.poly completeWays=yes completeRelations=yes
This makes Osmosis run *much* slower and might not be acceptable. With those options enabled, it builds temporary stores of nodes, ways and relations so that it can go back and randomly access data. But the temporary data stores are quite slow which has a very large impact on performance.

Komяpa · 2010-10-17 08:27:39

Передай этим чудикам, что они могут не включать второй релейшен в итоговый дамп, но это не даёт им право коверкать data integrity и выкидывать упоминания о том, что у данного релейшена есть такие-то члены, хоть и отстутствующие в дампе.

Уже не один раз задачи автоматизации типа "поменять такие-то релейшены так-то и залить" с применением таких дампов оканчивались потерей данных.

Ezhick · 2010-10-17 09:57:34

Komяpa wrote:

Передай этим чудикам, что они могут не включать второй релейшен в итоговый дамп, но это не даёт им право коверкать data integrity и выкидывать упоминания о том, что у данного релейшена есть такие-то члены, хоть и отстутствующие в дампе.
Уже не один раз задачи автоматизации типа "поменять такие-то релейшены так-то и залить" с применением таких дампов оканчивались потерей данных.

Не оспаривая первого утверждения позволю себе второе прокомментировать - имхо любые автоматические операции на базе допустимо делать только на основе апи-зеркала полной планеты, причем обновляемого в режиме если не minute, то хотя бы hourly. Все остальное - слишком рискованно, особенно работа с ОБРЕЗАННЫМИ дампами.

glebius · 2010-10-17 10:04:47

Обновляемость не обязательна, т.к. в API есть защита от коммита основанного на предыдущей версии объекта.

wildMan · 2010-10-17 10:09:50

эмс. боюсь предположить как у них сделана логика completeWays
они что выкидывают из описания путей <nd ref="..." /> в случае если точка не попадает в область обрезки?

Ezhick · 2010-10-17 15:05:06

glebius wrote:

Обновляемость не обязательна, т.к. в API есть защита от коммита основанного на предыдущей версии объекта.

Ну если есть желание вылавливать отлупы апи - то можно и не обновлять. В любом случае - дамп как источник для автоматизации работы с базой - негодный источник. имхо.

Alexandr Zeinalov · 2010-10-18 15:59:58

При вырезании Белоруссии напрямую из планеты с completeRelations=yes все релейшны оказались на месте.

PS: Кстати, операция эта заняла 4 часа.

Ezhick · 2010-10-18 16:01:13

Alexandr Zeinalov wrote:

При вырезании Белоруссии напрямую из планеты с completeRelations=yes все релейшны оказались на месте.
PS: Кстати, операция эта заняла 4 часа.

Нажо попробовать из базы выпилить... А пилил по полигону или по ббоксу? Поделись параметрами, попробую из базы вырезать.

Alexandr Zeinalov · 2010-10-18 16:13:06

Использовал belarus.poly отсюда http://gis-lab.info/qa/osm-poly.html с completeWays=yes completeRelations=yes.

siberiano · 2010-10-20 10:49:53

В дамп новосибирской области вываливаются объекты из Омской, у которых на нашей области нет ничего. Целые посёлки попали в выгрузку.

liosha · 2010-10-20 10:56:56

siberiano, так и должно быть, выгрузки делаются с запасом.

siberiano · 2010-10-24 10:13:45

По-моему, 2 дня подряд выгрузки получаются битые.

Aleksandr Dezhin · 2010-10-24 10:37:29

siberiano, что конкретно битое? РФ вот вполне нормальная, по крайней мере xml валидный и данные из него читаются?

siberiano · 2010-10-24 10:58:03

Выгрузки, видимо, корректные. Статистика у вас и на stat.latlon.org в последние 2 дня с ошибками.

Komяpa · 2010-10-24 11:40:49

Если кто-то не знает, planet.openstreetmap.org испытывает технические трудности, в результате чего не всегда доступен. Если он был недоступен в момент обновления - выгрызки могут отвалиться, как я понимаю.

sim · 2010-10-24 15:36:38

siberiano, если речь о провале 2010-10-05, то его больше нет

siberiano · 2010-10-24 18:05:32

Про него речи не было, но спасибо. Сейчас вроде всё на месте.

gps-Max · 2010-11-01 18:48:57

Гислабовский сервер прилёг отдохнуть :-(

liosha · 2010-11-01 18:54:26

http://twitter.com/gislab

gps-Max · 2010-11-01 18:59:27

Спасибо. Будем ждать это обновление.

wildMan · 2010-11-03 01:48:23

возвращаясь к теме про***х осмозисом исчезающих мемберов у релейшенов

в случае если мембером релейшена А является другой релейшен B и в дампе он (релейшен B) находится ниже релейшена A то он исчезает из <member ... /> у А
при этом в дампе остаются оба релейшена

специально для считающих что при complete*=no можно выкидывать всё не попадающее в дамп уточняю:
дамп геофабрики от 2010-11-02.
в дампе присутствуют релейшены http://www.openstreetmap.org/browse/relation/79934 и http://www.openstreetmap.org/browse/relation/163244
но при этом в релейшене http://www.openstreetmap.org/browse/relation/79934 отсутствует строка

<member type="relation" ref="163244" role="border"/>

налицо бага осмозиса.
уже высказанная на irc имхо - в случае для релейшенов
- complete=no должно быть эквивалентно - GET /api/0.6/relation/#id - т.е. все описание релейшена полное - наличие мемберов в дампе не гарантируется
- complete=yes - GET /api/0.6/relation/#id/full - описание релейшена полное. гарантируется наличие в дампе мемберов первого уровня (т.е. присутствуют все мемберы типа node и way, присутствуют полные описания мемберов вида relation, присутствие мемберов мемберов вида релейшен - не гарантируется)

зы. сначала пытался написать на русском потом понял что от такого количества "членов" коммент становится не читабельным вот такой вот порнографический коммент получился

Last edited by wildMan (2010-11-03 01:49:31)

sim · 2010-11-03 04:10:31

господа модераторы, давайте выделим обсуждение данного специфического поведения в отдельную тему с названием типа "Проблема с выпадением отношений при резке Osmosis", это, разумеется, относится к выгрузкам, но вопрос самостоятельный и заковыристый.

LexIgnatov · 2010-12-11 09:08:50

Всё, читаю, читаю.. уже мозг плавится)) ну когда будет нормальная схема для маршрутов... Руки чешутся сделать их, да не пойму по какой схеме лучше, собрался было по oxoma, дак теперь и она получается "не такая, как надо" - о чёрт...

Stud555 · 2010-12-11 09:44:09

LexIgnatov wrote:

Всё, читаю, читаю.. уже мозг плавится)) ну когда будет нормальная схема для маршрутов... Руки чешутся сделать их, да не пойму по какой схеме лучше, собрался было по oxoma, дак теперь и она получается "не такая, как надо" - о чёрт...

Схема будет. Сейчас делаем по новой схеме. 3 отношения. Но пока какие-то проблемы с выгрузкой таких отношений на гис-лабе. Как все наладится, будут маршруты. Подробности тут: http://forum.openstreetmap.org/viewtopi … 78#p125578

Hind · 2010-12-11 10:21:19

LexIgnatov wrote:

собрался было по oxoma, дак теперь и она получается "не такая, как надо" - о чёрт...

А "такая" - она почти как Oxomoa, просто решает некоторые ее проблемы.
Из Oxomoa сделать новую совсем недолго.

И уж её-то должно хватить на все случаи с запасом. :3

Announcement

#251 2010-10-17 00:40:02

Re: Ежедневные выгрузки .osm по регионам

#252 2010-10-17 08:27:39

Re: Ежедневные выгрузки .osm по регионам

#253 2010-10-17 09:57:34

Re: Ежедневные выгрузки .osm по регионам

#254 2010-10-17 10:04:47

Re: Ежедневные выгрузки .osm по регионам

#255 2010-10-17 10:09:50

Re: Ежедневные выгрузки .osm по регионам

#256 2010-10-17 15:05:06

Re: Ежедневные выгрузки .osm по регионам

#257 2010-10-18 15:59:58

Re: Ежедневные выгрузки .osm по регионам

#258 2010-10-18 16:01:13

Re: Ежедневные выгрузки .osm по регионам

#259 2010-10-18 16:13:06

Re: Ежедневные выгрузки .osm по регионам

#260 2010-10-20 10:49:53

Re: Ежедневные выгрузки .osm по регионам

#261 2010-10-20 10:56:56

Re: Ежедневные выгрузки .osm по регионам

#262 2010-10-24 10:13:45

Re: Ежедневные выгрузки .osm по регионам

#263 2010-10-24 10:37:29

Re: Ежедневные выгрузки .osm по регионам

#264 2010-10-24 10:58:03

Re: Ежедневные выгрузки .osm по регионам

#265 2010-10-24 11:40:49

Re: Ежедневные выгрузки .osm по регионам

#266 2010-10-24 15:36:38

Re: Ежедневные выгрузки .osm по регионам

#267 2010-10-24 18:05:32

Re: Ежедневные выгрузки .osm по регионам

#268 2010-11-01 18:48:57

Re: Ежедневные выгрузки .osm по регионам

#269 2010-11-01 18:54:26

Re: Ежедневные выгрузки .osm по регионам

#270 2010-11-01 18:59:27

Re: Ежедневные выгрузки .osm по регионам

#271 2010-11-03 01:48:23

Re: Ежедневные выгрузки .osm по регионам

#272 2010-11-03 04:10:31

Re: Ежедневные выгрузки .osm по регионам

#273 2010-12-11 09:08:50

Re: Ежедневные выгрузки .osm по регионам

#274 2010-12-11 09:44:09

Re: Ежедневные выгрузки .osm по регионам

#275 2010-12-11 10:21:19

Re: Ежедневные выгрузки .osm по регионам

Board footer