Историческое видео - Зеленоград на OSM 2005-2012

OverQuantum · 2012-12-02 14:49:53

Видео готово
http://www.youtube.com/watch?v=mYLt16fw4kE

Подробности - на хабре

=======
Исходный пост:

Для исторического видео (типа такого) нужны все версии большой кучи объектов (150-200k nodes, 30-50k ways).
Насколько я вижу есть только 2 варианта
- Парсить Full History Planet File (очень тяжко, около 500 GB без упаковки)
- Дёргать основной API по-объектно (подозреваю, что создам сильную нагрузку на основной сервер)

1) Нет ли какого-нить read-only зеркала откуда можно подёргать объекты?
Насколько я вижу XAPI и OverPass API не дают старые версии объектов и удалённые объекты не возвращают.

2) Может ли кто-нибудь выгрузить всю историю объектов по моему списку node id и way id?
(списки ща соберу)

3) Насколько медленно нужно дёргать основной API, чтобы не создать избыточной нагрузки?
(1 объект в ? секунд)

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

Last edited by OverQuantum (2012-12-09 16:59:57)

freeExec · 2012-12-02 14:58:54

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

andriano · 2012-12-02 17:50:50

~30 Гбайт архива качаются гораздо быстрее, чем за пару недель. Вопрос, насколько я понимаю, как раз в том, что не хочется парсить всю планету.

OverQuantum, кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

OverQuantum · 2012-12-02 18:04:46

freeExec wrote:

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

Проблема в том чтобы выдернуть нужные way из этих 500 ГБ по списку node-ов. Список node-ов выдёргиваются легко - regexp-ом по lat/lon со скоростью гигабайт в минуту где-то. А для выдёргивания way-ев нужная быстрая проверка наличия node в списке и сохранение целого блока. Нашёл перловский скрипт, но он хочет память под полный индекс node-в (2 миллиарда) и т.д., 5 гигов ему не хватило.

andriano wrote:

кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

Смотря что делать. Если подходящая утилита есть, то легко, а если нет то абзац.
osmconvert очень бодро вырубает Зеленоград по bbox-у из выгрузки Московской области.
Ну а текстовый regexp, конечно, не натравишь.

freeExec · 2012-12-02 19:18:03

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

OverQuantum · 2012-12-02 19:33:15

freeExec wrote:

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

Разумеется, должно. Но
1) Скорость моей проги - около 8 гигов в час, т.е. надо часов 60.
2) Последний Full History Planet File - от 19 октября
3) Не нашёл торрента для его скачивания (37 гигов под bz2)

freeExec · 2012-12-02 19:58:28

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться

OverQuantum · 2012-12-02 20:14:06

freeExec wrote:

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться

37ГБ - упакованный в bz2. ~ 500ГБ будет распакованный osm. В них должны быть все изменения (не считая выпиленных ботом).
Параллелить не получиться, т.к. ещё нужно по ходу дела строить список way, которые нашлись - чтобы выгружать все их версии начиная с 1го использования хоть 1 node. Если этого не делать, то выпадут удаления и изменения, уводящие за край bbox-а.
Проблема не совсем во времени, а в том что после уймы усилий результат будет 6 недельной давности.

kapilov · 2012-12-02 20:49:06

Кстати, было бы очень интересно иметь старые карты (растровые). Что бы посмотреть, что здесь раньше было. Как к ГуглЭзе есть возможность выбора старых снимков и можно смотреть, как строился новый район города например.

OverQuantum · 2012-12-02 21:07:46

Появилась идея - выдернуть перечень changeset-ов по bbox-у. Потом выкачать все changeset-ы через API.

Larry0ua · 2012-12-03 11:28:37

OverQuantum wrote:

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

OverQuantum · 2012-12-03 12:37:17

Larry0ua wrote:

OverQuantum wrote:
P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.
в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

Отлично, спасибо.
Состояние на 1 апреля у меня есть, дальше накачу суточные диффы. Они full history, так что все правки войдут.

Last edited by OverQuantum (2012-12-03 12:48:32)

freeExec · 2012-12-03 13:55:16

А там тоже только до 12 сентября. И osm.org.ru тоже встал на это число. Видимо вся планета повисла во времени ... А вспомнил они там что-то мнеяли и начала заново.

Кстати последний дамп - двухдневной давности и всего 24ГБ.

Last edited by freeExec (2012-12-03 13:57:41)

OverQuantum · 2012-12-03 14:58:11

freeExec wrote:

А там тоже только до 12 сентября.

Там - да. С 13 сентября - в основном каталоге диффов.

OverQuantum · 2012-12-08 23:21:13

Доделал видео, можно заценять
http://www.youtube.com/watch?v=mYLt16fw4kE
Процесс изготовления планирую описать на Хабре

fserges · 2012-12-09 08:20:01

Эпично!

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит

freeExec · 2012-12-09 09:33:32

Надо было на перелецензирование сделать slow motion. А ещё мне музыкальное сопровождение понравилось, что это ?

П.С. Блин, знал бы, что будут ники, вписался бы в историю

OverQuantum · 2012-12-09 10:02:39

fserges wrote:

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит

Пожелание принимается, может быть в следующей версии.
Но хочу заметить, что пустое поле с редкими дорогами хорошо отражает ситуацию в OSM тех лет

freeExec wrote:

А ещё мне музыкальное сопровождение понравилось, что это ?

Первые 6 минут Vangelis - Voices, потом Bond - Elysium

esaulenka · 2012-12-09 10:06:56

OverQuantum wrote:

Доделал видео, можно заценять

Круто!
Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :-)

PS а кто что в октябре (сильно позже после бота и pnorman'а) массово вырезал? На 7:39 и 7:42.

OverQuantum · 2012-12-09 10:29:35

esaulenka wrote:

Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :-)

Там и так ускорены 2 фрагменты и 2 года ужаты в 17 секунд (вместо 3 минут).
Мне очень не хочется делать нелинейное время, особенно когда происходят или "остывают" правки. Это искажает восприятие правильной скорости событий
Ну вот да, раньше в OSM было скучно

esaulenka wrote:

PS а кто что в октябре (сильно позже после бота и pnorman'а) массово вырезал? На 7:39 и 7:42.

На 7:39 не вижу ничего, а вот на 7:37 - ты
1) esaulenka: http://www.openstreetmap.org/browse/changeset/13404496
2) 7:42 - Bloodmage, http://www.openstreetmap.org/browse/changeset/13649360

Last edited by OverQuantum (2012-12-09 10:40:37)

Announcement

#1 2012-12-02 14:49:53

Историческое видео - Зеленоград на OSM 2005-2012

#2 2012-12-02 14:58:54

Re: Историческое видео - Зеленоград на OSM 2005-2012

#3 2012-12-02 17:50:50

Re: Историческое видео - Зеленоград на OSM 2005-2012

#4 2012-12-02 18:04:46

Re: Историческое видео - Зеленоград на OSM 2005-2012

#5 2012-12-02 19:18:03

Re: Историческое видео - Зеленоград на OSM 2005-2012

#6 2012-12-02 19:33:15

Re: Историческое видео - Зеленоград на OSM 2005-2012

#7 2012-12-02 19:58:28

Re: Историческое видео - Зеленоград на OSM 2005-2012

#8 2012-12-02 20:14:06

Re: Историческое видео - Зеленоград на OSM 2005-2012

#9 2012-12-02 20:49:06

Re: Историческое видео - Зеленоград на OSM 2005-2012

#10 2012-12-02 21:07:46

Re: Историческое видео - Зеленоград на OSM 2005-2012

#11 2012-12-03 11:28:37

Re: Историческое видео - Зеленоград на OSM 2005-2012

#12 2012-12-03 12:37:17

Re: Историческое видео - Зеленоград на OSM 2005-2012

#13 2012-12-03 13:55:16

Re: Историческое видео - Зеленоград на OSM 2005-2012

#14 2012-12-03 14:58:11

Re: Историческое видео - Зеленоград на OSM 2005-2012

#15 2012-12-08 23:21:13

Re: Историческое видео - Зеленоград на OSM 2005-2012

#16 2012-12-09 08:20:01

Re: Историческое видео - Зеленоград на OSM 2005-2012

#17 2012-12-09 09:33:32

Re: Историческое видео - Зеленоград на OSM 2005-2012

#18 2012-12-09 10:02:39

Re: Историческое видео - Зеленоград на OSM 2005-2012

#19 2012-12-09 10:06:56

Re: Историческое видео - Зеленоград на OSM 2005-2012

#20 2012-12-09 10:29:35

Re: Историческое видео - Зеленоград на OSM 2005-2012

Board footer