Историческое видео - Зеленоград на OSM 2005-2012

Видео готово
http://www.youtube.com/watch?v=mYLt16fw4kE

Подробности - на хабре

=======
Исходный пост:

Для исторического видео (типа такого) нужны все версии большой кучи объектов (150-200k nodes, 30-50k ways).
Насколько я вижу есть только 2 варианта

  • Парсить Full History Planet File (очень тяжко, около 500 GB без упаковки)
  • Дёргать основной API по-объектно (подозреваю, что создам сильную нагрузку на основной сервер)
  1. Нет ли какого-нить read-only зеркала откуда можно подёргать объекты?
    Насколько я вижу XAPI и OverPass API не дают старые версии объектов и удалённые объекты не возвращают.

  2. Может ли кто-нибудь выгрузить всю историю объектов по моему списку node id и way id?
    (списки ща соберу)

  3. Насколько медленно нужно дёргать основной API, чтобы не создать избыточной нагрузки?
    (1 объект в ? секунд)

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

~30 Гбайт архива качаются гораздо быстрее, чем за пару недель. Вопрос, насколько я понимаю, как раз в том, что не хочется парсить всю планету.

OverQuantum, кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

Проблема в том чтобы выдернуть нужные way из этих 500 ГБ по списку node-ов. Список node-ов выдёргиваются легко - regexp-ом по lat/lon со скоростью гигабайт в минуту где-то. А для выдёргивания way-ев нужная быстрая проверка наличия node в списке и сохранение целого блока. Нашёл перловский скрипт, но он хочет память под полный индекс node-в (2 миллиарда) и т.д., 5 гигов ему не хватило.

Смотря что делать. Если подходящая утилита есть, то легко, а если нет то абзац. :slight_smile:
osmconvert очень бодро вырубает Зеленоград по bbox-у из выгрузки Московской области.
Ну а текстовый regexp, конечно, не натравишь.

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

Разумеется, должно. Но

  1. Скорость моей проги - около 8 гигов в час, т.е. надо часов 60.
  2. Последний Full History Planet File - от 19 октября
  3. Не нашёл торрента для его скачивания (37 гигов под bz2)

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться :slight_smile:

37ГБ - упакованный в bz2. ~ 500ГБ будет распакованный osm. В них должны быть все изменения (не считая выпиленных ботом).
Параллелить не получиться, т.к. ещё нужно по ходу дела строить список way, которые нашлись - чтобы выгружать все их версии начиная с 1го использования хоть 1 node. Если этого не делать, то выпадут удаления и изменения, уводящие за край bbox-а.
Проблема не совсем во времени, а в том что после уймы усилий результат будет 6 недельной давности.

Кстати, было бы очень интересно иметь старые карты (растровые). Что бы посмотреть, что здесь раньше было. Как к ГуглЭзе есть возможность выбора старых снимков и можно смотреть, как строился новый район города например.

Появилась идея - выдернуть перечень changeset-ов по bbox-у. Потом выкачать все changeset-ы через API.

в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

Отлично, спасибо.
Состояние на 1 апреля у меня есть, дальше накачу суточные диффы. Они full history, так что все правки войдут.

А там тоже только до 12 сентября. И osm.org.ru тоже встал на это число. Видимо вся планета повисла во времени :slight_smile: … А вспомнил они там что-то мнеяли и начала заново.

Кстати последний дамп - двухдневной давности и всего 24ГБ.

Там - да. С 13 сентября - в основном каталоге диффов.

Доделал видео, можно заценять :slight_smile:
http://www.youtube.com/watch?v=mYLt16fw4kE
Процесс изготовления планирую описать на Хабре

Эпично!

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит :slight_smile:

Надо было на перелецензирование сделать slow motion. А ещё мне музыкальное сопровождение понравилось, что это ?

П.С. Блин, знал бы, что будут ники, вписался бы в историю :frowning:

Пожелание принимается, может быть в следующей версии.
Но хочу заметить, что пустое поле с редкими дорогами хорошо отражает ситуацию в OSM тех лет :slight_smile:

Первые 6 минут Vangelis - Voices, потом Bond - Elysium

Круто!
Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :slight_smile:

PS а кто что в октябре (сильно позже после бота и pnorman’а) массово вырезал? На 7:39 и 7:42.

Там и так ускорены 2 фрагменты и 2 года ужаты в 17 секунд (вместо 3 минут).
Мне очень не хочется делать нелинейное время, особенно когда происходят или “остывают” правки. Это искажает восприятие правильной скорости событий :slight_smile:
Ну вот да, раньше в OSM было скучно :slight_smile:

На 7:39 не вижу ничего, а вот на 7:37 - ты :smiley: :smiley:

  1. esaulenka: http://www.openstreetmap.org/browse/changeset/13404496
  2. 7:42 - Bloodmage, http://www.openstreetmap.org/browse/changeset/13649360