Для исторического видео (типа такого) нужны все версии большой кучи объектов (150-200k nodes, 30-50k ways).
Насколько я вижу есть только 2 варианта
Парсить Full History Planet File (очень тяжко, около 500 GB без упаковки)
Дёргать основной API по-объектно (подозреваю, что создам сильную нагрузку на основной сервер)
Нет ли какого-нить read-only зеркала откуда можно подёргать объекты?
Насколько я вижу XAPI и OverPass API не дают старые версии объектов и удалённые объекты не возвращают.
Может ли кто-нибудь выгрузить всю историю объектов по моему списку node id и way id?
(списки ща соберу)
Насколько медленно нужно дёргать основной API, чтобы не создать избыточной нагрузки?
(1 объект в ? секунд)
P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.
Проблема в том чтобы выдернуть нужные way из этих 500 ГБ по списку node-ов. Список node-ов выдёргиваются легко - regexp-ом по lat/lon со скоростью гигабайт в минуту где-то. А для выдёргивания way-ев нужная быстрая проверка наличия node в списке и сохранение целого блока. Нашёл перловский скрипт, но он хочет память под полный индекс node-в (2 миллиарда) и т.д., 5 гигов ему не хватило.
Смотря что делать. Если подходящая утилита есть, то легко, а если нет то абзац.
osmconvert очень бодро вырубает Зеленоград по bbox-у из выгрузки Московской области.
Ну а текстовый regexp, конечно, не натравишь.
Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться
37ГБ - упакованный в bz2. ~ 500ГБ будет распакованный osm. В них должны быть все изменения (не считая выпиленных ботом).
Параллелить не получиться, т.к. ещё нужно по ходу дела строить список way, которые нашлись - чтобы выгружать все их версии начиная с 1го использования хоть 1 node. Если этого не делать, то выпадут удаления и изменения, уводящие за край bbox-а.
Проблема не совсем во времени, а в том что после уймы усилий результат будет 6 недельной давности.
Кстати, было бы очень интересно иметь старые карты (растровые). Что бы посмотреть, что здесь раньше было. Как к ГуглЭзе есть возможность выбора старых снимков и можно смотреть, как строился новый район города например.
в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.
А там тоже только до 12 сентября. И osm.org.ru тоже встал на это число. Видимо вся планета повисла во времени … А вспомнил они там что-то мнеяли и начала заново.
Кстати последний дамп - двухдневной давности и всего 24ГБ.
Там и так ускорены 2 фрагменты и 2 года ужаты в 17 секунд (вместо 3 минут).
Мне очень не хочется делать нелинейное время, особенно когда происходят или “остывают” правки. Это искажает восприятие правильной скорости событий
Ну вот да, раньше в OSM было скучно