OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2012-12-02 14:49:53

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Историческое видео - Зеленоград на OSM 2005-2012

Видео готово
http://www.youtube.com/watch?v=mYLt16fw4kE

Подробности - на хабре

=======
Исходный пост:

Для исторического видео (типа такого) нужны все версии большой кучи объектов (150-200k nodes, 30-50k ways).
Насколько я вижу есть только 2 варианта
- Парсить Full History Planet File (очень тяжко, около 500 GB без упаковки)
- Дёргать основной API по-объектно (подозреваю, что создам сильную нагрузку на основной сервер)

1) Нет ли какого-нить read-only зеркала откуда можно подёргать объекты?
Насколько я вижу XAPI и OverPass API не дают старые версии объектов и удалённые объекты не возвращают.

2) Может ли кто-нибудь выгрузить всю историю объектов по моему списку node id и way id?
(списки ща соберу)

3) Насколько медленно нужно дёргать основной API, чтобы не создать избыточной нагрузки?
(1 объект в ? секунд)

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

Last edited by OverQuantum (2012-12-09 16:59:57)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#2 2012-12-02 14:58:54

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,710

Re: Историческое видео - Зеленоград на OSM 2005-2012

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

Offline

#3 2012-12-02 17:50:50

andriano
Member
Registered: 2009-06-15
Posts: 1,667

Re: Историческое видео - Зеленоград на OSM 2005-2012

~30 Гбайт архива качаются гораздо быстрее, чем за пару недель. Вопрос, насколько я понимаю, как раз в том, что не хочется парсить всю планету.

OverQuantum, кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

Offline

#4 2012-12-02 18:04:46

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

Проблема в том чтобы выдернуть нужные way из этих 500 ГБ по списку node-ов. Список node-ов выдёргиваются легко - regexp-ом по lat/lon со скоростью гигабайт в минуту где-то. А для выдёргивания way-ев нужная быстрая проверка наличия node в списке и сохранение целого блока. Нашёл перловский скрипт, но он хочет память под полный индекс node-в (2 миллиарда) и т.д., 5 гигов ему не хватило.

andriano wrote:

кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

Смотря что делать. Если подходящая утилита есть, то легко, а если нет то абзац. smile
osmconvert очень бодро вырубает Зеленоград по bbox-у из выгрузки Московской области.
Ну а текстовый regexp, конечно, не натравишь.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#5 2012-12-02 19:18:03

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,710

Re: Историческое видео - Зеленоград на OSM 2005-2012

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

Offline

#6 2012-12-02 19:33:15

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

Разумеется, должно. Но
1) Скорость моей проги - около 8 гигов в час, т.е. надо часов 60.
2) Последний Full History Planet File - от 19 октября
3) Не нашёл торрента для его скачивания (37 гигов под bz2)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#7 2012-12-02 19:58:28

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,710

Re: Историческое видео - Зеленоград на OSM 2005-2012

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться smile

Offline

#8 2012-12-02 20:14:06

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться smile

37ГБ - упакованный в bz2. ~ 500ГБ будет распакованный osm. В них должны быть все изменения (не считая выпиленных ботом).
Параллелить не получиться, т.к. ещё нужно по ходу дела строить список way, которые нашлись - чтобы выгружать все их версии начиная с 1го использования хоть 1 node. Если этого не делать, то выпадут удаления и изменения, уводящие за край bbox-а.
Проблема не совсем во времени, а в том что после уймы усилий результат будет 6 недельной давности.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#9 2012-12-02 20:49:06

kapilov
Member
Registered: 2012-12-01
Posts: 147

Re: Историческое видео - Зеленоград на OSM 2005-2012

Кстати, было бы очень интересно иметь старые карты (растровые). Что бы посмотреть, что здесь раньше было. Как к ГуглЭзе есть возможность выбора старых снимков и можно смотреть, как строился новый район города например.

Offline

#10 2012-12-02 21:07:46

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

Появилась идея - выдернуть перечень changeset-ов по bbox-у. Потом выкачать все changeset-ы через API.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#11 2012-12-03 11:28:37

Larry0ua
Member
Registered: 2010-09-19
Posts: 1,061

Re: Историческое видео - Зеленоград на OSM 2005-2012

OverQuantum wrote:

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

Offline

#12 2012-12-03 12:37:17

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

Larry0ua wrote:
OverQuantum wrote:

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

Отлично, спасибо.
Состояние на 1 апреля у меня есть, дальше накачу суточные диффы. Они full history, так что все правки войдут.

Last edited by OverQuantum (2012-12-03 12:48:32)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#13 2012-12-03 13:55:16

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,710

Re: Историческое видео - Зеленоград на OSM 2005-2012

А там тоже только до 12 сентября. И osm.org.ru тоже встал на это число. Видимо вся планета повисла во времени smile ... А вспомнил они там что-то мнеяли и начала заново.

Кстати последний дамп - двухдневной давности и всего 24ГБ.

Last edited by freeExec (2012-12-03 13:57:41)

Offline

#14 2012-12-03 14:58:11

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

А там тоже только до 12 сентября.

Там - да. С 13 сентября - в основном каталоге диффов.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#15 2012-12-08 23:21:13

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

Доделал видео, можно заценять smile
http://www.youtube.com/watch?v=mYLt16fw4kE
Процесс изготовления планирую описать на Хабре


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#16 2012-12-09 08:20:01

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,816

Re: Историческое видео - Зеленоград на OSM 2005-2012

Эпично!

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит smile


Бывший редактор ОСМ

Offline

#17 2012-12-09 09:33:32

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,710

Re: Историческое видео - Зеленоград на OSM 2005-2012

Надо было на перелецензирование сделать slow motion. А ещё мне музыкальное сопровождение понравилось, что это ?

П.С. Блин, знал бы, что будут ники, вписался бы в историю sad

Offline

#18 2012-12-09 10:02:39

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

fserges wrote:

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит smile

Пожелание принимается, может быть в следующей версии.
Но хочу заметить, что пустое поле с редкими дорогами хорошо отражает ситуацию в OSM тех лет smile

freeExec wrote:

А ещё мне музыкальное сопровождение понравилось, что это ?

Первые 6 минут Vangelis - Voices, потом Bond - Elysium


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#19 2012-12-09 10:06:56

esaulenka
Member
From: Москва
Registered: 2010-08-21
Posts: 1,194
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

OverQuantum wrote:

Доделал видео, можно заценять smile

Круто!
Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :-)

PS а кто что в октябре (сильно позже после бота и pnorman'а) массово вырезал? На 7:39 и 7:42.

Offline

#20 2012-12-09 10:29:35

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

esaulenka wrote:

Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :-)

Там и так ускорены 2 фрагменты и 2 года ужаты в 17 секунд (вместо 3 минут).
Мне очень не хочется делать нелинейное время, особенно когда происходят или "остывают" правки. Это искажает восприятие правильной скорости событий smile
Ну вот да, раньше в OSM было скучно smile

esaulenka wrote:

PS а кто что в октябре (сильно позже после бота и pnorman'а) массово вырезал? На 7:39 и 7:42.

На 7:39 не вижу ничего, а вот на 7:37 - ты big_smile big_smile
1) esaulenka: http://www.openstreetmap.org/browse/changeset/13404496
2) 7:42 - Bloodmage, http://www.openstreetmap.org/browse/changeset/13649360

Last edited by OverQuantum (2012-12-09 10:40:37)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

Board footer

Powered by FluxBB