You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2012-12-02 14:49:53

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Историческое видео - Зеленоград на OSM 2005-2012

Видео готово
http://www.youtube.com/watch?v=mYLt16fw4kE

Подробности - на хабре

=======
Исходный пост:

Для исторического видео (типа такого) нужны все версии большой кучи объектов (150-200k nodes, 30-50k ways).
Насколько я вижу есть только 2 варианта
- Парсить Full History Planet File (очень тяжко, около 500 GB без упаковки)
- Дёргать основной API по-объектно (подозреваю, что создам сильную нагрузку на основной сервер)

1) Нет ли какого-нить read-only зеркала откуда можно подёргать объекты?
Насколько я вижу XAPI и OverPass API не дают старые версии объектов и удалённые объекты не возвращают.

2) Может ли кто-нибудь выгрузить всю историю объектов по моему списку node id и way id?
(списки ща соберу)

3) Насколько медленно нужно дёргать основной API, чтобы не создать избыточной нагрузки?
(1 объект в ? секунд)

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

Last edited by OverQuantum (2012-12-09 16:59:57)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#2 2012-12-02 14:58:54

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Историческое видео - Зеленоград на OSM 2005-2012

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

Offline

#3 2012-12-02 17:50:50

andriano
Member
Registered: 2009-06-15
Posts: 1,667

Re: Историческое видео - Зеленоград на OSM 2005-2012

~30 Гбайт архива качаются гораздо быстрее, чем за пару недель. Вопрос, насколько я понимаю, как раз в том, что не хочется парсить всю планету.

OverQuantum, кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

Offline

#4 2012-12-02 18:04:46

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

Ну вас там вроде пара человек из Зеленограда. Думаю каждому выкачать по 100Гб не проблема в течении пары недель. А там в оффлайне обменяться.

Проблема в том чтобы выдернуть нужные way из этих 500 ГБ по списку node-ов. Список node-ов выдёргиваются легко - regexp-ом по lat/lon со скоростью гигабайт в минуту где-то. А для выдёргивания way-ев нужная быстрая проверка наличия node в списке и сохранение целого блока. Нашёл перловский скрипт, но он хочет память под полный индекс node-в (2 миллиарда) и т.д., 5 гигов ему не хватило.

andriano wrote:

кстати, а работать с *.pbf это лучше, чем с распакованным *.osm?

Смотря что делать. Если подходящая утилита есть, то легко, а если нет то абзац. smile
osmconvert очень бодро вырубает Зеленоград по bbox-у из выгрузки Московской области.
Ну а текстовый regexp, конечно, не натравишь.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#5 2012-12-02 19:18:03

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Историческое видео - Зеленоград на OSM 2005-2012

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

Offline

#6 2012-12-02 19:33:15

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

Может гоню чушь, то по идее потоковое чтение xml (osm) с полным массивом нодов в памяти должно выдернуть все ноды и веи.

Разумеется, должно. Но
1) Скорость моей проги - около 8 гигов в час, т.е. надо часов 60.
2) Последний Full History Planet File - от 19 октября
3) Не нашёл торрента для его скачивания (37 гигов под bz2)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#7 2012-12-02 19:58:28

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Историческое видео - Зеленоград на OSM 2005-2012

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться smile

Offline

#8 2012-12-02 20:14:06

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

Ну значит параллелишь не только скачивание, но и 60-ти часовую работу на том кто что скачал. А в этих 500Гб полный дамп базы со всеми изменениями или я чего-то не понимаю, там они утверждают что все изменения влезли в 37Гб ? И база там от 13-го, 19-го это оно завершило дампиться smile

37ГБ - упакованный в bz2. ~ 500ГБ будет распакованный osm. В них должны быть все изменения (не считая выпиленных ботом).
Параллелить не получиться, т.к. ещё нужно по ходу дела строить список way, которые нашлись - чтобы выгружать все их версии начиная с 1го использования хоть 1 node. Если этого не делать, то выпадут удаления и изменения, уводящие за край bbox-а.
Проблема не совсем во времени, а в том что после уймы усилий результат будет 6 недельной давности.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#9 2012-12-02 20:49:06

kapilov
Member
Registered: 2012-12-01
Posts: 147

Re: Историческое видео - Зеленоград на OSM 2005-2012

Кстати, было бы очень интересно иметь старые карты (растровые). Что бы посмотреть, что здесь раньше было. Как к ГуглЭзе есть возможность выбора старых снимков и можно смотреть, как строился новый район города например.

Offline

#10 2012-12-02 21:07:46

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

Появилась идея - выдернуть перечень changeset-ов по bbox-у. Потом выкачать все changeset-ы через API.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#11 2012-12-03 11:28:37

Larry0ua
Member
Registered: 2010-09-19
Posts: 1,061

Re: Историческое видео - Зеленоград на OSM 2005-2012

OverQuantum wrote:

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

Offline

#12 2012-12-03 12:37:17

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

Larry0ua wrote:
OverQuantum wrote:

P.S. Если быть точным, то нужны всё node и way что в bbox lat=55.92-56.05, lon=37.08-37.31 (Зеленоград). Устроит без тэгов, с марта 2012 года и с учётом смены лицензии, т.к. всё до 2012.04.01 взял отсюда.

в ирц мелькала идея - если есть начальное состояние, можно качать минутные/часовые диффы, накатывать на начальное состояние по очереди и рисовать картинку по полученным состояниям.

Отлично, спасибо.
Состояние на 1 апреля у меня есть, дальше накачу суточные диффы. Они full history, так что все правки войдут.

Last edited by OverQuantum (2012-12-03 12:48:32)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#13 2012-12-03 13:55:16

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Историческое видео - Зеленоград на OSM 2005-2012

А там тоже только до 12 сентября. И osm.org.ru тоже встал на это число. Видимо вся планета повисла во времени smile ... А вспомнил они там что-то мнеяли и начала заново.

Кстати последний дамп - двухдневной давности и всего 24ГБ.

Last edited by freeExec (2012-12-03 13:57:41)

Offline

#14 2012-12-03 14:58:11

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

freeExec wrote:

А там тоже только до 12 сентября.

Там - да. С 13 сентября - в основном каталоге диффов.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#15 2012-12-08 23:21:13

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

Доделал видео, можно заценять smile
http://www.youtube.com/watch?v=mYLt16fw4kE
Процесс изготовления планирую описать на Хабре


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#16 2012-12-09 08:20:01

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 4,017

Re: Историческое видео - Зеленоград на OSM 2005-2012

Эпично!

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит smile


Бывший редактор ОСМ

Offline

#17 2012-12-09 09:33:32

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,533

Re: Историческое видео - Зеленоград на OSM 2005-2012

Надо было на перелецензирование сделать slow motion. А ещё мне музыкальное сопровождение понравилось, что это ?

П.С. Блин, знал бы, что будут ники, вписался бы в историю sad

Offline

#18 2012-12-09 10:02:39

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

fserges wrote:

Единственное чтобы хотелось (по крайней мере в первые минуты видео) - какие-то контуры Зеленограда чтобы можно было понять - а где же работа кипит smile

Пожелание принимается, может быть в следующей версии.
Но хочу заметить, что пустое поле с редкими дорогами хорошо отражает ситуацию в OSM тех лет smile

freeExec wrote:

А ещё мне музыкальное сопровождение понравилось, что это ?

Первые 6 минут Vangelis - Voices, потом Bond - Elysium


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#19 2012-12-09 10:06:56

esaulenka
Member
From: Москва
Registered: 2010-08-21
Posts: 1,194
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

OverQuantum wrote:

Доделал видео, можно заценять smile

Круто!
Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :-)

PS а кто что в октябре (сильно позже после бота и pnorman'а) массово вырезал? На 7:39 и 7:42.

Offline

#20 2012-12-09 10:29:35

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,582
Website

Re: Историческое видео - Зеленоград на OSM 2005-2012

esaulenka wrote:

Разве что первые минуты оочень затянуты. Смотреть на одно шоссе и одну железку скучно :-)

Там и так ускорены 2 фрагменты и 2 года ужаты в 17 секунд (вместо 3 минут).
Мне очень не хочется делать нелинейное время, особенно когда происходят или "остывают" правки. Это искажает восприятие правильной скорости событий smile
Ну вот да, раньше в OSM было скучно smile

esaulenka wrote:

PS а кто что в октябре (сильно позже после бота и pnorman'а) массово вырезал? На 7:39 и 7:42.

На 7:39 не вижу ничего, а вот на 7:37 - ты big_smile big_smile
1) esaulenka: http://www.openstreetmap.org/browse/changeset/13404496
2) 7:42 - Bloodmage, http://www.openstreetmap.org/browse/changeset/13649360

Last edited by OverQuantum (2012-12-09 10:40:37)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

Board footer

Powered by FluxBB