Хранилище для выкачанных osm-файлов

Ivan Komarov · 2009-10-29 17:03:26

Выступаю с инициативой (наказуемой, ессно ) пользоваться созданным мной хранилищем для общедоступного хранения свежевыкачанных osm-файлов.

Зачем это нужно?
Многие из нас выкачивают "свои" области с осм'а, некоторые делают это ежесуточно. К сожалению, в настоящий момент "сырые" osm-файлы не хранятся где-либо централизованным образом. Подозреваю, что это приводит к тому, что
а) те, кто умеют, качают одно и то же каждый для себя
б) те, кто не умеет, не могут получить сырые данные для обработки вовсе.
Данная инициатива представляет собой попытку исправить этот недостаток.

Почему не база?
Просто потому, что пока ее нет. Понятно, поднятие зеркала для России с возможностью выкачивания разных регионов полностью бы решило эту проблему, но пока мы имеет, то что имеем.

Как это будет работать?
Пока предлагаю следующее:
энтузиастам-добровольцам, которые готовы обеспечить более-менее регулярное выкладывание областей, по запросу я даю доступ к ftp, куда они будут заливать архивы скачанных областей. Доступ к закачанным архивам будет открытый и свободный для всех. Для начала могу обещать 500Мб места у хостера под это дело, дальше - посмотрим.

Да, пока там пусто
Доберусь домой - залью "свои" Питер, Псков, Карелию и Новгород

sim · 2009-10-29 17:42:47

чуть-чуть забегая вперед, буквально на днях, будет ежедневная резка osm-ов по всем областям (точнее она уже есть, в тестировании)

liosha · 2009-10-29 19:23:09

sim, а сам процесс какой будет, если не секрет?

Ivan Komarov · 2009-10-29 19:37:50

"Свои" файлы залил. liosha, Zkir, присоединитесь?

liosha · 2009-10-29 19:58:22

Ivan Komarov, естессно. Присылай пароли и явки

Ivan Komarov · 2009-10-29 20:43:01

liosha, выслал на gmail. Жду прибавления

Ezhick · 2009-10-30 06:49:47

Ivan Komarov а можно и мне доступ? Тула, Орел, Краснодарский край ежедневно качаю.

astroiLL · 2009-10-30 07:51:21

А можно разделить тему? А то обсуждаем в стрип-режиме сразу две возможности.
Я понял, что автор предложил только хранилище? Т.е. если я выкачиваю OSM для Краснодара и Ростова скриптом, а выкладывать на http://fmesh.ru/osm ?
Могу и туда выкладывать, а не у себя, опять же у меня возникают проблемы с каналом и стабильное хранилище было бы удобно.
Ezhick, ты Краснодарский край регулярно качаешь? У меня работает ночью скрипт КрКр и РостовНаДону с областью.

Last edited by astroiLL (2009-10-30 07:53:19)

Ivan Komarov · 2009-10-30 08:00:18

astroiLL wrote:

Я понял, что автор предложил только хранилище? Т.е. если я выкачиваю OSM для Краснодара и Ростова скриптом, а выкладывать на http://fmesh.ru/osm ?

Да именно так.
Координаты выслал Вам и Ezhick'у. Договаривайтесь насчет КрКр

Ezhick · 2009-10-30 09:26:47

КрКр качал регулярно, ибо не знал, что его еще кто-то качает и выкладывает. Меня попросили делать конверт под ПокетГИС, для него и качал. Готов перестать качать, ибо сегодня пришли запросы еще на несколько регионов, которые пока никто не качает, переключусь на них.

neutron · 2009-10-30 11:20:21

Ещё бы прикрутить в табличку:
- размер файла;
- описание файла (координаты границ);

Ivan Komarov · 2009-10-30 11:44:38

Размер прикручу.
Границы - руками заливать имхо муторно. Попробую напрячь сервер заняться их вытягиванием из файлов. Если не начнет ругаться - сделаю потихоньку.

Ivan Komarov · 2009-10-30 11:58:41

Ivan Komarov wrote:

Размер прикручу.

Done

Ezhick · 2009-10-30 12:36:18

Ivan Komarov wrote:

Размер прикручу.
Границы - руками заливать имхо муторно. Попробую напрячь сервер заняться их вытягиванием из файлов. Если не начнет ругаться - сделаю потихоньку.

А они там есть, чтобы их вытягивать???

astroiLL · 2009-10-30 12:41:14

Мы в какой-то теме с Лешей обсудили и я взял загрузку OSM КрКр с Ростовом на себя.
Вот тут:
http://astrokuban.info/pub/GPS/Maps/OSM/
ftp://astrokuban.info/pub/GPS/Maps/OSM/
возникают каждую ночь (в 1:00-2:00) мои скачанные регионы.
Если Ivan Komarov пришлет мне имя и пароль на ftp доступ (я пока ничего не получил), то буду и туда выкладывать, одна строка в скрипте не помеха.

Ivan Komarov · 2009-10-30 12:41:25

Ezhick wrote:

А они там есть, чтобы их вытягивать???

BBox? Всяко есть - for_each_nodes и они у нас в руках А после liosh'иного osmsort'а они в заголовке osm-файла прописаны

Ivan Komarov · 2009-10-30 12:43:39

astroiLL wrote:

Если Ivan Komarov пришлет мне имя и пароль на ftp доступ (я пока ничего не получил), то буду и туда выкладывать, одна строка в скрипте не помеха.

Высылал
напишите на vanokom at DO_NOT_SPAM_ME freemail.ru

Ezhick · 2009-10-30 12:46:04

Ivan Komarov wrote:

[А после liosh'иного osmsort'а они в заголовке osm-файла прописаны

Для отсталых, типа меня: osmsort это что и с чем его едят?

liosha · 2009-10-30 12:46:33

BBox и for_each_nodes - немного разные вещи

Ivan Komarov · 2009-10-30 12:53:17

liosha wrote:

BBox и for_each_nodes - немного разные вещи

Так-то оно так, но ведь osmsort именно так его и считает?

Ezhick wrote:

Для отсталых, типа меня: osmsort это что и с чем его едят?

составная часть liosh'иного конвертера.

astroiLL · 2009-10-30 12:56:04

Ezhick wrote:

Ivan Komarov wrote:
[А после liosh'иного osmsort'а они в заголовке osm-файла прописаны
Для отсталых, типа меня: osmsort это что и с чем его едят?

Ты не в теме? А чем ты загружаешь OSM?
У меня в скрипте загружается с помощью osmget и потом сортируется с помощью osmsort, запаковывается bz2 и выкладывается на ftp.
И притом грузятся с определенными границами, чтобы стыковалось с другими регионами.

liosha · 2009-10-30 13:01:48

Ivan Komarov wrote:

liosha wrote:
BBox и for_each_nodes - немного разные вещи
Так-то оно так, но ведь osmsort именно так его и считает?

Нет, он считает по bbox-ам скаченных кусков, которые выдаёт api.
При этом часть точек граничных веев остаются снаружи bbox-а

Ivan Komarov · 2009-10-30 13:03:58

liosha wrote:

Нет, он считает по bbox-ам скаченных кусков, которые выдаёт api.
При этом часть точек граничных веев остаются снаружи bbox-а

осознал

Ezhick · 2009-10-30 13:27:44

astroiLL wrote:

Ты не в теме? А чем ты загружаешь OSM?
У меня в скрипте загружается с помощью osmget и потом сортируется с помощью osmsort, запаковывается bz2 и выкладывается на ftp.
И притом грузятся с определенными границами, чтобы стыковалось с другими регионами.

Гружу через xapi curl'ом.

astroiLL · 2009-10-30 13:39:59

Получил я доступ, т.ч. сегодняшний скрипт закинет OSM-файлы и на http://fmesh.ru/osm
Завтра (или в понедельник) проверим.

Announcement

#1 2009-10-29 17:03:26

Хранилище для выкачанных osm-файлов

#2 2009-10-29 17:42:47

Re: Хранилище для выкачанных osm-файлов

#3 2009-10-29 19:23:09

Re: Хранилище для выкачанных osm-файлов

#4 2009-10-29 19:37:50

Re: Хранилище для выкачанных osm-файлов

#5 2009-10-29 19:58:22

Re: Хранилище для выкачанных osm-файлов

#6 2009-10-29 20:43:01

Re: Хранилище для выкачанных osm-файлов

#7 2009-10-30 06:49:47

Re: Хранилище для выкачанных osm-файлов

#8 2009-10-30 07:51:21

Re: Хранилище для выкачанных osm-файлов

#9 2009-10-30 08:00:18

Re: Хранилище для выкачанных osm-файлов

#10 2009-10-30 09:26:47

Re: Хранилище для выкачанных osm-файлов

#11 2009-10-30 11:20:21

Re: Хранилище для выкачанных osm-файлов

#12 2009-10-30 11:44:38

Re: Хранилище для выкачанных osm-файлов

#13 2009-10-30 11:58:41

Re: Хранилище для выкачанных osm-файлов

#14 2009-10-30 12:36:18

Re: Хранилище для выкачанных osm-файлов

#15 2009-10-30 12:41:14

Re: Хранилище для выкачанных osm-файлов

#16 2009-10-30 12:41:25

Re: Хранилище для выкачанных osm-файлов

#17 2009-10-30 12:43:39

Re: Хранилище для выкачанных osm-файлов

#18 2009-10-30 12:46:04

Re: Хранилище для выкачанных osm-файлов

#19 2009-10-30 12:46:33

Re: Хранилище для выкачанных osm-файлов

#20 2009-10-30 12:53:17

Re: Хранилище для выкачанных osm-файлов

#21 2009-10-30 12:56:04

Re: Хранилище для выкачанных osm-файлов

#22 2009-10-30 13:01:48

Re: Хранилище для выкачанных osm-файлов

#23 2009-10-30 13:03:58

Re: Хранилище для выкачанных osm-файлов

#24 2009-10-30 13:27:44

Re: Хранилище для выкачанных osm-файлов

#25 2009-10-30 13:39:59

Re: Хранилище для выкачанных osm-файлов

Board footer