Конвертер OSM -> MP

Kotelnikov · 2009-08-02 19:49:17

Может сборку делать не ежедневную, а по запросу? С минимальным временным интервалом для 2 запросов одного региона в 24 часа? Т.е. нечасто востребованные регионы будут конвертиться так же не сильно часто. А популярные регионы будут собираться как обычно раз в сутки.

liosha · 2009-08-02 19:55:23

собственно, больше всего времени уходит на вытаскивание данных через API.
так что если кто-то готов сам их вытаскивать и передавать мне уже готовый osm-файл нужного региона, то конвертация шла бы значительно быстрее

coolkaas · 2009-08-02 20:17:00

Котельников, а самому вытаскивать разве сложно? У меня моя область вытаскивается за 10 минут. Всё никак не про speed-up'лю у себя этот процесс параллельным вытаскиванием более мелких квадратов.
Так тебе и on demand, и что хочешь. Порисовал, слил, загрузил. Не рисуешь - не сливаешь
Я бы мог тащить осмы, но я комп достаточно хаотично включаю, а тут регулярность нужна.
Леша, я могу руками выкладывать свой сортированный осм (границы скажешь) куда-нибудь на народ.ру к примеру - если хорошо порисовал, или заметил, что кто-то рисовал. (От меня получается пока процентов 90 города).
А если скажем дата моего файла не изменилась, то твой скрипт не качает его. Не знаю.. стоит ли игра свечек?
ps. А если я заболел или умер? и не смогу обновить. Нет. Это слишком ответственно!

Last edited by coolkaas (2009-08-02 20:20:03)

Kotelnikov · 2009-08-02 20:29:15

coolkaas wrote:

Я бы мог тащить осмы, но я комп достаточно хаотично включаю, а тут регулярность нужна.
Леша, я могу руками выкладывать свой сортированный осм (границы скажешь) куда-нибудь на народ.ру к примеру - если хорошо порисовал, или заметил, что кто-то рисовал. (От меня получается пока процентов 90 города).
А если скажем дата моего файла не изменилась, то твой скрипт не качает его. Не знаю.. стоит ли игра свечек?
ps. А если я заболел или умер? и не смогу обновить. Нет. Это слишком ответственно!

Режим работы моего компьютера тоже очень непостоянный. Для регулярности нужен 24/7 отдельно стоящий компьютер, который будет на автомате все это дело лабать. У меня такого компьютера нет.

Ivan Komarov · 2009-08-02 22:56:55

liosha wrote:

собственно, больше всего времени уходит на вытаскивание данных через API.
так что если кто-то готов сам их вытаскивать и передавать мне уже готовый osm-файл нужного региона, то конвертация шла бы значительно быстрее

Готов заняться северо-западом - Питер+Карелия+Псков. Ну, Новгород можно добавить. Могу также попробовать резать границами областей Думаю, что смогу обеспечить приемлемую регулярность.

liosha · 2009-08-03 05:00:03

Меня бы устроили вырезки в виде .osm.bz2 на любом нормальном http или ftp.
Как вариант могу сделать и форму для заливки на сайте, но это не в ближайшем времени.

Сейчас у меня у регионов СЗ такие границы:

make.pl 861  piter              28,59,33,61
make.pl 883  pskov              27.5,57,29.5,58.6
make.pl 885  novgorod           30,58,32.4,59
make.pl 892  karelia            29.25,60.5,39,67

Если граница общая, то работает сквозной роутинг.

Fortress · 2009-08-03 05:59:10

Я могу выкачивать пару областей ежедневно. Питер могу качать, он много времени занимает...
Могу и на сервер заливать по фтп или хттп тока прогу подскажите которая через консоль это сможет сделать, чтобы батник сварганить и в планировщик скормить
Я кстати уже 2недели как постоянный член TilesAtHome

Last edited by Fortress (2009-08-03 06:02:10)

liosha · 2009-08-03 06:03:44

Fortress wrote:

Могу и на сервер заливать по фтп или хттп тока прогу подскажите которая через консоль это сможет сделать, чтобы батник сварганить и в планировщик скормить

http://curl.haxx.se/

astroiLL · 2009-08-03 06:21:08

Мог бы поставить скрипт в крон своего сервера (astrokuban.info - linux, perl и прочая) и предоставить ftp http доступ для скачки или выгружать на сервер. Могу взять ответственность за Юг (Краснодар, Ростов на реке).
Только дайте команду (с правильными параметрами) для скачивания этих регионов.
Могу сразу конвертить в *.mp

liosha · 2009-08-03 06:30:35

команда для скачивания:
osmget.pl <minlon,minlat,maxlon,maxlat> > file-draft.osm
osmsort.pl file-draft.osm > file.osm

сами скрипты есть в svn-е: http://code.google.com/p/osm2mp/source/ … nk/osm2mp/

coolkaas · 2009-08-03 06:55:49

Сколько отзывов, это радует
Только мне кажется получение формата mp прерогатива Леши - он пишет конвертер, со свежими параметрами играется.
Так что выгонять ему надо osm-формат, я так понимаю. Хотя он и толще.

Fortress · 2009-08-03 07:58:22

Добавьте пожалуйста в скрипт экспорт landuse=meadow. Спасибо.

liosha · 2009-08-03 08:02:45

в какой гарминовский тип его переводить?

Ivan Komarov · 2009-08-03 08:19:20

liosha wrote:

в какой гарминовский тип его переводить?

Горячо поддерживаю! + еще scrub хочу. Что-нибудь ненужное заменить, типа нац. парки №№2 и 3.

coolkaas wrote:

Только мне кажется получение формата mp прерогатива Леши - он пишет конвертер, со свежими параметрами играется.
Так что выгонять ему надо osm-формат, я так понимаю. Хотя он и толще.

Так то оно так, но мне вот, например, оч. хотелось бы получить "свои" области, обрезанные по границе, что упирается в ограниченность выч. мощности Лешиного компьютера. IMO cвежие параметры можно "забирать" из svn-а и конвертить с ними.

Last edited by Ivan Komarov (2009-08-03 08:24:59)

liosha · 2009-08-03 08:28:15

оно, скорее, упирается в лень+недостаток времени сделать проверку вхождения через Q-деревья
да и вообще многое в конвертере оптимизации требует

Ivan Komarov · 2009-08-03 08:35:57

Это понятно. Однако можно скомпенсировать неоптимальность алгоритмов распределенностью

coolkaas · 2009-08-03 09:37:37

Ivan Komarov wrote:

Однако можно скомпенсировать неоптимальность алгоритмов распределенностью

Однозначно.
Можно сколько угодно грызть себя за неоптимальность, однако жизненные реалии таковы, что на fun часто не хватает времени. Иной раз лучше полениться и отдохнуть, чем через силу понуждать себя ваять fun, который ты никому вобщем-то не обещал
А meadow по сути grass. Есть у вас трава? Я например у себя траву рисую. Всякие цветнички перед администрациями и тому подобные вещи.
А meadow по сути тоже самое, только за городом
Только не понимаю, почему он landuse.

Ivan Komarov wrote:

но мне вот, например, оч. хотелось бы получить "свои" области, обрезанные по границе.

Тогда получается по факту, что отдельные области будут выгонять в mp желающие (ответственные) - им всяко видней, где правильные границы указанного района пролегают. А у Леши будет просто сборка этих mp файлов на сайте.
Только надо догориться, что делать, если выгонка прекращается - скажем осмер уезжает в отпуск или теряет интерес к осм или инет у него накрывается.

Last edited by coolkaas (2009-08-03 09:53:26)

Ivan Komarov · 2009-08-03 11:37:20

coolkaas wrote:

Только надо договориться, что делать, если выгонка прекращается - скажем осмер уезжает в отпуск...

Тут главное - убедить родителей не трогать комп и проплатить inet in advance

liosha · 2009-08-03 11:39:33

ага, и вывести кнопку Reset на дверной звонок

Ivan Komarov · 2009-08-03 11:50:28

Сделал архив Питера на пробу, координаты ftp намылил liosh'е. Выкачал утром, ушло 40 мин, размер исходного OSM'а - 130Мб, архива-7.4. Если все нормально, сделаю автоматизацию 4-х обозначенных регионов.

liosha · 2009-08-03 11:55:55

Спасибо, всё видится и качается.
Но дома я буду и смогу проверить всё полностью не раньше, чем завтра вечером.

Eugene · 2009-08-03 12:06:43

Kotelnikov wrote:

coolkaas wrote:
Я бы мог тащить осмы, но я комп достаточно хаотично включаю, а тут регулярность нужна.
Леша, я могу руками выкладывать свой сортированный осм (границы скажешь) куда-нибудь на народ.ру к примеру - если хорошо порисовал, или заметил, что кто-то рисовал. (От меня получается пока процентов 90 города).
А если скажем дата моего файла не изменилась, то твой скрипт не качает его. Не знаю.. стоит ли игра свечек?
ps. А если я заболел или умер? и не смогу обновить. Нет. Это слишком ответственно!
Режим работы моего компьютера тоже очень непостоянный. Для регулярности нужен 24/7 отдельно стоящий компьютер, который будет на автомате все это дело лабать. У меня такого компьютера нет.

Я полностью согласен с тем, что это должен быть отдельный компьютер под эту задачу. Собственно, идея о том, как именно это сделать, у меня есть давно, но некому ее реализовать. Если желающие найдутся, то я предоставлю все необходимые ресурсы для этого.

Если вкратце, то нужно запускать это на Amazon EC2 - aws.amazon.com/ec2 . Это платформа для облачных вычислений, доступная 24*7*365. Ее основная идея как раз в доступности, независящей от сбоев конкретного сервера, и оплате только за используемые ресурсы. Соответственно, можно сделать так:
- раз в сутки скрипт качает суточную версию diff'а planet.osm и применяет ее к развернутой заранее полной копии БД проекта (которая в PostGIS'е)
- скрипт-вырезатель экспортирует по границам из этой базы необходимые куски - по куску на каждую область + на крупные города отдельно (список экспорта берется из внешнего файла) и складывает их на Amazon S3 (распределенное файловое хранилище)
- запускается конвертор osm2mp с необходимыми параметрами и результирующие файлы .mp складываются туда же
- запускаются другие конверторы - в Гармин, Русу, Навител и любые другие (желательно, запускающиеся из-под Линукса, хотя Виндоус при необходимости там тоже есть)
*- запускаются скрипты другой обработки данных (например, какой-то сортировки или экспорта статистики по каждому куску, а не только по стране в целом)
- после выполнения всех задач виртуальная машина(-ы) засыпает на сутки

При необходимости можно взять машину с оперативной памятью вплоть до 16Гб, что вряд ли возможно при использовании домашнего сервера

Как я уже написал, необходимые финансовые ресурсы я предоставлю, так как сам заинтересован в регулярной и автономной сборке карт. В случае чего (если по каким-то причинам я не смогу оплачивать работу сервера, труд не пропадет даром - можно будет взять уже готовые виртуальные машины и запустить их в другом аккаунте. От сообщества мне нужна помощь в их настройке - в первую очередь, помощь liosha и Zkir, а также всех, кто умеет работать с Linux-системами.

Ivan Komarov · 2009-08-03 12:17:05

Интересно. Поучаствовать интересно, а вот как организовать разработку распределенными усилиями? Начать, насколько мне представляется, нужно с Базы - от нее, работающей, сразу будет польза...
P.S. Вот шайтан, у меня там даже account есть. Когда, зачем?

Last edited by Ivan Komarov (2009-08-03 12:18:56)

Fortress · 2009-08-03 12:26:25

liosha wrote:

Fortress wrote:
Добавьте пожалуйста в скрипт экспорт landuse=meadow. Спасибо.
в какой гарминовский тип его переводить?

Если я правильно понимаю сначала его надо перевести в какой-то из стандартных типов "польского формата" (mp). Использовать надо стандартный тип (например для травы), чтоб поддерживалось во всех прогах (гармин, навител, русса и т.д.)

liosha · 2009-08-03 12:30:59

идея интересная... надо покопать про EC2, раньше с ним не сталкивался.

тут дело ещё в том, что сборка гарминовских карт у меня - она не совсем легальная
используется триальный cgpsmapper, со сбросом тестового периода и обходом nag-screen-а.
когда я сам по себе, с этим нет проблем, но на амазоне не уверен, что такое прокатит.

Announcement

#676 2009-08-02 19:49:17

Re: Конвертер OSM -> MP

#677 2009-08-02 19:55:23

Re: Конвертер OSM -> MP

#678 2009-08-02 20:17:00

Re: Конвертер OSM -> MP

#679 2009-08-02 20:29:15

Re: Конвертер OSM -> MP

#680 2009-08-02 22:56:55

Re: Конвертер OSM -> MP

#681 2009-08-03 05:00:03

Re: Конвертер OSM -> MP

#682 2009-08-03 05:59:10

Re: Конвертер OSM -> MP

#683 2009-08-03 06:03:44

Re: Конвертер OSM -> MP

#684 2009-08-03 06:21:08

Re: Конвертер OSM -> MP

#685 2009-08-03 06:30:35

Re: Конвертер OSM -> MP

#686 2009-08-03 06:55:49

Re: Конвертер OSM -> MP

#687 2009-08-03 07:58:22

Re: Конвертер OSM -> MP

#688 2009-08-03 08:02:45

Re: Конвертер OSM -> MP

#689 2009-08-03 08:19:20

Re: Конвертер OSM -> MP

#690 2009-08-03 08:28:15

Re: Конвертер OSM -> MP

#691 2009-08-03 08:35:57

Re: Конвертер OSM -> MP

#692 2009-08-03 09:37:37

Re: Конвертер OSM -> MP

#693 2009-08-03 11:37:20

Re: Конвертер OSM -> MP

#694 2009-08-03 11:39:33

Re: Конвертер OSM -> MP

#695 2009-08-03 11:50:28

Re: Конвертер OSM -> MP

#696 2009-08-03 11:55:55

Re: Конвертер OSM -> MP

#697 2009-08-03 12:06:43

Re: Конвертер OSM -> MP

#698 2009-08-03 12:17:05

Re: Конвертер OSM -> MP

#699 2009-08-03 12:26:25

Re: Конвертер OSM -> MP

#700 2009-08-03 12:30:59

Re: Конвертер OSM -> MP

Board footer