Конвертер OSM -> MP

astroiLL · 2009-08-03 13:44:48

А в Навител я конверчу GPSMapEditor-ом, хоть и лицензионным, но под виндой и итерактивно.

liosha wrote:

команда для скачивания:
osmget.pl <minlon,minlat,maxlon,maxlat> > file-draft.osm
osmsort.pl file-draft.osm > file.osm
сами скрипты есть в svn-е: http://code.google.com/p/osm2mp/source/ … nk/osm2mp/

Ну это, то я знаю, я хотел узнать координаты блоков для загрузки Краснодара и Ростова.
И если есть параметры.
Или это лучше приватом?

Last edited by astroiLL (2009-08-03 13:50:02)

liosha · 2009-08-03 15:30:05

Никаких особых параметров, только границы квадрата.
Конкретных значений под рукой у меня нет, но они в общем-то и не важны, любые подойдут

Ivan Komarov · 2009-08-03 18:27:58

Ivan Komarov wrote:

Если все нормально, сделаю автоматизацию 4-х обозначенных регионов.

Заперлил, тестовые области отработали Запускаю на пробу полные регионы.

Zkir · 2009-08-03 23:16:01

Как я уже написал, необходимые финансовые ресурсы я предоставлю, так как сам заинтересован в регулярной и автономной сборке карт. В случае чего (если по каким-то причинам я не смогу оплачивать работу сервера, труд не пропадет даром - можно будет взять уже готовые виртуальные машины и запустить их в другом аккаунте. От сообщества мне нужна помощь в их настройке - в первую очередь, помощь liosha и Zkir, а также всех, кто умеет работать с Linux-системами.

Ура, Евгений снова с нами
Под конвертацию в Гис Руссу мне нужен сервер с виндой и доступом по ремоут десктопу. Процесс к сожалению не является полностью автоматическим и требует вмешательсвта оператора в случае неудачи скрипта. С Линуксом я не знаком и не собираюсь

В общий Mp я не верю, потому что под разные проги нужны свои типы, и даже разные наборы объектов (во всяком случае под Гис Руссу есть свои конфиги Osm2mp). Пытаться преконвертить уже в mp, может оказаться сложнее.

Но если мне сделают суточные (или даже недельные) дампы регионов России (osm-файлы субъектов федерации) или федеральных округов, разрезанные по границам, это будет мегакруто, я смогу сделать полную Россию, о чем меня уже не однократно просили.

liosha · 2009-08-04 04:28:43

да, в первую очередь хотелось бы иметь гарантированные дампы.

Eugene · 2009-08-04 06:42:22

Zkir wrote:

Ура, Евгений снова с нами

Да я и не уходил никуда Не писал, правда, но зато читаю все, что происходит на форуме.

Zkir wrote:

Под конвертацию в Гис Руссу мне нужен сервер с виндой и доступом по ремоут десктопу. Процесс к сожалению не является полностью автоматическим и требует вмешательсвта оператора в случае неудачи скрипта. С Линуксом я не знаком и не собираюсь
В общий Mp я не верю, потому что под разные проги нужны свои типы, и даже разные наборы объектов (во всяком случае под Гис Руссу есть свои конфиги Osm2mp). Пытаться преконвертить уже в mp, может оказаться сложнее.

Ну, раз Windows - значит Windows. Значит, будет как минимум 2 виртуальных машины. С ремоут десктопом дело может оказаться сложнее, поскольку я собирался делать это все ночью (когда в 00:00 выкладывают суточное обновление planet.osm), но тогда просто это будет 2 разделенных по времени процесса - вырезание дампов и собственно сборка карт. Ничего страшного, просто народ с утра новые еще не получит

Zkir wrote:

Но если мне сделают суточные (или даже недельные) дампы регионов России (osm-файлы субъектов федерации) или федеральных округов, разрезанные по границам, это будет мегакруто, я смогу сделать полную Россию, о чем меня уже не однократно просили.

Думю, все-таки надо делать суточные, раз уж делать. Вот вопрос в том, КТО этим займется? Я бы сам с радостью, но я не умею liosha?

liosha · 2009-08-04 06:50:05

Я тоже пока не пробовал

Сейчас дамп России делает KekcuHa (http://osm.tesoro-shop.ru/ в самом низу).
Но у него там иногда возникают ошибки

Zkir · 2009-08-04 09:54:25

liosha, а в чем там проблема, вроде запускай osmget.pl/osmsort.pl и всё?

Last edited by Zkir (2009-08-04 14:52:33)

liosha · 2009-08-04 09:59:18

osmget.pl/osmget.pl - это очень нехороший способ, который сильно и впустую напрягает API.
Меня даже банили пару раз
Для больших объёмов однозначно нужна копия базы и диффы

Ivan Komarov · 2009-08-04 20:32:53

Вопрос к общественности: имеет смысл пробовать загрузить хостера, обслуживающего сайт, скачиванием "своих" областей (для liosh'и), или это неправильная идея? То, что на обработку OSM-MP его поставить не дадут - понятно, но чисто под скачивание? Скрипты на перле, из вычислений - только упаковка в bz2. И вопрос с регулярностью отпадает.

coolkaas · 2009-08-04 20:59:00

Имеет.

Zkir · 2009-08-04 22:15:38

Как раз скачивание Osm и упаковка в bz2 имеет. А что понимается под "своими областями"?

Aleksandr Dezhin · 2009-08-05 00:45:32

liosha wrote:

Меня даже банили пару раз

Так сейчас вообще DDoS организуем

Ivan Komarov · 2009-08-05 13:10:23

Zkir wrote:

А что понимается под "своими областями"?

Ivan Komarov wrote:

Готов заняться северо-западом - Питер+Карелия+Псков. Ну, Новгород можно добавить. Могу также попробовать резать границами областей. Думаю, что смогу обеспечить приемлемую регулярность.

Пока сделал пару тестовых запусков с домашнего компа, вроде работает. liosh'а, отзовись! Как, кстати, наладить уведомление о завершении формирования дампа? Высылать mail по завершению? Заодно будет понятно, если я не сумею обеспечить дамп.
На 4 области уходит около 2 часов. Во сколько правильнее будет стартовать выкачивание, около часа ночи?

Last edited by Ivan Komarov (2009-08-05 16:04:34)

liosha · 2009-08-05 13:25:43

В час ночи нормально, хотя можно и в 12. Уведомлять необязательно, я просто заберу их часа в 3.
Настроить смогу, только когда доберусь нормально до компа, но по идее проблем быть не должно.

Только bbox-ы скажи, если менять будешь.

Ivan Komarov · 2009-08-05 13:38:17

liosha wrote:

В час ночи нормально, хотя можно и в 12. Уведомлять необязательно, я просто заберу их часа в 3.
Только bbox-ы скажи, если менять будешь.

ОК. Вообще хотел расширить, обеспечив полное покрытие+контакт по границе. Чуть позже, пусть эта схема устаканится. Пока настрою домашнюю машинку лопатить скрипт по расписанию и попинаю хостера -для меня это в новинку.

Last edited by Ivan Komarov (2009-08-05 13:43:56)

coolkaas · 2009-08-05 15:22:48

семафорить лучше файлами-флагами -- начал обработку, создаёшь файл с текстом (ну тип там.. "core dumping" ), закончил -- в этом же, к примеру, файле слово "core dumped". Так и сам всегда можешь зайти с веба (да, а файлик что бы снаружи видно было), глянуть -- что там? чем девайс занимается, не повиснул ли Ну или процент сделанного прописывать раз в 10 минут, типа мини-лог.
А Лёшин скрипт к примеру заглянет (раз в час скажем), дождётся слова completed в файле-семафоре, а за ним и время окончания работы написано -- так Лёша не полезет, если время старое (мож у тебя всё повисло, зачем ТО ЖЕ перекачивать?). Такие вот простые наколенные автоматизации в голову лезут. Дёшево и сердито.

Тока сговориться о словах-флагах. Если вообще вам это надо будет.
Но минимальный семафоринг-диагностика дело хорошее (чево там жестянка делает-творит), не всегда человек под рукой, что бы спросить.

Last edited by coolkaas (2009-08-05 15:23:28)

Ivan Komarov · 2009-08-05 15:57:40

Пожалуй, буду информационные сообщения-отметки-время в лог перенаправлять. С процентами сложнее - osmget их не дает (потому что и сам не знает, как я подозреваю )

liosha · 2009-08-05 19:10:57

Убрал из конвертера Math::Geometry::Planar, новая версия в svn-е.
Заодно обновил osmsort, чтобы общий bbox рассчитывался

zgremlin · 2009-08-06 05:46:01

coolkaas wrote:

семафорить лучше файлами-флагами -- начал обработку, создаёшь файл с текстом (ну тип там.. "core dumping" ), закончил -- в этом же, к примеру, файле слово "core dumped". Так и сам всегда можешь зайти с веба (да, а файлик что бы снаружи видно было), глянуть -- что там? чем девайс занимается, не повиснул ли Ну или процент сделанного прописывать раз в 10 минут, типа мини-лог.

Чего вы мудрите? Если вспоминаете фидошное детство - то там еще был доступ на запись для всех, и та программа, которой семафорили, стирала файл.
А тут проще смотреть на время модификации файла в http-шных заголовках, и как только оно изменилось с поcледнего запомненного, забирать файл...
А чтобы наполовину готовый файл не попал в обработку - создавать файлы с другим именем, да еще и в другой (невидимой из и-нет) директории, а после его готовности, стирать старый файл и переименовывать новый. Кстати хорошо бы так же поступать и с заливаемыми на хостинг файлами (если хостер предоставляет такую возможность - shell или ftp).

Тока сговориться о словах-флагах. Если вообще вам это надо будет.
Но минимальный семафоринг-диагностика дело хорошее (чево там жестянка делает-творит), не всегда человек под рукой, что бы спросить.

А для этого можно просто отдавать логи через http.

astroiLL · 2009-08-07 05:04:25

Запустил автоматический скрипт который загружает Кубань в формате osm и еженощно выкладывает по адресу:
http://astrokuban.info/pub/GPS/Maps/OSM … osm.osm.gz
или
ftp://astrokuban.info/pub/GPS/Maps/OSMl … osm.osm.gz
Появляется обновленный файл в районе 1:40-1:50
Область как с сайта Лёши.
В планах добавить Ростов-на-Дону и запустить автоматическую конвертацию этих областей в MP.
В Навителовский формат пока не смогу, т.к. там требуется запуск Виндовой программы.

Last edited by astroiLL (2009-08-07 05:06:10)

liosha · 2009-08-07 05:11:31

astroiLL,
спасибо, качается и конвертится нормально.
вечером попробую добавить в сборочный скрипт вместо краснодара

Ivan Komarov,
моё письмо дошло или в спам попало?

Last edited by liosha (2009-08-07 06:49:14)

Ivan Komarov · 2009-08-07 09:41:32

liosha wrote:

Ivan Komarov,
моё письмо дошло или в спам попало?

Дошло, разбираюсь...
Add: при скриптовой закачке что-то портится -добавляет мусор местами, копаю
Fixed: как же, как же... Бинарный режим не задал, дуралей
Перезаливаю

Last edited by Ivan Komarov (2009-08-07 10:04:10)

astroiLL · 2009-08-07 10:18:15

Добавил Ростов-НД
И теперь файлы будут в архиве bz2
Кубань:
http://astrokuban.info/pub/GPS/Maps/OSM … sm.osm.bz2
ftp://astrokuban.info/pub/GPS/Maps/OSM/ … sm.osm.bz2
и Ростов на Дону:
http://astrokuban.info/pub/GPS/Maps/OSM … sm.osm.bz2
ftp://astrokuban.info/pub/GPS/Maps/OSM/ … sm.osm.bz2

Время результата скорее всего будет тоже или даже раньше, т.к. я переключил закачку OSM на быстрый канал.
С конвертацией в MP пока разбираюсь.
Если кому надо, то могу другие области охватить. Только если очень надо. Просто-так все подряд грузить не буду.
Пишите.

Last edited by astroiLL (2009-08-07 10:21:26)

liosha · 2009-08-07 10:26:58

astroiLL, а нельзя ли убрать -osm из названий?

Announcement

#701 2009-08-03 13:44:48

Re: Конвертер OSM -> MP

#702 2009-08-03 15:30:05

Re: Конвертер OSM -> MP

#703 2009-08-03 18:27:58

Re: Конвертер OSM -> MP

#704 2009-08-03 23:16:01

Re: Конвертер OSM -> MP

#705 2009-08-04 04:28:43

Re: Конвертер OSM -> MP

#706 2009-08-04 06:42:22

Re: Конвертер OSM -> MP

#707 2009-08-04 06:50:05

Re: Конвертер OSM -> MP

#708 2009-08-04 09:54:25

Re: Конвертер OSM -> MP

#709 2009-08-04 09:59:18

Re: Конвертер OSM -> MP

#710 2009-08-04 20:32:53

Re: Конвертер OSM -> MP

#711 2009-08-04 20:59:00

Re: Конвертер OSM -> MP

#712 2009-08-04 22:15:38

Re: Конвертер OSM -> MP

#713 2009-08-05 00:45:32

Re: Конвертер OSM -> MP

#714 2009-08-05 13:10:23

Re: Конвертер OSM -> MP

#715 2009-08-05 13:25:43

Re: Конвертер OSM -> MP

#716 2009-08-05 13:38:17

Re: Конвертер OSM -> MP

#717 2009-08-05 15:22:48

Re: Конвертер OSM -> MP

#718 2009-08-05 15:57:40

Re: Конвертер OSM -> MP

#719 2009-08-05 19:10:57

Re: Конвертер OSM -> MP

#720 2009-08-06 05:46:01

Re: Конвертер OSM -> MP

#721 2009-08-07 05:04:25

Re: Конвертер OSM -> MP

#722 2009-08-07 05:11:31

Re: Конвертер OSM -> MP

#723 2009-08-07 09:41:32

Re: Конвертер OSM -> MP

#724 2009-08-07 10:18:15

Re: Конвертер OSM -> MP

#725 2009-08-07 10:26:58

Re: Конвертер OSM -> MP

Board footer