OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2013-11-08 18:04:52

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Предлагается решение по ежедневному конвертированию и автоматическому обновлению карт для навигационной программы OsmAnd.
Описание. Участники. Конвертируемые регионы

В связи отказа от яндекс диска (проблемный он оказался) Переезжаем на  http://osm.svimik.com/
Сервис переведен на FTP, btSync, HTTP. Спасибо SviMik
Для получения по FTP FolderSync настраивается на адрес s2.svimik.com Логин: osm Пароль: osm  (Или для адресной строки ftp://osm:osm@s2.svimik.com/ )
Для синхронизации с помощью  BitTorrent Sync ключи брать тут http://s2.svimik.com/osm/btsync.txt
Скачать Вручную или wget можно с сайта http://osm.svimik.com/ или отсюда http://s2.svimik.com/osm/

Синхронизация с помощью  OSMDownloader там вообще все просто (ниже можно даже не читать smile )

Описание как настроить FolderSync очень похожее. Поэтому переделывать пока не буду.

BitTorrent Sync на гугл плее

Что необходимо для пользователя для автоматического обновления:
1. Завести аккаунт на Яндексе (существующий не рекомендую использовать. Т.к. синхронизируемая папка займет ваше пространство диска)
2. Сделать запрос на подключения сервиса по адресу osmandmap@ya.ru с зарегистрированного аккаунта на Яндексе. (Это место в этом проекте которое не автоматизировано. Приглашения обрабатываются в ручную)
3. Проверьте почту в своем новом ящике.  Вам придет приглашение на подключение к папке osmandmap согласитесь с ним.
4. Вам необходимо установить на ваш смартфон где стоит OsmAnd программу FolderSync
5. Её необходимо настроить под синхронизацию. Lite версия позволяет иметь 1 аккаунт синхронизации но этого достаточно. Программа умеет очень много поэтому не стоит останавливаться на 1 аккаунте. Все вопросы по ней лучше задавать тут.
Сама настройка довольно простая Т.к. FolderSync понимает Яндекс.Диск.
Далее вам необходимо создать задание и выбрать папку с нужной картой на подключённом диске и указать папку OsmAnd на коммуникаторе. Режим нужен "На локальную папку"
46f249332651t.jpg92ce689fdef6t.jpg
Устанавливаете время синхронизации и все. рекомендованное время синхронизации 9:00 по МСК 1 раз в сутки (не имеет смысла другое)
Пользуйтесь на здоровье....
Файлы которые содержатся на Яндекс.Диске (ознакомитесь для понимания структуры)
Чтобы увеличить количество обновляемых регионов нужна ваша помощь.


Чтобы все все это работало необходимо:

Скрипт для участников http://s2.svimik.com/osm/script/script.zip
Работает на Винеде и на Линухе . Проверялось Win7 и OpenSUSE
Нужно только логины и пароли от SviMik

Альтернативный скрипт от Vitalts, с поддержкой командной строки.


1. Нужны добровольцы (чем больше чем лучше) которые будут конвертировать определенные регионы. (нужен онлайн компьютер, который бы работал с 8:15 до 8:30 минимум)
2. Нужны администраторы (3-4 чел.) которым будет роздан доступ к аккаунту osmandmap@ya.ru т.к. необходимо ручное подключение пользователей к системе. (я один могу не успеть, быть занятым, заболеть, бухать, да и просто забить болт smile )

И так:
Для первого пункта
Для конвертирования карт вам предлагается скачать почти полностью настроенный скрипт из папки script (в архиве есть уже все необходимые улиты кроме Java разумеется)
Все пути батника относительны поэтому его можно запускать из любого места. Однако требуются небольшие настройки. К примеру ввести логин и пароль от яндекс диска.
В батнике практически каждое действие прокомментированы на русском. Так что должно быть все понятно. В любом случае внимательно изучите его.
Там для примера настроен регион Ингушетия из за своего маленького размера.
Нужно понимать что вам откроют полный доступ к папке  osmandmap и соответственно ответственно к этому отнестись. Т.к. вы можете удалить все данные. Для обычных пользователей права раздаются только на чтение.
Выберете регион который еще не конвертируется никем и настройте скрипт и запускайте его из планировщика задач.
Список уже регионов кем либо конвертируемых регионов планирую размещать тут http://osmandmap.ya.ru/

Скрипт работает следящим образом:
При первом запуске скачивает конвертор (при последующих проверяет обновления) отсюда
Далее забирает с github-a rendering_types.xml из этой темы UniRS - стиль отображения карт для OsmAnd (спасибо xmd5a )
Скачивает настроенный регион(ы) отсюда (там же можно посмотреть время когда формируются новые файлы) и запускает конвертирование.
Затем подключает яндекс диск и выгружает готовые файлы.

ЗЫ Шапка темы будет редактироваться.

Я пока на себя взял Татарстан. Но надеюсь что присоединятся к проекту.
Побочные эффекты:
1. Дико извиняюсь перед разработчиками, но ограничение в бесплатной версии при таком обновлении не имеют смысла.
2. С яндекса скачивается быстрее и почму то при моем тарифе в 2 Мбит/сек скорость в 10 раз больше. Похоже у провайдера договор с ними. Да и некоторые мобильные провайдеры не считают трафик с ЯДа. Так что в настройках синхронизации можно выбрать мобильную сеть. Но ВНИМАНИЕ!!! возможно у вас нет такого тарифа!

ЗЫЫ В общем не пинайте сильно, а помогите советом и делом!

Last edited by AHTOH (2014-04-25 16:34:49)

Offline

#2 2013-11-08 18:20:13

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

А нельзя просто файл выкладывать, обязательно нужны левые яндекс.диски и ручное добавление пользователей?

На рамблере, если что, место есть. Там же можно конвертировать из дампов, правда смотря чем и как это делается.

Last edited by AMDmi3 (2013-11-08 18:21:29)

Offline

#3 2013-11-08 18:22:30

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

А как же обновления по расписанию тогда?
Или рамблер даёт прямые ссылки на скачивание?
Нужен WebDav или FTP
Если так то я 2 руками ЗА.  Чтобы уйти от ручного гемора.

Last edited by AHTOH (2013-11-08 18:28:49)

Offline

#4 2013-11-08 18:53:19

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH wrote:

А как же обновления по расписанию тогда?

А что с ним?

AHTOH wrote:

Или рамблер даёт прямые ссылки на скачивание?

А бываю непрямые? Вот, например: http://garmin.osm.rambler.ru/

AHTOH wrote:

Нужен WebDav или FTP
Если так то я 2 руками ЗА.  Чтобы уйти от ручного гемора.

Для заливки есть SSH. Либо вы конвертите у себя и заливаете по SSH, либо всё конвертится само на сервере. Зависит от того чем и как это конвертится.

Offline

#5 2013-11-08 19:02:11

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Не совсем понятно как настроить FolderSync на SSH для синхронизации файлов с устройством.
И кстати как получить доступ и место на рамбре?
Я бы покопал.

Offline

#6 2013-11-08 19:10:26

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Что за folder sync? По HTTP скачать нельзя?

Offline

#7 2013-11-08 19:17:41

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,235

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Для андроида есть такая прога - OSM Downloader. Поддерживает несколько источников карт для разных программ.
Можно им качать безо всяких синхров...

Last edited by KonTur (2013-11-08 19:18:05)

Offline

#8 2013-11-08 19:22:53

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Дело не в скачивании а в автоматической синхронизации на андроид устройстве.
Я поизучаю ещё но вроде FolderSync не умеет по HTTP. Хотя в списке куча протоколов.
А возможно и умеет. Только как место на рамблере получить?

OSM Downloader.нужно просить автора о добавлении OsmAnd + нужен источник откуда скачивать.

Last edited by AHTOH (2013-11-08 19:27:17)

Offline

#9 2013-11-08 19:35:31

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH wrote:

Только как место на рамблере получить?

Место на рамблере можно получить попросив меня, но сначала рассказав в подробностях обо всей кухне. Ну и хотелось бы сначала быть уверенным что это кому-то нужно.

Offline

#10 2013-11-08 19:43:10

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Вся кухня описана в скрипте (ссылка в шапке) Там батник под Винду с улитами и сам конвертор.
А вот на счёт нужно? Сомому хотелось бы узнать, нужны ли народу ежедневные обновления?
Впринципе в теме про османд многие высказывались за это.
Так что если народ наберется то буду просить вас и автора OSM Downloader. Чтобы все красиво было.
Это веть я собрал так сказать из подручного бесплатного материала.

Offline

#11 2013-11-08 20:12:19

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Идея неплохая, но я так понимаю задумывалось изначально для того чтобы были карты для UniRS. Но дело в том что я постепенно делаю pull requsts в основную ветку османда и со временем большинство этих тегов, что я добавил в UniRS, перекочуют в карты osmand'а. Как и сам стиль. Надеюсь на это.
Впрочем это не отменяет полезности свежих карт.
Погодите, он ведь сразу весь каталог забирает с расшаренного яндекс.диска? Это всё убивает.

Offline

#12 2013-11-08 20:17:51

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Как это весь каталог? У меня настроены конкретные файлы.
Поэтому они для удобства по паркам разложаны.
Да и вообще там куча фильтров на любой каприз есть.

Кстати к вам как раз первая просьба. Вы все равно карты ковертите. Так конвертите их с помощью этого скрипта и появятся новые области для обновлений.
Там только нужно создать соответствующие папки и чуть чуть поднастроить скрипт.
И ваш xml подтянится автоматом.

Last edited by AHTOH (2013-11-08 20:27:52)

Offline

#13 2013-11-08 20:30:32

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Тогда я мог бы пару-тройку областей обрабатывать, но дело в том что у меня есть возможность включать комп только с 19.40 по Москве в будни. Полчаса допустим будет скачивание и конвертация, потом заливка на яндекс-диск со скоростью 1мбит/сек. Это еще до получаса-часа. Устроит? Не вижу проблемы в том что карты будут с разницей в +-1 день.

Offline

#14 2013-11-08 20:35:17

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Для начала нормально. Я с понедельника ещё и серваки на работе привлеку.
Сразу не получилось. Вроде такое простое решение, а отняло кучу времени для первоначальной настройки.

Offline

#15 2013-11-08 20:39:29

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

У вас там куча орфографических ошибок в скрипте. Исправить бы. И что такое ''domean"? domain?

Offline

#16 2013-11-08 20:42:41

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Мдя... есть такое дело smile
Исправлю. Зато афтарство однозначно определяется.

Offline

#17 2013-11-08 20:57:06

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Куда надо нажать чтобы сделать вот это? Объясните для незнакомых с интерфейсом яндекса.
2. Сделать запрос на подключения сервиса по адресу osmandmap@ya.ru с зарегистрированного аккаунта на Яндексе. (Это место в этом проекте которое не автоматизировано. Приглашения обрабатываются в ручную)

Offline

#18 2013-11-08 21:02:28

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Зайти в новую почту и просто написать письмо с этого аккаунта. А я рашарю папку.
Там же в почте появится вкладка Диск.

Last edited by AHTOH (2013-11-08 21:05:08)

Offline

#19 2013-11-08 21:07:51

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

А не отвалится ли сетевой диск после перезагрузки? Вроде надо еще /persistent:yes в net use прописать
upd. понял, он временно подключается

Last edited by xmd5a (2013-11-08 21:08:35)

Offline

#20 2013-11-08 21:10:40

SviMik
Member
From: Tallinn, Estonia
Registered: 2013-01-01
Posts: 1,367

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Задумка хорошая, но использовать яндекс диск это как-то... неправильно. Если проблема только с отсутствием серверов для хранения данных - могу поделиться.
Также хотелось бы видеть не только батник под винду, но и скрипт для линукса. И, естественно, системные требования в студию, особенно по оперативке. Тогда могу подумать, можно ли под это приспособить имеющиеся серваки.

Беспокоит только обновлялка. Как она работает?
1. Будет ли она качать всё это по 3G (недайбог такой объём), или будет сидеть и ждать, пока я включу wifi?
2. Может ли она качать в обстановке с постоянными разрывами? Т.е. докачивать, когда инет появляется.
3. Можно ли ей запланировать автоматическое включение wifi, скачивание, и выключение обратно?
4. Качает ли она каждый раз файл целиком, или может обновлять по принципу патчей\диффов? Качать весь файл каждый день по-новой не выглядит разумным.

Last edited by SviMik (2013-11-08 21:12:15)

Offline

#21 2013-11-08 21:11:00

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Да все верно. Он отключается после загрузки.

Offline

#22 2013-11-08 21:19:47

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Есть еще одна вещь: если к примеру Riga.osm.pbf сконвертировать, переименовать и скормить османду, то в поиске адресном он будет отображать первоначальное имя, а не текущее. Я поэтому переделал скрипт чтобы он заранее переименовывал.

Last edited by xmd5a (2013-11-08 21:20:43)

Offline

#23 2013-11-08 21:20:10

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

SviMik wrote:

Также хотелось бы видеть не только батник под винду, но и скрипт для линукса
Беспокоит только обновлялка. Как она работает?
1. Будет ли она качать всё это по 3G (недайбог такой объём), или будет сидеть и ждать, пока я включу wifi?
2. Может ли она качать в обстановке с постоянными разрывами?
3. Можно ли ей запланировать автоматическое включение wifi, скачивание, и выключение обратно?
4. Качает ли она каждый раз файл целиком, или может обновлять по принципу патчей\диффов? Качать весь файл каждый день по-новой не выглядит разумным.

Для линя он должен выглядить гораздо проще. Всякие wget внем уже есть.
1. Там разные варианты настроек. Может ждать только WiFi причём даже только определённый SSID
2. Проверял. Может.
3. Включение в настройках есть, но отключения не вижу. Надо проверять.
4. Обновленный файл качается целиком. Он бинарный. Проверяется его дата создания и размер. Если изменились тогда качает. Видел что ещё можно подсунуть MD5 но это надо тоже проверять

Offline

#24 2013-11-08 21:22:32

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,019
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

xmd5a wrote:

Есть еще одна вещь: если к примеру Riga.osm.pbf сконвертировать, переименовать и скормить османду, то в поиске адресном он будет отображать первоначальное имя, а не текущее. Я поэтому переделал скрипт чтобы он заранее переименовывал.

Я тоже переименовывают как принято в Османде. Это я сразу понял. Иначе будут наложения. Ну а в критической ситуации можно его просто обновить из Османда и загрузить родной файл.

Offline

#25 2013-11-08 21:26:24

xmd5a
Member
Registered: 2013-01-02
Posts: 871
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH wrote:
xmd5a wrote:

Есть еще одна вещь: если к примеру Riga.osm.pbf сконвертировать, переименовать и скормить османду, то в поиске адресном он будет отображать первоначальное имя, а не текущее. Я поэтому переделал скрипт чтобы он заранее переименовывал.

Я тоже переименовывают как принято в Османде. Это я сразу понял. Иначе будут наложения. Ну а в критической ситуации можно его просто обновить из Османда и загрузить родной файл.

Я не про это. Вот что в адресном поиске https://dl.dropboxusercontent.com/u/462 … -24-39.png . А файл называется Riga1.obf в папке османда. Соответственно для России это будут малопонятные для многих имена Ru_vla, Ru_mow, Ru_mos и т.п.
Это с 1.6 версии так пошло.

Last edited by xmd5a (2013-11-08 21:33:38)

Offline

Board footer

Powered by FluxBB