OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH · 2013-11-11 18:37:05

Украина подтянулась. Интересно как будет работать с yandex.ua
Блин... За почтой пора не мне одному следить.

Cd_spb · 2013-11-11 18:47:34

По btsync: если на "сервере" разложить по папкам, а на теле в режиме "чтения" - в одну, то должно заработать. Это всяко проще, чем заморачиваться с почтой. Особенно если речь не только о двух десятках людей пойдёт.

Кстати, у меня раздача идёт с рабочего ноута

AHTOH · 2013-11-11 18:51:03

Выгрузку можно будет перенастроить. Точнее запаралелить. Файлы то и на компе есть. Их можно и БТ отправить. У меня только серый IP Надеюсь его по uTP найдут.
А пока нужны ещё админы для аккаунта osmandmap@ya.ru
Кто готов вписаться?
Нужно рассылать конвертерам полный даступ, а пользователям - Только чтение.

Last edited by AHTOH (2013-11-11 18:54:23)

freeExec · 2013-11-11 18:59:17

Вы бы на первой страницы выкладывали ХЕШи для раздач под bittsync на каждый регион. Тут даже общий сервер не нужен.

Cd_spb · 2013-11-11 19:00:32

AHTOH wrote:

Выгрузку можно будет перенастроить. Точнее запаралелить. Файлы то и на компе есть. Их можно и БТ отправить. У меня только серый IP Надеюсь его по uTP найдут.
.

А на сервере какая операционка? Btsync под всякие разные линуха есть, только под MIPS, тот который на роутерах, нету - но обещали.

xmd5a · 2013-11-11 19:02:59

Cd_spb wrote:

По btsync: если на "сервере" разложить по папкам, а на теле в режиме "чтения" - в одну, то должно заработать. Это всяко проще, чем заморачиваться с почтой. Особенно если речь не только о двух десятках людей пойдёт.
Кстати, у меня раздача идёт с рабочего ноута

Попробуйте сами так сделать, я может что не понимаю.
Еще мне не нравится что нельзя задать время синхронизации. Только "Авто". Идёшь так по городу со включенным wifi и османдом, он сам подключится к какой-нибудь открытой сетке и качнёт половину файла, побив его. Интересно, это предусмотрели?

Last edited by xmd5a (2013-11-11 19:07:27)

AHTOH · 2013-11-11 19:05:48

freeExec wrote:

Вы бы на первой страницы выкладывали ХЕШи для раздач под bittsync на каждый регион. Тут даже общий сервер не нужен.

Сделаем. Только для начала саму конвертации надо отладить.
А от общей папки не стоит отказывается хотябы тем кто конвертирует. Там синхро удобное. Закинул файл в папку и он автоматом раскинулся по всем.
Ну а дальше раздавай хоть как и хоть род какой ОС.
У меня на серваке 2008R2 стоит.

coolkaas · 2013-11-11 19:15:46

1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.
можно автоматизировать это дело Tasker'ом. ))

2. на время скачивания в папке образуется временный файл с «продолжением» в конце имени. по факту завершения приема переименовывается.

3. если будут больмень жесткие пути, на таскере могу сваять готовый апк, делающий нужные копирования/мувы.

Last edited by coolkaas (2013-11-11 19:17:35)

xmd5a · 2013-11-11 19:18:23

coolkaas wrote:

1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.

Вот я эту мысль и пытаюсь донести

Cd_spb · 2013-11-11 20:01:18

xmd5a wrote:

coolkaas wrote:
1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.
Вот я эту мысль и пытаюсь донести

Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.

freeExec · 2013-11-11 20:04:06

coolkaas wrote:

хеши в шапке, каждый набирает себе нужные.

Где, все папки перебрал ни одного не нашёл

xmd5a · 2013-11-11 20:13:53

Cd_spb wrote:

Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.

Нельзя.. Пишет "Выбранная папка уже добавлена".

xmd5a · 2013-11-11 20:30:31

Может отказаться от BTSync и оставить FolderSync? Там ведь можно из множества типов источников синхронизировать. В начале темы предлагали хостинг. Может как-то по FTP или WebDAV?

freeExec · 2013-11-11 20:44:55

Да, btsync как-то крив в этом случае. Остаётся только написать свою тулзу, благо существует API.

Sergey Astakhov · 2013-11-11 21:15:24

Larry0ua wrote:

Не, система не даст jvm больше, чем есть свободной RAM, причем без фрагментации страниц.

Вы откуда это взяли? У меня совсем другой опыт.

Sanjak · 2013-11-11 21:39:37

Я так понимаю Украина не поделена по областям? Файл в 161мб я на своей тачке со свободным 1гб оперативы и Pentium DC5300 буду "целый день" конвертировать?

Last edited by Sanjak (2013-11-11 22:07:18)

xscvxc · 2013-11-12 01:28:41

AHTOH wrote:

А вы решили на себя всю Сибирь и ДВ взять?

Только Сибирский федеральный округ, но пока конвертор вылетает без сообщения об ошибке.

AHTOH · 2013-11-12 02:50:24

Уберите в скрипте обновления самого конвертера. Последний релиз не работает!!! Я уже столкнулся с этим. Оставте тот чем вы конвертировали Новосиб!

Cd_spb · 2013-11-12 04:50:00

xmd5a wrote:

Cd_spb wrote:
Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.
Нельзя.. Пишет "Выбранная папка уже добавлена".

Мда, очень жаль.
С другой стороны, кому на теле нужно каждый день, в автоматическом обновлении, несколько областей?

AHTOH · 2013-11-12 06:40:34

Добавил в список обрабатываемые области:

RU-BA\Russia_bashkiria_asia.obf
RU-CU\Russia_chuvashia_asia.obf
RU-IN\Russia_ingushetia_asia.obf
RU-KIR\Russia_kirov_asia.obf
RU-LEN\Russia_leningradskaya_asia.obf
RU-ME\Russia_mariyel_asia.obf
RU-MOS\Russia_mokovskaya-oblast_asia.obf
RU-MOW\Russia_moscow_asia.obf
RU-NIZ\Russia_nizhegorod_asia.obf
RU-ORE\Russia_orenburg_asia.obf
RU-SAM\Russia_samara_asia.obf
RU-SPE\Russia_sankt-peterburg_asia.obf
RU-TA\Russia_tatarstan_asia.obf

Время работы скрипта составила 51 минуту со всеми загрузками и выгрузками (канал хороший)
Объем загруженных данных составил 374 Мб (исходные файлы)
Объем обработанных данных составил 573 Мб (то что выгрузилось на диск)
Загрузки сервера практически нет.
Вот скриншот на полпути работы скрипта:

мне кажется имеет смысл не увеличение оперативы для скрипта, а распараллеливание процессов. Т.е. запускать несколько скриптов одновременно настроенных на разные входные файлы.

coolkaas · 2013-11-12 07:54:02

AHTOH,
да, надо 12 карт запускать параллельно))
вопрос, как просядет дисковый ввод-вывод. Да всё равно, Антон, это БЫСТРО. Если добавить еще столько же, ну, будет 2 часа. это всё равно недолго.
мап-мейкер битый, ага. юзаем старый. чё-т напрограммировали..))

Sanjak,
на гиге озу 160 метров карты вообще не обоаботается.

freeExec,
«хеши в шапке», я имел ввиду в теории.

пока бтсинк не подходит под наши нужды. апи как раз и нет пока.

Cd_spb,
не знаю, кому нужна каждый день новая карта)) Антон загорелся, мы подыграли. я руками раз в неделю конверчу, хватает.
считай, мы просто помогли отработать технологии. а кому это надо, скажет спасибо.

upd, при наличии рута можно каждый файл хранить в своей папке, а в османд выставить симлинк на файл. впрочем, карта обычно фат32, но залинковаться при желании всё равно можно. но это изврат и мега-костылинг..

Last edited by coolkaas (2013-11-12 07:58:57)

freeExec · 2013-11-12 08:13:32

coolkaas wrote:

пока бтсинк не подходит под наши нужды. апи как раз и нет пока.

http://blog.bittorrent.com/2013/11/05/b … evelopers/

Cd_spb · 2013-11-12 08:34:48

coolkaas wrote:

Cd_spb,не знаю, кому нужна каждый день новая карта)) Антон загорелся, мы подыграли. я руками раз в неделю конверчу, хватает.считай, мы просто помогли отработать технологии. а кому это надо, скажет спасибо.

Ну не знаю...
Я когда езжу в неотрисованные места, хочу на следующий день иметь обновлённую карту. И показывать местным - "вот вчера не было, а сегодня есть!".

_______________
Есть проблемы которые не позволяют использовать BitTorrent Sync для наших задач:
1. Если на Андроиде для синхронизации использован "секрет только для чтения", то не проходит обновления файлов, только создание новых.
2. Нельзя задать две целевые папки для синхронизации, даже в режиме "только для чтения". Как вариант - позволить "задачам" давать свои имена, по умолчанию равные имени папки.

Кто-нибудь может перевести и заслать эти хотелки на форум http://forum.bittorrent.com/forum/107-bittorrent-sync/ или почту syncapp#bittorrent#com ?

xscvxc · 2013-11-12 15:43:37

AHTOH wrote:

Уберите в скрипте обновления самого конвертера. Последний релиз не работает!!! Я уже столкнулся с этим. Оставте тот чем вы конвертировали Новосиб!

Конвертировал Сибирский ФО, пришлось изменить ссылку с ночной сборки на релиз( http://download.osmand.net/releases/Osm … -1.1.3.zip )

AHTOH · 2013-11-12 16:22:52

Видел добавление файлов. Если стоит приложение Яндекс.Диск то всплывают сообщения об этом.

#76 2013-11-11 18:37:05

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#77 2013-11-11 18:47:34

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#78 2013-11-11 18:51:03

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#79 2013-11-11 18:59:17

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#80 2013-11-11 19:00:32

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#81 2013-11-11 19:02:59

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#82 2013-11-11 19:05:48

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#83 2013-11-11 19:15:46

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#84 2013-11-11 19:18:23

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#85 2013-11-11 20:01:18

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#86 2013-11-11 20:04:06

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#87 2013-11-11 20:13:53

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#88 2013-11-11 20:30:31

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#89 2013-11-11 20:44:55

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#90 2013-11-11 21:15:24

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#91 2013-11-11 21:39:37

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#92 2013-11-12 01:28:41

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#93 2013-11-12 02:50:24

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#94 2013-11-12 04:50:00

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#95 2013-11-12 06:40:34

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#96 2013-11-12 07:54:02

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#97 2013-11-12 08:13:32

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#98 2013-11-12 08:34:48

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#99 2013-11-12 15:43:37

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#100 2013-11-12 16:22:52

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Board footer