You are not logged in.

#76 2013-11-11 18:37:05

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Украина подтянулась. Интересно как будет работать с yandex.ua
Блин... За почтой пора не мне одному следить.

Offline

#77 2013-11-11 18:47:34

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,266

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

По btsync: если на "сервере" разложить по папкам, а на теле в режиме "чтения" - в одну, то должно заработать. Это всяко проще, чем заморачиваться с почтой. Особенно если речь не только о двух десятках людей пойдёт.

Кстати, у меня раздача идёт с рабочего ноута wink

Offline

#78 2013-11-11 18:51:03

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Выгрузку можно будет перенастроить.  Точнее запаралелить. Файлы то и на компе есть. Их можно и БТ отправить. У меня только серый IP Надеюсь его по uTP найдут.
А пока нужны ещё админы для аккаунта osmandmap@ya.ru
Кто готов вписаться?
Нужно рассылать конвертерам полный даступ, а пользователям - Только чтение.

Last edited by AHTOH (2013-11-11 18:54:23)

Offline

#79 2013-11-11 18:59:17

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,950

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Вы бы на первой страницы выкладывали ХЕШи для раздач под bittsync на каждый регион. Тут даже общий сервер не нужен.

Offline

#80 2013-11-11 19:00:32

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,266

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH wrote:

Выгрузку можно будет перенастроить.  Точнее запаралелить. Файлы то и на компе есть. Их можно и БТ отправить. У меня только серый IP Надеюсь его по uTP найдут.
.

А на сервере какая операционка? Btsync под всякие разные линуха есть, только под MIPS, тот который на роутерах, нету - но обещали.

Offline

#81 2013-11-11 19:02:59

xmd5a
Member
Registered: 2013-01-02
Posts: 879
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

По btsync: если на "сервере" разложить по папкам, а на теле в режиме "чтения" - в одну, то должно заработать. Это всяко проще, чем заморачиваться с почтой. Особенно если речь не только о двух десятках людей пойдёт.

Кстати, у меня раздача идёт с рабочего ноута wink

Попробуйте сами так сделать, я может что не понимаю.
Еще мне не нравится что нельзя задать время синхронизации. Только "Авто". Идёшь так по городу со включенным wifi и османдом, он сам подключится к какой-нибудь открытой сетке и качнёт половину файла, побив его. Интересно, это предусмотрели?

Last edited by xmd5a (2013-11-11 19:07:27)

Offline

#82 2013-11-11 19:05:48

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

freeExec wrote:

Вы бы на первой страницы выкладывали ХЕШи для раздач под bittsync на каждый регион. Тут даже общий сервер не нужен.

Сделаем. Только для начала саму конвертации надо отладить.
А от общей папки не стоит отказывается хотябы тем кто конвертирует. Там синхро удобное. Закинул файл в папку и он автоматом раскинулся по всем.
Ну а дальше раздавай хоть как и хоть род какой ОС.
У меня на серваке 2008R2  стоит.

Offline

#83 2013-11-11 19:15:46

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,344

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.
можно автоматизировать это дело Tasker'ом. ))

2. на время скачивания в папке образуется временный файл с «продолжением» в конце имени. по факту завершения приема переименовывается.

3. если будут больмень жесткие пути, на таскере могу сваять готовый апк, делающий нужные копирования/мувы.

Last edited by coolkaas (2013-11-11 19:17:35)

Offline

#84 2013-11-11 19:18:23

xmd5a
Member
Registered: 2013-01-02
Posts: 879
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

coolkaas wrote:

1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.

Вот я эту мысль и пытаюсь донести

Offline

#85 2013-11-11 20:01:18

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,266

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

xmd5a wrote:
coolkaas wrote:

1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.

Вот я эту мысль и пытаюсь донести

Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.

Offline

#86 2013-11-11 20:04:06

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,950

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

coolkaas wrote:

хеши в шапке, каждый набирает себе нужные.

Где, все папки перебрал ни одного не нашёл sad

Offline

#87 2013-11-11 20:13:53

xmd5a
Member
Registered: 2013-01-02
Posts: 879
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.

Нельзя.. Пишет "Выбранная папка уже добавлена".

Offline

#88 2013-11-11 20:30:31

xmd5a
Member
Registered: 2013-01-02
Posts: 879
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Может отказаться от BTSync и оставить FolderSync? Там ведь можно из множества типов источников синхронизировать. В начале темы предлагали хостинг. Может как-то по FTP или WebDAV?

Offline

#89 2013-11-11 20:44:55

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,950

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Да, btsync как-то крив в этом случае. Остаётся только написать свою тулзу, благо существует API.

Offline

#90 2013-11-11 21:15:24

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,649

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Larry0ua wrote:

Не, система не даст jvm больше, чем есть свободной RAM, причем без фрагментации страниц.

Вы откуда это взяли? У меня совсем другой опыт.

Offline

#91 2013-11-11 21:39:37

Sanjak
Member
From: Волинський край
Registered: 2010-04-12
Posts: 219

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Я так понимаю Украина не поделена по областям? Файл в 161мб я на своей тачке со свободным 1гб оперативы и Pentium DC5300 буду "целый день" конвертировать?

Last edited by Sanjak (2013-11-11 22:07:18)

Offline

#92 2013-11-12 01:28:41

xscvxc
Member
Registered: 2012-08-02
Posts: 68

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH wrote:

А вы решили на себя всю Сибирь и ДВ взять?

Только Сибирский федеральный округ, но пока конвертор вылетает без сообщения об ошибке.

Offline

#93 2013-11-12 02:50:24

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Уберите в скрипте обновления самого конвертера. Последний релиз не работает!!! Я уже столкнулся с этим. Оставте тот чем вы конвертировали Новосиб!

Offline

#94 2013-11-12 04:50:00

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,266

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

xmd5a wrote:
Cd_spb wrote:

Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.

Нельзя.. Пишет "Выбранная папка уже добавлена".

Мда, очень жаль.
С другой стороны, кому на теле нужно каждый день, в автоматическом обновлении, несколько областей?

Offline

#95 2013-11-12 06:40:34

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Добавил в список обрабатываемые области:

RU-BA\Russia_bashkiria_asia.obf
RU-CU\Russia_chuvashia_asia.obf
RU-IN\Russia_ingushetia_asia.obf
RU-KIR\Russia_kirov_asia.obf
RU-LEN\Russia_leningradskaya_asia.obf
RU-ME\Russia_mariyel_asia.obf
RU-MOS\Russia_mokovskaya-oblast_asia.obf
RU-MOW\Russia_moscow_asia.obf
RU-NIZ\Russia_nizhegorod_asia.obf
RU-ORE\Russia_orenburg_asia.obf
RU-SAM\Russia_samara_asia.obf
RU-SPE\Russia_sankt-peterburg_asia.obf
RU-TA\Russia_tatarstan_asia.obf

Время работы скрипта составила 51 минуту со всеми загрузками и выгрузками (канал хороший)
Объем загруженных данных составил 374 Мб (исходные файлы)
Объем обработанных данных составил 573 Мб (то что выгрузилось на диск)
Загрузки сервера практически нет.
Вот скриншот на полпути работы скрипта:
91ebf628a797.jpg
мне кажется имеет смысл не увеличение оперативы для скрипта, а распараллеливание процессов. Т.е. запускать несколько скриптов одновременно настроенных на разные входные файлы.

Offline

#96 2013-11-12 07:54:02

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,344

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH,
да, надо 12 карт запускать параллельно))
вопрос, как просядет дисковый ввод-вывод. Да всё равно, Антон, это БЫСТРО. Если добавить еще столько же, ну, будет 2 часа. это всё равно недолго.
мап-мейкер битый, ага. юзаем старый. чё-т напрограммировали..))

Sanjak,
на гиге озу 160 метров карты вообще не обоаботается.

freeExec,
«хеши в шапке», я имел ввиду в теории.

пока бтсинк не подходит под наши нужды. апи как раз и нет пока.

Cd_spb,
не знаю, кому нужна каждый день новая карта)) Антон загорелся, мы подыграли. я руками раз в неделю конверчу, хватает.
считай, мы просто помогли отработать технологии. а кому это надо, скажет спасибо.

upd, при наличии рута можно каждый файл хранить в своей папке, а в османд выставить симлинк на файл. впрочем, карта обычно фат32, но залинковаться при желании всё равно можно. но это изврат и мега-костылинг..

Last edited by coolkaas (2013-11-12 07:58:57)

Offline

#97 2013-11-12 08:13:32

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,950

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

coolkaas wrote:

пока бтсинк не подходит под наши нужды. апи как раз и нет пока.

http://blog.bittorrent.com/2013/11/05/b … evelopers/

Offline

#98 2013-11-12 08:34:48

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,266

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

coolkaas wrote:

Cd_spb,не знаю, кому нужна каждый день новая карта)) Антон загорелся, мы подыграли. я руками раз в неделю конверчу, хватает.считай, мы просто помогли отработать технологии. а кому это надо, скажет спасибо.

Ну не знаю...
Я когда езжу в неотрисованные места, хочу на следующий день иметь обновлённую карту. И показывать местным - "вот вчера не было, а сегодня есть!".


_______________
Есть проблемы которые не позволяют использовать BitTorrent Sync для наших задач:
1. Если на Андроиде для синхронизации использован "секрет только для чтения", то не проходит обновления файлов, только создание новых.
2. Нельзя  задать две целевые папки для синхронизации, даже в режиме "только для чтения". Как вариант - позволить "задачам" давать свои имена, по умолчанию равные имени папки.


Кто-нибудь может перевести и заслать эти хотелки на форум http://forum.bittorrent.com/forum/107-bittorrent-sync/ или почту syncapp#bittorrent#com ?

Offline

#99 2013-11-12 15:43:37

xscvxc
Member
Registered: 2012-08-02
Posts: 68

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

AHTOH wrote:

Уберите в скрипте обновления самого конвертера. Последний релиз не работает!!! Я уже столкнулся с этим. Оставте тот чем вы конвертировали Новосиб!

Конвертировал Сибирский ФО, пришлось изменить ссылку с ночной сборки на релиз( http://download.osmand.net/releases/Osm … -1.1.3.zip )

Offline

#100 2013-11-12 16:22:52

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Видел добавление файлов. Если стоит приложение Яндекс.Диск то всплывают сообщения об этом.

Offline

Board footer

Powered by FluxBB