You are not logged in.
- Topics: Active | Unanswered
#76 2013-11-11 18:37:05
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Украина подтянулась. Интересно как будет работать с yandex.ua
Блин... За почтой пора не мне одному следить.
Offline
#77 2013-11-11 18:47:34
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
По btsync: если на "сервере" разложить по папкам, а на теле в режиме "чтения" - в одну, то должно заработать. Это всяко проще, чем заморачиваться с почтой. Особенно если речь не только о двух десятках людей пойдёт.
Кстати, у меня раздача идёт с рабочего ноута
Offline
#78 2013-11-11 18:51:03
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Выгрузку можно будет перенастроить. Точнее запаралелить. Файлы то и на компе есть. Их можно и БТ отправить. У меня только серый IP Надеюсь его по uTP найдут.
А пока нужны ещё админы для аккаунта osmandmap@ya.ru
Кто готов вписаться?
Нужно рассылать конвертерам полный даступ, а пользователям - Только чтение.
Last edited by AHTOH (2013-11-11 18:54:23)
Offline
#79 2013-11-11 18:59:17
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,447
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Вы бы на первой страницы выкладывали ХЕШи для раздач под bittsync на каждый регион. Тут даже общий сервер не нужен.
Offline
#80 2013-11-11 19:00:32
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Выгрузку можно будет перенастроить. Точнее запаралелить. Файлы то и на компе есть. Их можно и БТ отправить. У меня только серый IP Надеюсь его по uTP найдут.
.
А на сервере какая операционка? Btsync под всякие разные линуха есть, только под MIPS, тот который на роутерах, нету - но обещали.
Offline
#81 2013-11-11 19:02:59
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
По btsync: если на "сервере" разложить по папкам, а на теле в режиме "чтения" - в одну, то должно заработать. Это всяко проще, чем заморачиваться с почтой. Особенно если речь не только о двух десятках людей пойдёт.
Кстати, у меня раздача идёт с рабочего ноута
Попробуйте сами так сделать, я может что не понимаю.
Еще мне не нравится что нельзя задать время синхронизации. Только "Авто". Идёшь так по городу со включенным wifi и османдом, он сам подключится к какой-нибудь открытой сетке и качнёт половину файла, побив его. Интересно, это предусмотрели?
Last edited by xmd5a (2013-11-11 19:07:27)
Offline
#82 2013-11-11 19:05:48
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Вы бы на первой страницы выкладывали ХЕШи для раздач под bittsync на каждый регион. Тут даже общий сервер не нужен.
Сделаем. Только для начала саму конвертации надо отладить.
А от общей папки не стоит отказывается хотябы тем кто конвертирует. Там синхро удобное. Закинул файл в папку и он автоматом раскинулся по всем.
Ну а дальше раздавай хоть как и хоть род какой ОС.
У меня на серваке 2008R2 стоит.
Offline
#83 2013-11-11 19:15:46
- coolkaas
- Member
- From: RU, Penza
- Registered: 2009-05-28
- Posts: 2,391
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.
можно автоматизировать это дело Tasker'ом. ))
2. на время скачивания в папке образуется временный файл с «продолжением» в конце имени. по факту завершения приема переименовывается.
3. если будут больмень жесткие пути, на таскере могу сваять готовый апк, делающий нужные копирования/мувы.
Last edited by coolkaas (2013-11-11 19:17:35)
Offline
#84 2013-11-11 19:18:23
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.
Вот я эту мысль и пытаюсь донести
Offline
#85 2013-11-11 20:01:18
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
coolkaas wrote:1. в общем, для бтсинка выходит: одна область — одна папка. так, что ли?
хеши в шапке, каждый набирает себе нужные. и устраивает всё это в подпапках некоей папке на карте памяти телефона.
после обновления руками копирует в османдовскую папку?
бред.Вот я эту мысль и пытаюсь донести
Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.
Offline
#86 2013-11-11 20:04:06
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,447
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
хеши в шапке, каждый набирает себе нужные.
Где, все папки перебрал ни одного не нашёл
Offline
#87 2013-11-11 20:13:53
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.
Нельзя.. Пишет "Выбранная папка уже добавлена".
Offline
#88 2013-11-11 20:30:31
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Может отказаться от BTSync и оставить FolderSync? Там ведь можно из множества типов источников синхронизировать. В начале темы предлагали хостинг. Может как-то по FTP или WebDAV?
Offline
#89 2013-11-11 20:44:55
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,447
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Да, btsync как-то крив в этом случае. Остаётся только написать свою тулзу, благо существует API.
Offline
#90 2013-11-11 21:15:24
- Sergey Astakhov
- Member
- From: St.Petersburg, Russia
- Registered: 2009-11-13
- Posts: 5,778
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Не, система не даст jvm больше, чем есть свободной RAM, причем без фрагментации страниц.
Вы откуда это взяли? У меня совсем другой опыт.
Offline
#91 2013-11-11 21:39:37
- Sanjak
- Member
- From: Волинський край
- Registered: 2010-04-12
- Posts: 219
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Я так понимаю Украина не поделена по областям? Файл в 161мб я на своей тачке со свободным 1гб оперативы и Pentium DC5300 буду "целый день" конвертировать?
Last edited by Sanjak (2013-11-11 22:07:18)
Offline
#92 2013-11-12 01:28:41
- xscvxc
- Member
- Registered: 2012-08-02
- Posts: 72
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
А вы решили на себя всю Сибирь и ДВ взять?
Только Сибирский федеральный округ, но пока конвертор вылетает без сообщения об ошибке.
Offline
#93 2013-11-12 02:50:24
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Уберите в скрипте обновления самого конвертера. Последний релиз не работает!!! Я уже столкнулся с этим. Оставте тот чем вы конвертировали Новосиб!
Offline
#94 2013-11-12 04:50:00
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Cd_spb wrote:Проще - на теле синхронизируем сразу в папку OsmAnd. Нужно только проверить, в режиме "только чтение". Нужно только проверить, что можно несколько задач синхронизировать в одну папку.
Нельзя.. Пишет "Выбранная папка уже добавлена".
Мда, очень жаль.
С другой стороны, кому на теле нужно каждый день, в автоматическом обновлении, несколько областей?
Offline
#95 2013-11-12 06:40:34
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Добавил в список обрабатываемые области:
RU-BA\Russia_bashkiria_asia.obf
RU-CU\Russia_chuvashia_asia.obf
RU-IN\Russia_ingushetia_asia.obf
RU-KIR\Russia_kirov_asia.obf
RU-LEN\Russia_leningradskaya_asia.obf
RU-ME\Russia_mariyel_asia.obf
RU-MOS\Russia_mokovskaya-oblast_asia.obf
RU-MOW\Russia_moscow_asia.obf
RU-NIZ\Russia_nizhegorod_asia.obf
RU-ORE\Russia_orenburg_asia.obf
RU-SAM\Russia_samara_asia.obf
RU-SPE\Russia_sankt-peterburg_asia.obf
RU-TA\Russia_tatarstan_asia.obf
Время работы скрипта составила 51 минуту со всеми загрузками и выгрузками (канал хороший)
Объем загруженных данных составил 374 Мб (исходные файлы)
Объем обработанных данных составил 573 Мб (то что выгрузилось на диск)
Загрузки сервера практически нет.
Вот скриншот на полпути работы скрипта:
мне кажется имеет смысл не увеличение оперативы для скрипта, а распараллеливание процессов. Т.е. запускать несколько скриптов одновременно настроенных на разные входные файлы.
Offline
#96 2013-11-12 07:54:02
- coolkaas
- Member
- From: RU, Penza
- Registered: 2009-05-28
- Posts: 2,391
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
AHTOH,
да, надо 12 карт запускать параллельно))
вопрос, как просядет дисковый ввод-вывод. Да всё равно, Антон, это БЫСТРО. Если добавить еще столько же, ну, будет 2 часа. это всё равно недолго.
мап-мейкер битый, ага. юзаем старый. чё-т напрограммировали..))
Sanjak,
на гиге озу 160 метров карты вообще не обоаботается.
freeExec,
«хеши в шапке», я имел ввиду в теории.
пока бтсинк не подходит под наши нужды. апи как раз и нет пока.
Cd_spb,
не знаю, кому нужна каждый день новая карта)) Антон загорелся, мы подыграли. я руками раз в неделю конверчу, хватает.
считай, мы просто помогли отработать технологии. а кому это надо, скажет спасибо.
upd, при наличии рута можно каждый файл хранить в своей папке, а в османд выставить симлинк на файл. впрочем, карта обычно фат32, но залинковаться при желании всё равно можно. но это изврат и мега-костылинг..
Last edited by coolkaas (2013-11-12 07:58:57)
Offline
#97 2013-11-12 08:13:32
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,447
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
пока бтсинк не подходит под наши нужды. апи как раз и нет пока.
Offline
#98 2013-11-12 08:34:48
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Cd_spb,не знаю, кому нужна каждый день новая карта)) Антон загорелся, мы подыграли. я руками раз в неделю конверчу, хватает.считай, мы просто помогли отработать технологии. а кому это надо, скажет спасибо.
Ну не знаю...
Я когда езжу в неотрисованные места, хочу на следующий день иметь обновлённую карту. И показывать местным - "вот вчера не было, а сегодня есть!".
_______________
Есть проблемы которые не позволяют использовать BitTorrent Sync для наших задач:
1. Если на Андроиде для синхронизации использован "секрет только для чтения", то не проходит обновления файлов, только создание новых.
2. Нельзя задать две целевые папки для синхронизации, даже в режиме "только для чтения". Как вариант - позволить "задачам" давать свои имена, по умолчанию равные имени папки.
Кто-нибудь может перевести и заслать эти хотелки на форум http://forum.bittorrent.com/forum/107-bittorrent-sync/ или почту syncapp#bittorrent#com ?
Offline
#99 2013-11-12 15:43:37
- xscvxc
- Member
- Registered: 2012-08-02
- Posts: 72
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Уберите в скрипте обновления самого конвертера. Последний релиз не работает!!! Я уже столкнулся с этим. Оставте тот чем вы конвертировали Новосиб!
Конвертировал Сибирский ФО, пришлось изменить ссылку с ночной сборки на релиз( http://download.osmand.net/releases/Osm … -1.1.3.zip )
Offline
#100 2013-11-12 16:22:52
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Видел добавление файлов. Если стоит приложение Яндекс.Диск то всплывают сообщения об этом.
Offline