You are not logged in.
- Topics: Active | Unanswered
Announcement
#51 2013-11-11 08:08:15
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Если через bittorrent sync делать то придётся еще карты перемещать в папку османда, т.к. задать эту папку в качестве синхронизируемой не получится. Это значит еще одну программу надо ставить, что сильно усложняет процесс.
Offline
#52 2013-11-11 08:13:25
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Если через bittorrent sync делать то придётся еще карты перемещать в папку османда, т.к. задать эту папку в качестве синхронизируемой не получится. Это значит еще одну программу надо ставить, что сильно усложняет процесс.
ИМХО. Если на Андроиде делать синхронизацию через ключ "только для чтения", то должно быть нормально.
Offline
#53 2013-11-11 09:21:20
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Столкнулся с такой штукой которую в принципе ожидал. В скрипте есть проверка обновления и загрузка новой версии конвертера. ( http://download.osmand.net/latest-night … r-main.zip )
Так вот последняя на сегодня просто не работает.
Придется убрать проверку и автообновление...
Offline
#54 2013-11-11 09:26:09
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Я взял на себя Ru-vla,Ru-iva,Ru-rya. Поставил в автозагрузку.
Offline
#55 2013-11-11 09:38:47
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Я видел. Сейчас подключу сервак на обработку МСК+Область, СПб+Область.
Offline
#56 2013-11-11 10:01:10
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Там кстати на http://be.gis-lab.info/ карта ru-mos по-моему включает в себя и область и саму Москву, в то время как в картах osmand'а они отдельно. Получается ru-mow лишняя. Но это надо перепроверить.
Offline
#57 2013-11-11 10:06:29
- Cd_spb
- Member
- From: Санкт-Петербург
- Registered: 2011-11-04
- Posts: 1,267
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
xmd5a wrote:Если через bittorrent sync делать то придётся еще карты перемещать в папку османда, т.к. задать эту папку в качестве синхронизируемой не получится. Это значит еще одну программу надо ставить, что сильно усложняет процесс.
ИМХО. Если на Андроиде делать синхронизацию через ключ "только для чтения", то должно быть нормально.
Проверил - такой вариант работает.
На компе с Виндой в отдельную папку положил карту, взял от папки ключ только на чтение ( BFD72WYDSMWHAZCWDJRW4U46QCP65MEOE ). На Андроиде синхронизировал с папкой OsmAnd`а - всё получилось и заработало. + на мелком файле проверил через инет, полёт нормальный. Кто хочет может попробовать Лен.Область - BFD72WYDSMWHAZCWDJRW4U46QCP65MEOE
Offline
#58 2013-11-11 10:12:35
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Я вот не могу держать комп включённым всегда. Всё равно нужен сервер.
Offline
#59 2013-11-11 10:17:18
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Там кстати на http://be.gis-lab.info/ карта ru-mos по-моему включает в себя и область и саму Москву, в то время как в картах osmand'а они отдельно. Получается ru-mow лишняя. Но это надо перепроверить.
Это точно? Я только что сконвертировал и выложил.
Offline
#60 2013-11-11 10:33:49
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Карта показывается, адресный поиск работает. Выходит что да.
Offline
#61 2013-11-11 11:03:18
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Значит будем исключать из обработки а в папке надо будет просто указать что качать.
Такс. Теперь мои тесты с серваком.
Исходные данные:
http://be.gis-lab.info/data/osm_dump/du … IN.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … TA.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … OS.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … OW.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … PE.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … EN.osm.pbf
закачались за 1 минуту
Обработка заняла 31 минуту (что в принципе приемлемо для такого объема
может повлиять значения -Xms256M -Xmx1100M на скорость? У меня на серваке 12 гигов оперативы...
Offline
#62 2013-11-11 11:14:41
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Я так понимаю что если ява 64-х битная то можно попробовать поставить более 1гб и потестировать. Но не факт что osmand mapcreator заработает под 64-битной. Эта строка была взята из коммента Виктора на одном из форумов.
Last edited by xmd5a (2013-11-11 11:15:47)
Offline
#63 2013-11-11 12:49:43
- xscvxc
- Member
- Registered: 2012-08-02
- Posts: 72
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Сконвертировал Russia_novosibirsk_asia, как выложить на ваш яндекс-диск? (письмо на osmandmap@ya.ru с адреса osmand-nvs@yandex.ru писал, без ответа)
Offline
#64 2013-11-11 12:51:45
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
ща проверим ящики...
udp
Хм... пропустил письмо как то. Прошу прощения. Приглашение отправлено!
Last edited by AHTOH (2013-11-11 12:53:51)
Offline
#65 2013-11-11 13:37:45
- xscvxc
- Member
- Registered: 2012-08-02
- Posts: 72
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Спасибо.
Offline
#66 2013-11-11 16:48:59
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Спасибо.
А вы решили на себя всю Сибирь и ДВ взять?
Я сегодня к вечеру Нижний прикрутил. На завтра в планах Самара, Башкирия, Марийцы и Чуваши.
Буду обрабатывать ночью. Поэтому часов 12 загрузки сервера могу позволить. Он все равно своими 24 ядрами воздух молотит ночью.
Так что буду постепенно добавлять области на ежедневную обработку.
Offline
#67 2013-11-11 16:52:34
- coolkaas
- Member
- From: RU, Penza
- Registered: 2009-05-28
- Posts: 2,391
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Cd_spb, у меняж не сервер) хорошо, что ты выложил.
я поудалял бтсинк на компе и на теле. заново поставил.
1. сначала на комп. всё посинкалось.
2. поставил на тел, инет по вафле, посинкалось! ощущение, что как и положено в п2п, всё обновляется «торрентно», то есть, мобильным клиентом тянулось и с твоего компа, и с моего)) моб.клиент написал: вижу двоих. причём, «с меня» он тянул по локалке, «спрямив» маршрут, а не через инет.
папка только у тебя ридонли — я в неё свою область положил, а она лежит плашмя и никуда не шлётся))
но всё работает!
3. потом я на пробу грохнул в теле txt-файл, и зашёл с моб.инета, он увидел правда одного пира, видимо тебя. и с него восстановил тхт-файл. потыкал дефендер винды.. правила там вроде есть про бтсинк.. не знаю, почему меня не видит через инет. айпишник белый.. хз.
такие дела.
(эк, тут целую страницу уже обсудили, а я только пишу, не прочитав, стыды))
[интересно, ГДЕ женятся эти хеши папок? на сервере битторента где-то? это секурно? в смысле, как устройства друг друга находят через инет?]
-Xms256M -Xmx1100M на скорость?
отож! у меня 4 гб, я пишу макс. тоже 4096 (лишнего система не даст, по идее) — дак при обработке озу кушается БОЛЬШЕ, чем при дефолтных настройках. Отсюда вывод: больше памяти — лучше. Джава её _юзает_. Гиг 5-7-10 дай, хуже не будет.
Правда, там не всё многопроцессорно обрабатывается, как я смотрел по загрузке. Но есть и параллельные места. В процессе конвертации.
Last edited by coolkaas (2013-11-11 17:02:10)
Offline
#68 2013-11-11 17:35:50
- Sergey Astakhov
- Member
- From: St.Petersburg, Russia
- Registered: 2009-11-13
- Posts: 5,787
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
лишнего система не даст, по идее
Тут главное не переборщить - а то выделится память из свопа и будет всё ползти с черепашьей скоростью.
Offline
#69 2013-11-11 17:44:24
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
BitTorrent sync на андроиде не даёт указать одну и ту же папку для нескольких раздач. Как быть? Нужно чтобы был выбор что качать.
Offline
#70 2013-11-11 17:48:04
- freeExec
- Moderator
- From: Ульяновск,Модератор всех слоёв
- Registered: 2012-07-31
- Posts: 8,484
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
А зачем две раздачи одной папки ?
Offline
#71 2013-11-11 17:49:05
- AHTOH
- Member
- From: Зеленодольск
- Registered: 2010-09-22
- Posts: 1,024
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
Я тоже заметил что при конвертации задействован только один поток.
Вот думаю запускать несколько скриптов паралельно с одним конфигурационных файлом. И память распределить между ними.
Offline
#72 2013-11-11 17:53:58
- Larry0ua
- Member
- Registered: 2010-09-19
- Posts: 1,061
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
coolkaas wrote:лишнего система не даст, по идее
Тут главное не переборщить - а то выделится память из свопа и будет всё ползти с черепашьей скоростью.
Не, система не даст jvm больше, чем есть свободной RAM, причем без фрагментации страниц. Максимум что может свопаться - процессы, запущенные вместе с этой java после нее.
Offline
#73 2013-11-11 17:54:21
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
А зачем две раздачи одной папки ?
Потому что карты хранятся в одной папке - в папке османда. Если в эту папку запихнуть все карты то они все и скачаются. Это, понятное дело, не всех устроит. Значит надо разделять по папкам, как сейчас в аккаунте на яндекс.диске. А если много папок, которые все должны сваливаться в телефоне в одну кучу, то по идее её и надо указать. Но не получается.
Offline
#74 2013-11-11 17:55:11
- coolkaas
- Member
- From: RU, Penza
- Registered: 2009-05-28
- Posts: 2,391
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
xmd видимо имел ввиду, что вот бтсинк, вот папка. в ней НАВАЛ файлов, штук двадцать. (конвертировщики стараются)). А конкретному челу нужно 2-3 файла. А клиент умеет только синкать ВСЮ папку, всю эту толпу.
Я пробовал удалять файлы локально. (при условии, что папка ридонли с серверной стороны, конечно). файлы заново не прилетают, удалённые. Там есть вкладочка «Все файлы», когда в папку зайдёшь, в моб.клиенте. Там можно заново выбрать недостающие файлы, и клиент их заново скачает. А без этого НЕ качает. Но это всё равно, не дело.
В общем, бтсинк.. эм.. работает, скажем так. Как технология. И жрёт не много вроде на дифах. НО до конкретных задач, в конкретной реализации пока — «не алё».
На 4пда валялся еще до-официальный клиент, пока бт не разродились на родной, его пойду гляну. (upd: облом, это были сырцы для maemo)).
Протокол-то закрытый, пока..
UPD: чел тут умный мысль сказал: http://4pda.ru/forum/index.php?showtopi … p=24129288
надо разделять по папкам
сфигабы? вообще у каждого свой личный набор файлов, получается.. (или я что не понял).
при конвертации задействован только один поток
не всегда. какая-то часть идёт у меня на 4х процах в параллель нормально.
Last edited by coolkaas (2013-11-11 18:08:47)
Offline
#75 2013-11-11 18:10:27
- xmd5a
- Member
- Registered: 2013-01-02
- Posts: 879
- Website
Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт
xmd видимо имел ввиду, что вот бтсинк, вот папка. в ней НАВАЛ файлов, штук двадцать. (конвертировщики стараются)). А конкретному челу нужно 2-3 файла. А клиент умеет только синкать ВСЮ папку, всю эту толпу.
xmd5a wrote:надо разделять по папкам
сфигабы? вообще у каждого свой личный набор файлов, получается.. (или я что не понял).
Я это и имел в виду. Карты или держать в отдельных папках (вне телефона), или все в кучу (как получится реализовать). В телефоне выбирать нужное.
Offline