OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

xmd5a · 2013-11-11 08:08:15

Если через bittorrent sync делать то придётся еще карты перемещать в папку османда, т.к. задать эту папку в качестве синхронизируемой не получится. Это значит еще одну программу надо ставить, что сильно усложняет процесс.

Cd_spb · 2013-11-11 08:13:25

xmd5a wrote:

Если через bittorrent sync делать то придётся еще карты перемещать в папку османда, т.к. задать эту папку в качестве синхронизируемой не получится. Это значит еще одну программу надо ставить, что сильно усложняет процесс.

ИМХО. Если на Андроиде делать синхронизацию через ключ "только для чтения", то должно быть нормально.

AHTOH · 2013-11-11 09:21:20

Столкнулся с такой штукой которую в принципе ожидал. В скрипте есть проверка обновления и загрузка новой версии конвертера. ( http://download.osmand.net/latest-night … r-main.zip )
Так вот последняя на сегодня просто не работает.
Придется убрать проверку и автообновление...

xmd5a · 2013-11-11 09:26:09

Я взял на себя Ru-vla,Ru-iva,Ru-rya. Поставил в автозагрузку.

AHTOH · 2013-11-11 09:38:47

Я видел. Сейчас подключу сервак на обработку МСК+Область, СПб+Область.

xmd5a · 2013-11-11 10:01:10

Там кстати на http://be.gis-lab.info/ карта ru-mos по-моему включает в себя и область и саму Москву, в то время как в картах osmand'а они отдельно. Получается ru-mow лишняя. Но это надо перепроверить.

Cd_spb · 2013-11-11 10:06:29

Cd_spb wrote:

xmd5a wrote:
Если через bittorrent sync делать то придётся еще карты перемещать в папку османда, т.к. задать эту папку в качестве синхронизируемой не получится. Это значит еще одну программу надо ставить, что сильно усложняет процесс.
ИМХО. Если на Андроиде делать синхронизацию через ключ "только для чтения", то должно быть нормально.

Проверил - такой вариант работает.
На компе с Виндой в отдельную папку положил карту, взял от папки ключ только на чтение ( BFD72WYDSMWHAZCWDJRW4U46QCP65MEOE ). На Андроиде синхронизировал с папкой OsmAnd`а - всё получилось и заработало. + на мелком файле проверил через инет, полёт нормальный. Кто хочет может попробовать Лен.Область - BFD72WYDSMWHAZCWDJRW4U46QCP65MEOE

xmd5a · 2013-11-11 10:12:35

Я вот не могу держать комп включённым всегда. Всё равно нужен сервер.

AHTOH · 2013-11-11 10:17:18

xmd5a wrote:

Там кстати на http://be.gis-lab.info/ карта ru-mos по-моему включает в себя и область и саму Москву, в то время как в картах osmand'а они отдельно. Получается ru-mow лишняя. Но это надо перепроверить.

Это точно? Я только что сконвертировал и выложил.

xmd5a · 2013-11-11 10:33:49

Карта показывается, адресный поиск работает. Выходит что да.

AHTOH · 2013-11-11 11:03:18

Значит будем исключать из обработки а в папке надо будет просто указать что качать.

Такс. Теперь мои тесты с серваком.
Исходные данные:

http://be.gis-lab.info/data/osm_dump/du … IN.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … TA.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … OS.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … OW.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … PE.osm.pbf
http://be.gis-lab.info/data/osm_dump/du … EN.osm.pbf

закачались за 1 минуту
Обработка заняла 31 минуту (что в принципе приемлемо для такого объема
может повлиять значения -Xms256M -Xmx1100M на скорость? У меня на серваке 12 гигов оперативы...

xmd5a · 2013-11-11 11:14:41

Я так понимаю что если ява 64-х битная то можно попробовать поставить более 1гб и потестировать. Но не факт что osmand mapcreator заработает под 64-битной. Эта строка была взята из коммента Виктора на одном из форумов.

Last edited by xmd5a (2013-11-11 11:15:47)

xscvxc · 2013-11-11 12:49:43

Сконвертировал Russia_novosibirsk_asia, как выложить на ваш яндекс-диск? (письмо на osmandmap@ya.ru с адреса osmand-nvs@yandex.ru писал, без ответа)

AHTOH · 2013-11-11 12:51:45

ща проверим ящики...

udp
Хм... пропустил письмо как то. Прошу прощения. Приглашение отправлено!

Last edited by AHTOH (2013-11-11 12:53:51)

xscvxc · 2013-11-11 13:37:45

Спасибо.

AHTOH · 2013-11-11 16:48:59

xscvxc wrote:

Спасибо.

А вы решили на себя всю Сибирь и ДВ взять?

Я сегодня к вечеру Нижний прикрутил. На завтра в планах Самара, Башкирия, Марийцы и Чуваши.
Буду обрабатывать ночью. Поэтому часов 12 загрузки сервера могу позволить. Он все равно своими 24 ядрами воздух молотит ночью.
Так что буду постепенно добавлять области на ежедневную обработку.

coolkaas · 2013-11-11 16:52:34

Cd_spb, у меняж не сервер) хорошо, что ты выложил.
я поудалял бтсинк на компе и на теле. заново поставил.
1. сначала на комп. всё посинкалось.
2. поставил на тел, инет по вафле, посинкалось! ощущение, что как и положено в п2п, всё обновляется «торрентно», то есть, мобильным клиентом тянулось и с твоего компа, и с моего)) моб.клиент написал: вижу двоих. причём, «с меня» он тянул по локалке, «спрямив» маршрут, а не через инет.

папка только у тебя ридонли — я в неё свою область положил, а она лежит плашмя и никуда не шлётся))

но всё работает!

3. потом я на пробу грохнул в теле txt-файл, и зашёл с моб.инета, он увидел правда одного пира, видимо тебя. и с него восстановил тхт-файл. потыкал дефендер винды.. правила там вроде есть про бтсинк.. не знаю, почему меня не видит через инет. айпишник белый.. хз.

такие дела.

(эк, тут целую страницу уже обсудили, а я только пишу, не прочитав, стыды))

[интересно, ГДЕ женятся эти хеши папок? на сервере битторента где-то? это секурно? в смысле, как устройства друг друга находят через инет?]

AHTOH wrote:

-Xms256M -Xmx1100M на скорость?

отож! у меня 4 гб, я пишу макс. тоже 4096 (лишнего система не даст, по идее) — дак при обработке озу кушается БОЛЬШЕ, чем при дефолтных настройках. Отсюда вывод: больше памяти — лучше. Джава её _юзает_. Гиг 5-7-10 дай, хуже не будет.
Правда, там не всё многопроцессорно обрабатывается, как я смотрел по загрузке. Но есть и параллельные места. В процессе конвертации.

Last edited by coolkaas (2013-11-11 17:02:10)

Sergey Astakhov · 2013-11-11 17:35:50

coolkaas wrote:

лишнего система не даст, по идее

Тут главное не переборщить - а то выделится память из свопа и будет всё ползти с черепашьей скоростью.

xmd5a · 2013-11-11 17:44:24

BitTorrent sync на андроиде не даёт указать одну и ту же папку для нескольких раздач. Как быть? Нужно чтобы был выбор что качать.

freeExec · 2013-11-11 17:48:04

А зачем две раздачи одной папки ?

AHTOH · 2013-11-11 17:49:05

Я тоже заметил что при конвертации задействован только один поток.
Вот думаю запускать несколько скриптов паралельно с одним конфигурационных файлом. И память распределить между ними.

Larry0ua · 2013-11-11 17:53:58

Sergey Astakhov wrote:

coolkaas wrote:
лишнего система не даст, по идее
Тут главное не переборщить - а то выделится память из свопа и будет всё ползти с черепашьей скоростью.

Не, система не даст jvm больше, чем есть свободной RAM, причем без фрагментации страниц. Максимум что может свопаться - процессы, запущенные вместе с этой java после нее.

xmd5a · 2013-11-11 17:54:21

freeExec wrote:

А зачем две раздачи одной папки ?

Потому что карты хранятся в одной папке - в папке османда. Если в эту папку запихнуть все карты то они все и скачаются. Это, понятное дело, не всех устроит. Значит надо разделять по папкам, как сейчас в аккаунте на яндекс.диске. А если много папок, которые все должны сваливаться в телефоне в одну кучу, то по идее её и надо указать. Но не получается.

coolkaas · 2013-11-11 17:55:11

xmd видимо имел ввиду, что вот бтсинк, вот папка. в ней НАВАЛ файлов, штук двадцать. (конвертировщики стараются)). А конкретному челу нужно 2-3 файла. А клиент умеет только синкать ВСЮ папку, всю эту толпу.

Я пробовал удалять файлы локально. (при условии, что папка ридонли с серверной стороны, конечно). файлы заново не прилетают, удалённые. Там есть вкладочка «Все файлы», когда в папку зайдёшь, в моб.клиенте. Там можно заново выбрать недостающие файлы, и клиент их заново скачает. А без этого НЕ качает. Но это всё равно, не дело.

В общем, бтсинк.. эм.. работает, скажем так. Как технология. И жрёт не много вроде на дифах. НО до конкретных задач, в конкретной реализации пока — «не алё».
На 4пда валялся еще до-официальный клиент, пока бт не разродились на родной, его пойду гляну. (upd: облом, это были сырцы для maemo)).

Протокол-то закрытый, пока..

UPD: чел тут умный мысль сказал: http://4pda.ru/forum/index.php?showtopi … p=24129288

xmd5a wrote:

надо разделять по папкам

сфигабы? вообще у каждого свой личный набор файлов, получается.. (или я что не понял).

AHTOH wrote:

при конвертации задействован только один поток

не всегда. какая-то часть идёт у меня на 4х процах в параллель нормально.

Last edited by coolkaas (2013-11-11 18:08:47)

xmd5a · 2013-11-11 18:10:27

coolkaas wrote:

xmd видимо имел ввиду, что вот бтсинк, вот папка. в ней НАВАЛ файлов, штук двадцать. (конвертировщики стараются)). А конкретному челу нужно 2-3 файла. А клиент умеет только синкать ВСЮ папку, всю эту толпу.
xmd5a wrote:
надо разделять по папкам
сфигабы? вообще у каждого свой личный набор файлов, получается.. (или я что не понял).

Я это и имел в виду. Карты или держать в отдельных папках (вне телефона), или все в кучу (как получится реализовать). В телефоне выбирать нужное.

#51 2013-11-11 08:08:15

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#52 2013-11-11 08:13:25

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#53 2013-11-11 09:21:20

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#54 2013-11-11 09:26:09

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#55 2013-11-11 09:38:47

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#56 2013-11-11 10:01:10

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#57 2013-11-11 10:06:29

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#58 2013-11-11 10:12:35

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#59 2013-11-11 10:17:18

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#60 2013-11-11 10:33:49

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#61 2013-11-11 11:03:18

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#62 2013-11-11 11:14:41

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#63 2013-11-11 12:49:43

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#64 2013-11-11 12:51:45

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#65 2013-11-11 13:37:45

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#66 2013-11-11 16:48:59

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#67 2013-11-11 16:52:34

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#68 2013-11-11 17:35:50

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#69 2013-11-11 17:44:24

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#70 2013-11-11 17:48:04

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#71 2013-11-11 17:49:05

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#72 2013-11-11 17:53:58

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#73 2013-11-11 17:54:21

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#74 2013-11-11 17:55:11

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#75 2013-11-11 18:10:27

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Board footer