OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

freeExec · 2014-08-30 06:49:28

LLlypuk82 wrote:

Насчёт памяти

Открой OsmAndMapCreator.bat и поправь в нём ключ -Xmx на большее значение, 720Мб уже не хватает.

Cd_spb · 2014-08-30 14:17:56

По поводу BTSync - сегодняшняя версия из маркета работает нормально.

LLlypuk82 · 2014-08-30 16:04:20

freeExec, благодарю - подействовало. Изменил на 1024.
Однако это не снимает вопрос к разработчикам. Используется предоставляемый ими архив, где все настройки ими же и выставлены.
Ещё напрягает очень сильная нагрузка на винчестер в процессе конвертации. Съедаются буквально все ресурсы (при том, что идёт запись со скоростью около 1 мегабайта/с и чтение около 0,5 мегабайта/с), жёсткий диск «разрывается» от неумеренно (мне так кажется) частого к нему обращения. Невозможно, к примеру, параллельно воспроизвести обычное dvd-видео (битрейт=7677 kbps)
Понимаю - фрагментация и всё такое. Но ранее-то никаких проблем не наблюдалось.
Уточню: обрабатывается файлик карты размером 200 мегабайт.
Попутный вопрос: по какому принципу адреса домов ассоциируются с близлежащими точками place=suburb?

Last edited by LLlypuk82 (2014-08-30 16:07:49)

freeExec · 2014-08-30 16:33:29

Если я не ошибаюсь, временные данные во время конвертации он хранит в sqlite вот оно занимает диск. Я код не смотрел, но думаю если оперативки гигов 8, то можно настроить, чтобы база была вся в памяти.

coolkaas · 2014-08-30 18:47:56

LLlypuk82, все как бы юзают кновертер от АНТОНа, там уже настройки всяки-разны.
тебе, во-первых, надо отдать всю память джаве. вместо 720 нарисовать в строке запуска 8192, или сколько там. ЛИШНЕГО джава всё равно не возьмёт. у винды. смело вколачиваешь любое верхнее число и забываешь про него.
во-вторых, надо, да, перенести обработку скульной базы в озу. делается так: заруливаешь в файл batch.xml, он текстовый. находишь там (четвёртую от верха) строчку:
osmDbDialect="sqlite" mapDbDialect="sqlite"/>
меняешь на:
osmDbDialect="sqlite_in_memory" mapDbDialect="sqlite_in_memory"/>

Всё, пускаешь обработку. Пока есть озу, джава всё туда заберёт. И будет быстрее. Конечно, ЕСЛИ разобранная карта в озу не влезет, в какой-то момент начнётся свопление, но так, всё должно быть шустро.

У меня вот 4 гига, я максимум метров до 80 карты могу обрабатывать. Иначе прям часами может вертеть. Винт надрывать.

(совет: обновляя Конвертер, не забывай, что тюнингованные строчки можно затереть, выпрастывая новую версию из архива поверх)).

Last edited by coolkaas (2014-08-30 18:50:48)

LLlypuk82 · 2014-08-31 19:11:26

coolkaas, увеличить предел выше 1024M не удалось (стабильная ошибка при запуске «Could not create the Java Virtual Machine»)
batch.xml подправил, вроде стало меньше грызть винчестер. Но скорость конвертации, субъективно, не изменилась.
В системе 8 Гб оперативки.

Self-Perfection · 2014-08-31 19:18:17

Cd_spb wrote:

Self-Perfection wrote:
...
Такая же ситуация. Т.к. BTSync у меня стоял только ради синхронизации карт, я его просто снёс.
Вообще хочу сказать, что распространение свободных карт через проприетарный BTSync заставляет меня грустить. Почему бы не использовать свободную альтернативу Syncthing?
BTSync был предложен мной на замену Я.диску. И попросил SviMik внедрить эту тему на сервер. А было это в прошлом году. Есть шанс, что этим пользуюсь только я. :-)
Про Syncthing нужно почитать. Вы пользуетесь?
P.S. Только что попробовал запустить у себя на андроиде - после перезапуска упала. Плюс я не понял как сделать "односторонюю" синхронизацию, чтобы можно было сразу записывать в папку OsmAnd.

Я сам про него узнал несколько дней назад. Сейчас попробовал, и похоже действительно для этой задачи он не подходит, т.к. настройка синхронизации требует действий на обоих синхронизируемых устройствах. Про упрощение ситуации думают, но не факт, что что-нибудь получится.

SviMik wrote:

Вообще хочу сказать, что распространение свободных карт через проприетарный BTSync заставляет меня грустить.
Зачем грустить? HTTP и FTP вполне работают, пользуйтесь на здоровье BTSync был добавлен в последний момент, по просьбам трудящихся.

А как же rsync?

И как будто синхронизацию по HTTP или FTP можно настроить на андроидосмартфоне с помощью свободных утилит без привлечения сторонних устройств. Android вообще ужасная платформа, что бы то ни было автоматизировать нереально. Радоваться Tasker'у могут только те, кто не умеет пользоваться shell скриптами и не пробовал Nokia N900.

VlIvYur · 2014-08-31 19:28:36

Качайте wget'ом. Правда я это делаю ручками, а не автоматически. В принципе, конечно можно и по расписанию сделать.

freeExec · 2014-08-31 19:29:18

LLlypuk82 wrote:

увеличить предел выше 1024M не удалось (стабильная ошибка при запуске «Could not create the Java Virtual Machine»)

Может ява 32-битная?

SviMik · 2014-08-31 20:07:20

А как же rsync?

Пока не вижу применения. Да и не видел, чтобы что-то вообще распостранялось через rsync. Я его всегда считал утилитой для внутреннего использования, никак не в паблике. В этом плане, git или что-то подобное было бы уместнее.
А самое опенсорсное - это да, wget. Обычно файлы качают именно им, а при желании можно и обновлять с ключом -N (тогда он не будет перекачивать, если дата совпадает).

И как будто синхронизацию по HTTP или FTP можно настроить на андроидосмартфоне с помощью свободных утилит без привлечения сторонних устройств.

Скажите, а с какими протоколами можно настроить синхронизацию на андроидосмартфоне с помощью свободных утилит без привлечения сторонних устройств?

Android вообще ужасная платформа

Ну вот тут уже проблема не на моей стороне. Если хотите - протокол добавить могу, скажите только какой (при условии, что это не сломает текущие способы синхронизации, не будет слишком сложным в настройке, и им реально будут пользоваться).

Last edited by SviMik (2014-08-31 20:13:18)

coolkaas · 2014-08-31 22:21:34

LLlypuk82, джава стрёмная))
а хотя бы 4096 позволит? ну или 3000 вкрай..
ось-то 7/8х64?

LLlypuk82 · 2014-09-01 21:24:46

freeExec wrote:

Может ява 32-битная?

coolkaas wrote:

джава стрёмная))

Вот, а я узнаю об этом последним Поборол яву и пошло, всем спасибо!

Cd_spb · 2014-09-16 06:39:23

var-alex wrote:

RU-AMU/  
RU-CHU/ 
RU-SVE/ 
RU-YEV/   
Ну коли никто не хочет то забрал себе. Завтра с утра конвертация будет.

Пожалуйста, проверьте в ftp://osm@s2.svimik.com/maps.xls список регионов, которые Вы конвертируете.

var-alex · 2014-09-16 09:20:29

Cd_spb wrote:

Пожалуйста, проверьте в ftp://osm@s2.svimik.com/maps.xls список регионов, которые Вы конвертируете.

Проверил все по файлу, все что конвертирую все на меня написано.

Vitalts · 2014-09-16 09:53:38

проще по http: http://s2.svimik.com/osm/maplist.xml
Список не полон, как минимум, отсутствуют Болгария и Черногория (обе за мной, последняя что-то на августе заглохла, посмотрю пофиксил)

Last edited by Vitalts (2014-09-16 12:22:54)

SviMik · 2014-09-16 11:23:12

Список не полон, как минимум, отсутствуют Болгария и Черногория

У меня всё есть.

<map>
<code>BG</code>
<uid>412</uid>
<name>Bulgaria</name>
<name_ru>Болгария</name_ru>
<date>2014-09-16 04:57</date>
<version>4.09.16</version>
<url>http://s2.svimik.com/osm/BG/Bulgaria_europe.obf</url>
<size>88308682</size>
</map>

<map>
<code>ME</code>
<uid>806</uid>
<name>Montenegro</name>
<name_ru>Черногория</name_ru>
<date>2014-08-08 07:54</date>
<version>4.08.08</version>
<url>http://s2.svimik.com/osm/ME/Montenegro_europe.obf</url>
<size>9772287</size>
</map>

Vitalts · 2014-09-16 12:23:51

Фу ты, не на тот файл ссылку дал, рядом и похожие
http://s2.svimik.com/osm/maps.xls
Речь об Excel файле с ручным наполнением.
Кстати, появились и в екселе

Last edited by Vitalts (2014-09-16 12:24:53)

Cd_spb · 2014-09-16 12:29:40

Vitalts wrote:

Кстати, появились и в екселе

"Появилось"... Ага, само. :-)
Ручками добавлено и залито обратно. Потому и ссылка была на фтп.

edward17 · 2014-09-17 21:06:34

Из-за прекращения работы Я.блога ссылка "Описание. Участники. Конвертируемые регионы" в первом сообщении темы не работает. Почините, пожалуйста.

Cd_spb · 2014-09-18 03:21:25

edward17 wrote:

Из-за прекращения работы Я.блога ссылка "Описание. Участники. Конвертируемые регионы" в первом сообщении темы не работает. Почините, пожалуйста.

А я и не знал, что это была ссылка. :-)

Dinamik · 2014-09-20 10:23:34

1) С сегодняшнего дня карты перестали обновляться через OSMDownloader - с сервисом всё в порядке?

2) Не вполне корректно работает обработка area:highway: значения primary/secondary не обрабатываются, residential нормально отображаются, tertiary или не рисуются, или рисуются контурами.

SviMik · 2014-09-20 11:55:11

с сервисом всё в порядке?

Внезапно, нет. Сервер, отвечающий за карты, не отвечает. Попробую ребутнуть, как доберусь до панели хостера.

(upd) Сервер работает.

Last edited by SviMik (2014-09-20 15:25:34)

Nik64 · 2014-10-01 11:07:55

Второй день не может скинуться Краснодар:

C:\Navi\OsmAnd>tools\ncftpput.exe -f "cfg/ftp.cfg" -F /RU-KDA/ "temp/Russia_krasnodar_asia.obf"
temp\Russia_krasnodar_asia.obf:    ETA:   0:01  132.56/132.62 MB   92.79 kB/s  C
ould not read reply from control connection -- timed out.
temp\Russia_krasnodar_asia.obf:                        132.62 MB   84.92 kB/s
ncftpput temp/Russia_krasnodar_asia.obf: could not send file to remote host.

Все остальные карты скидываются.

Self-Perfection · 2014-10-04 21:22:48

Люди, скажите пожалуйста, где вы берёте исходник для конвертации карт Московской области?

Уже пару месяцев наблюдаю в OsmAnd на месте одной речки её в двух экземплярах: текущее её состояние и состояние несколькомесячной давности, до правок. Подробнее в гуглогруппах OsmAnd. Там мне мне никто не ответил, впрочем (ааа, доктор, меня все игнорируют!).

Контур реки задублирован как в официальных османдовских картах московской области, так и в ежедневно обновляемой московсокй области с http://osm.svimik.com/

Попробовал я разобраться. Судя по скриптам из этой ветки, конвертируете вы вырезки от gis-lab.info. Скачал я http://be.gis-lab.info/data/osm_dump/du … OS.osm.pbf вырезал соответствующую область и смотрю в Josm - вижу только один контур реки. Откуда призрак старых данных - загадка.

Так что повторяю вопрос: откуда берутся данные для конвертации карты Московской области?

SviMik · 2014-10-04 22:46:26

Данные берутся с http://be.gis-lab.info/data/osm_dump/dump/latest/

Может, в папке османда случайно оказалось две карты? Других объяснений у меня нет.

Announcement

#876 2014-08-30 06:49:28

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#877 2014-08-30 14:17:56

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#878 2014-08-30 16:04:20

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#879 2014-08-30 16:33:29

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#880 2014-08-30 18:47:56

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#881 2014-08-31 19:11:26

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#882 2014-08-31 19:18:17

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#883 2014-08-31 19:28:36

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#884 2014-08-31 19:29:18

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#885 2014-08-31 20:07:20

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#886 2014-08-31 22:21:34

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#887 2014-09-01 21:24:46

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#888 2014-09-16 06:39:23

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#889 2014-09-16 09:20:29

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#890 2014-09-16 09:53:38

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#891 2014-09-16 11:23:12

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#892 2014-09-16 12:23:51

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#893 2014-09-16 12:29:40

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#894 2014-09-17 21:06:34

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#895 2014-09-18 03:21:25

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#896 2014-09-20 10:23:34

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#897 2014-09-20 11:55:11

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#898 2014-10-01 11:07:55

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#899 2014-10-04 21:22:48

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#900 2014-10-04 22:46:26

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Board footer