OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

SviMik · 2013-12-01 18:07:36

Ну утилита опенсорсная, исходники тут: http://code.google.com/p/xdelta/source/checkout
Я так понимаю, код на Си.

Можно же выдрать ту часть, которая применяет патчи (по идее, она должна быть гораздо проще, чем создание), и собрать в андроид-программе как нативный код?

Или, я смотрю, там даже краткое описание структуры патчей дано...

(upd)
Обновление в скрипте создания карт - теперь перед перемещением карты, предыдущая переименовывается в .bak
Т.е. будет храниться также и предыдущая (вчерашняя) версия. Завтра проверим, как сработает.
Заодно узнаем, большие ли патчи выходят за день.

Last edited by SviMik (2013-12-01 18:29:37)

freeExec · 2013-12-01 18:32:09

Ну завтра попробую эту консольную тулзу под андройд собрать.

AHTOH · 2013-12-01 19:39:07

SviMik wrote:

fixed
Вопрос. Есть кто-нибудь, кто смог бы написать обновлялку карт, понимающую патчи (вместо полного перекачивания)? Тогда, требования к трафику упали бы на порядок, вплоть до того, что можно было и через 3G обновления получать.
Тогда, на своём сервере я мог бы и патчи генерировать.

А вот это я не понял.
Я понимаю что можно сделать как на гислабе получение данных для конвертирования, а вот то что .obf кусочками .... (он же бинарный)
OsmAnd вроде этого не умеет. Я сам 2-мя руками за!
Сами изменений то с "гулькин нос" ежедневные дифы по всей России 3-4 Мб всего http://be.gis-lab.info/data/osm_dump/diff/RU/

Вот то что FTP добавил эт круто. Отсюда вопрос: Какие регионы можно ожидать кроме тех что сейчас есть?

Last edited by AHTOH (2013-12-01 19:47:41)

SviMik · 2013-12-01 19:58:42

а вот то что .obf кусочками .... (он же бинарный)

Бинарные диффы тоже существуют. Как по-вашему программы патчат? Так же можно пропатчить любой бинарный файл.
Только, в случае андроида, понадобится писать свою утилиту для обновления карт.

Отсюда вопрос: Какие регионы можно ожидать кроме тех что сейчас есть?

Могу добавить любые. Но нужен какой-то список действительно востребованных регионов. Конвертировать всю Россию - это на полдня наверное

Если есть желающие присоединиться к конвертированию - могу дать доступ к фтп с правами записи.

freeExec · 2013-12-01 20:15:00

Ну есть же те кто через webdal заливают на яндекс, добавить туда ещё строчку для дублирования на фтп.

AHTOH · 2013-12-01 20:16:55

Желающие есть! http://osmandmap.ya.ru/replies.xml?item_no=18
Им без разницы куда выкладывать готовые файлы. Главное место дают!!!
А я уж скриптик то для них перепешу!

Главное что нет никакой привязки к Яндекс.Диску!
Сервак нагрузку на скачивание выдержит?

ЗЫ. Я почему предложил на Яндексе? Не от хорошей жизни. 1 место. 2. Не свалится от закачек.
Ну а синхру настроить можно и на FTP

Last edited by AHTOH (2013-12-01 20:21:21)

freeExec · 2013-12-01 20:47:21

С дифами наверное не взлетит, т.к. придётся их генерить от кучи версий до текущей, а текущая меняется слишком часто. Или нужно будет подымать сервис, который бы в рантайме генерил нужный диф и отдавал клиенту.

SviMik · 2013-12-01 20:53:32

Сервак нагрузку на скачивание выдержит?

Да.

Или нужно будет подымать сервис, который бы в рантайме генерил нужный диф и отдавал клиенту.

Хорошая идея. Впринципе, это не так и сложно. Надо только сделать хранилище так, чтобы старые версии не удалялись, а складировались.

AHTOH · 2013-12-01 20:59:56

Такс. Тогда давайте к вам перескочим с обновлениями
По крайней мере не нужны аккаунты яндекса.
Вы заведете одного (по желанию можно на каждого, для сбора статистики из логов FTP) пользователя FTP с правами на запись и раздадим его только участникам конвертирования.

Ну а я в свою очередь подготовлю скрипт для виндузятников. (наработки по FTP имеются. Я так свои карты на сайт автоматом выкладываю, то что в подписи у меня))

Last edited by AHTOH (2013-12-01 21:02:20)

freeExec · 2013-12-01 21:03:47

Можно дежрать только последние месяц или два. Если старше то пусть качает целиком. В общем-то сейчас даже 50М смешной трафик. Или держать файлы до тех пор пока последовательные дифы не превысят его полный объём.

SviMik · 2013-12-01 21:05:28

Отправил аккаунт на мыло.

(upd)
Обновил свой скрипт таким образом, что он обрабатывает карты паралельно, но не более чем $max_workers потоков одновременно.
Теперь можно конвертить действительно быстро и массово.

Также добавил поддержку UniRS, но после того, как 2 из 8 карт не сконвертились - выключил в настройках.
А которые сконвертились - османд выдал, что карта не поддерживается.

Last edited by SviMik (2013-12-01 21:19:34)

AHTOH · 2013-12-01 21:27:12

Странно что rendering_types.xml от UniRS не сработал.
Вринципе он просил брать его отсюда https://github.com/xmd5a2/UniRS/tree/ma … le_version

wget https://raw.github.com/xmd5a2/UniRS/master/stable_version/rendering_types.xml

А акк на какое мыло?

Last edited by AHTOH (2013-12-01 21:29:50)

SviMik · 2013-12-01 21:29:48

А акк на какое мыло?

Не знаю, воспользовался кнопочкой Отправить письмо на форуме, т.к. ЛС здесь нет

AHTOH · 2013-12-01 21:31:36

Получил. Спасибо. Сейчас попробую

udp:

Получилось.
Теперь возникает вопрос. Можно там организовать аналогичную структуру каталогов?
Это необходимо для организации синхронизации. Иначе придется все файлы качать в случае FolderSync
Саму структуру я беру на себя.

Last edited by AHTOH (2013-12-01 21:43:23)

AHTOH · 2013-12-01 22:06:38

Вобщем вот

FTP похоже не поддерживает докачку при обрыве. Но в целом все норм.
Нужны папки!

Last edited by AHTOH (2013-12-01 22:08:07)

xmd5a · 2013-12-01 22:08:04

OsmAndMapCreator от 1 декабря не работает с моим rendering_types.xml. Вот версия которая работает гарантированно https://dl.dropboxusercontent.com/u/462 … .10.13.zip
Может имеет смысл не гнаться за новейшей версией конвертера а зафиксировать проверенную? Лично мне карты без полной поддержки моего стиля не нужны.

SviMik · 2013-12-01 22:09:23

extract.bbbike.org как раз зафиксировал. В итоге, когда османд обновился, а они свой конвертер не обновили, их карты потом неделю к османду не подходили

Но сейчас да, переключился на эту ссылку, попробуем...

Last edited by SviMik (2013-12-01 22:12:44)

AHTOH · 2013-12-01 22:09:46

Я на второй день обновления конвертера отключил

AHTOH · 2013-12-01 22:15:42

SviMik есть добро на создание структуры папок?
Я ради эксперимента загружу 2 гига (существующие карты)?

SviMik · 2013-12-01 22:18:52

Да, создавай.
А мои пока в корне побудут.

Рекомендую следить за правами загруженных файлов - Russia_tatarstan_asia.obf сейчас доступен для записи обоим аккаунтам.

Last edited by SviMik (2013-12-01 22:24:13)

AHTOH · 2013-12-01 22:40:53

Как это? Один аккаунт нужен только на чтение. Никакой записи!

UPD

Все нормально. Проверил

Last edited by AHTOH (2013-12-01 22:45:43)

SviMik · 2013-12-01 22:58:20

Объясняю:

К сожалению, в линуксе нет возможности запрещать что-то на уровне аккаунтов. Сами файлы должны иметь соответствующие аттрибуты.

AHTOH · 2013-12-01 23:44:51

Не... Все правильно! Иначе файлы нельзя будет переписать под нужным акк.
Вре работает. Я проверил.Аккаунт osm не может ничего сделать кроме как прочитать.
Это настройки FTP они есть в любой ОС.

Cd_spb · 2013-12-02 06:06:38

AHTOH, SviMik
Вариант синхронизации через BitTorrent Sync не рассматривается?

SviMik · 2013-12-02 07:54:21

Проверил диффы, результаты:
исходный файл - размер диффа - область (размеры в МБ)

142 - 44 - Belarus_europe
85 - 24 - Estonia_europe
74 - 20 - Latvia_europe
80 - 22 - Lithuania_europe
54 - 13 - Russia_moscow_asia
128 - 38 - Russia_moskovskaya-oblast_asia
35 - 6 - Russia_sankt-peterburg_asia
271 - 83 - Ukraine_europe

Announcement

#226 2013-12-01 18:07:36

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#227 2013-12-01 18:32:09

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#228 2013-12-01 19:39:07

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#229 2013-12-01 19:58:42

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#230 2013-12-01 20:15:00

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#231 2013-12-01 20:16:55

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#232 2013-12-01 20:47:21

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#233 2013-12-01 20:53:32

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#234 2013-12-01 20:59:56

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#235 2013-12-01 21:03:47

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#236 2013-12-01 21:05:28

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#237 2013-12-01 21:27:12

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#238 2013-12-01 21:29:48

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#239 2013-12-01 21:31:36

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#240 2013-12-01 22:06:38

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#241 2013-12-01 22:08:04

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#242 2013-12-01 22:09:23

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#243 2013-12-01 22:09:46

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#244 2013-12-01 22:15:42

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#245 2013-12-01 22:18:52

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#246 2013-12-01 22:40:53

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#247 2013-12-01 22:58:20

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#248 2013-12-01 23:44:51

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#249 2013-12-02 06:06:38

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#250 2013-12-02 07:54:21

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Board footer