OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

tefal · 2013-12-05 13:53:48

Cd_spb wrote:

"Готовые" это сконвертированные Вами карты? Какого региона?

Да, готовые. 6 регионов

nikanorov · 2013-12-05 17:27:26

А возможно сделать xml файл со списком вот такого формата: http://peirce.gis-lab.info/maplist.xml

Я бы тогда добавил в OSM Downloader под android: https://play.google.com/store/apps/deta … Downloader

В идеале ещё бы poly файлы для поиска.

SviMik · 2013-12-05 17:32:43

А возможно сделать xml файл со списком вот такого формата: http://peirce.gis-lab.info/maplist.xml

Возможно. Только, требуются пояснения, например:
1. На что влияет version? Может ли он быть статичным, или должен инкрементироваться после каждой конвертации?
2. Я правильно понимаю, что в code пишу EE, а url будет с файлом Estonia_europe.obf?
3. Дата в каком часовом поясе? UTC+0?
4. Где брать uid?

Last edited by SviMik (2013-12-05 18:29:07)

Cd_spb · 2013-12-05 17:36:25

nikanorov wrote:

А возможно сделать xml файл со списком вот такого формата: http://peirce.gis-lab.info/maplist.xml
Я бы тогда добавил в OSM Downloader под android: https://play.google.com/store/apps/deta … Downloader
В идеале ещё бы poly файлы для поиска.

Генериться на основе выгрузок с gis-lab, соответственно poly упоминались раньше - http://be.gis-lab.info/data/osm_dump/poly/

Упс, не успел.

Last edited by Cd_spb (2013-12-05 17:38:12)

SviMik · 2013-12-05 18:36:31

Забавно, но на телефоне у меня проблемы одновременно и с BTSync, и с FolderSync.

BTSync просто не начинает закачку, хотя и устройства и файл видит. (Скрин. В таком положении может висеть целый час).

У FolderSync закачка подвисает где-то на 30%, и вываливает таймаут. Впрочем, проработав всю ночь, с попытки двадцатой, начиная каждый раз закачку сначала (он докачку не поддерживает чтоли?), он всё-таки синхронизировал. Другая проблема с ним - перед тем, как качать файл, он зачем-то удаляет его старую версию. Так что будь это в продакшене - я бы остался без карт, как только ткнул бы синхронизацию. Хотя, я же выбрал в настройках - использовать временный файл. Ну да, он в него и пишет. Но старую карту всё равно удаляет.
Пробовал FTP и WebDav, результат одинаковый.
Разработчику письмо и логи отправил, посмотрим, ответит ли.

Last edited by SviMik (2013-12-05 18:37:33)

SviMik · 2013-12-05 18:41:49

Да, готовые. 6 регионов

Уточни, какие регионы. А то может я их уже конвертирую сам
А так, если надо, могу дать доступ на фтп за записи.

dedVorchun · 2013-12-05 18:44:15

SviMik wrote:

могу поддерживать раз в день-два конвертацию Украины, это немного разгрузит сервер, все-таки довольно большой кусок данных. SviMik, напишите в личку, если надо - пару раз уже запускал у себя, но не выкладывал
Отправлено на мыло.
Тогда, Украину я убираю из своего списка конвертации.
(upd)
Доработал свой скрипт конвертации, теперь переименовывает файлы как надо. Завтра проверим.
у вас в картах имя индекса(Ru_ba) не совпадает с именем индекса(Russia_bashkiria) карт от Виктора. из-за этого ломается поиск в osmamd
А как это вообще возможно? У вас две карты одного и того же региона залиты одновременно?

я же говорил, что имена индексов в официальных картах и в ваших - различных. видимо osmand запоминает индекс карты для поиска. а я всегда сохраняю старую карту в архиве в самом osmand.
да, у меня две карты, но одна в рабочей директории (новая, более свежая), а другая (старая) - в архиве. две карты в рабочей директории одновременно у меня нету.

SviMik · 2013-12-05 19:01:27

Индексы уже исправлены в сегодняшней версии (у карт, которые конвертирую я).

Nik64 · 2013-12-05 19:33:47

2. Уважаемый SviMik начал конвертировать карты. На данный момент, из того списка всё, кроме Украины

Я так понял, что наши услуги больше ненужны.

AHTOH · 2013-12-05 19:37:18

nikanorov wrote:

А возможно сделать xml файл со списком вот такого формата: http://peirce.gis-lab.info/maplist.xml
Я бы тогда добавил в OSM Downloader под android: https://play.google.com/store/apps/deta … Downloader
В идеале ещё бы poly файлы для поиска.

Ну вот и разрабы подтянулись.
Жысь налаживается
Раскачали тему карт.

SviMik · 2013-12-05 19:37:29

Я так понял, что наши услуги больше ненужны.

Нужны. Только, я так понимаю, новый скрипт ещё не готов.
На gis-lab есть ещё 34 карты, которые я не конвертирую, кто хочет взяться - вышлю доступ на фтп.

А также требуются услуги транслитерации - файлик maps.xls на фтп, строки красным цветом. Задача - дать им корректное, с точки зрения османда, название (т.к. правил транслитерации существует несколько, я не возьмусь фантазировать). Возможно, где-то даже существует готовый список с названиями официальных карт османда.

Last edited by SviMik (2013-12-05 19:40:55)

Nik64 · 2013-12-05 19:50:21

На gis-lab есть ещё 34 карты, которые я не конвертирую, кто хочет взяться - вышлю доступ на фтп.

Могу в прицеп подхватить ближайшее ко мне: Астраханская область, Армения, Азербайджан, Грузия.

Nik64 · 2013-12-05 19:59:03

Могу в прицеп подхватить ближайшее ко мне: Астраханская область, Армения, Азербайджан, Грузия.

Только перебить нужно osmand-mapsSTA@yandex.ru на podzolko64@yandex.ru. Достали эти аккаунты, сконвертирует и при отправке ошибка, при повторе всё проходит успешно, приходится вручную перекидывать карты.

AHTOH · 2013-12-05 19:59:16

Завтра выложу скрипт для ФТП. Сразу под Винду и под линуха. Так что НЕ расходимся!

Last edited by AHTOH (2013-12-05 20:01:07)

dedVorchun · 2013-12-05 20:32:49

SviMik wrote:

Забавно, но на телефоне у меня проблемы одновременно и с BTSync, и с FolderSync.
BTSync просто не начинает закачку, хотя и устройства и файл видит. (Скрин. В таком положении может висеть целый час).
У FolderSync закачка подвисает где-то на 30%, и вываливает таймаут. Впрочем, проработав всю ночь, с попытки двадцатой, начиная каждый раз закачку сначала (он докачку не поддерживает чтоли?), он всё-таки синхронизировал. Другая проблема с ним - перед тем, как качать файл, он зачем-то удаляет его старую версию. Так что будь это в продакшене - я бы остался без карт, как только ткнул бы синхронизацию. Хотя, я же выбрал в настройках - использовать временный файл. Ну да, он в него и пишет. Но старую карту всё равно удаляет.
Пробовал FTP и WebDav, результат одинаковый.
Разработчику письмо и логи отправил, посмотрим, ответит ли.

а чего писать рарабам? у них всё замечательно и элегантно сделано. вы когда-нибудь заливали себе на телефон официальные карты с их сайта вручную? у них в название карты добавляется расширение "_2" в конце имени файла (Russia_moscow_asia_2.obf). таким образом удается избежать затирания устаревшей карты у конечного пользователя.
я не знаю, как в автоматическом режиме обновляются официальные карты, а вот в ручном режиме постоянно приходит вот такое имя файла на телефон. в ручном режиме устаревшую карту "загоняем" в архив, а вновь пришедшую(свежую) переименовываем к нормальному виду (Russia_moscow_asia.obf). в старой и новой карте имена индексов одинаковые. всё хорошо и замечательно. есть новая карта в рабочей директории, а в архиве лежит старая карта про запас.
можно, например, в эти карты добавлять "_uniRS". это так пример, не более того. можно выбрать любое расширение. а конечный пользователь уже сам решит, что ему делать с новыми и старыми картами. загнать в архив и переименовать можно в самом osmand'е.

SviMik · 2013-12-05 20:49:02

а чего писать рарабам? у них всё замечательно и элегантно сделано.

Я имел ввиду, разрабам FolderSync, конечно же. Это их программа у меня тупит при скачивании, да ещё и докачку не поддерживает.
Багрепорт касался именно этих моментов, а не удаления карт.

можно, например, в эти карты добавлять "_uniRS". это так пример

Можно сделать что угодно, но ошибку Connection timed out с последующей загрузкой сначала (вместо докачки) это не исправит.

Last edited by SviMik (2013-12-05 20:53:06)

Cd_spb · 2013-12-05 21:00:11

SviMik wrote:

Забавно, но на телефоне у меня проблемы одновременно и с BTSync, и с FolderSync.
BTSync просто не начинает закачку, хотя и устройства и файл видит.

У меня создалось впечатление, что клиент на андроиде не умеет хэшировать существующий файл. Т.е. нужно удалить старый файл перед первой закачкой. Потом будет качать во временный файл и по завершению - переписывать.

SviMik · 2013-12-05 21:05:31

Т.е. нужно удалить старый файл перед первой закачкой. Потом будет качать во временный файл и по завершению - переписывать.

Чем это лучше ручного копирования файла с фтп через файловый менеджер? Впрочем, я так всегда и делал...

Last edited by SviMik (2013-12-05 21:05:45)

Obertun Alexander · 2013-12-05 21:13:11

С 2014 запустят синхронизацию на https://mega.co.nz/#sync - много места бесплатно(50Гб), очень высокая скорость передачи. На будущее присмотритесь к проекту..

nikanorov · 2013-12-05 21:15:42

1) Если он не читается из файла, то ни на что (я думаю, что из файла OsmAnd его реально прочитать, но не смотрел пока). Если читается, то используется для уведомления, что есть новая версия. Версия в большей степени нужна, чтоб сообщать: "в карте версии 1.07 ошибка в...".
2) url может быть любым. Первая часть code должна быть согласно ISO 3166-1 alpha-2. Используется для группировки и названия стран.
3) На данный момент никак не стандартизировано.
4) Я uid игнорирую и никак не использую. Для меня важна уникальность code для каждой карты.

Ещё поддерживается таг size - размер в байтах.

Можно прямо протестировать в программе: https://www.evernote.com/shard/s2/sh/0d … d4b4e2bb6b

Ещё желательно, чтоб code совпадал с именем poly файла, тогда не придётся делать дополнительных преобразований.

P.S.: я не могу отвечать на письма с @mail.ru, мой ящик у них почему-то в spam листе. Лучше писать мне здесь, а то пока они исправят: "Ваша проблема передана для решения специалистам."

SviMik wrote:

А возможно сделать xml файл со списком вот такого формата: http://peirce.gis-lab.info/maplist.xml
Возможно. Только, требуются пояснения, например:
1. На что влияет version? Может ли он быть статичным, или должен инкрементироваться после каждой конвертации?
2. Я правильно понимаю, что в code пишу EE, а url будет с файлом Estonia_europe.obf?
3. Дата в каком часовом поясе? UTC+0?
4. Где брать uid?

Last edited by nikanorov (2013-12-05 21:39:49)

freeExec · 2013-12-05 21:56:35

Obertun Alexander wrote:

С 2014 запустят синхронизацию на https://mega.co.nz/#sync - много места бесплатно(50Гб), очень высокая скорость передачи. На будущее присмотритесь к проекту..

Ваш браузер не поддерживается, аха добавим в планы на 20 год.

nikanorov wrote:

я думаю, что из файла OsmAnd его реально прочитать, но не смотрел пока

Я посмотрел то что вложено и конвертор (правда не новый, октябрьский).
В коде есть такое:

codedOutStream.writeUInt32(OsmandOdb.OsmAndStructure.VERSION_FIELD_NUMBER, IndexConstants.BINARY_MAP_VERSION);
codedOutStream.writeInt64(OsmandOdb.OsmAndStructure.DATECREATED_FIELD_NUMBER, System.currentTimeMillis());

Из этого можно подчеркнуть:
1) возможная несовместимость если карты сделаны другой версией конвертера чем текущая;
2) новая дата конвертации.

Obertun Alexander · 2013-12-05 22:48:25

freeExec wrote:

Ваш браузер не поддерживается, аха добавим в планы на 20 год.

Не ожидал увидеть тут таких. Как бы мягко сказать.., недалёких.:/

SviMik · 2013-12-05 22:59:06

Ну, у меня он завернул все 4 браузера, какие у меня были Так что я даже не знаю, что по той ссылке написано.

Впрочем, для себя смысла в этих сервисах не вижу никакого. Всё равно свой сервак ближе к телу. Причём, один из них - буквально

Last edited by SviMik (2013-12-05 22:59:24)

AHTOH · 2013-12-05 23:09:26

Я так и не поняла чем его преимущества. На Яндексе сейчас 210 гигов бесплатно под сервис. Но чет как то не надёжно.
200 гиг они как раз дали в компенсацию поломашек.
И куда мне их? Бекабы делать?

SviMik · 2013-12-05 23:50:54

Список карт в xml: http://s2.svimik.com/osm/maplist.xml
Обновляется автоматически.
uid генерирую на основе code.
version, если присмотреться - дата
ну и добавил size, мне не сложно.

Русских названий пока нет (ибо во-первых их нет, во-вторых не предусматривал их хранить).
Первое исправляется просто: на фтп лежит maps.xls, просьба наконец заполнить недостающие поля.
Второе решается после первого.

Last edited by SviMik (2013-12-05 23:55:26)

Announcement

#301 2013-12-05 13:53:48

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#302 2013-12-05 17:27:26

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#303 2013-12-05 17:32:43

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#304 2013-12-05 17:36:25

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#305 2013-12-05 18:36:31

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#306 2013-12-05 18:41:49

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#307 2013-12-05 18:44:15

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#308 2013-12-05 19:01:27

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#309 2013-12-05 19:33:47

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#310 2013-12-05 19:37:18

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#311 2013-12-05 19:37:29

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#312 2013-12-05 19:50:21

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#313 2013-12-05 19:59:03

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#314 2013-12-05 19:59:16

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#315 2013-12-05 20:32:49

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#316 2013-12-05 20:49:02

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#317 2013-12-05 21:00:11

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#318 2013-12-05 21:05:31

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#319 2013-12-05 21:13:11

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#320 2013-12-05 21:15:42

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#321 2013-12-05 21:56:35

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#322 2013-12-05 22:48:25

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#323 2013-12-05 22:59:06

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#324 2013-12-05 23:09:26

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#325 2013-12-05 23:50:54

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Board footer