Тайловый кэш JOSM. Плагин ImageryCache.

akks · 2013-04-07 17:04:53

Решил завести отдельную тему, чтобы ветка http://forum.openstreetmap.org/viewtopic.php?id=2714 не забивалась.

Обычно JOSM хранит загруженные квадраты подложки TMS (Bing, IRS, Mapnik и т.д.) в каталоге JMapViewerTiles_... в папке временных файлов.
При этом все тысячи и сотни тысяч файлов Bing оказываются лежащими в одном каталоге. Даже их удаление может занимать десятки минут, не говоря о проблемах для антивирусов.

Обычно для хранения кучи тайлов используется простая база данных (например, SQLite в формате MBTiles), в результате чего весь кэш Bing помещается в 1-2 файлах.
При обсуждении чистки кэша в теме Вопросы по JOSM и родилась идея аналогичного плагина для JOSM. От существующих форматов было решено отказаться из-за болшого размера кода СУБД или проблем сопряжения с Java.

В результате получился плагин для JOSM под названием ImageryCache, которых хранит весь кэш в файлах NoSQL базы MapDB (по совету Zverik).
Никакой настройки плагин не требует, просто установите его в JOSM новее 5779 и папки с файлами перестанут разрастаться.

Осторожно! Плагин экспериментальный. Потеря всего кэша из-за сбоя - пока вполне обычное явление (Старый кэш JOSM никуда не девается и может быть использован после отключения плагина). Так что в случае плохого соединения с интернетом решайте сами. Как плагин дружит c кэшем на SSD и флешках - не знаю. Но туда вообще ничего помногу не писать.

Внимание - при переходе с первой версии на вторую формат кэша поменялся. Во избежание ошибок лучше удалить файлы кэша вручную (касается тех, кто ставил плагин до 7 апреля)

------------------
Обновления:
15.03.2013: первая попытка
07.04.2013:
* Обновил MapDB, загрузка тайлов перестала намертво виснуть в 20% случаев.
* Теперь не обязательно ставить Java 1.7
* Теги (информация о тайлах) корректно загружаются из базы, а не только сохраняются
* Меньше глюков при закрытии JOSM во время загрузки (замечания freeExec)
* Если файл используется другим JOSM, создаётся ещё один (Mapnik, Mapnik_1, Mapnik_2...) , наличие Mapnik_2.lock говорит о занятости (или некорректном завершении).
* Все доступные файлы базы Mapnik, Mapnik_1, Mapnik_2 ... склеиваются в один файл при запуске (можно исплользовать для объединения кэшей)
* Если папки кэша не было, она создаётся (спасибо andygol)

Чего пока нет:
* Чистки кэша. Он только растёт
* Открытия кэша только для чтения.
* Со временем надеемся внести данный функционал в ядро JOSM.

----
В общем, прошу всех желающих потестировать, баги и пожелания писать сюда или в Trac по образцу http://josm.openstreetmap.de/ticket/8560

Last edited by akks (2013-04-12 09:11:31)

Paspartu · 2013-04-11 15:16:35

Спасибо за плагин.
Можно ли как-то указать расположение БД? Например мне было бы удобнее хранить кэш на другом жёстком диске.

freeExec · 2013-04-11 15:58:44

Смени переменную окружения %TEMP%

Paspartu · 2013-04-11 16:03:48

freeExec wrote:

Смени переменную окружения %TEMP%

Спасибо. По Вашей наводке нашёл.
JOSM -> F12 -> Установка настроек напрямую (лист с ключом) -> imagery.tms.tilecache_path

Supercalifragilisticexpialidocious · 2013-04-11 16:58:43

Paspartu wrote:

freeExec wrote:
Смени переменную окружения %TEMP%
Спасибо. По Вашей наводке нашёл.
JOSM -> F12 -> Установка настроек напрямую (лист с ключом) -> imagery.tms.tilecache_path

можно через Link Shell Extension симлинк создать да и не лазить по конфигам

akks · 2013-04-12 09:13:38

Совсем забыл написать - при переходе с первой версии на вторую формат кэша поменялся. Во избежание ошибок тем, кто ставил плагин до 7 апреля лучше удалить файлы кэша вручную (из меню JOSM будет чуть позже). У некоторых из-за этого (предположительно) даже JOSM вис на 20 секунд намертво. (добавил в шапку)

Last edited by akks (2013-04-12 09:14:15)

Cd_spb · 2013-08-16 07:19:38

Кэш между сессиями сохраняется?
Например - работал с данными, была включена подложка, сохранил данные в файл .osm. Уехал за тридевять земель, где нет инета, открыл локальный файл и включил отображение подложки. Подложка будет видна? Можно заставить такой вариант работать?

freeExec · 2013-08-16 07:37:03

Тут наверное вопрос как долго ты ехал но если отмотать время назад, чтобы кеш не протух он его будет показывать.

iav · 2013-08-16 13:40:56

А что, протухший сразу исчезает? Не после попытки освежения, которая не удастся?

kisaa · 2013-12-14 12:01:31

А wms-подложки могут быть подобным образом слиты в один файл? Или, переформулировав вопрос, используются ли вообще wms-тайлы повторно?
А то я смотрю на десятки тысяч файлов кэша подложки кадастра, и мне грустно.

akks · 2013-12-14 12:17:08

kisaa wrote:

А wms-подложки могут быть подобным образом слиты в один файл? Или, переформулировав вопрос, используются ли вообще wms-тайлы повторно?
А то я смотрю на десятки тысяч файлов кэша подложки кадастра, и мне грустно.

WMS теоретически должны использоваться повторно (вроде бы, фиксированные уровни зума теперь используются), но в однофайловом плагине не поддерживаются, т. к. слишком сложно.

Если папка не распухает при просмотре уже загруженных областей - тогда всё работает (проверять надо).

chnav · 2014-01-23 14:42:53

Присоединяюсь к благодарностям за плагин. Сегодня более часа пытался удалить папку с кешем на SSD - оказалось там более миллиона файлов и надо было "терпеливо подождать". Но сложно ждать когда десяток минут система не реагирует на нажатия клавиатуры
Надеюсь теперь таких проблем не будет.

Last edited by chnav (2014-01-23 14:43:12)

akks · 2014-01-23 15:46:03

chnav wrote:

Присоединяюсь к благодарностям за плагин. Сегодня более часа пытался удалить папку с кешем на SSD - оказалось там более миллиона файлов и надо было "терпеливо подождать". Но сложно ждать когда десяток минут система не реагирует на нажатия клавиатуры
Надеюсь теперь таких проблем не будет.

Всегда пожалуйста Главное, чтобы плагин SSD сильнее не изнашивал (не знаю, что уж там у MapDB внутри).

Paspartu · 2014-01-24 08:38:51

chnav wrote:

Присоединяюсь к благодарностям за плагин. Сегодня более часа пытался удалить папку с кешем на SSD - оказалось там более миллиона файлов и надо было "терпеливо подождать". Но сложно ждать когда десяток минут система не реагирует на нажатия клавиатуры
Надеюсь теперь таких проблем не будет.

Врядли SSD единственный диск в системе. Я себе кэш на шпиндельный диск сохраняю.

luiswoo · 2014-02-09 17:24:42

Кадастр почему то продолжает гадить тайлами — обнаружил их 800 мегабайт (в последнее время джосм временно зависал при включении кадастра). На всякий случай удалил каталог с кешем, но он благополучно восстановился, и так же благополучно наполняется опять. Так и должно быть?

pfg21 · 2014-02-09 17:33:02

ественно. а как по твоему должен работать кэш данных ??

luiswoo · 2014-02-09 19:01:11

pfg21 wrote:

ественно. а как по твоему должен работать кэш данных ??

Разницу между базой данных и отдельными тайлами россыпью объяснить или сам допрёшь?

kisaa · 2014-02-09 23:05:25

luiswoo, тему не читай @ вопросы задавай

WMS [Кадастр] теоретически должны использоваться повторно (вроде бы, фиксированные уровни зума теперь используются), но в однофайловом плагине не поддерживаются, т. к. слишком сложно.

http://forum.openstreetmap.org/viewtopi … 96#p385296

luiswoo · 2014-02-10 11:41:08

Если это значить, что плагин не поддерживает кадастр, тада ок.

d1g · 2016-09-12 16:09:11

тайловый кеш актуален ещё?

По-моему нет и нужно этот пост тоже обновить в "Плагины JOSM" http://forum.openstreetmap.org/viewtopi … 60#p351160

Cd_spb · 2016-09-14 08:55:03

d1g wrote:

тайловый кеш актуален ещё?

Наличие плагина, конкретно для меня, - актуально. :-)
Вот только где его теперь взять?

d1g · 2016-09-14 12:59:23

Так зачем плагин-то? В 10998: F12, Настройки слоёв, Содержимое кеша

https://josm.openstreetmap.de/ticket/9813#comment:42 - вроде бы это

andygol · 2016-09-15 09:00:25

Уже минимум как полгода этот функционал в ядре JOSM - так что тема про этот плагин уже устарела

Cd_spb · 2016-09-15 11:14:08

d1g, andygol.
Спасибо за информацию.
Есть способ узнать - сколько будут отображаться кэшированные данные без обновление через интернет?

andygol · 2016-09-15 22:00:01

Если мы говорим про Бинг - то скорее всего не очень долго, где-то через 1-2 часа нужно будет подключиться к Интернету, что бы качнуть свежий файлик bing.attribution.xml, а вот все остальное - пока не почиститься кеш.

Announcement

#1 2013-04-07 17:04:53

Тайловый кэш JOSM. Плагин ImageryCache.

#2 2013-04-11 15:16:35

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#3 2013-04-11 15:58:44

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#4 2013-04-11 16:03:48

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#5 2013-04-11 16:58:43

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#6 2013-04-12 09:13:38

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#7 2013-08-16 07:19:38

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#8 2013-08-16 07:37:03

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#9 2013-08-16 13:40:56

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#10 2013-12-14 12:01:31

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#11 2013-12-14 12:17:08

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#12 2014-01-23 14:42:53

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#13 2014-01-23 15:46:03

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#14 2014-01-24 08:38:51

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#15 2014-02-09 17:24:42

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#16 2014-02-09 17:33:02

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#17 2014-02-09 19:01:11

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#18 2014-02-09 23:05:25

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#19 2014-02-10 11:41:08

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#20 2016-09-12 16:09:11

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#21 2016-09-14 08:55:03

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#22 2016-09-14 12:59:23

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#23 2016-09-15 09:00:25

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#24 2016-09-15 11:14:08

Re: Тайловый кэш JOSM. Плагин ImageryCache.

#25 2016-09-15 22:00:01

Re: Тайловый кэш JOSM. Плагин ImageryCache.

Board footer