OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

SviMik · 2013-12-24 16:25:15

Если это касается карт, заливаемых другими участниками - я предлагал заливать во временную папку, а потом перемещать. Тогда на фтп не будет висеть полузакачанная карта.

Cd_spb · 2013-12-25 05:35:52

SviMik wrote:

Если это касается карт, заливаемых другими участниками - я предлагал заливать во временную папку, а потом перемещать. Тогда на фтп не будет висеть полузакачанная карта.

А можно использовать BTSync. Он сразу так делает. Проблем связи комп-комп замечено не было.

Larry0ua · 2013-12-25 09:31:18

SviMik wrote:

Если это касается карт, заливаемых другими участниками - я предлагал заливать во временную папку, а потом перемещать. Тогда на фтп не будет висеть полузакачанная карта.

я, например, поправил скрипт, чтоб заливал на фтп файл сначала с неправильным названием, а потом переименовывал. Вчера это спасло карту, оказывается

Cd_spb · 2013-12-26 09:52:58

Господа конвертирующие кто писал, что может конвертировать только в рабочие дни? У меня на работе машина будет в простое, могу зарядить на конвертацию. Машина не шибко мощная, так что как резервный вариант.
Кому нужно - отпишите, включу конвертацию.

var-alex · 2013-12-26 11:14:07

Я писал. Я еще и в праздники не могу конвертировать. Потому что на работе меня не будет. Краяняя конвертация до конца каникул будет завтра. Так что если есть возможность можно брать. После окончания каникул опять все у меня восстановиться.

Cd_spb · 2013-12-26 11:38:26

Ок. включу на конвертирование и заливку через BTSync:
RU-KHM
RU-KO
RU-TYU
RU-KGN
RU-MAG
RU-PRI
RU-PER
RU-SA
RU-TUL

Как настрою - отпишусь.

Cd_spb · 2013-12-26 12:58:56

Настроил и запустил конвертирование. Заливаться будет кадлый день, до 6-8 часов по GMT+4. var-alex, как я видел, ты заливал около 10-11 по GMT+4. Так что когда опять начнешь конвертировать будешь перетирать "мой" вариант.

var-alex · 2013-12-27 06:40:04

Cd_spb wrote:

Настроил и запустил конвертирование. Заливаться будет кадлый день, до 6-8 часов по GMT+4. var-alex, как я видел, ты заливал около 10-11 по GMT+4. Так что когда опять начнешь конвертировать будешь перетирать "мой" вариант.

Я теперь начну только как на работу выйду после праздников примерно 9 или 10того.
Запускаю я в районе 8.30 ну а как с моим инетом пройдет скачка и заливка тут уж как повезет, бывает что и до 9 уже все готово, а бывает и к 12 часам не все залилось.

Как выйду на работу - отпишусь.

Last edited by var-alex (2013-12-27 06:40:24)

AHTOH · 2013-12-27 07:50:01

var-alex wrote:

Я теперь начну только как на работу выйду после праздников примерно 9 или 10того.

А что так? У меня Планировщик настроен.
1. Комп сам включается ежедневно в 7:28. Это настраивается в BIOS-е . Такое умеет люой комп выпущенный после 2002 года.
2. в 8:30 запускается скрипт из планировщика.
3. Работа скрипта. Последняя команда в скрипте: Отключение питания после 1 минуты. (чтобы в случае чего успеть дать отмену команды).
4. Ну и само выключение.
На все провсе уходит 10 мин в среднем. Т.е. судя по логам в 8:40 комп уже выключен.

AHTOH · 2014-01-02 11:51:52

Так... Сегодня обновлений нет http://be.gis-lab.info/data/osm_dump/st … -state.txt
Абыдно. Потому как много ошибок в своем регионе исправил и если сейчас они будут возникакть по новой, то просто запутаюсь что исправлено а что нет.
Потому и нужны обновления ОсмАнд, чтобы поддерживать карты в актуальном состоянии и не жаловатся (пытатся редактировать) на исправленные ошибки повторно.

У меня из за того что нет обновлений возникает вопрос. Как самому готовить .pbf на основе Poly-файлов: http://data.gis-lab.info/osm_dump/poly/ ?
По идее это должно уменьшить расходы на трафик.
Вся Россия за 1 сутки в среднем добавляет всего 3-5 мегабайт изменений. http://be.gis-lab.info/data/osm_dump/diff/RU/
Т.е. если я бы качал ищменения скажем только по Татарстану, то там вообще копейки были бы.
Осталость только реализовать скрипт который бы :
1. Скачивал данные OSM по Poly-файлам: http://data.gis-lab.info/osm_dump/poly/
2. Скачивал ИЗМЕНЕНИЕ данных OSM по Poly-файлам: http://data.gis-lab.info/osm_dump/poly/
3. Конвертировал файл .osm в .pbf

Для остального конвертирования уже все есть.
Помогите определится с направлением в какую сторону капать! (сдаетя мне что в эту сторону нужно смотреть ( http://wiki.openstreetmap.org/wiki/RU:Osmosis )
З.Ы. Если это реализуется то обновления можно будет делать и чаще чем 1 раз в день. Хоть Онлайн

Larry0ua · 2014-01-02 14:40:53

На счет ежедневного обновления. У меня реализация такая, каждый день исполняется скрипт вроде этого:

wget.exe http://be.gis-lab.info/data/osm_dump/diff/UA/UA-140101-140102.osc.gz
osmconvert.exe UA.osm.pbf UA-140101-140102.osc.gz --out-pbf -o=UA_.osm.pbf

можно и osmosis, но мне так было то ли быстрее, то ли проще.
Глобально можно вообще не пользоваться дампами gis-lab, качать дневные изменения с http://planet.openstreetmap.org/replica … y/000/000/ (или даже часовые-минутные) и обрезать файл после каждого обновления (применил дифф - вырезал), но зачем делать работу, которую уже сделали?) тем более файлы не совсем маленькие, на планету в день.

Думаю, кто поддерживает сервера с данными в онлайне, расскажут про osmosis больше

AHTOH · 2014-01-02 15:33:46

Зато я тенперь понимаю, что я нихрена не понимаю
Я не понимаю как все это работает. Как можно скачать не все данные planet.osm а только нужный кусочек? Как можно потом скачать только изменения?
Нашел какуюто статейку http://forum.awd.ru/viewtopic.php?f=373&t=146354 и пытаюсь по ней что нибуть сделать.

Вроде есть улита для скачивания http://wiki.openstreetmap.org/wiki/RU:Osm2mp#getbound но пока у меня не получается ее запустить.

Vitalts · 2014-01-02 15:50:15

Нужный кусочек не получится. Можно итересующий дамп, но изменения все равно пойдут по всей планете, и переодически нужно будет подчищать данные обрезая по нужному региону.

AHTOH · 2014-01-02 15:59:30

Эх... Тогда вопрос. Как починить Гис-Лаб?

Cd_spb · 2014-01-03 11:58:17

AHTOH wrote:

Эх... Тогда вопрос. Как починить Гис-Лаб?

Судя по http://be.gis-lab.info/data/osm_dump/st … -state.txt застрял на конвертации всей России. У нас с границами всё в порядке?

freeExec · 2014-01-03 14:34:24

Сутки планеты порядка 40Мб, если ты качал по гигабайту с гислаба, то это всяко медленнее чем скачать диф и обрезать.

var-alex · 2014-01-03 18:38:05

AHTOH wrote:

var-alex wrote:
Я теперь начну только как на работу выйду после праздников примерно 9 или 10того.
А что так? У меня Планировщик настроен.
1. Комп сам включается ежедневно в 7:28. Это настраивается в BIOS-е . Такое умеет люой комп выпущенный после 2002 года.
2. в 8:30 запускается скрипт из планировщика.
3. Работа скрипта. Последняя команда в скрипте: Отключение питания после 1 минуты. (чтобы в случае чего успеть дать отмену команды).
4. Ну и само выключение.
На все провсе уходит 10 мин в среднем. Т.е. судя по логам в 8:40 комп уже выключен.

Очень красиво, но у нас в выходные дни обесточено все здание кроме пожарной сигнализации. А в рабочие сервера, свитчи и свитчи нашего инета, и естественно все розетки кроме дежурного освещения и пожарной сигнализации. Так что все это красиво но мимо.

p.s. ткните как сделать заливку через BTSync

Last edited by var-alex (2014-01-03 18:39:34)

dedVorchun · 2014-01-03 19:22:20

Planet.osm — OpenStreetMap Wiki
http://wiki.openstreetmap.org/wiki/Plan … g_the_File
через overpass кажется (если я правильно понял) можно делать ежечасные выборки требуемого региона. overpass'ом не владею. надо спрашивать у тех, кто ним работал.

Planet.osm downloads | BBBike.org
http://download.bbbike.org/osm/
Index of /osm/bbbike/
http://download.bbbike.org/osm/bbbike/
OSM extracts for Moscow in OSM, PBF, Garmin cycle map, Osmand, mapsforge, Navit and Esri shapefile format
http://download.bbbike.org/osm/bbbike/Moscow/

на bbbike файл Москвы от 03/01/2014 совсем маленький по размеру, уже готовый (там даже уже готовый obf лежит, только не конвертированный под квартиры в подъездах), только стянуть и пустить в конвертацию. там же можно выбрать другой требуемый регион (сам никогда не запрашивал, не было необходимости).
интересно: можно ли bbbike подсунуть poly файлы, которые используются на gis-lab'е для нарезки регионов?

Last edited by dedVorchun (2014-01-03 19:37:02)

Cd_spb · 2014-01-03 19:36:37

var-alex wrote:

p.s. ткните как сделать заливку через BTSync

Единственное что нужно - ключ на запись. Ключ есть у Svimik, он должен его выслать Вам приватно и на сервере дать права записи на соответствующую папку.

sim · 2014-01-03 22:11:28

Cd_spb wrote:

AHTOH wrote:
Эх... Тогда вопрос. Как починить Гис-Лаб?
Судя по http://be.gis-lab.info/data/osm_dump/st … -state.txt застрял на конвертации всей России. У нас с границами всё в порядке?

Место на сервере закончилось. Почищено, перезапущено.

AHTOH · 2014-01-03 22:14:16

Понатно. Пасиба!

var-alex · 2014-01-05 17:32:01

Cd_spb wrote:

Единственное что нужно - ключ на запись. Ключ есть у Svimik, он должен его выслать Вам приватно и на сервере дать права записи на соответствующую папку.

Мне бы начать с того, откуда его скачать, этот BTSync то.. Ну и если оно в ком строке то доки там же какие найти....

AHTOH · 2014-01-05 18:15:52

http://www.bittorrent.com/intl/ru/sync/downloads

SviMik · 2014-01-05 18:43:03

Если кто-то не справляется - я могу забрать конвертирование себе.

Сконвертировал вручную (надеюсь ничего не поломал):
RU-KGN
RU-KHM
RU-KO
RU-MAG
RU-PER
RU-PRI
RU-SA
RU-TUL
RU-TYU
RU-AMU
RU-CHU
RU-SVE
RU-YEV
AM
KG
MD
UZ

Cd_spb · 2014-01-05 19:51:25

var-alex wrote:

Cd_spb wrote:
Единственное что нужно - ключ на запись. Ключ есть у Svimik, он должен его выслать Вам приватно и на сервере дать права записи на соответствующую папку.
Мне бы начать с того, откуда его скачать, этот BTSync то.. Ну и если оно в ком строке то доки там же какие найти....

Маленькая подборка ссылок
http://vasilisc.com/btsync
http://ivannikitin.com/2013/04/28/bittorrent-sync/
http://forum.bittorrent.com/topic/24781 … 272-build/

Announcement

#451 2013-12-24 16:25:15

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#452 2013-12-25 05:35:52

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#453 2013-12-25 09:31:18

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#454 2013-12-26 09:52:58

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#455 2013-12-26 11:14:07

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#456 2013-12-26 11:38:26

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#457 2013-12-26 12:58:56

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#458 2013-12-27 06:40:04

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#459 2013-12-27 07:50:01

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#460 2014-01-02 11:51:52

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#461 2014-01-02 14:40:53

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#462 2014-01-02 15:33:46

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#463 2014-01-02 15:50:15

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#464 2014-01-02 15:59:30

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#465 2014-01-03 11:58:17

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#466 2014-01-03 14:34:24

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#467 2014-01-03 18:38:05

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#468 2014-01-03 19:22:20

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#469 2014-01-03 19:36:37

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#470 2014-01-03 22:11:28

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#471 2014-01-03 22:14:16

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#472 2014-01-05 17:32:01

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#473 2014-01-05 18:15:52

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#474 2014-01-05 18:43:03

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

#475 2014-01-05 19:51:25

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Board footer