OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1276 2018-09-11 16:51:27

literan
Member
Registered: 2012-11-06
Posts: 2,792
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Вырезки будут тут:
http://osmosis.svimik.com/latest/

Надеюсь Svimik, как держатель площадки, создаст соответствующую тему.

спасибо!

а вот Московская область, наоборот, похудела более чем в два раза: с 383 Мб до 174.

Хм, а на этой страничке отдельные регионы тоже уже обновились http://s2.svimik.com/osm/

Offline

#1277 2018-09-11 17:06:46

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Надеюсь к завтра все регионы обновятся. До этого слегка экспериментировал с заливкой

Проверьте что сможете, в самих картах. Я не уверен, что адекватно обрезаются объекты выходящие за poly файлы.

Offline

#1278 2018-09-12 18:44:57

Paravoz
Member
From: Ярославль
Registered: 2009-12-01
Posts: 680

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Коллеги, пишите какие регионы нужны - настрою вырезку и конвертацию.

Добрый день.
Если не сложно сделайте Ярославскую область.

Заранее спасибо!

Offline

#1279 2018-09-13 12:20:51

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Paravoz wrote:

сделайте Ярославскую область

Сделаю.

На данный момент вырезано следующее:

NAMEREG_1	TimeSTARTextract	TimeENDextract 	TimeExtract 	
RU-MOW	18:30:41	19:18:29	0:47:48	Москва
RU-MUR	19:19:13	20:10:34	0:51:21	Мурманская область
RU-KR	20:11:06	21:07:01	0:55:55	Карелия
RU-SVE	22:12:40	23:16:25	1:03:45	Свердловская область
RU-KYA	13:17:16	16:03:11	2:45:55	Красноярский край
RU-TY	3:03:56	3:51:14	0:47:18	Тюменская область
RU-MAG	3:51:29	4:36:52	0:45:23	Магаданская область
RU-LEN	4:37:08	5:21:46	0:44:38	Ленинградская область
RU-ULY	5:22:58	6:13:30	0:50:32	Ульяновская область
RU-MOS	6:13:58	7:17:47	1:03:49	Московская область
RU-AD	7:19:26	8:03:39	0:44:13	Адыгея
RU-AL	8:04:02	8:50:16	0:46:14	Алтай
RU-ALT	8:50:36	9:51:56	1:01:20	Алтайский край

Остался ещё 71 регион yikes
Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго. Но на сервере не занят на 100 % ни один из ресурсов!!! Память, процессор свободны, диск SSD тоже не занят "на полную".

Offline

#1280 2018-09-13 12:38:18

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,399

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго.

Если вам надо из большего .pbf вырезать меньший .pbf, то быстрее будет osmconvert
oasmconvert in.pbf -o=out.pbf -B=poly.file
Можно еще добавить --complex-ways
А уже после конвертировать из .pbf в .osm с помощью osmosis

Last edited by KonTur (2018-09-13 12:39:14)

Offline

#1281 2018-09-13 13:17:12

ValentinAK
Member
From: notMoscow, Russia
Registered: 2010-07-06
Posts: 549
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

KonTur wrote:

А уже после конвертировать из .pbf в .osm с помощью osmosis

Osmosis тут вообще не нужен. Osmconvert может сразу писать файл в формат osm (ключ --out-osm).

И кстати. Файлы в формате o5m обрабатываются быстрее! Я, например, стараюсь весь свой процессинг проводить именно в этом формате. Единственное "но" - больший размер файлов по сравнению с pbf.

Last edited by ValentinAK (2018-09-13 13:26:28)


Еще одна ежедневная сборка OSM для Garmin.

Offline

#1282 2018-09-13 13:24:29

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,399

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

ValentinAK wrote:

Osmosis тут вообще не нужен.

Согласен. Но когда нужно на этапе перегонки из .pbf в .osm что-нибудь подправить в данных - то приходится использовать osmosis --tt

Offline

#1283 2018-09-13 13:49:03

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

KonTur wrote:
Cd_spb wrote:

Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго.

Если вам надо из большего .pbf вырезать меньший .pbf, то быстрее будет osmconvert
oasmconvert in.pbf -o=out.pbf -B=poly.file
Можно еще добавить --complex-ways

К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB.  osmconvert такое не умеет.

The Windows version (the downloaded binary) does not work with large files such as planet.osm (greater than 2Gb) when using the --complete-ways, --complete-multipolygons or --complete-boundaries option.

Osmosis умеет многопоточность:

--buffer (--b)
Allows the pipeline processing to be split across multiple threads. The thread for the input task will post data into a buffer of fixed capacity and block when the buffer fills. This task creates a new thread that reads from the buffer and blocks if no data is available. This is useful if multiple CPUs are available and multiple tasks consume significant CPU.

С адекватным вариантом запустить не получилось. Нужна помощь с логикой подбора параметров.

P.S. Есть сервер с Hyper-V, 8 ядер 2.1ГГц, 64гб оперативы и SSD. Три четверти вычислительных ресурсов могу отдать виртуалке под конвертацию. Но адекватно их загрузить - не получается.

Last edited by Cd_spb (2018-09-13 13:54:40)

Offline

#1284 2018-09-13 14:08:58

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB.  osmconvert такое не умеет.

У меня есть х64 версии 0.88, вполне жуёт 5Гб Россию, но лучше конечно собрать из исходников самому.

Offline

#1285 2018-09-13 14:09:54

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,399

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB.  osmconvert такое не умеет.

Я интересовался этой проблемой https://forum.openstreetmap.org/viewtop … 22#p655322
Результат (огромное спасибо gryphon) в первой строке https://forum.openstreetmap.org/viewtop … 37#p655637
Нормально пережевывает Францию в 3.3 гига, и им же я резал бывшие республики из local.pbf когда он был на gis-lab'e

Offline

#1286 2018-09-13 14:58:19

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

freeExec
KonTur
Спасибо, пробую osmconvert.
P.S. Пока писал конвертнулось тестовая область roll
В два раза меньше:

RU-AD.osm.pbf                                      13-Sep-2018 05:03            39742277
RU-AD_1.osm.pbf                                    13-Sep-2018 13:59            15061366

http://osmosis.svimik.com/latest/

Last edited by Cd_spb (2018-09-13 15:00:23)

Offline

#1287 2018-09-13 18:31:50

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,677
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Тоже запилил выгрузки http://osm.sbin.ru/osm_dump/

Делаются примерно так:

 osmupdate --day $yesterday/$r.osm.pbf ${r}_new.osm.pbf
 osmconvert ${r}_new.osm.pbf --complex-ways -B=$poly -o=$today/$r.osm.pbf

Offline

#1288 2018-09-13 18:49:35

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Alexandr Zeinalov wrote:

Тоже запилил выгрузки http://osm.sbin.ru/osm_dump/

Делаются примерно так:

 osmupdate --day $yesterday/$r.osm.pbf ${r}_new.osm.pbf
 osmconvert ${r}_new.osm.pbf --complex-ways -B=$poly -o=$today/$r.osm.pbf

Замечательно.
Вырезка будет на постоянной основе? У меня - нет, временно.

Offline

#1289 2018-09-13 19:09:07

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,677
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Пока вручную запускаю, но да, планируется на постоянно.

Offline

#1290 2018-09-26 13:57:52

Paravoz
Member
From: Ярославль
Registered: 2009-12-01
Posts: 680

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Добрый день.
Чего то  http://s2.svimik.com/osm/ перестал работать ?

Offline

#1291 2018-09-26 15:04:28

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Paravoz wrote:

Добрый день.
Чего то  http://s2.svimik.com/osm/ перестал работать ?

По информации от  Svimik - Сервер на техническом обслуживании. Файловая система ушла в read-only.

Offline

#1292 2018-09-26 21:09:31

SviMik
Member
From: Tallinn, Estonia
Registered: 2013-01-01
Posts: 1,372

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Исправлено.

Offline

#1293 2018-10-25 07:19:34

poehavshiy
Member
From: Кирово-Чепецк
Registered: 2015-05-08
Posts: 39

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Сконвертируйте кировскую область пожалуйста

Offline

#1294 2018-10-25 10:10:13

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,252

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Проблема в автоматической заливке вырезок для конвертации.
RU-ALT
RU-AMU
RU-BA
RU-BRY
RU-BU
RU-CE
RU-CHE
RU-CHU
RU-CR
RU-KEM
RU-KGD
RU-KGN
RU-KHA
RU-KHM
RU-KIR
RU-KK
RU-KL
RU-KLU
RU-KO
Сейчас я залил их руками, доллжны будут конвертироваться.
В чём проблема - не ясно. Если будет продолжаться, то лучше напомните.

Offline

#1295 2018-12-05 18:15:21

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,601

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Новостей там никаких не слыхать?

Offline

Board footer

Powered by FluxBB