OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1276 2018-09-11 16:51:27

literan
Member
Registered: 2012-11-06
Posts: 2,655
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Вырезки будут тут:
http://osmosis.svimik.com/latest/

Надеюсь Svimik, как держатель площадки, создаст соответствующую тему.

спасибо!

а вот Московская область, наоборот, похудела более чем в два раза: с 383 Мб до 174.

Хм, а на этой страничке отдельные регионы тоже уже обновились http://s2.svimik.com/osm/

Offline

#1277 2018-09-11 17:06:46

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,246

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Надеюсь к завтра все регионы обновятся. До этого слегка экспериментировал с заливкой

Проверьте что сможете, в самих картах. Я не уверен, что адекватно обрезаются объекты выходящие за poly файлы.

Offline

#1278 2018-09-12 18:44:57

Paravoz
Member
From: Ярославль
Registered: 2009-12-01
Posts: 677

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Коллеги, пишите какие регионы нужны - настрою вырезку и конвертацию.

Добрый день.
Если не сложно сделайте Ярославскую область.

Заранее спасибо!

Offline

#1279 2018-09-13 12:20:51

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,246

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Paravoz wrote:

сделайте Ярославскую область

Сделаю.

На данный момент вырезано следующее:

NAMEREG_1	TimeSTARTextract	TimeENDextract 	TimeExtract 	
RU-MOW	18:30:41	19:18:29	0:47:48	Москва
RU-MUR	19:19:13	20:10:34	0:51:21	Мурманская область
RU-KR	20:11:06	21:07:01	0:55:55	Карелия
RU-SVE	22:12:40	23:16:25	1:03:45	Свердловская область
RU-KYA	13:17:16	16:03:11	2:45:55	Красноярский край
RU-TY	3:03:56	3:51:14	0:47:18	Тюменская область
RU-MAG	3:51:29	4:36:52	0:45:23	Магаданская область
RU-LEN	4:37:08	5:21:46	0:44:38	Ленинградская область
RU-ULY	5:22:58	6:13:30	0:50:32	Ульяновская область
RU-MOS	6:13:58	7:17:47	1:03:49	Московская область
RU-AD	7:19:26	8:03:39	0:44:13	Адыгея
RU-AL	8:04:02	8:50:16	0:46:14	Алтай
RU-ALT	8:50:36	9:51:56	1:01:20	Алтайский край

Остался ещё 71 регион yikes
Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго. Но на сервере не занят на 100 % ни один из ресурсов!!! Память, процессор свободны, диск SSD тоже не занят "на полную".

Offline

#1280 2018-09-13 12:38:18

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,365

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго.

Если вам надо из большего .pbf вырезать меньший .pbf, то быстрее будет osmconvert
oasmconvert in.pbf -o=out.pbf -B=poly.file
Можно еще добавить --complex-ways
А уже после конвертировать из .pbf в .osm с помощью osmosis

Last edited by KonTur (2018-09-13 12:39:14)

Offline

#1281 2018-09-13 13:17:12

ValentinAK
Member
From: notMoscow, Russia
Registered: 2010-07-06
Posts: 496
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

KonTur wrote:

А уже после конвертировать из .pbf в .osm с помощью osmosis

Osmosis тут вообще не нужен. Osmconvert может сразу писать файл в формат osm (ключ --out-osm).

И кстати. Файлы в формате o5m обрабатываются быстрее! Я, например, стараюсь весь свой процессинг проводить именно в этом формате. Единственное "но" - больший размер файлов по сравнению с pbf.

Last edited by ValentinAK (2018-09-13 13:26:28)


Еще одна ежедневная сборка OSM для Garmin.

Offline

#1282 2018-09-13 13:24:29

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,365

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

ValentinAK wrote:

Osmosis тут вообще не нужен.

Согласен. Но когда нужно на этапе перегонки из .pbf в .osm что-нибудь подправить в данных - то приходится использовать osmosis --tt

Offline

#1283 2018-09-13 13:49:03

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,246

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

KonTur wrote:
Cd_spb wrote:

Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго.

Если вам надо из большего .pbf вырезать меньший .pbf, то быстрее будет osmconvert
oasmconvert in.pbf -o=out.pbf -B=poly.file
Можно еще добавить --complex-ways

К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB.  osmconvert такое не умеет.

The Windows version (the downloaded binary) does not work with large files such as planet.osm (greater than 2Gb) when using the --complete-ways, --complete-multipolygons or --complete-boundaries option.

Osmosis умеет многопоточность:

--buffer (--b)
Allows the pipeline processing to be split across multiple threads. The thread for the input task will post data into a buffer of fixed capacity and block when the buffer fills. This task creates a new thread that reads from the buffer and blocks if no data is available. This is useful if multiple CPUs are available and multiple tasks consume significant CPU.

С адекватным вариантом запустить не получилось. Нужна помощь с логикой подбора параметров.

P.S. Есть сервер с Hyper-V, 8 ядер 2.1ГГц, 64гб оперативы и SSD. Три четверти вычислительных ресурсов могу отдать виртуалке под конвертацию. Но адекватно их загрузить - не получается.

Last edited by Cd_spb (2018-09-13 13:54:40)

Offline

#1284 2018-09-13 14:08:58

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,473

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB.  osmconvert такое не умеет.

У меня есть х64 версии 0.88, вполне жуёт 5Гб Россию, но лучше конечно собрать из исходников самому.

Offline

#1285 2018-09-13 14:09:54

KonTur
Member
From: SPB
Registered: 2010-03-10
Posts: 1,365

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Cd_spb wrote:

К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB.  osmconvert такое не умеет.

Я интересовался этой проблемой https://forum.openstreetmap.org/viewtop … 22#p655322
Результат (огромное спасибо gryphon) в первой строке https://forum.openstreetmap.org/viewtop … 37#p655637
Нормально пережевывает Францию в 3.3 гига, и им же я резал бывшие республики из local.pbf когда он был на gis-lab'e

Offline

#1286 2018-09-13 14:58:19

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,246

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

freeExec
KonTur
Спасибо, пробую osmconvert.
P.S. Пока писал конвертнулось тестовая область roll
В два раза меньше:

RU-AD.osm.pbf                                      13-Sep-2018 05:03            39742277
RU-AD_1.osm.pbf                                    13-Sep-2018 13:59            15061366

http://osmosis.svimik.com/latest/

Last edited by Cd_spb (2018-09-13 15:00:23)

Offline

#1287 2018-09-13 18:31:50

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,645
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Тоже запилил выгрузки http://osm.sbin.ru/osm_dump/

Делаются примерно так:

 osmupdate --day $yesterday/$r.osm.pbf ${r}_new.osm.pbf
 osmconvert ${r}_new.osm.pbf --complex-ways -B=$poly -o=$today/$r.osm.pbf

Offline

#1288 2018-09-13 18:49:35

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,246

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Alexandr Zeinalov wrote:

Тоже запилил выгрузки http://osm.sbin.ru/osm_dump/

Делаются примерно так:

 osmupdate --day $yesterday/$r.osm.pbf ${r}_new.osm.pbf
 osmconvert ${r}_new.osm.pbf --complex-ways -B=$poly -o=$today/$r.osm.pbf

Замечательно.
Вырезка будет на постоянной основе? У меня - нет, временно.

Offline

#1289 2018-09-13 19:09:07

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,645
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Пока вручную запускаю, но да, планируется на постоянно.

Offline

Board footer

Powered by FluxBB