В OSM Downloader появились, круто, спасибо. Правда размер подрос в 2 раза, в чём отличие?
Не знаю. Предположение что в ключах конвертации osmosis. Я их подбирал экпериментально.
ЛО - размер 309 байт. СПб - августовский файл.
спасибо!
а вот Московская область, наоборот, похудела более чем в два раза: с 383 Мб до 174.
Хм, а на этой страничке отдельные регионы тоже уже обновились http://s2.svimik.com/osm/
Надеюсь к завтра все регионы обновятся. До этого слегка экспериментировал с заливкой
Проверьте что сможете, в самих картах. Я не уверен, что адекватно обрезаются объекты выходящие за poly файлы.
Добрый день.
Если не сложно сделайте Ярославскую область.
Заранее спасибо!
Сделаю.
На данный момент вырезано следующее:
NAMEREG_1 TimeSTARTextract TimeENDextract TimeExtract
RU-MOW 18:30:41 19:18:29 0:47:48 Москва
RU-MUR 19:19:13 20:10:34 0:51:21 Мурманская область
RU-KR 20:11:06 21:07:01 0:55:55 Карелия
RU-SVE 22:12:40 23:16:25 1:03:45 Свердловская область
RU-KYA 13:17:16 16:03:11 2:45:55 Красноярский край
RU-TY 3:03:56 3:51:14 0:47:18 Тюменская область
RU-MAG 3:51:29 4:36:52 0:45:23 Магаданская область
RU-LEN 4:37:08 5:21:46 0:44:38 Ленинградская область
RU-ULY 5:22:58 6:13:30 0:50:32 Ульяновская область
RU-MOS 6:13:58 7:17:47 1:03:49 Московская область
RU-AD 7:19:26 8:03:39 0:44:13 Адыгея
RU-AL 8:04:02 8:50:16 0:46:14 Алтай
RU-ALT 8:50:36 9:51:56 1:01:20 Алтайский край
Остался ещё 71 регион
Нужна помощь по правильному выбору параметров osmosis. Так как если посмотреть, то вырезка идёт очень долго. Но на сервере не занят на 100 % ни один из ресурсов!!! Память, процессор свободны, диск SSD тоже не занят “на полную”.
Если вам надо из большего .pbf вырезать меньший .pbf, то быстрее будет osmconvert
oasmconvert in.pbf -o=out.pbf -B=poly.file
Можно еще добавить --complex-ways
А уже после конвертировать из .pbf в .osm с помощью osmosis
Osmosis тут вообще не нужен. Osmconvert может сразу писать файл в формат osm (ключ --out-osm).
И кстати. Файлы в формате o5m обрабатываются быстрее! Я, например, стараюсь весь свой процессинг проводить именно в этом формате. Единственное “но” - больший размер файлов по сравнению с pbf.
Согласен. Но когда нужно на этапе перегонки из .pbf в .osm что-нибудь подправить в данных - то приходится использовать osmosis --tt
К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB. osmconvert такое не умеет.
The Windows version (the downloaded binary) does not work with large files such as planet.osm (greater than 2Gb) when using the --complete-ways, --complete-multipolygons or --complete-boundaries option.
Osmosis умеет многопоточность:
–buffer (–b)
Allows the pipeline processing to be split across multiple threads. The thread for the input task will post data into a buffer of fixed capacity and block when the buffer fills. This task creates a new thread that reads from the buffer and blocks if no data is available. This is useful if multiple CPUs are available and multiple tasks consume significant CPU.
С адекватным вариантом запустить не получилось. Нужна помощь с логикой подбора параметров.
P.S. Есть сервер с Hyper-V, 8 ядер 2.1ГГц, 64гб оперативы и SSD. Три четверти вычислительных ресурсов могу отдать виртуалке под конвертацию. Но адекватно их загрузить - не получается.
К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB. osmconvert такое не умеет.
У меня есть х64 версии 0.88, вполне жуёт 5Гб Россию, но лучше конечно собрать из исходников самому.
К сожалению, у меня под рукой винда и выгрузка с geofabrik http://download.geofabrik.de/russia-latest.osm.pbf , размером 2.1 GB. osmconvert такое не умеет.
Я интересовался этой проблемой https://forum.openstreetmap.org/viewtopic.php?pid=655322#p655322
Результат (огромное спасибо gryphon) в первой строке https://forum.openstreetmap.org/viewtopic.php?pid=655637#p655637
Нормально пережевывает Францию в 3.3 гига, и им же я резал бывшие республики из local.pbf когда он был на gis-lab’e
freeExec
KonTur
Спасибо, пробую osmconvert.
P.S. Пока писал конвертнулось тестовая область
В два раза меньше:
RU-AD.osm.pbf 13-Sep-2018 05:03 39742277
RU-AD_1.osm.pbf 13-Sep-2018 13:59 15061366
Тоже запилил выгрузки http://osm.sbin.ru/osm_dump/
Делаются примерно так:
osmupdate --day $yesterday/$r.osm.pbf ${r}_new.osm.pbf
osmconvert ${r}_new.osm.pbf --complex-ways -B=$poly -o=$today/$r.osm.pbf
Тоже запилил выгрузки http://osm.sbin.ru/osm_dump/
Делаются примерно так:
osmupdate --day $yesterday/$r.osm.pbf ${r}_new.osm.pbf osmconvert ${r}_new.osm.pbf --complex-ways -B=$poly -o=$today/$r.osm.pbf
Замечательно.
Вырезка будет на постоянной основе? У меня - нет, временно.
Пока вручную запускаю, но да, планируется на постоянно.
Добрый день.
Чего то http://s2.svimik.com/osm/ перестал работать ?
По информации от Svimik - Сервер на техническом обслуживании. Файловая система ушла в read-only.
Исправлено.