You are not logged in.

#1 2009-12-05 20:59:16

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Карта всего мира с низкой детализацией

Есть ли возможность скачать где-то .osm для всего мира, но с низкой детализацией?
Например, только:
- крупные города
- главные дороги
- крупные реки и водоёмы
- береговая линия
Чтобы объём неупакованного .osm был, по возможности, не более 1 ГБ.
Не нашёл поиском...

UPD (2010-02-05):
Release 1 обзорной карты мира на 4й странице: http://forum.openstreetmap.org/viewtopi … 213#p58213

UPD (2013-10-07):
Release 2 обзорной карты мира на 4й странице: http://forum.openstreetmap.org/viewtopi … 65#p367865

Last edited by OverQuantum (2013-10-06 22:00:29)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#2 2009-12-05 21:07:42

Mikado
Member
Registered: 2009-10-09
Posts: 84

Re: Карта всего мира с низкой детализацией

Попробуйте XAPI. Ну и ещё есть vmap0, но там не данные OSM.

Offline

#3 2009-12-05 22:27:57

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

Mikado wrote:

Попробуйте XAPI.

Т.е. вручную запрашивать по 1 типу объектов, но на весь мир?

Mikado wrote:

Ну и ещё есть vmap0, но там не данные OSM.

Нужно именно OSM.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#4 2009-12-05 23:02:10

vvoovv
Moderator
Registered: 2008-03-04
Posts: 2,256

Re: Карта всего мира с низкой детализацией

OverQuantum, тебе для какой цели?
Скачай континенты с http://downloads.cloudmade.com/
Дороги отфильтруй trunk и primary
Реки и водоемы наверно вручную придется выдергивать

Offline

#5 2009-12-05 23:50:44

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

vvoovv wrote:

OverQuantum, тебе для какой цели?
Скачай континенты с http://downloads.cloudmade.com/
Дороги отфильтруй trunk и primary
Реки и водоемы наверно вручную придется выдергивать

Мне нужно сделать однофайловую карту мира для Russa.
У .rus передел - 16 мегабайт, это соответствует примерно 600 МБ неупакованного .osm.
Насколько я вижу, на cloudmade континенты сильно порублены на страны, а кое-где и на области/штаты.
Можно ли скачать всю азию целиком, например?
Чем потом автоматически профильтровать около 100 ГБ .osm-файлов?


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#6 2009-12-06 00:31:56

vvoovv
Moderator
Registered: 2008-03-04
Posts: 2,256

Re: Карта всего мира с низкой детализацией

Да, оказалось, что весь континент есть только для Европы и Антарктиды.
Я фильтрацию делал для дорог в России. Скачал shapefile, загрузил в Openjump, там отфильтровал по аттрибуту со значением primary и trunk.
Тоже самое можно сделать, если загнать osm-файл в PostgreSQL и сделать нужную выборку.
Мне это нужно было, чтобы нарисовать декоративные слои, как на бумажных настенных картах.

Offline

#7 2009-12-06 16:23:11

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Карта всего мира с низкой детализацией

вообще я недавно делал полик для евразии. по нему осмозисом у меня из планеты вырезается 3.5 гига в гзипе за 5-6 часов, могу выложить и результат обрезки по планете от 2.12

Last edited by woidrick (2009-12-06 16:28:17)

Offline

#8 2009-12-07 20:04:54

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

Ну вот растровые тайлы для мелкомасштабных зумов делают же на основании каких-то фильтров. Там же явно не все объекты рисуются.
Неужели нету выложенной .osm, в котором будет что-то подобное, отфильтрованное под мелкомасштабный вид?
Как-то не весело тянуть planet.osm и потом его ещё фильтровать...

woidrick wrote:

вообще я недавно делал полик для евразии. по нему осмозисом у меня из планеты вырезается 3.5 гига в гзипе за 5-6 часов, могу выложить и результат обрезки по планете от 2.12

Честно говоря, я не очень понял, что ты предлагаешь выложить.
Какой объём будет? smile


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#9 2009-12-07 21:07:56

vvoovv
Moderator
Registered: 2008-03-04
Posts: 2,256

Re: Карта всего мира с низкой детализацией

OverQuantum, там фильтр применяется ко всей базе. Отдельных баз для каждого зума нет.

Offline

#10 2009-12-08 11:09:07

юпитер
Member
From: Perm
Registered: 2009-11-11
Posts: 127
Website

Re: Карта всего мира с низкой детализацией

офф конечно, но неужели карта мира под руссу так нужна? Даже карты России, да чего там даже крупныхчастей России(Урал, Сибирь, Дальний Восток) нет из осмовских данных...

Offline

#11 2009-12-08 20:20:42

woidrick
Member
Registered: 2009-10-03
Posts: 27

Re: Карта всего мира с низкой детализацией

OverQuantum wrote:

Честно говоря, я не очень понял, что ты предлагаешь выложить.
Какой объём будет? smile

Простите, вчера было не до форума.

Я предлагаю не совсем то что вам нужно...
Планета большая, а кто то подсказал вам про континенты, евразию я сам искал но не нашёл, поэтому стал вырезать её сам из планеты. Для вырезания используется ява программа осмозиз и файл с данными о границах евразии - поли. этот файл - маленький, а результат вырезания - евразия 3.5 гига в архиве (в районе 60 гиг разархивированной информации). если не сможете наладить процесс вырезания могу дать уже вырезанный.

а из планеты или её обрезка, можно отфильтровать ненужные данные используя любой извстный вам язык прграммирования.

А из того что вам нужно...
Возникла мысль - есть клиент распределённого рисования растровых карт по данным осм - тилес эт номе, можно его модифицировать, или на ходу у него выдёргивать промежуточные результаты преобразований в векторе для соответсвующего приближения  (свг файлы) (правда мельче чем 12 зум оно не рисует, а это примерно 15х15 км)

Offline

#12 2009-12-09 21:30:13

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

woidrick wrote:

а из планеты или её обрезка, можно отфильтровать ненужные данные используя любой извстный вам язык прграммирования.

Ясно. Спасибо, пока не нужно.

woidrick wrote:

Возникла мысль - есть клиент распределённого рисования растровых карт по данным осм - тилес эт номе, можно его модифицировать, или на ходу у него выдёргивать промежуточные результаты преобразований в векторе для соответсвующего приближения  (свг файлы) (правда мельче чем 12 зум оно не рисует, а это примерно 15х15 км)

Идея хорошая.
12й зум это крутовато, там все дома видно, скорее всего клиентам передаётся весь квадрат 15х15 км без фильтра.
Однако мне пока не очень понятно, что про Tiles@home написано про меньшие зумы.
"A set of captionless tiles is generated using a tile-stitching method on the server. The captionless zoom 12 tiles are used as a base for this step."
На 12м зуме явно виден лес, которого нет уже на 11м зуме.
Мне бы надо данные, которые видно на 8-9й зуме.
Попробую порыскать ещё в этом направлении...


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#13 2009-12-11 20:14:59

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Карта всего мира с низкой детализацией

юпитер wrote:

офф конечно, но неужели карта мира под руссу так нужна? Даже карты России, да чего там даже крупныхчастей России(Урал, Сибирь, Дальний Восток) нет из осмовских данных...

Их нет по той же самой причине - что нет простого способа сделать облегченный Osm-xml России/региона.  А обзорную карту России  в .rus у меня просят очень часто.


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#14 2009-12-12 12:02:48

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,300

Re: Карта всего мира с низкой детализацией

а давайте составим списочек нужных тегов и по ним выпрем частями через апи? Вот, глядя на пример, пробегавший на форуме вчера, вот так сейчас вытащил все дороги с тегом highway=motorway ссылкой http://osmxapi.hypercube.telascience.or … otorway%5d
%5B и %5D это квадратные скобки, что бы по линку кликалось, а более наглядно он выглядит вот: http://osmxapi.hypercube.telascience.org/api/0.6/node[highway=motorway]
И потом эти выпертые части просто слепить в один файл, конкатенацией. что называется. Ммм?
Могу я, или кто хочет. Вопрос в списке, чего мы хотим видеть в том файле.
Моторвеи вообще всего 160 килобайт получились и слились быстро. Другое дело, что АПИ по умлочанию даёт всегда одно имя файла -- data.osm, но это поправимо перемиенованием частей в нужное имя, что бы не запутаться.
Причем эти файлы можно выкладывать частями, что бы каждый любой потом "сверстал" из частей нужное только себе.
Вот, как пример выкладываю
http://coolkaas.narod.ru/osm/world/highway_motorway.osm [160 kb]

ps. Я не то вытащил! Вытащил точки (node), а не линии (way) сейчас вытащим линии моторвеев, посмотрим, сколько весить будут. (тащу по _http://osmxapi.hypercube.telascience.org/api/0.6/way[highway=motorway] уже 22 метра вытащилось).

pps. их еще сортировать придётся -- там все версии каждой дороги лежат(( Лёшин скрипт это сделает?
Что нам еще нужно? моторвеи, транки, границы стран, столицы -- всё? как это всё собрать и получится world.osm ))

Last edited by coolkaas (2009-12-12 13:26:28)

Offline

#15 2009-12-12 13:21:09

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Карта всего мира с низкой детализацией

1.

Моторвеи вообще всего 160 килобайт получились и слились быстро.

Похоже это не моторвеи, а ноды (узлы), с тегом моторвей. Запустил  osmxapi.hypercube.telascience.org/api/0.6/way[highway=motorway], пока 17 мег скачалось, и конца-края не видно.
2. Список тегов можно будет определить только опытным путем. Мне пока хотелось бы видеть дороги (highway), населенные пункты - (place), возможно реки и границы. Причем дороги не все, а не младше tertiatry (trunk, motorway, primary,secondary, tertiary)


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#16 2009-12-12 13:30:28

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,300

Re: Карта всего мира с низкой детализацией

Мы вместе качаем, почитай мои pps smile
Боюсь, что даже с Праймари, файл будет необъятен. Не говоря уж про низшие.
Впрочем, никто не велит слеплять это всё в кучу. А как я и говорил, собирать только нужные компоненты в один файл -- буде таковые компоненты будут _отдельно_ доступны для скачивания.
И водные пространства, да, про них-то я и забыл. Только костлайны качать, например.
Place -- спорно, это по деревни включительно ВСЁ выкачается.

Zkir, но мысль вроде неплохая, да? в принципе.

ps. Или давай уж ты качай, как более разбирающийся в этом деле. Потом и выкладывать можно будет этими выкачанными частями в онлайн куда-нибудь. Только там все версии каждой дороги качаются, напоминаю.

Last edited by coolkaas (2009-12-12 13:32:17)

Offline

#17 2009-12-12 13:56:28

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

Раз уж началось обсуждение тэгов smile
Я начал выкачивать через XAPI, взяв за основу poi.cfg и poly.cfg из osm2mp, пока скачал такое:

            Размер Файл                      Запрос к XAPI
            51 212 admin_level_0.osm         /way[admin_level=0]
            27 372 admin_level_1.osm         /way[admin_level=1]
       179 556 878 admin_level_2.osm         /way[admin_level=2]
           655 108 admin_level_3.osm         /way[admin_level=3]
       329 179 123 admin_level_4.osm         /way[admin_level=4]
        15 431 068 admin_level_5.osm         /way[admin_level=5]
       720 217 878 highway_motorway.osm      /way[highway=motorway]
     1 757 668 786 highway_primary.osm       /way[highway=primary]
       663 588 318 highway_trunk.osm         /way[highway=trunk]
           321 981 place_airport.osm         /node[place=airport]
         2 925 024 place_city.osm            /node[place=city]
             4 172 place_continent.osm       /node[place=continent]
           805 415 place_country.osm         /node[place=country]
        11 467 681 place_island.osm          /node[place=island]
        20 803 850 place_locality.osm        /node[place=locality]
           579 852 place_region.osm          /node[place=region]
        21 369 562 place_town.osm            /node[place=town]
     1 529 770 330 waterway_river.osm        /way[waterway=river]
     1 559 888 316 waterway_riverbank.osm    /way[waterway=riverbank]

waterway и highway=primary скорее всего выкину, слишком здоровые, остальное постараюсь утрамбовать в карту руссы.
Может быть ещё natural=water возьму...
Но надо сделать береговую линию. Я скачал shoreline_300.tar.bz2, processed_p.tar.bz2, world_boundaries-spherical.tgz (они для рендеринга тайлов), но пока не разобрался, как из .shp затащить данные в GPSMapEdit, OpenJump поставил, но в нём какие-то странные координаты...

Last edited by OverQuantum (2009-12-12 13:57:45)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#18 2009-12-12 14:06:56

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Карта всего мира с низкой детализацией

coolkaas wrote:

Или давай уж ты качай, как более разбирающийся в этом деле. Потом и выкладывать можно будет этими выкачанными частями в онлайн куда-нибудь. Только там все версии каждой дороги качаются, напоминаю.

Ну не знаю, в чем я более разбирающийся smile OverQuantum уже все выкачал - видно что там сколько стоит... э... весит. Весит не мало.

У меня два вопроса:
1. Чем выкачанные по частям osm-файлы сцеплять?
2. Если там все версии элементов, то чем выцепить только последнюю?

Моторвеи по России весят всего 2 Мб

Last edited by Zkir (2009-12-12 14:07:56)


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#19 2009-12-12 14:15:09

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

Zkir wrote:

1. Чем выкачанные по частям osm-файлы сцеплять?

Я планировал их по отдельности сконвертить в .mp, а потом уже сцеплять.

Zkir wrote:

2. Если там все версии элементов, то чем выцепить только последнюю?

Там только последние версии.

Zkir wrote:

Моторвеи по России весят всего 2 Мб

Вот от сюда http://stat.latlon.org/ru/latest/tags-h.html я взял статистику по тэгу highway в России:
highway - всего 254692
primary (14625),
secondary (24306),
tertiary (22398),
trunk (4982),
motorway (932),
unclassified (13720),
service (42075),
living_street (6335),
footway (12640),
bus_stop (6234),

motorway у нас не любят, походу... smile


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#20 2009-12-12 14:15:52

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,691
Website

Re: Карта всего мира с низкой детализацией

motorway у нас очень-очень любят, просто их в стране очень мало...

Offline

#21 2009-12-12 19:27:31

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,300

Re: Карта всего мира с низкой детализацией

Zkir wrote:

Ну не знаю, в чем я более разбирающийся smile OverQuantum уже все выкачал - видно что там сколько стоит... э... весит. Весит не мало.

Уже посмотрел, ага, не мало весит. ОверКвантум молодец, что откликнулся.
Но это "немало" во-первых жмётся хорошо, по крайней мере для перекачивания, текст же.
По вопросам

Zkir wrote:

У меня два вопроса:
1. Чем выкачанные по частям osm-файлы сцеплять?
2. Если там все версии элементов, то чем выцепить только последнюю?

видится так: если винда, то берём не мудрствуя тотал или фар, выделяем файлы и F5 (копировать), назначаем копировать в одно имя файла, выбрав функцию Append (Добавить, в тотале это Дописать) на каждый файл. И всё это слепляется просто подряд. И всё, результирующий файл world.osm готов. Конечно там будут лишние теги. но их можно поудалять руками, например начальная строка "<?xml version='1.0' encoding='UTF-8'?>" должна быть одна в начале, и тег <osm version='0.6' generator='JOSM'> должен один раз открыться в начале и закрыться </osm> в конце. Подредактировать немного файл.. (на несколько гигов..))) Проверил, JOSM такой файл вполне жрёт.
А можно сначала покоцать "лишние" начала-концы в файлах ДО слепления, тогда результирующий уже не надо будет править.

Кстати вопрос -- у как мы будем этот файл применять? конвертить в польский?

А вот избавится от нескольких версий одних и тех же дорог нам поможет фильтр из комплекта Лёши. Пусть Лёша меня поправит, но мне казалось, фильтр именно это и фильтрует.

Может быть проще "свёрстывать" файлы с тегами будет уже в польском. Я просто решительно не знаю его формат подробно. *.osm проще в этом плане -- голый xml -- открыл тег, закрыл тег. Следи за балансом "скобок" и слепляй, что хочешь.
Отцы молчат, может кто более простые варианты посоветовал, но мне вот так "наколенно" мыслится, вот как выше написал.

Offline

#22 2009-12-12 20:01:01

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

Упомянутый мною выше highway_primary.osm на 1.7 ГБ оказался неполный, там в конце обнаружилась волшебная строка
<error>Query limit of 10000000 elements reached</error>
Причём даже список нодов не закончился.
Запросы к XAPI вида /way[natural=wetland] и /way[natural=water] не выполнились до конца - скачалось около 1.1 ГБ и оборвалось. И в обоих файлах тоже список нодов ещё не закончился. Их я тоже пока исключаю.
Скачал ещё вот такое:

        49 499 007 node_natural_peak.osm        /node[natural=peak]
           627 850 node_natural_volcano.osm     /node[natural=volcano]
         1 062 535 node_natural_water.osm       /node[natural=water]
           101 599 node_natural_wetland.osm     /node[natural=wetland]

Last edited by OverQuantum (2009-12-12 20:01:51)


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#23 2009-12-12 20:37:48

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Карта всего мира с низкой детализацией

Кстати вопрос -- у как мы будем этот файл применять? конвертить в польский?

Странный вопрос - конечно сделаем карту для (Гис Руссы, Гармина, Навителя, Покетгиса), нужное подчекнуть.

Как то у меня все очень медленно, я пока не могу выкачать  с xapi то что мне хотелось бы (Даже в пределах России), когда  OverQuantum выкачивает гигабайты, я не очень понимаю )

объеденить mp-файлы в gme не проблема, другое дело что это может быть не совсем правильно - во всяком случае дороги должны быть в одном файле, иначе маршрутизация не будет работать.

Чуть-чуть поэксперементировал, Гис Русса как-то не очень переваривает маршрутизацию по России целиком, крешится. Интересно что получится у OverQuantum'а


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#24 2009-12-12 21:16:26

OverQuantum
Member
From: Zelenograd
Registered: 2009-06-17
Posts: 1,580
Website

Re: Карта всего мира с низкой детализацией

Zkir wrote:

Как то у меня все очень медленно, я пока не могу выкачать  с xapi то что мне хотелось бы (Даже в пределах России), когда  OverQuantum выкачивает гигабайты, я не очень понимаю )

Судя по FlashGet-у, мои запросы к
http://www.informationfreeway.org/api/0.6/
перебрасываются на
http://osmxapi.hypercube.telascience.org/api/0.6/
а оттуда идёт поток 30-60 килобайт в секунду. Гигабайт часов за 6 выкачивается. 3 разных запроса неплохо качаются одновременно, друг другу не мешают.


Это же OpenStreetMap. Он больше внутри, чем снаружи.

Offline

#25 2009-12-13 09:02:35

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,092

Re: Карта всего мира с низкой детализацией

Сделал нечто, что с некоторой натяжкой можно назвать обзорной картой России.

Карта включает:
1. Береговую линию
2. Столбовые дороги (trunk и motorway)
3. населенные пункты, вплоть до деревни

russia.osm.overview.zip - в архиве .mp и .rus

Сразу вскрылось несколько проблем

1. Сеть транков у нас какая-то странная, имеет разрывы и независимые островки (ну ладно, это не проблема конверсии)
2. ГМЕ (и русса) не отрисовывает фрагменты линий, которые на данном масштабе получают длинну меньше пикселя. В результате береговая линия (и, как ни странно, МКАД) выглядит ужасно (совершенно дырявой). Может кто что посоветует?

Last edited by Zkir (2009-12-13 09:07:20)


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

Board footer

Powered by FluxBB