OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2010-09-17 05:32:32

AndyOld
Member
Registered: 2010-07-14
Posts: 178

Проблема с выгрузкой РФ на FAT32

Файл OSM Российской федерации с GIS-LAB в распакованном виде на данный момент равен 3.8 Gb,
не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?


"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.

Offline

#2 2010-09-17 05:39:36

Ivan Komarov
Member
Registered: 2008-10-02
Posts: 1,050

Re: Проблема с выгрузкой РФ на FAT32

AndyOld wrote:

Файл OSM Российской федерации с GIS-LAB в распакованном виде на данный момент равен 3.8 Gb,
не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?

Гарантировано возникнет. Один. Ну или с пингвиньим семейством дружбу заводить.

Last edited by Ivan Komarov (2010-09-17 05:41:54)

Offline

#3 2010-09-17 12:11:08

gps-Max
Member
Registered: 2010-01-12
Posts: 736

Re: Проблема с выгрузкой РФ на FAT32

AndyOld wrote:

Не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?

Само собой, FAT32 не поддерживает файлы больше 4 гигов. А чем вам NTFS не нравится?

Проблемы при переходе могут возникнуть разве что если у вас вообще всё на одном логическом разделе. Тогда да, могут быть нюансы. А если нет - не мучайтесь, и совершенно спокойно примените к одному из несистемных разделов встроенную в винду утилитку convert.

Offline

#4 2010-09-17 12:11:40

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,321
Website

Re: Проблема с выгрузкой РФ на FAT32

AndyOld, а зачем нужно его распаковывать? Все тулзы же вроде бы отлично жуют и запакованный...


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#5 2010-09-17 12:13:26

gps-Max
Member
Registered: 2010-01-12
Posts: 736

Re: Проблема с выгрузкой РФ на FAT32

Примерное описание вопроса. Заметьте, на совершенно неайтишном ресурсе - там всё просто. Данные перед конвертированием только забэкапьте, на всякий случай.

Offline

#6 2010-09-17 12:17:14

gps-Max
Member
Registered: 2010-01-12
Posts: 736

Re: Проблема с выгрузкой РФ на FAT32

Komяpa wrote:

AndyOld, а зачем нужно его распаковывать? Все тулзы же вроде бы отлично жуют и запакованный...

Все - это кто?
Вот, например, если мой самописный скрипт, тупо парсящий osm как текстовый файлик, наткнется на архив, он будет в недоумении. Разумеется, промышленным подходом там и не пахло, но вполне существуют подобные утилитки. Плюс редакторы, опять же.

Offline

#7 2010-09-17 12:41:54

Komяpa
Member
From: Minsk
Registered: 2009-04-14
Posts: 1,321
Website

Re: Проблема с выгрузкой РФ на FAT32

Merkaartor и JOSM отлично понимают .osm.bz2
Для питонов есть import bz2 и дальше оперировать над ним как над обычным файлом.
Для перла что-то аналогичное своё.
Для поточных обработчиков - bzcat dump.osm.bz2 | blahblah...
Зачем нужно хранить дамп в распакованном виде?


world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]

Offline

#8 2010-09-17 12:43:43

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Проблема с выгрузкой РФ на FAT32

Komяpa, для обработки с прямыми seek-ами, например

Offline

#9 2010-09-17 13:22:07

gps-Max
Member
Registered: 2010-01-12
Posts: 736

Re: Проблема с выгрузкой РФ на FAT32

Komяpa wrote:

Merkaartor и JOSM отлично понимают .osm.bz2
Для питонов есть import bz2 и дальше оперировать над ним как над обычным файлом.
Для перла что-то аналогичное своё.
Для поточных обработчиков - bzcat dump.osm.bz2 | blahblah...
Зачем нужно хранить дамп в распакованном виде?

Ну теоретически, да, можно распаковывать в потоке. Однако это лишние затраты процессорного времени и усложнение конструкции. Я всё-таки выберу затратить место на диске, чем затратить время на обработку. Настаивать, что это единственно верный выбор, разумеется, не буду :-)

Offline

#10 2010-09-17 13:45:38

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: Проблема с выгрузкой РФ на FAT32

Распаковка обычно быстрее, чем чтение распакованного с диска. Но, правда, не в случае bzip2.

Offline

#11 2010-09-20 05:05:31

AndyOld
Member
Registered: 2010-07-14
Posts: 178

Re: Проблема с выгрузкой РФ на FAT32

Вопрос решился установкой NTFS.
Распакованный дамп мне нужен, я с него нарезаю квадраты osmosis`ом, по координатам листа генштаба,
для пеших изысканий. Т.к. чем меньше карта, тем быстрее обновление местоположения, опять же к ГШ номенклатуре
я давно привык.


"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.

Offline

#12 2010-09-20 10:54:03

gps-Max
Member
Registered: 2010-01-12
Posts: 736

Re: Проблема с выгрузкой РФ на FAT32

Котяра выше упоминал, что osmosis вполне себе понимает сжатые выгрузки, и если дело было в одном только этом, можно было обойти. Но NTFS в любом случае полезно :-)

Offline

#13 2010-09-20 11:24:42

AndyOld
Member
Registered: 2010-07-14
Posts: 178

Re: Проблема с выгрузкой РФ на FAT32

gps-Max
Я, честно говоря, не пробовал osmosis на архив натравить.
Сейчас проверю.


"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.

Offline

#14 2010-09-20 11:46:12

zverik
Member
From: Saint-Petersburg
Registered: 2009-07-31
Posts: 771

Re: Проблема с выгрузкой РФ на FAT32

Offline

#15 2010-09-20 12:08:04

AndyOld
Member
Registered: 2010-07-14
Posts: 178

Re: Проблема с выгрузкой РФ на FAT32

zverik
Спасибо, но там bounding-box, я же предпочитаю poly файлы, т.к. хочу иметь полное совпадение с ГШ.
Да и CONIN$ я даже на вскидку не знаю как использовать.
Сирые мы пока в этом деле.


"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.

Offline

#16 2010-09-20 12:43:17

AndyOld
Member
Registered: 2010-07-14
Posts: 178

Re: Проблема с выгрузкой РФ на FAT32

Натравил таки osmosis на rus.osm.bz2, да, действительно работает,
но бабушка надвое сказала.

Время извлечения листа карты из архива bz2:

Start: 20.09.2010 14:29:38.31  
End: 20.09.2010 15:15:36.99  

Время извлечения того же листа карты из распакованного файла:

Start: 20.09.2010 15:18:06.52  
End: 20.09.2010 15:30:26.13  

Учитывая что таких операций на квадрате 144, имеем примерно 36 часов свободного времени.

Интересно было бы попробывать выриант предложенный zverik, но как переписать под себя это уравнение я не знаю. sad


"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.

Offline

#17 2010-09-20 12:45:12

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,691
Website

Re: Проблема с выгрузкой РФ на FAT32

AndyOld
просто пишешь так же, как там указано, только вместо file=- или file=/dev/stdin пишешь file=CONIN$

Offline

#18 2010-09-20 12:53:51

KekcuHa
Member
From: Moscow
Registered: 2008-05-26
Posts: 607
Website

Re: Проблема с выгрузкой РФ на FAT32

Я под windows выкручивался с архивами так:

7z e -so "C:\planet-100217.osm.bz2"|osmosis034 --rx file=-  и далее по тексту

Offline

#19 2010-09-20 12:56:28

gps-Max
Member
Registered: 2010-01-12
Posts: 736

Re: Проблема с выгрузкой РФ на FAT32

AndyOld wrote:

Время извлечения листа карты из архива bz2:

Start: 20.09.2010 14:29:38.31  
End: 20.09.2010 15:15:36.99  

Время извлечения того же листа карты из распакованного файла:

Start: 20.09.2010 15:18:06.52  
End: 20.09.2010 15:30:26.13  

Во, спасибо. А то у меня до замеривания времени руки так и не дошли - на глаз видно, что распакованный быстрее крутится, но точные цифры так и не получал.

Offline

#20 2010-09-20 13:06:04

AndyOld
Member
Registered: 2010-07-14
Posts: 178

Re: Проблема с выгрузкой РФ на FAT32

Alexandr Zeinalov
Пробую, но вот bzip2 однако еще нужен.
Пытаюсь найти и скачать.


"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.

Offline

Board footer

Powered by FluxBB