Проблема с выгрузкой РФ на FAT32

AndyOld · 2010-09-17 05:32:32

Файл OSM Российской федерации с GIS-LAB в распакованном виде на данный момент равен 3.8 Gb,
не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?

Ivan Komarov · 2010-09-17 05:39:36

AndyOld wrote:

Файл OSM Российской федерации с GIS-LAB в распакованном виде на данный момент равен 3.8 Gb,
не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?

Гарантировано возникнет. Один. Ну или с пингвиньим семейством дружбу заводить.

Last edited by Ivan Komarov (2010-09-17 05:41:54)

gps-Max · 2010-09-17 12:11:08

AndyOld wrote:

Не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?

Само собой, FAT32 не поддерживает файлы больше 4 гигов. А чем вам NTFS не нравится?

Проблемы при переходе могут возникнуть разве что если у вас вообще всё на одном логическом разделе. Тогда да, могут быть нюансы. А если нет - не мучайтесь, и совершенно спокойно примените к одному из несистемных разделов встроенную в винду утилитку convert.

Komяpa · 2010-09-17 12:11:40

AndyOld, а зачем нужно его распаковывать? Все тулзы же вроде бы отлично жуют и запакованный...

gps-Max · 2010-09-17 12:13:26

Примерное описание вопроса. Заметьте, на совершенно неайтишном ресурсе - там всё просто. Данные перед конвертированием только забэкапьте, на всякий случай.

gps-Max · 2010-09-17 12:17:14

Komяpa wrote:

AndyOld, а зачем нужно его распаковывать? Все тулзы же вроде бы отлично жуют и запакованный...

Все - это кто?
Вот, например, если мой самописный скрипт, тупо парсящий osm как текстовый файлик, наткнется на архив, он будет в недоумении. Разумеется, промышленным подходом там и не пахло, но вполне существуют подобные утилитки. Плюс редакторы, опять же.

Komяpa · 2010-09-17 12:41:54

Merkaartor и JOSM отлично понимают .osm.bz2
Для питонов есть import bz2 и дальше оперировать над ним как над обычным файлом.
Для перла что-то аналогичное своё.
Для поточных обработчиков - bzcat dump.osm.bz2 | blahblah...
Зачем нужно хранить дамп в распакованном виде?

liosha · 2010-09-17 12:43:43

Komяpa, для обработки с прямыми seek-ами, например

gps-Max · 2010-09-17 13:22:07

Komяpa wrote:

Merkaartor и JOSM отлично понимают .osm.bz2
Для питонов есть import bz2 и дальше оперировать над ним как над обычным файлом.
Для перла что-то аналогичное своё.
Для поточных обработчиков - bzcat dump.osm.bz2 | blahblah...
Зачем нужно хранить дамп в распакованном виде?

Ну теоретически, да, можно распаковывать в потоке. Однако это лишние затраты процессорного времени и усложнение конструкции. Я всё-таки выберу затратить место на диске, чем затратить время на обработку. Настаивать, что это единственно верный выбор, разумеется, не буду :-)

AMDmi3 · 2010-09-17 13:45:38

Распаковка обычно быстрее, чем чтение распакованного с диска. Но, правда, не в случае bzip2.

AndyOld · 2010-09-20 05:05:31

Вопрос решился установкой NTFS.
Распакованный дамп мне нужен, я с него нарезаю квадраты osmosis`ом, по координатам листа генштаба,
для пеших изысканий. Т.к. чем меньше карта, тем быстрее обновление местоположения, опять же к ГШ номенклатуре
я давно привык.

gps-Max · 2010-09-20 10:54:03

Котяра выше упоминал, что osmosis вполне себе понимает сжатые выгрузки, и если дело было в одном только этом, можно было обойти. Но NTFS в любом случае полезно :-)

AndyOld · 2010-09-20 11:24:42

gps-Max
Я, честно говоря, не пробовал osmosis на архив натравить.
Сейчас проверю.

zverik · 2010-09-20 11:46:12

AndyOld: http://wiki.openstreetmap.org/wiki/Osmo … dows_trick

AndyOld · 2010-09-20 12:08:04

zverik
Спасибо, но там bounding-box, я же предпочитаю poly файлы, т.к. хочу иметь полное совпадение с ГШ.
Да и CONIN$ я даже на вскидку не знаю как использовать.
Сирые мы пока в этом деле.

AndyOld · 2010-09-20 12:43:17

Натравил таки osmosis на rus.osm.bz2, да, действительно работает,
но бабушка надвое сказала.

Время извлечения листа карты из архива bz2:

Start: 20.09.2010 14:29:38.31  
End: 20.09.2010 15:15:36.99

Время извлечения того же листа карты из распакованного файла:

Start: 20.09.2010 15:18:06.52  
End: 20.09.2010 15:30:26.13

Учитывая что таких операций на квадрате 144, имеем примерно 36 часов свободного времени.

Интересно было бы попробывать выриант предложенный zverik, но как переписать под себя это уравнение я не знаю.

Alexandr Zeinalov · 2010-09-20 12:45:12

AndyOld
просто пишешь так же, как там указано, только вместо file=- или file=/dev/stdin пишешь file=CONIN$

KekcuHa · 2010-09-20 12:53:51

Я под windows выкручивался с архивами так:

7z e -so "C:\planet-100217.osm.bz2"|osmosis034 --rx file=- и далее по тексту

gps-Max · 2010-09-20 12:56:28

AndyOld wrote:

Время извлечения листа карты из архива bz2:
Start: 20.09.2010 14:29:38.31  
End: 20.09.2010 15:15:36.99  
Время извлечения того же листа карты из распакованного файла:
Start: 20.09.2010 15:18:06.52  
End: 20.09.2010 15:30:26.13  

Во, спасибо. А то у меня до замеривания времени руки так и не дошли - на глаз видно, что распакованный быстрее крутится, но точные цифры так и не получал.

AndyOld · 2010-09-20 13:06:04

Alexandr Zeinalov
Пробую, но вот bzip2 однако еще нужен.
Пытаюсь найти и скачать.

Announcement

#1 2010-09-17 05:32:32

Проблема с выгрузкой РФ на FAT32

#2 2010-09-17 05:39:36

Re: Проблема с выгрузкой РФ на FAT32

#3 2010-09-17 12:11:08

Re: Проблема с выгрузкой РФ на FAT32

#4 2010-09-17 12:11:40

Re: Проблема с выгрузкой РФ на FAT32

#5 2010-09-17 12:13:26

Re: Проблема с выгрузкой РФ на FAT32

#6 2010-09-17 12:17:14

Re: Проблема с выгрузкой РФ на FAT32

#7 2010-09-17 12:41:54

Re: Проблема с выгрузкой РФ на FAT32

#8 2010-09-17 12:43:43

Re: Проблема с выгрузкой РФ на FAT32

#9 2010-09-17 13:22:07

Re: Проблема с выгрузкой РФ на FAT32

#10 2010-09-17 13:45:38

Re: Проблема с выгрузкой РФ на FAT32

#11 2010-09-20 05:05:31

Re: Проблема с выгрузкой РФ на FAT32

#12 2010-09-20 10:54:03

Re: Проблема с выгрузкой РФ на FAT32

#13 2010-09-20 11:24:42

Re: Проблема с выгрузкой РФ на FAT32

#14 2010-09-20 11:46:12

Re: Проблема с выгрузкой РФ на FAT32

#15 2010-09-20 12:08:04

Re: Проблема с выгрузкой РФ на FAT32

#16 2010-09-20 12:43:17

Re: Проблема с выгрузкой РФ на FAT32

#17 2010-09-20 12:45:12

Re: Проблема с выгрузкой РФ на FAT32

#18 2010-09-20 12:53:51

Re: Проблема с выгрузкой РФ на FAT32

#19 2010-09-20 12:56:28

Re: Проблема с выгрузкой РФ на FAT32

#20 2010-09-20 13:06:04

Re: Проблема с выгрузкой РФ на FAT32

Board footer