You are not logged in.
- Topics: Active | Unanswered
Announcement
Pages: 1
#1 2010-09-17 05:32:32
- AndyOld
- Member
- Registered: 2010-07-14
- Posts: 182
Проблема с выгрузкой РФ на FAT32
Файл OSM Российской федерации с GIS-LAB в распакованном виде на данный момент равен 3.8 Gb,
не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?
"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.
Offline
#2 2010-09-17 05:39:36
- Ivan Komarov
- Member
- Registered: 2008-10-02
- Posts: 1,050
Re: Проблема с выгрузкой РФ на FAT32
Файл OSM Российской федерации с GIS-LAB в распакованном виде на данный момент равен 3.8 Gb,
не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?
Гарантировано возникнет. Один. Ну или с пингвиньим семейством дружбу заводить.
Last edited by Ivan Komarov (2010-09-17 05:41:54)
Offline
#3 2010-09-17 12:11:08
- gps-Max
- Member
- Registered: 2010-01-12
- Posts: 736
Re: Проблема с выгрузкой РФ на FAT32
Не возникнет ли у пользователей FAT32 проблем с переходом рубежа в 4 Gb?
Или выход один - ставить NTFS?
Само собой, FAT32 не поддерживает файлы больше 4 гигов. А чем вам NTFS не нравится?
Проблемы при переходе могут возникнуть разве что если у вас вообще всё на одном логическом разделе. Тогда да, могут быть нюансы. А если нет - не мучайтесь, и совершенно спокойно примените к одному из несистемных разделов встроенную в винду утилитку convert.
Offline
#4 2010-09-17 12:11:40
- Komяpa
- Member
- From: Minsk
- Registered: 2009-04-14
- Posts: 1,323
- Website
Re: Проблема с выгрузкой РФ на FAT32
AndyOld, а зачем нужно его распаковывать? Все тулзы же вроде бы отлично жуют и запакованный...
world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]
Offline
#5 2010-09-17 12:13:26
- gps-Max
- Member
- Registered: 2010-01-12
- Posts: 736
Re: Проблема с выгрузкой РФ на FAT32
Примерное описание вопроса. Заметьте, на совершенно неайтишном ресурсе - там всё просто. Данные перед конвертированием только забэкапьте, на всякий случай.
Offline
#6 2010-09-17 12:17:14
- gps-Max
- Member
- Registered: 2010-01-12
- Posts: 736
Re: Проблема с выгрузкой РФ на FAT32
AndyOld, а зачем нужно его распаковывать? Все тулзы же вроде бы отлично жуют и запакованный...
Все - это кто?
Вот, например, если мой самописный скрипт, тупо парсящий osm как текстовый файлик, наткнется на архив, он будет в недоумении. Разумеется, промышленным подходом там и не пахло, но вполне существуют подобные утилитки. Плюс редакторы, опять же.
Offline
#7 2010-09-17 12:41:54
- Komяpa
- Member
- From: Minsk
- Registered: 2009-04-14
- Posts: 1,323
- Website
Re: Проблема с выгрузкой РФ на FAT32
Merkaartor и JOSM отлично понимают .osm.bz2
Для питонов есть import bz2 и дальше оперировать над ним как над обычным файлом.
Для перла что-то аналогичное своё.
Для поточных обработчиков - bzcat dump.osm.bz2 | blahblah...
Зачем нужно хранить дамп в распакованном виде?
world processing is what we do.
[OSMF BY Team] [http://komzpa.net/] [jabber: komzpa@gmail.com] [mobile/SMS: +375257407159]
Offline
#8 2010-09-17 12:43:43
- liosha
- Member
- From: Moscow
- Registered: 2008-03-04
- Posts: 8,447
- Website
Re: Проблема с выгрузкой РФ на FAT32
Komяpa, для обработки с прямыми seek-ами, например
Offline
#9 2010-09-17 13:22:07
- gps-Max
- Member
- Registered: 2010-01-12
- Posts: 736
Re: Проблема с выгрузкой РФ на FAT32
Merkaartor и JOSM отлично понимают .osm.bz2
Для питонов есть import bz2 и дальше оперировать над ним как над обычным файлом.
Для перла что-то аналогичное своё.
Для поточных обработчиков - bzcat dump.osm.bz2 | blahblah...
Зачем нужно хранить дамп в распакованном виде?
Ну теоретически, да, можно распаковывать в потоке. Однако это лишние затраты процессорного времени и усложнение конструкции. Я всё-таки выберу затратить место на диске, чем затратить время на обработку. Настаивать, что это единственно верный выбор, разумеется, не буду :-)
Offline
#10 2010-09-17 13:45:38
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: Проблема с выгрузкой РФ на FAT32
Распаковка обычно быстрее, чем чтение распакованного с диска. Но, правда, не в случае bzip2.
Offline
#11 2010-09-20 05:05:31
- AndyOld
- Member
- Registered: 2010-07-14
- Posts: 182
Re: Проблема с выгрузкой РФ на FAT32
Вопрос решился установкой NTFS.
Распакованный дамп мне нужен, я с него нарезаю квадраты osmosis`ом, по координатам листа генштаба,
для пеших изысканий. Т.к. чем меньше карта, тем быстрее обновление местоположения, опять же к ГШ номенклатуре
я давно привык.
"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.
Offline
#12 2010-09-20 10:54:03
- gps-Max
- Member
- Registered: 2010-01-12
- Posts: 736
Re: Проблема с выгрузкой РФ на FAT32
Котяра выше упоминал, что osmosis вполне себе понимает сжатые выгрузки, и если дело было в одном только этом, можно было обойти. Но NTFS в любом случае полезно :-)
Offline
#13 2010-09-20 11:24:42
- AndyOld
- Member
- Registered: 2010-07-14
- Posts: 182
Re: Проблема с выгрузкой РФ на FAT32
gps-Max
Я, честно говоря, не пробовал osmosis на архив натравить.
Сейчас проверю.
"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.
Offline
#14 2010-09-20 11:46:12
- zverik
- Member
- From: Saint-Petersburg
- Registered: 2009-07-31
- Posts: 771
Re: Проблема с выгрузкой РФ на FAT32
Offline
#15 2010-09-20 12:08:04
- AndyOld
- Member
- Registered: 2010-07-14
- Posts: 182
Re: Проблема с выгрузкой РФ на FAT32
zverik
Спасибо, но там bounding-box, я же предпочитаю poly файлы, т.к. хочу иметь полное совпадение с ГШ.
Да и CONIN$ я даже на вскидку не знаю как использовать.
Сирые мы пока в этом деле.
"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.
Offline
#16 2010-09-20 12:43:17
- AndyOld
- Member
- Registered: 2010-07-14
- Posts: 182
Re: Проблема с выгрузкой РФ на FAT32
Натравил таки osmosis на rus.osm.bz2, да, действительно работает,
но бабушка надвое сказала.
Время извлечения листа карты из архива bz2:
Start: 20.09.2010 14:29:38.31
End: 20.09.2010 15:15:36.99
Время извлечения того же листа карты из распакованного файла:
Start: 20.09.2010 15:18:06.52
End: 20.09.2010 15:30:26.13
Учитывая что таких операций на квадрате 144, имеем примерно 36 часов свободного времени.
Интересно было бы попробывать выриант предложенный zverik, но как переписать под себя это уравнение я не знаю.
"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.
Offline
#17 2010-09-20 12:45:12
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: Проблема с выгрузкой РФ на FAT32
AndyOld
просто пишешь так же, как там указано, только вместо file=- или file=/dev/stdin пишешь file=CONIN$
Offline
#18 2010-09-20 12:53:51
- KekcuHa
- Member
- From: Moscow
- Registered: 2008-05-26
- Posts: 607
- Website
Re: Проблема с выгрузкой РФ на FAT32
Я под windows выкручивался с архивами так:
7z e -so "C:\planet-100217.osm.bz2"|osmosis034 --rx file=- и далее по тексту
Offline
#19 2010-09-20 12:56:28
- gps-Max
- Member
- Registered: 2010-01-12
- Posts: 736
Re: Проблема с выгрузкой РФ на FAT32
Время извлечения листа карты из архива bz2:
Start: 20.09.2010 14:29:38.31 End: 20.09.2010 15:15:36.99
Время извлечения того же листа карты из распакованного файла:
Start: 20.09.2010 15:18:06.52 End: 20.09.2010 15:30:26.13
Во, спасибо. А то у меня до замеривания времени руки так и не дошли - на глаз видно, что распакованный быстрее крутится, но точные цифры так и не получал.
Offline
#20 2010-09-20 13:06:04
- AndyOld
- Member
- Registered: 2010-07-14
- Posts: 182
Re: Проблема с выгрузкой РФ на FAT32
Alexandr Zeinalov
Пробую, но вот bzip2 однако еще нужен.
Пытаюсь найти и скачать.
"Я согласился бы жить на земле целую вечность, если бы мне прежде показали уголок, где не всегда есть место подвигам." В.Ерофеев.
Offline
Pages: 1