You are not logged in.

#1 2019-09-12 07:10:26

SkyEX
Member
Registered: 2019-09-12
Posts: 4

Killed при импорте карты планеты в базу с помощью osm2psql

Приветствую!
После месяца закачки карты всей планеты в БД случилось это. Можно ли как то перезапустить те процессы, что идут после импорта карты, чтобы снова не ждать месяц?q1GxXEC.jpg

Offline

#2 2019-09-12 14:44:27

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,844

Re: Killed при импорте карты планеты в базу с помощью osm2psql

В самом osm2psql такого не предусмотрено, но вы всегда можете достать SQL-запросы из исходников.

Offline

#3 2019-09-12 17:02:21

SkyEX
Member
Registered: 2019-09-12
Posts: 4

Re: Killed при импорте карты планеты в базу с помощью osm2psql

А чем может быть вызвано прекращение процесса?

Offline

#4 2019-09-12 17:44:55

gryphon
Member
From: Pskov
Registered: 2010-09-16
Posts: 1,671

Re: Killed при импорте карты планеты в базу с помощью osm2psql

SkyEX wrote:

А чем может быть вызвано прекращение процесса?

гляньте логи, может банально памяти не хватило

Offline

#5 2019-09-14 10:03:27

SkyEX
Member
Registered: 2019-09-12
Posts: 4

Re: Killed при импорте карты планеты в базу с помощью osm2psql

gryphon wrote:

гляньте логи, может банально памяти не хватило

Так и есть. Увеличение раздела подкачки решит эту проблему?

Offline

#6 2019-09-14 11:38:31

gryphon
Member
From: Pskov
Registered: 2010-09-16
Posts: 1,671

Re: Killed при импорте карты планеты в базу с помощью osm2psql

SkyEX wrote:
gryphon wrote:

гляньте логи, может банально памяти не хватило

Так и есть. Увеличение раздела подкачки решит эту проблему?

подкачка, конечно, позволит избежать вылета по нехватке памяти, но работать это будет дико долго
по возможности надо память увеличивать и использовать опции slim/cache для osm2pgsql

ну и, если вам не нужна вся планета, лучше заранее обрезать дамп

Offline

#7 2019-09-14 14:28:08

SkyEX
Member
Registered: 2019-09-12
Posts: 4

Re: Killed при импорте карты планеты в базу с помощью osm2psql

gryphon wrote:

подкачка, конечно, позволит избежать вылета по нехватке памяти, но работать это будет дико долго
по возможности надо память увеличивать и использовать опции slim/cache для osm2pgsql

ну и, если вам не нужна вся планета, лучше заранее обрезать дамп

Нужна вся планета. Я использовал опции slim и cache. Кэш устанавливал 10Гб, но он его быстро заполнил. После этого скорость упала.

Last edited by SkyEX (2019-09-15 07:25:24)

Offline

#8 2019-09-23 15:45:35

usm78-gis
Member
Registered: 2008-04-21
Posts: 2,496

Re: Killed при импорте карты планеты в базу с помощью osm2psql

SkyEX wrote:

Нужна вся планета. Я использовал опции slim и cache.

На нормальной машине импорт полного дампа Европы занимает 8 часов, т.е.
его можно делать хоть каждый день.
Про весь мир сказать ничего не могу, но могу попробовать.

Offline

#9 2019-09-23 22:29:41

amgusha
Member
Registered: 2019-01-26
Posts: 12

Re: Killed при импорте карты планеты в базу с помощью osm2psql

На сегодняшний день импортировать весь мир в postgresql, база которого и slim cache не находятся на быстром ssd - это утопия или мазохизм, в зависимости от ваших предпочтений. Даже если предположить, что в течении пары-тройки месяцев загрузки не случится ни единого сбоя и вы получите заполненную базу, не очень понятно, как вы с ней собираетесь работать. Ведь операции с данными в ней тоже будут занимать очень большое время, особенно в случае изменений данных. Без хорошего ssd к этой задаче лучше вообще не подступаться.

Offline

Board footer

Powered by FluxBB