OpenStreetMap Forum

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Уменьшается место

Добрый день

Товарищи, столкнулся с такой проблемой:
На разделе /var стало уменьшаться место. База Nominatim не обновляется. Лог СУБД вынесен на другой раздел. Фаерволом разрешено правило только http. Если остановить Apache то место перестает уменьшаться. Я в полном замешательстве.
Может кто сталкивался с такой проблемой?

Nominatim установлен в директорию /home/user..
Сайт находится в /var/www

Max Vasilev

Member

Registered: 2009-06-16

Posts: 1,026

Website

Re: Уменьшается место

Если остановить Apache то место перестает уменьшаться.

А это не натолкнуло вас на мысль, что это могут быть логи веб сервера apache?

---

Универсальная/навигационная/туристическая карта Garmin - весь exUSSR
Универсальный навигационная онлайн-карта - весь exUSSR

pfg21

Member

From: Чебоксары

Registered: 2012-10-18

Posts: 4,284

Re: Уменьшается место

такое должно наталкивать на ествеенную мысль "sudo du -h -d 2 /var > /dev/мозг" и т.д.

Last edited by pfg21 (2016-06-06 08:43:56)

---

копия ФГИС Чувашия

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Конечно это былог первое, что смотрелось.
Но логи Апача занимают ну 30 МБ от силы

Self-Perfection

Member

Registered: 2013-10-12

Posts: 117

Re: Уменьшается место

такое должно наталкивать на ествеенную мысль "sudo du -h -d 2 /var > /dev/мозг" и т.д.

sudo ncdu /var

куда удобнее

Ну и важно сравнить занятое место с точки зрения файловой системы:

df /var

С занятым местом, рассчитанным сложением размеров всех видимых файлов (du или ncdu). Если числа получаются примерно одинаковые, то всё просто, в ncdu вы наглядно видите, что занимает место (hint: смотреть сводку по поддиректориям можно без пересканирования, см. справку ncdu). Если же результаты сильно отличаются, то возможно 2 варианта...

Zverik

Moderator

From: Tallinn

Registered: 2010-10-14

Posts: 5,699

Website

Re: Уменьшается место

Круто, спасибо за ncdu.

---

ШТОСМ | josm.ru | обо мне | удалёнка зло

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Добрый день.

Благодарю за советы. ncdu действительно классная штука. За это время удалось выяснить, что растет именно БД nominatim. Медлено, но уверенно, как говорится. Чесно говоря вот это стало неожиданностью полной. Фаерволом открыт порт http. Если кто сталкивался, можете просвятить - может расти БД, если обращения идут только по http порту? Или такое вообще невозможно? и да, обновлений БД нет.

Всех благодарю за помощь

Self-Perfection

Member

Registered: 2013-10-12

Posts: 117

Re: Уменьшается место

Если вы что-то наблюдаете, значит это возможно. Нужно только отделять фактически наблюдаемое от интерпретаций

Как насчёт https://wiki.postgresql.org/wiki/Disk_Usage ?

ЗЫ: post №100 - get!

Last edited by Self-Perfection (2016-06-13 12:45:52)

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Выполнил запросы для БД nominatim.
Вот результаты:
https://yadi.sk/d/mCvvWQDesTdCY

Я в этом деле не очень разбираюсь, поэтому если объясните - буду признателен.

Self-Perfection

Member

Registered: 2013-10-12

Posts: 117

Re: Уменьшается место

Так я тоже не разбираюсь, я советую из общих соображений и стандартных приёмов диагностики

Напрашивается идея эксперимента подождать некоторое время, чтобы ещё место "утекло", выполнить запросы снова, и посмотреть, что изменилось. Станет видно, что растёт. Только имеет смысл делать запросы не приводя к человекочитаемым GB, в масштабе которых разница ~100MB не будет заметна. Без pg_size_pretty то есть.

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Ок, благодарю

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Сделал следующее:
Выполнил первый скрипт из документации  https://wiki.postgresql.org/wiki/Disk_Usage
Результат записал в файл.
Через день выполнил еще раз запрос и результат снова записал в файл.
После это сравнил 2 файла на отличия - результатом сравнения получилось различие в строке new_query_log - объем почти 4 ГБ и  разница в 50 МБ между первым и последним файлом
Кто знает можно ли данный лог очистить или нет, или может уменьшить его?

Благодарю за помощь

freeExec

Moderator

From: Ульяновск,Модератор всех слоёв

Registered: 2012-07-31

Posts: 8,547

Re: Уменьшается место

Да грохай, обычный же лог пользовательских запросов. Наверняка вообще можно отключить.

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Если можно, уточните как? и где??? То, что находил по ссылкам в инете толком не давало ответ.

Спасибо

freeExec

Moderator

From: Ульяновск,Модератор всех слоёв

Registered: 2012-07-31

Posts: 8,547

Re: Уменьшается место

Не знаю как вы искали, заходим на гитхаб, ищем эту таблицу. Первая же ссылка в репе указывает на log.php
Смотрим код и видим

if (CONST_Log_DB)
{
    ...
    $oDB->query($sSQL);			
}

Дальше ищем этот ключ и попадаем в settings.php где чёрным по английски написано, что нужно делать

// Log settings
// Set to true to log into new_query_log table.
// You should set up a cron job that regularly clears out this table.
@define('CONST_Log_DB', false);
// Set to a file name to enable logging to a file.
@define('CONST_Log_File', false);

MaximKulikov

Member

Registered: 2015-08-26

Posts: 11

Re: Уменьшается место

Благодарю за подробное разъяснение

Если не сложно, можете разъяснить как проводить чистку таблицы через cron. К сожалению, мой опыт не такой большой с данной СУБД  и nominatim вообще.

Еще раз благодарю