osm.sbin.ru/stat недоступен несколько дней

siberiano · 2010-09-05 05:54:50

Уже несколько дней подряд папки со свежей статистикой недоступны - выдают 403 Forbidden. Настройте права правильно, пожалуйста.

Alexandr Zeinalov · 2010-09-05 21:39:12

Fixed

siberiano · 2010-10-31 10:47:51

Снова та же проблема.

Alexandr Zeinalov · 2010-10-31 12:09:31

Разрослась Россия, памяти перестало хватать окончательно...

siberiano · 2010-11-26 18:35:43

В статистике нет Тувы, хотя Гис-Лаб её нарезает. Включите, пожалуйста.

AMDmi3 · 2010-11-26 19:30:17

К вас что, вся XML'ка в память засасывается для парсинга что 3GB не хватает? Не надо так делать.

Кстати, нет Ненецкого АО.

Alexandr Zeinalov · 2010-11-26 19:47:37

Добавил следующие регионы:

Камчатский край
Магаданская область
Ненецкий автономный округ
Республика Алтай
Чукотский автономный округ

Завтра они попадут в статистику.

Что касается всей России, то в память кладётся не XML, а изучаемые статистикой объекты.

siberiano · 2010-11-26 19:51:14

отлично! Как раз хотел про Алтай написать. Спасибо!

Alexandr Zeinalov · 2010-12-05 14:58:56

Посчитал Россию от 2010.12.03. На вычисления потребовалось двое суток, так что это разовая акция

Для сравнения:

Статистика от 28 октября:
Средняя скорость отрисовки: 12453.234233 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.042493/2100
Количество узлов: 22362967
Количество линий: 1758444
Количество отношений: 33868
Количество границ / населенных пунктов: 3579/68515
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-10-26T23:36:37Z

Статистика от 3 декабря
Средняя скорость отрисовки: 13315.946963 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.233511/1875
Количество узлов: 24342424
Количество линий: 1941609
Количество отношений: 37526
Количество границ / населенных пунктов: 4150/71882
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-12-02T23:58:41Z

Hind · 2010-12-05 15:48:26

> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z

Што?

Kotelnikov · 2010-12-05 15:50:41

А пофиг, зато прибавили пару миллионов точек. ))

Ilis · 2010-12-05 16:00:48

Средняя скорость отрисовки: 13315.946963 об-в/день

11 значащих цифр! Это сильно.

Alexandr Zeinalov · 2010-12-05 17:55:48

Hind wrote:

> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z
Што?

Последняя правка вечером 26 октября. Дамп России появляется на следующий день, а потом в следующую ночь (уже 28 октября) обсчитывается.

Kachkaev · 2010-12-12 09:20:46

Александр, не могли бы вы немного поменять шаблон страниц и начать подгружать скрипт для таблиц не с сайта Котяры, а со своего?

Сегодня заметил, что статистика грузится очень медленно. Включил в Опере DragonFly, оказалось, что дело из-за файла
http://me.komzpa.net/sorttable.js,
который загружается несколько секунд, а до загрузки вместо содержимого страницы виден только белый экран.

Alexandr Zeinalov · 2010-12-12 09:33:54

Поправлю.

Alexandr Zeinalov · 2010-12-17 12:26:46

Обновил Россию ещё раз, на этот раз на машине с 12 Гб памяти, поэтому вычисление заняло всего час с копейками. За полмесяца в России нарисовали более миллиона точек

AMDmi3 · 2010-12-17 12:35:17

У меня есть машина с 8GB и ~раз в неделю (но иногда чаще) обновляющимся дампом России; может вам там эту страницу генерить? У меня там есть пачка собственных скриптов для статистики и графиков крутятся.

PS. А хотя не, там же наверное postgres нужен со всей историей.

Last edited by AMDmi3 (2010-12-17 12:45:36)

Alexandr Zeinalov · 2010-12-17 13:11:00

Обновление дампа России проблемы не представляет - это лишь вопрос скачивания файла размера ~400 Мб. Больше проблем с самой генерацией - в процессе оно съедает уже почти 7 Гб памяти, и swap процессу не поможет - потому что многие часы (в моём случае при 4 Гб физической памяти было затрачено ~45 часов) будет потрачено на перемещение памяти туда-сюда.

Postgres там не нужен, всё читается из xml.

ErshKUS · 2011-01-04 10:13:06

чё то не обновляется Last update: 2011-01-02T22:56:30Z

Alexandr Zeinalov · 2011-01-04 11:48:32

Это не дата обновления, а дата последней известной правки. Судя по времени, указанный апдейт вероятнее всего сделан из дампа, сделанного в полночь 3 января.

ErshKUS · 2011-01-04 14:22:31

я 1,2,3,4 января вносил изменения, причем эта дата (Last update: 2011-01-02T22:56:30Z) самая поздняя из всех областей

Last edited by ErshKUS (2011-01-04 14:23:30)

Alexandr Zeinalov · 2011-01-04 18:51:13

Область какая?

ErshKUS · 2011-01-04 18:58:05

калининградская

Alexandr Zeinalov · 2011-01-05 11:38:53

Запустил обновление руками, последняя правка стала 4 января. Вероятно, проблемы были у gis-lab.

wget http://gis-lab.info/data/osm/kalinin/kalinin.osm.bz2 -O - -o /dev/null|bunzip2|runmepipe ru/kalinin "Калининградская область"

Felis Pimeja · 2011-02-12 19:07:54

Кажется, статистика опять сломалась

Announcement

#1 2010-09-05 05:54:50

osm.sbin.ru/stat недоступен несколько дней

#2 2010-09-05 21:39:12

Re: osm.sbin.ru/stat недоступен несколько дней

#3 2010-10-31 10:47:51

Re: osm.sbin.ru/stat недоступен несколько дней

#4 2010-10-31 12:09:31

Re: osm.sbin.ru/stat недоступен несколько дней

#5 2010-11-26 18:35:43

Re: osm.sbin.ru/stat недоступен несколько дней

#6 2010-11-26 19:30:17

Re: osm.sbin.ru/stat недоступен несколько дней

#7 2010-11-26 19:47:37

Re: osm.sbin.ru/stat недоступен несколько дней

#8 2010-11-26 19:51:14

Re: osm.sbin.ru/stat недоступен несколько дней

#9 2010-12-05 14:58:56

Re: osm.sbin.ru/stat недоступен несколько дней

#10 2010-12-05 15:48:26

Re: osm.sbin.ru/stat недоступен несколько дней

#11 2010-12-05 15:50:41

Re: osm.sbin.ru/stat недоступен несколько дней

#12 2010-12-05 16:00:48

Re: osm.sbin.ru/stat недоступен несколько дней

#13 2010-12-05 17:55:48

Re: osm.sbin.ru/stat недоступен несколько дней

#14 2010-12-12 09:20:46

Re: osm.sbin.ru/stat недоступен несколько дней

#15 2010-12-12 09:33:54

Re: osm.sbin.ru/stat недоступен несколько дней

#16 2010-12-17 12:26:46

Re: osm.sbin.ru/stat недоступен несколько дней

#17 2010-12-17 12:35:17

Re: osm.sbin.ru/stat недоступен несколько дней

#18 2010-12-17 13:11:00

Re: osm.sbin.ru/stat недоступен несколько дней

#19 2011-01-04 10:13:06

Re: osm.sbin.ru/stat недоступен несколько дней

#20 2011-01-04 11:48:32

Re: osm.sbin.ru/stat недоступен несколько дней

#21 2011-01-04 14:22:31

Re: osm.sbin.ru/stat недоступен несколько дней

#22 2011-01-04 18:51:13

Re: osm.sbin.ru/stat недоступен несколько дней

#23 2011-01-04 18:58:05

Re: osm.sbin.ru/stat недоступен несколько дней

#24 2011-01-05 11:38:53

Re: osm.sbin.ru/stat недоступен несколько дней

#25 2011-02-12 19:07:54

Re: osm.sbin.ru/stat недоступен несколько дней

Board footer