OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2010-09-05 05:54:50

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 998
Website

osm.sbin.ru/stat недоступен несколько дней

Уже несколько дней подряд папки со свежей статистикой недоступны - выдают 403 Forbidden. Настройте  права правильно, пожалуйста.

Offline

#2 2010-09-05 21:39:12

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Fixed

Offline

#3 2010-10-31 10:47:51

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 998
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Снова та же проблема.

Offline

#4 2010-10-31 12:09:31

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Разрослась Россия, памяти перестало хватать окончательно...

Offline

#5 2010-11-26 18:35:43

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 998
Website

Re: osm.sbin.ru/stat недоступен несколько дней

В статистике нет Тувы, хотя Гис-Лаб её нарезает. Включите, пожалуйста.

Offline

#6 2010-11-26 19:30:17

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: osm.sbin.ru/stat недоступен несколько дней

К вас что, вся XML'ка в память засасывается для парсинга что 3GB не хватает? Не надо так делать.

Кстати, нет Ненецкого АО.

Offline

#7 2010-11-26 19:47:37

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Добавил следующие регионы:

Камчатский край
Магаданская область
Ненецкий автономный округ
Республика Алтай
Чукотский автономный округ

Завтра они попадут в статистику.

Что касается всей России, то в память кладётся не XML, а изучаемые статистикой объекты.

Offline

#8 2010-11-26 19:51:14

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 998
Website

Re: osm.sbin.ru/stat недоступен несколько дней

отлично! Как раз хотел про Алтай написать. Спасибо!

Offline

#9 2010-12-05 14:58:56

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Посчитал Россию от 2010.12.03. На вычисления потребовалось двое суток, так что это разовая акция smile

Для сравнения:

Статистика от 28 октября:

Средняя скорость отрисовки: 12453.234233 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.042493/2100
Количество узлов: 22362967
Количество линий: 1758444
Количество отношений: 33868
Количество границ / населенных пунктов: 3579/68515
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-10-26T23:36:37Z

Статистика от 3 декабря

Средняя скорость отрисовки: 13315.946963 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.233511/1875
Количество узлов: 24342424
Количество линий: 1941609
Количество отношений: 37526
Количество границ / населенных пунктов: 4150/71882
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-12-02T23:58:41Z

Offline

#10 2010-12-05 15:48:26

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,945

Re: osm.sbin.ru/stat недоступен несколько дней

> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z

Што?

Offline

#11 2010-12-05 15:50:41

Kotelnikov
Member
From: Krasnodar, RU
Registered: 2009-05-07
Posts: 2,854
Website

Re: osm.sbin.ru/stat недоступен несколько дней

А пофиг, зато прибавили пару миллионов точек. smile))


1 000 000 points: 80% complete

Offline

#12 2010-12-05 16:00:48

Ilis
Member
From: Екатеринбург
Registered: 2009-05-24
Posts: 5,970

Re: osm.sbin.ru/stat недоступен несколько дней

Средняя скорость отрисовки: 13315.946963 об-в/день

11 значащих цифр! Это сильно.

Offline

#13 2010-12-05 17:55:48

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Hind wrote:

> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z

Што?

Последняя правка вечером 26 октября. Дамп России появляется на следующий день, а потом в следующую ночь (уже 28 октября) обсчитывается.

Offline

#14 2010-12-12 09:20:46

Kachkaev
Member
From: Penza, Russia
Registered: 2010-03-01
Posts: 54
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Александр, не могли бы вы немного поменять шаблон страниц и начать подгружать скрипт для таблиц не с сайта Котяры, а со своего?

Сегодня заметил, что статистика грузится очень медленно. Включил в Опере DragonFly, оказалось, что дело из-за файла
http://me.komzpa.net/sorttable.js,
который загружается несколько секунд, а до загрузки вместо содержимого страницы виден только белый экран.

Offline

#15 2010-12-12 09:33:54

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Поправлю.

Offline

#16 2010-12-17 12:26:46

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Обновил Россию ещё раз, на этот раз на машине с 12 Гб памяти, поэтому вычисление заняло всего час с копейками. За полмесяца в России нарисовали более миллиона точек smile

Offline

#17 2010-12-17 12:35:17

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: osm.sbin.ru/stat недоступен несколько дней

У меня есть машина с 8GB и ~раз в неделю (но иногда чаще) обновляющимся дампом России; может вам там эту страницу генерить? У меня там есть пачка собственных скриптов для статистики и графиков крутятся.

PS. А хотя не, там же наверное postgres нужен со всей историей.

Last edited by AMDmi3 (2010-12-17 12:45:36)

Offline

#18 2010-12-17 13:11:00

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Обновление дампа России проблемы не представляет - это лишь вопрос скачивания файла размера ~400 Мб. Больше проблем с самой генерацией - в процессе оно съедает уже почти 7 Гб памяти, и swap процессу не поможет - потому что многие часы (в моём случае при 4 Гб физической памяти было затрачено ~45 часов) будет потрачено на перемещение памяти туда-сюда.

Postgres там не нужен, всё читается из xml.

Offline

#19 2011-01-04 10:13:06

ErshKUS
Member
From: Калиниград
Registered: 2010-12-27
Posts: 794

Re: osm.sbin.ru/stat недоступен несколько дней

чё то не обновляется  Last update: 2011-01-02T22:56:30Z


Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш?   (Lumen, Лабиринт)

Offline

#20 2011-01-04 11:48:32

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Это не дата обновления, а дата последней известной правки. Судя по времени, указанный апдейт вероятнее всего сделан из дампа, сделанного в полночь 3 января.

Offline

#21 2011-01-04 14:22:31

ErshKUS
Member
From: Калиниград
Registered: 2010-12-27
Posts: 794

Re: osm.sbin.ru/stat недоступен несколько дней

я 1,2,3,4 января вносил изменения, причем эта дата (Last update: 2011-01-02T22:56:30Z) самая поздняя из всех областей

Last edited by ErshKUS (2011-01-04 14:23:30)


Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш?   (Lumen, Лабиринт)

Offline

#22 2011-01-04 18:51:13

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Область какая?

Offline

#23 2011-01-04 18:58:05

ErshKUS
Member
From: Калиниград
Registered: 2010-12-27
Posts: 794

Re: osm.sbin.ru/stat недоступен несколько дней

калининградская


Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш?   (Lumen, Лабиринт)

Offline

#24 2011-01-05 11:38:53

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,636
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Запустил обновление руками, последняя правка стала 4 января. Вероятно, проблемы были у gis-lab.

wget http://gis-lab.info/data/osm/kalinin/kalinin.osm.bz2 -O - -o /dev/null|bunzip2|runmepipe ru/kalinin "Калининградская область"

Offline

#25 2011-02-12 19:07:54

Felis Pimeja
Member
Registered: 2010-10-27
Posts: 1,032

Re: osm.sbin.ru/stat недоступен несколько дней

Кажется, статистика опять сломалась

Offline

Board footer

Powered by FluxBB