You are not logged in.

Announcement

*** NOTICE: forum.openstreetmap.org is being retired. Please request a category for your community in the new ones as soon as possible using this process, which will allow you to propose your community moderators.
Please create new topics on the new site at community.openstreetmap.org. We expect the migration of data will take a few weeks, you can follow its progress here.***

#1 2010-09-05 05:54:50

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 1,006
Website

osm.sbin.ru/stat недоступен несколько дней

Уже несколько дней подряд папки со свежей статистикой недоступны - выдают 403 Forbidden. Настройте  права правильно, пожалуйста.

Offline

#2 2010-09-05 21:39:12

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Fixed

Offline

#3 2010-10-31 10:47:51

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 1,006
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Снова та же проблема.

Offline

#4 2010-10-31 12:09:31

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Разрослась Россия, памяти перестало хватать окончательно...

Offline

#5 2010-11-26 18:35:43

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 1,006
Website

Re: osm.sbin.ru/stat недоступен несколько дней

В статистике нет Тувы, хотя Гис-Лаб её нарезает. Включите, пожалуйста.

Offline

#6 2010-11-26 19:30:17

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: osm.sbin.ru/stat недоступен несколько дней

К вас что, вся XML'ка в память засасывается для парсинга что 3GB не хватает? Не надо так делать.

Кстати, нет Ненецкого АО.

Offline

#7 2010-11-26 19:47:37

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Добавил следующие регионы:

Камчатский край
Магаданская область
Ненецкий автономный округ
Республика Алтай
Чукотский автономный округ

Завтра они попадут в статистику.

Что касается всей России, то в память кладётся не XML, а изучаемые статистикой объекты.

Offline

#8 2010-11-26 19:51:14

siberiano
Moderator
From: Novosibirsk
Registered: 2010-02-25
Posts: 1,006
Website

Re: osm.sbin.ru/stat недоступен несколько дней

отлично! Как раз хотел про Алтай написать. Спасибо!

Offline

#9 2010-12-05 14:58:56

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Посчитал Россию от 2010.12.03. На вычисления потребовалось двое суток, так что это разовая акция smile

Для сравнения:

Статистика от 28 октября:

Средняя скорость отрисовки: 12453.234233 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.042493/2100
Количество узлов: 22362967
Количество линий: 1758444
Количество отношений: 33868
Количество границ / населенных пунктов: 3579/68515
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-10-26T23:36:37Z

Статистика от 3 декабря

Средняя скорость отрисовки: 13315.946963 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.233511/1875
Количество узлов: 24342424
Количество линий: 1941609
Количество отношений: 37526
Количество границ / населенных пунктов: 4150/71882
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-12-02T23:58:41Z

Offline

#10 2010-12-05 15:48:26

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,950

Re: osm.sbin.ru/stat недоступен несколько дней

> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z

Што?

Offline

#11 2010-12-05 15:50:41

Kotelnikov
Member
From: Krasnodar, RU
Registered: 2009-05-07
Posts: 2,854
Website

Re: osm.sbin.ru/stat недоступен несколько дней

А пофиг, зато прибавили пару миллионов точек. smile))


1 000 000 points: 80% complete

Offline

#12 2010-12-05 16:00:48

Ilis
Member
From: Екатеринбург
Registered: 2009-05-24
Posts: 5,970

Re: osm.sbin.ru/stat недоступен несколько дней

Средняя скорость отрисовки: 13315.946963 об-в/день

11 значащих цифр! Это сильно.

Offline

#13 2010-12-05 17:55:48

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Hind wrote:

> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z

Што?

Последняя правка вечером 26 октября. Дамп России появляется на следующий день, а потом в следующую ночь (уже 28 октября) обсчитывается.

Offline

#14 2010-12-12 09:20:46

Kachkaev
Member
From: Penza, Russia
Registered: 2010-03-01
Posts: 65
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Александр, не могли бы вы немного поменять шаблон страниц и начать подгружать скрипт для таблиц не с сайта Котяры, а со своего?

Сегодня заметил, что статистика грузится очень медленно. Включил в Опере DragonFly, оказалось, что дело из-за файла
http://me.komzpa.net/sorttable.js,
который загружается несколько секунд, а до загрузки вместо содержимого страницы виден только белый экран.

Offline

#15 2010-12-12 09:33:54

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Поправлю.

Offline

#16 2010-12-17 12:26:46

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Обновил Россию ещё раз, на этот раз на машине с 12 Гб памяти, поэтому вычисление заняло всего час с копейками. За полмесяца в России нарисовали более миллиона точек smile

Offline

#17 2010-12-17 12:35:17

AMDmi3
Member
From: Москва
Registered: 2009-08-12
Posts: 3,315

Re: osm.sbin.ru/stat недоступен несколько дней

У меня есть машина с 8GB и ~раз в неделю (но иногда чаще) обновляющимся дампом России; может вам там эту страницу генерить? У меня там есть пачка собственных скриптов для статистики и графиков крутятся.

PS. А хотя не, там же наверное postgres нужен со всей историей.

Last edited by AMDmi3 (2010-12-17 12:45:36)

Offline

#18 2010-12-17 13:11:00

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Обновление дампа России проблемы не представляет - это лишь вопрос скачивания файла размера ~400 Мб. Больше проблем с самой генерацией - в процессе оно съедает уже почти 7 Гб памяти, и swap процессу не поможет - потому что многие часы (в моём случае при 4 Гб физической памяти было затрачено ~45 часов) будет потрачено на перемещение памяти туда-сюда.

Postgres там не нужен, всё читается из xml.

Offline

#19 2011-01-04 10:13:06

ErshKUS
Member
From: Калиниград
Registered: 2010-12-27
Posts: 803

Re: osm.sbin.ru/stat недоступен несколько дней

чё то не обновляется  Last update: 2011-01-02T22:56:30Z


Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш?   (Lumen, Лабиринт)

Offline

#20 2011-01-04 11:48:32

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Это не дата обновления, а дата последней известной правки. Судя по времени, указанный апдейт вероятнее всего сделан из дампа, сделанного в полночь 3 января.

Offline

#21 2011-01-04 14:22:31

ErshKUS
Member
From: Калиниград
Registered: 2010-12-27
Posts: 803

Re: osm.sbin.ru/stat недоступен несколько дней

я 1,2,3,4 января вносил изменения, причем эта дата (Last update: 2011-01-02T22:56:30Z) самая поздняя из всех областей

Last edited by ErshKUS (2011-01-04 14:23:30)


Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш?   (Lumen, Лабиринт)

Offline

#22 2011-01-04 18:51:13

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Область какая?

Offline

#23 2011-01-04 18:58:05

ErshKUS
Member
From: Калиниград
Registered: 2010-12-27
Posts: 803

Re: osm.sbin.ru/stat недоступен несколько дней

калининградская


Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш?   (Lumen, Лабиринт)

Offline

#24 2011-01-05 11:38:53

Alexandr Zeinalov
Member
From: New-Peredelkino, Moscow, RU
Registered: 2009-08-26
Posts: 1,699
Website

Re: osm.sbin.ru/stat недоступен несколько дней

Запустил обновление руками, последняя правка стала 4 января. Вероятно, проблемы были у gis-lab.

wget http://gis-lab.info/data/osm/kalinin/kalinin.osm.bz2 -O - -o /dev/null|bunzip2|runmepipe ru/kalinin "Калининградская область"

Offline

#25 2011-02-12 19:07:54

Felis Pimeja
Member
Registered: 2010-10-27
Posts: 1,035

Re: osm.sbin.ru/stat недоступен несколько дней

Кажется, статистика опять сломалась

Offline

Board footer

Powered by FluxBB