You are not logged in.
- Topics: Active | Unanswered
Announcement
#1 2010-09-05 05:54:50
- siberiano
- Moderator
- From: Novosibirsk
- Registered: 2010-02-25
- Posts: 1,006
- Website
osm.sbin.ru/stat недоступен несколько дней
Уже несколько дней подряд папки со свежей статистикой недоступны - выдают 403 Forbidden. Настройте права правильно, пожалуйста.
Offline
#2 2010-09-05 21:39:12
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Fixed
Offline
#3 2010-10-31 10:47:51
- siberiano
- Moderator
- From: Novosibirsk
- Registered: 2010-02-25
- Posts: 1,006
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Снова та же проблема.
Offline
#4 2010-10-31 12:09:31
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Разрослась Россия, памяти перестало хватать окончательно...
Offline
#5 2010-11-26 18:35:43
- siberiano
- Moderator
- From: Novosibirsk
- Registered: 2010-02-25
- Posts: 1,006
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
В статистике нет Тувы, хотя Гис-Лаб её нарезает. Включите, пожалуйста.
Offline
#6 2010-11-26 19:30:17
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: osm.sbin.ru/stat недоступен несколько дней
К вас что, вся XML'ка в память засасывается для парсинга что 3GB не хватает? Не надо так делать.
Кстати, нет Ненецкого АО.
Offline
#7 2010-11-26 19:47:37
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Добавил следующие регионы:
Камчатский край
Магаданская область
Ненецкий автономный округ
Республика Алтай
Чукотский автономный округ
Завтра они попадут в статистику.
Что касается всей России, то в память кладётся не XML, а изучаемые статистикой объекты.
Offline
#8 2010-11-26 19:51:14
- siberiano
- Moderator
- From: Novosibirsk
- Registered: 2010-02-25
- Posts: 1,006
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
отлично! Как раз хотел про Алтай написать. Спасибо!
Offline
#9 2010-12-05 14:58:56
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Посчитал Россию от 2010.12.03. На вычисления потребовалось двое суток, так что это разовая акция
Для сравнения:
Статистика от 28 октября:
Средняя скорость отрисовки: 12453.234233 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.042493/2100
Количество узлов: 22362967
Количество линий: 1758444
Количество отношений: 33868
Количество границ / населенных пунктов: 3579/68515
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-10-26T23:36:37Z
Статистика от 3 декабря
Средняя скорость отрисовки: 13315.946963 об-в/день
Заполнение тайлов (среднее / наибольшее): 5.233511/1875
Количество узлов: 24342424
Количество линий: 1941609
Количество отношений: 37526
Количество границ / населенных пунктов: 4150/71882
Первая известная правка: 2005-07-05T07:18:37Z
Последняя правка: 2010-12-02T23:58:41Z
Offline
#10 2010-12-05 15:48:26
- Hind
- Member
- From: Moscow
- Registered: 2009-05-25
- Posts: 3,950
Re: osm.sbin.ru/stat недоступен несколько дней
> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37Z
Што?
Offline
#11 2010-12-05 15:50:41
- Kotelnikov
- Member
- From: Krasnodar, RU
- Registered: 2009-05-07
- Posts: 2,854
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
А пофиг, зато прибавили пару миллионов точек. ))
1 000 000 points: 80% complete
Offline
#12 2010-12-05 16:00:48
- Ilis
- Member
- From: Екатеринбург
- Registered: 2009-05-24
- Posts: 5,970
Re: osm.sbin.ru/stat недоступен несколько дней
Средняя скорость отрисовки: 13315.946963 об-в/день
11 значащих цифр! Это сильно.
Offline
#13 2010-12-05 17:55:48
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
> Статистика от 28 октября:
> Последняя правка: 2010-10-26T23:36:37ZШто?
Последняя правка вечером 26 октября. Дамп России появляется на следующий день, а потом в следующую ночь (уже 28 октября) обсчитывается.
Offline
#14 2010-12-12 09:20:46
- Kachkaev
- Member
- From: Penza, Russia
- Registered: 2010-03-01
- Posts: 65
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Александр, не могли бы вы немного поменять шаблон страниц и начать подгружать скрипт для таблиц не с сайта Котяры, а со своего?
Сегодня заметил, что статистика грузится очень медленно. Включил в Опере DragonFly, оказалось, что дело из-за файла
http://me.komzpa.net/sorttable.js,
который загружается несколько секунд, а до загрузки вместо содержимого страницы виден только белый экран.
Offline
#15 2010-12-12 09:33:54
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Поправлю.
Offline
#16 2010-12-17 12:26:46
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Обновил Россию ещё раз, на этот раз на машине с 12 Гб памяти, поэтому вычисление заняло всего час с копейками. За полмесяца в России нарисовали более миллиона точек
Offline
#17 2010-12-17 12:35:17
- AMDmi3
- Member
- From: Москва
- Registered: 2009-08-12
- Posts: 3,315
Re: osm.sbin.ru/stat недоступен несколько дней
У меня есть машина с 8GB и ~раз в неделю (но иногда чаще) обновляющимся дампом России; может вам там эту страницу генерить? У меня там есть пачка собственных скриптов для статистики и графиков крутятся.
PS. А хотя не, там же наверное postgres нужен со всей историей.
Last edited by AMDmi3 (2010-12-17 12:45:36)
Offline
#18 2010-12-17 13:11:00
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Обновление дампа России проблемы не представляет - это лишь вопрос скачивания файла размера ~400 Мб. Больше проблем с самой генерацией - в процессе оно съедает уже почти 7 Гб памяти, и swap процессу не поможет - потому что многие часы (в моём случае при 4 Гб физической памяти было затрачено ~45 часов) будет потрачено на перемещение памяти туда-сюда.
Postgres там не нужен, всё читается из xml.
Offline
#19 2011-01-04 10:13:06
- ErshKUS
- Member
- From: Калиниград
- Registered: 2010-12-27
- Posts: 803
Re: osm.sbin.ru/stat недоступен несколько дней
чё то не обновляется Last update: 2011-01-02T22:56:30Z
Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш? (Lumen, Лабиринт)
Offline
#20 2011-01-04 11:48:32
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Это не дата обновления, а дата последней известной правки. Судя по времени, указанный апдейт вероятнее всего сделан из дампа, сделанного в полночь 3 января.
Offline
#21 2011-01-04 14:22:31
- ErshKUS
- Member
- From: Калиниград
- Registered: 2010-12-27
- Posts: 803
Re: osm.sbin.ru/stat недоступен несколько дней
я 1,2,3,4 января вносил изменения, причем эта дата (Last update: 2011-01-02T22:56:30Z) самая поздняя из всех областей
Last edited by ErshKUS (2011-01-04 14:23:30)
Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш? (Lumen, Лабиринт)
Offline
#22 2011-01-04 18:51:13
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Область какая?
Offline
#23 2011-01-04 18:58:05
- ErshKUS
- Member
- From: Калиниград
- Registered: 2010-12-27
- Posts: 803
Re: osm.sbin.ru/stat недоступен несколько дней
калининградская
Ты никогда не спутаешь пути: ты стоишь...
И, может, так и нужно, но как тогда узнать, что там выше крыш? (Lumen, Лабиринт)
Offline
#24 2011-01-05 11:38:53
- Alexandr Zeinalov
- Member
- From: New-Peredelkino, Moscow, RU
- Registered: 2009-08-26
- Posts: 1,698
- Website
Re: osm.sbin.ru/stat недоступен несколько дней
Запустил обновление руками, последняя правка стала 4 января. Вероятно, проблемы были у gis-lab.
wget http://gis-lab.info/data/osm/kalinin/kalinin.osm.bz2 -O - -o /dev/null|bunzip2|runmepipe ru/kalinin "Калининградская область"
Offline
#25 2011-02-12 19:07:54
- Felis Pimeja
- Member
- Registered: 2010-10-27
- Posts: 1,035
Re: osm.sbin.ru/stat недоступен несколько дней
Кажется, статистика опять сломалась
Offline