You are not logged in.

#26 2013-04-10 06:14:37

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

К сожалению проблемы производительности посредством таймаутов переросли в проблемы с доступом.
Причем сейчас я не могу установить причину проблем с производительностью, т.к. они не воспроизводятся на отладочной машине, где ведется разработка.
Возможно это что-то с базой, в этом я сейчас пытаюсь разобраться, но, увы, очень медленно, поскольку "горячий" сезон на работе пока не кончился.

Расчет "рекурсивной" статистики - это та же проблема производительности, только в кубе.
К ней ищется параллельное решение в виде предварительного обсчета статистики.

В худшем случае сяду в режиме рабочего дня на майские. Обещать ничего не могу, но работа идет... или по крайней мере ползет.

Offline

#27 2013-05-06 05:35:23

Artyomka
Member
Registered: 2010-04-08
Posts: 222

Re: Федеральная информационная адресная система (ФИАС)

Как там работа над проектом? Майские уже wink

Offline

#28 2013-05-06 16:08:01

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

Починил пару глюков, нарисовал новую мордочку с тегом meter.

Надо: заменить прогрев кеша статистики на отстройку, увеличить число потоков сервера. После этого сайт должен стать рабочим.

Рекурсивная статистика постоянно имелась ввиду в рамках прибивания багов и, вероятно, как только будет прогрев кеша нарисую рекурсивные цифры. Т.е. не сколько районов подчиненных МО найдено в МО, а сколько всего районов, улиц (и отдельно - домов) найдено в МО.

В очереди: сделать страничку по списку сопоставленных домов.

Offline

#29 2013-05-06 17:06:25

pankdm
Member
From: Moscow | Kemerovo
Registered: 2010-08-20
Posts: 320

Re: Федеральная информационная адресная система (ФИАС)

Scondo wrote:

Починил пару глюков, нарисовал новую мордочку с тегом meter.

Надо: заменить прогрев кеша статистики на отстройку, увеличить число потоков сервера. После этого сайт должен стать рабочим.

Рекурсивная статистика постоянно имелась ввиду в рамках прибивания багов и, вероятно, как только будет прогрев кеша нарисую рекурсивные цифры. Т.е. не сколько районов подчиненных МО найдено в МО, а сколько всего районов, улиц (и отдельно - домов) найдено в МО.

В очереди: сделать страничку по списку сопоставленных домов.

А можешь напомнить, почему ты не хочешь просто сгенерить статические html-ки? Тогда все вообще должно залетать..

Offline

#30 2013-05-07 08:39:04

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

Сейчас: потому что на выбранной мной архитектуре единственный понятный мне способ это сделать - это пройтись по сайту "архиватором интернета".

А в целом потому, что я все-таки надеюсь на то, что когда-нибудь перейду на работу в дифф-режиме, когда статистика будет пересчитываться только для обновленных данных.

Offline

#31 2013-05-07 09:38:06

Zverik
Moderator
From: Минск
Registered: 2010-10-14
Posts: 5,693
Website

Re: Федеральная информационная адресная система (ФИАС)

Scondo, а что за странная архитектура, при которой сайт ложится от трёх пользователей? Подозреваю, этого сложно достичь даже если всё хранить в текстовых файлах и при каждом запросе их парсить целиком.


ШТОСМ | josm.ru | обо мне | удалёнка зло

Offline

#32 2013-05-07 10:17:54

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,950

Re: Федеральная информационная адресная система (ФИАС)

Мне тоже интересно. Если готовые данные для выдачи хранятся в БД, можно выводить их вполне быстро, этим занимаются миллионы сайтов.

Offline

#33 2013-05-07 12:10:49

akks
Member
From: Ufa
Registered: 2010-06-11
Posts: 1,728

Re: Федеральная информационная адресная система (ФИАС)

Hind wrote:

Мне тоже интересно. Если готовые данные для выдачи хранятся в БД, можно выводить их вполне быстро, этим занимаются миллионы сайтов.

Возможно, при первом обращении в базе ничего ещё нет и она лихорадочно начинает заполняться...
Ничего такого в коде не вижу, но оно, возможно, хорошо спрятано.
Наверное, когда появится время, надо добавить кучу отладочного вывода в логи - тогда станет хотя бы понятно, на чем висит.

Производительность Python-приложений, на мой неопытный взгляд, вообще очень зависит от настроек сервера и наличия на нём всяких наворотов/служб/хитроумных настроек... Я ставил себе только готовый Rhodecode - при самой простой конфигурации висело от 5 пользователей в локальной сети. После плясок с бубном по инструкциям и активации наворотов (mod_wsgi и (в случае Rhodecode) серверов+настроек Сelery, RabbitMQ) всё залетало...

Last edited by akks (2013-05-07 12:32:36)

Offline

#34 2013-05-08 12:07:36

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

Zverik wrote:

Scondo, а что за странная архитектура, при которой сайт ложится от трёх пользователей? Подозреваю, этого сложно достичь даже если всё хранить в текстовых файлах и при каждом запросе их парсить целиком.

Хранение в БД самого факта сопоставления.
Соответственно на каждый запрос идет куча селектов по джойнам на немаленькие таблички.

Собственно эту проблему и был призван решать кеш статистики (отдельная табличка хранящая только цифры для каждого объекта), но именно с ним и лезут проблемы.

Offline

#35 2013-05-08 13:14:29

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: Федеральная информационная адресная система (ФИАС)

Если БД на постгре и осмелитесь подпустить к ней постороннего человека, помогу, чем смогу.

Соответственно на каждый запрос идет куча селектов по джойнам на немаленькие таблички.

Если я правильно понял суть, то как-то совсем не хорошо. На каждый запрос пользователя должен быть один сложный селект, тогда, при должном уходе за базой, джойны и размеры таблиц будут иметь уже не столь большое значение.

Offline

#36 2013-05-08 13:58:41

akks
Member
From: Ufa
Registered: 2010-06-11
Posts: 1,728

Re: Федеральная информационная адресная система (ФИАС)

А самое страшное - это если по одному селекту на каждую строчку таблицы smile

Offline

#37 2013-05-08 15:39:19

Hind
Member
From: Moscow
Registered: 2009-05-25
Posts: 3,950

Re: Федеральная информационная адресная система (ФИАС)

Индексы-то есть? :3

Offline

#38 2013-05-10 09:12:42

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

Vitalts wrote:

Если я правильно понял суть, то как-то совсем не хорошо. На каждый запрос пользователя должен быть один сложный селект, тогда, при должном уходе за базой, джойны и размеры таблиц будут иметь уже не столь большое значение.

Когда есть рабочий кеш - так и происходит. Проблема в том, чтобы сделать его рабочим.
Расчет же сделан в виде множества селектов в основном ради повторного использования кода.

Hind wrote:

Индексы-то есть? :3

Куда ж без них... хотя, вохможно, надо лишний раз прикинуть кого добавить/убавить.

Offline

#39 2013-05-10 09:54:08

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: Федеральная информационная адресная система (ФИАС)

Когда есть рабочий кеш - так и происходит. Проблема в том, чтобы сделать его рабочим.

Вот и предлагаю свою безвозмездную помощь в решении этой проблемы. Люди жаждут рабочего сервиса.

Расчет же сделан в виде множества селектов в основном ради повторного использования кода.

Может стоит пересмотреть позицию, и возможно решить данный вопрос вспомогательными таблицами не теряя при этом универсальности кода? Что называется, пальцем в небо, без знания иерархии структуры и конкретных примеров советы могут и ухудшить ситуацию.
В общем, мое дело предложить, ну а ваше, видимо, отказаться.

Offline

#40 2013-05-13 19:31:38

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

Так, ботов прогнал, статистику отстроил.
Сейчас сервер строит страницу за несколько секунд, но просьба be gentle, потому что я пока застрял с потокобезопасностью и как следствие все сидят в одном потоке.

список домиков будет со дня на день, также вопрос производительности остается открытым, я посмотрю что можно еще сделать.
Если до конца недели проблем не вылезет - попробуем рекурсивку, то чего все ждут.

Offline

#41 2013-05-14 04:28:05

mavl
Member
From: Заводоуковск
Registered: 2013-02-06
Posts: 384

Re: Федеральная информационная адресная система (ФИАС)

Как можно задать соответствие между административным районом в ФИАС и городским округом в OSM? Например, в Тюменской области уже давно Заводоуковский район переименован в Заводоуковский городской округ (и также включает в себя все населённые пункты Заводоуковского района), что и отражено в OSM, но не отражено в ФИАС.

Offline

#42 2013-05-14 06:24:55

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

Это связано с тем, что в России как мы выяснили существует два вида делений: административное и муниципальное.
Это видно на сайте ФИАС как два вида поиска и две опции "детальной информации".
В муниципальном делении действительно нет Заводоуковского района, а есть только городской округ .
В административном делении нет Заводоуковского городского округа, есть район и город.
Основным делением с точки зрения ФИАС является административное и выгрузки все описывают именно его. При этом "truth on the ground" больше соответствует муниципальное деление. Вопрос соответствия еще должен быть разъяснен, возможно посредством писем в службу технической поддержки ФИАС или в ФНС в целом.

Пока я сосредоточился на технической стороне сопоставления ОСМ и ФИАС, позже я обязательно вернусь к этой проблеме.

Offline

#43 2013-05-14 07:07:51

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,998

Re: Федеральная информационная адресная система (ФИАС)

Это связано с тем что Росстат не очень синхронно ведёт свои классификаторы. Да честно говоря и муниципалы иногда сильно удивляют (село может быть центром городского поселения а пгт - центром сельского и т.п.). Все хороши и на выходе бывает запутанная картина.


Бывший редактор ОСМ

Offline

#44 2013-05-14 10:18:26

Zkir
Member
From: Хрустальная Москва
Registered: 2009-02-21
Posts: 6,110

Re: Федеральная информационная адресная система (ФИАС)

Вопрос.
Насколько часто встречаестя статусная часть "территория"?
Заводоуковск, территория Депо, 5

Или это такой особый прикол Заводоуковска?
http://fiosm.openstreetmap.ru/found/10c … 681fcf/all


Истинные слова не не приятны, приятные слова не истинны.
True words are unpleasant; pleasant words are untrue.

Offline

#45 2013-05-14 10:31:03

liosha
Member
From: Moscow
Registered: 2008-03-04
Posts: 8,447
Website

Re: Федеральная информационная адресная система (ФИАС)

Zkir wrote:

Насколько часто встречаестя статусная часть "территория"?

Это не всегда статусная часть. Но вообще:

select count(*) from street where socr = 'тер'

34638

Offline

#46 2013-05-15 18:52:27

Scondo
Member
Registered: 2011-03-16
Posts: 483

Re: Федеральная информационная адресная система (ФИАС)

select count(*) from fias_addr_obj where shortname = 'тер'

43241

Правда это не самое свежее, я месяца два ФИАС не обновлял.

Добавил столбец статуса и список домиков. Список домиков пока лагает - для числа домов больше 100 валится в таймауте.
Буду еще индексы проверять, но возможно это связано уже с трехгигабайтной базой домов.

Offline

#47 2014-11-10 08:05:35

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,312

Re: Федеральная информационная адресная система (ФИАС)

Сколько в октябре дней?
http://index-uliz.ru/dom.php?ID=760150005040001
9678.jpg

Last edited by wowik (2014-11-10 08:21:15)

Offline

#48 2014-11-10 09:42:17

kisaa
Member
From: ДВ, Хабаровск
Registered: 2011-09-13
Posts: 636

Re: Федеральная информационная адресная система (ФИАС)

wowik wrote:

Сколько в октябре дней?

Это в "Забавные места..." надо. Хотя вот пишут (10 лет назад):

Очень жалеют тихменевцы, что отныне у них не будет прославившейся на всю Россию площади 32 Октября. Сегодня уже мало кто в поселке помнит, что в далеком 1949 году исполком поселкового совета, разумеется по «особой просьбе трудящихся», принял решение назвать площадь в честь 32-й годовщины Октябрьской революции. Но советские любители казенных сокращений не стали расписывать на вывеске полную версию названия площади, сотворив прикольную несуразицу. К смешному названию давно привыкли как к местной достопримечательности. Где еще в мире есть такая табличка – 32 Октября! Но по настоянию главы местной администрации и с учетом мнения комиссии по топонимии решением Рыбинского совета депутатов площадь упразднили вообще, а стоящие на ней дома приписали к улице Тугаринова.

Last edited by kisaa (2014-11-10 09:42:37)

Offline

#49 2014-11-10 09:45:16

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,312

Re: Федеральная информационная адресная система (ФИАС)

В Челябинске есть улица 32 Годовщины Октября. Что им в 1949 так эта годовщина приспичила?
Не знаю, как там с упразднением, прошло ли окончательно, на плане и впрямь нету, на в ФИАСе еще болтается

Last edited by wowik (2014-11-10 09:48:14)

Offline

#50 2014-11-10 21:10:01

VlIvYur
Member
Registered: 2011-01-12
Posts: 386

Re: Федеральная информационная адресная система (ФИАС)

wowik wrote:

Что им в 1949 так эта годовщина приспичила?

Круглое число,почему б и нет?

Offline

Board footer

Powered by FluxBB