Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

SviMik · 2013-06-19 10:22:14

Эстония там будет?

Zkir · 2013-06-19 10:55:29

Будет, куда денется. Все ближнее зарубежье будет, включая Финку. Если россияне не возмутятся

Last edited by Zkir (2013-06-19 10:56:42)

KonTur · 2013-06-19 11:16:22

А дальнее зарубежье?

dudka · 2013-06-19 11:40:50

Zkir wrote:

Вот: http://peirce.zkir.ru/qa
Смотрим, пробуем. Ждем когда пройдут все регионы

Почему-то валидация по очень старым данным:
http://peirce.zkir.ru/qa/UA-E

Kostik · 2013-06-19 11:57:38

KonTur wrote:

А дальнее зарубежье?

Ближнее встанет.

KonTur · 2013-06-19 12:04:17

Kostik wrote:

KonTur wrote:
А дальнее зарубежье?
Ближнее встанет.

Третий сервер?

Kostik · 2013-06-19 12:07:26

В идеале хотелось бы валидировать всё, но не всегда технически возможно.

SviMik · 2013-06-19 12:07:46

KonTur wrote:

Третий сервер?

Свой датацентр!

Last edited by SviMik (2013-06-19 12:08:08)

Zkir · 2013-06-19 15:00:01

О третьем сервере можно будет подумать, когда код дойдет до такого состояния, чтобы это поддерживать в виде: N серверов с идентичным кодом - одна вебморда. Об остальном - когда пройдет полный цикл валидатора. Хотя бы узнаем, сколько он занимает для РФ+Ближнее зарубежье.

Last edited by Zkir (2013-06-19 15:00:14)

Zkir · 2013-06-20 16:24:40

По поводу http://peirce.zkir.ru/qa

Одна только валидация (без конвертации в СГ) России и Ближнего зарубежья заняла 42 часа, т.е. 1.75 суток.
Можно либо отключить Ближнее зарубежье, либо начинать скидываться на новую машинку.

KonTur · 2013-06-20 16:56:01

Кирилл, а расскажи пожалуйста подробнее, если можно.
Один сервер валидирует Россию и ближнее зарубежье. 42 часа вполне (строгое ИМХО) - достаточный интервал.
Второй сервер что будет делать? Валидировать дальнее зарубежье и конвертировать все карты?
Или только конвертировать?

Last edited by KonTur (2013-06-20 16:56:47)

Zkir · 2013-06-20 18:21:19

Сейчас есть две машинки:

Одна (в дата-центре, Xeon E3@3.1 ГГц 16 Гб) валидирует и конвертирует все карты, включая дальнее зарубежье. Результаты выкладывает на peirce.gis-lab.ru. Какой-там интервал, установить невозможно, потому что на ней постоянно делается что-то новое, то Франция, то Англия, то еще что-нибудь. На данный момент максимальное отставание по РФ - 6 дней.

Вторая ( у меня дома, Core 2 @2.5ГГц, 4 Гб) только валидирует РФ и Ближнее зарубежье. Результаты выкладывает на peirce.zkir.ru. Цикл составляет 42 часа, и такое же максимальное отставание.

Третья может делать валидацию еще чего-нибудь, например только ближнего зарубежья (чтобы разгрузить машинку №2), либо валидировать дальнее зарубежье по кругу.

Last edited by Zkir (2013-06-20 18:31:48)

Sergey Astakhov · 2013-06-20 19:09:05

Zkir wrote:

Можно либо отключить Ближнее зарубежье, либо начинать скидываться на новую машинку.

Может попробовать заняться оптимизацией? На что уходит больше всего времени?

KonTur · 2013-06-20 19:57:06

Может разделить функции?
Одна валидирует, другая конвертит...

ttg43 · 2013-06-20 22:40:21

KonTur wrote:

Может разделить функции?
Одна валидирует, другая конвертит...

+1

Zkir · 2013-06-21 04:11:24

Валидация есть промежуточный этап конвертаци, поэтому совсем разделить их нельзя.

osm -->  (osm2mp) -->mp -->(валидатор) -->mp-->(геоконструктор)-->cgmap
                               |
                               -->  mp_addr.xml

Как это можно оптимизировать? Разве что переписать osm2mp.p с перла на Java

Last edited by Zkir (2013-06-21 04:13:53)

VikDD · 2013-06-21 06:32:49

А сколько весят .osm и .mp файлы? Хотя бы порядок.

Zkir · 2013-06-21 06:45:00

Всего или по отдельности?

Россия в pbf - 1 гиг. Наши соседи в Pbf - 700 мб

Москва с областью: osm - 1.5 Гб, mp - 300 мб.
Ярославская область: osm -370 Мб, mp - 70 мб.

И эти цифры, Ч*Х, все время увеличиваются

Last edited by Zkir (2013-06-21 06:45:49)

dkiselev · 2013-06-21 07:39:44

Zkir wrote:

Как это можно оптимизировать? Разве что переписать osm2mp.p с перла на Java

А кстати не факт что поможет. За сколько времени проходит Loading nodes... для России?

Last edited by dkiselev (2013-06-21 07:40:33)

VikDD · 2013-06-21 07:51:18

Zkir wrote:

Всего или по отдельности?

Интересно по отдельности, а где можно брать файлы? Хочу попробовать к себе хотя бы десяток регионов поставить на конвертацию под Фряхой. Посмотреть что получится.
Просто, если в osm->mp конвертации можно помочь, то надо подумать как это осуществить.

Zkir · 2013-06-21 08:06:30

Дык, вырезать из планеты:
https://github.com/Zkir/osm2dcm/tree/ma … m2dcm/poly

Сейчас интереснее всего эталонные тесты производительности)

Last edited by Zkir (2013-06-21 08:07:17)

Sergey Astakhov · 2013-06-21 08:21:13

Zkir wrote:

Как это можно оптимизировать?

Чтобы что-то оптимизировать, надо понимать длительность каждого этапа. Сколько занимают занимают этапы "osm2mp", "валидатор", "геоконструктор" и какая при этом загрузка процессора? Если этап длительный, но загрузка небольшая - можно ещё попробовать запускать несколько карт параллельно.

Zkir wrote:

Разве что переписать osm2mp.p с перла на Java

Если osm2mp узкое место, то можно и этим заняться. Или попросить liosha посмотреть, может там есть резервы для оптимизации обработки больших карт.

KonTur · 2013-06-21 09:08:54

Если бы обе машинки стояли в одной сети - то было бы конечно проще - одна валидирует, другая конвертит.
А сейчас получается, что обе машины делают пересекающуюся работу, что не совсем разумно.
Надо тогда стремиться к этому

Zkir wrote:

N серверов с идентичным кодом - одна вебморда

И еще, Кирилл
Скажи, чем тебе так приглянулась Шри-Ланка, что она крутится наравне с Россией?

Last edited by KonTur (2013-06-21 09:10:08)

Zkir · 2013-06-21 09:44:49

Был один чел со шри-ланки который ее очень просил.

Zkir · 2013-06-21 09:50:58

Sergey Astakhov wrote:

Сколько занимают занимают этапы "osm2mp", "валидатор", "геоконструктор" и какая при этом загрузка процессора?

Примерно 40%, 5% 55% соответственно. Загрузка проца составляет 25% - все приложения однопоточные и способны загрузить лишь одно ядро из четырех. Но как обеспечить многопоточность из vbs скрипта, я как-то не очень представляю.

Или попросить liosha посмотреть, может там есть резервы для оптимизации обработки больших карт.

Чтобы просить Лёшу, нужно со старой версии osm2mp перейти на новую, заново ее пропатчить и переделать конфиги. Мне этим заниматься совсем не улыбается.

Last edited by Zkir (2013-06-21 09:51:17)

Announcement

#2051 2013-06-19 10:22:14

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2052 2013-06-19 10:55:29

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2053 2013-06-19 11:16:22

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2054 2013-06-19 11:40:50

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2055 2013-06-19 11:57:38

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2056 2013-06-19 12:04:17

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2057 2013-06-19 12:07:26

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2058 2013-06-19 12:07:46

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2059 2013-06-19 15:00:01

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2060 2013-06-20 16:24:40

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2061 2013-06-20 16:56:01

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2062 2013-06-20 18:21:19

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2063 2013-06-20 19:09:05

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2064 2013-06-20 19:57:06

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2065 2013-06-20 22:40:21

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2066 2013-06-21 04:11:24

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2067 2013-06-21 06:32:49

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2068 2013-06-21 06:45:00

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2069 2013-06-21 07:39:44

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2070 2013-06-21 07:51:18

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2071 2013-06-21 08:06:30

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2072 2013-06-21 08:21:13

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2073 2013-06-21 09:08:54

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2074 2013-06-21 09:44:49

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

#2075 2013-06-21 09:50:58

Re: Универсальный валидатор (рутинг, адресация) на базе конвертации в СГ

Board footer