Эстония

SviMik · 2013-02-17 20:38:12

План Б, самый быстрый:
Адреса, не прошедшие валидатор, загрузил в http://svimik.com/osm/xgis2osm.php
Т.е. просто переразметим сами. Это проще и быстрее, чем вручную править существующие ошибки.

OverQuantum · 2013-02-17 22:28:40

Если номер виден нормально, но контур надо бы исправить - ставить номер + "!" ( "4!" ) или как?
Например, контур охватывает два "слипшихся" здания с одним номером.

Last edited by OverQuantum (2013-02-17 22:42:07)

AlexTheTux · 2013-02-17 23:25:13

OverQuantum wrote:

Если номер виден нормально, но контур надо бы исправить - ставить номер + "!" ( "4!" ) или как?
Например, контур охватывает два "слипшихся" здания с одним номером.

Как делаю я:
Если контур в OSM даже близко к контуру в Maa-amet не лежит - я помечаю дом как "!". Нет смысла добавлять номер, если контур придется сильно переделывать (потому что way с этим ID может и потеряться в результате переделки контура).
Если контур довольно близок к реальности - то я просто помечаю его номером. Ведь мы сейчас адресную информацию добавляем, а не лоск с геометрией наводим.

Таким образом, сейчас я полностью отказался от пометок "и не сюда, и не туда".
Либо номер дома, либо в очередь на исправление контура, но не в обе стороны одновременно.

Если задуматься - как, по твоему, будут обработаны здания, помеченные как "4!" ?
Очевидно же, что либо как "!", либо как "4" - но только не ты это будешь решать.
Лучше решать самому.

OverQuantum · 2013-02-17 23:34:20

AlexTheTux wrote:

Если задуматься - как, по твоему, будут обработаны здания, помеченные как "4!" ?
Очевидно же, что либо как "!", либо как "4" - но только не ты это будешь решать.

Не очевидно.
Правильным было бы (сначала) навесить указанный номер и (потом) внести здание в список на ручное исправление контура.

AlexTheTux · 2013-02-18 00:43:00

OverQuantum wrote:

AlexTheTux wrote:
Если задуматься - как, по твоему, будут обработаны здания, помеченные как "4!" ?
Очевидно же, что либо как "!", либо как "4" - но только не ты это будешь решать.
Не очевидно.
Правильным было бы (сначала) навесить указанный номер и (потом) внести здание в список на ручное исправление контура.

Будь я автором - я бы так никогда бы не сделал.
В результате исправления контура (участником Y) здание может неожиданно стать вовсе не тем, которое предполагал участник X.
Из строки "4!" ведь никак не вычислишь, насколько это здание "4", а насколько "не 4".

Vitalts · 2013-02-18 13:22:26

В общем, адресные точки кто-то собирался вычищать, но перед этим неплохо бы ВРУЧНУЮ проверить все такие точки, которые снаружи контуров building.

Вот вам не терпиться повыпиливать адресные точки

В общем, нашел пару десятков минут и проанализировал ситуацию с точечными адресами. По данным настоящего дампа Эстонии с последней правкой 2013-02-15 17:24:34 всего в базе с ключами like 'addr:street%' и like 'addr:housenumber%':
• 3957 точечных объекта
• 786 из них имеют в некоторой окрестности (позволяющей считать, что адрест указывает на один и тот же домик) вейный или мультигональный домик с теме же case insensitive значениями улицы и номера дома
• 203 из них имеют иную полезную информацию

Вот 583 оставшихся могу выпилить без малейшего угрызения совести. По 203 придется пройтись и попереносить полезную информацию на домики или POI внутри них. По 3171 для которых не нашлось вейных/мультиполигональных аналогов нужно будет еще поискать похожие и поправить вручную. К примеру, сразу бросилось в глаза PÄRNASALU 11 рядом с домиком Pärnasalu põik 11

--
поправил статистические данные

Last edited by Vitalts (2013-02-18 13:29:34)

Zkir · 2013-02-18 18:54:56

http://forum.openstreetmap.org/viewtopi … 01#p314201

OverQuantum · 2013-02-18 19:29:30

SviMik wrote:

План Б, самый быстрый:
Адреса, не прошедшие валидатор, загрузил в http://svimik.com/osm/xgis2osm.php
Т.е. просто переразметим сами. Это проще и быстрее, чем вручную править существующие ошибки.

Всё, "100.00% (-1 left)" )

SviMik · 2013-02-19 01:30:11

3957 точечных объекта

Имеются ввиду именно точки, не входящие в линии?

Вот 583 оставшихся могу выпилить без малейшего угрызения совести.

Тогда можешь выпиливать

Ещё такая задача теперь: проанализировать адресные точки, входящие в контуры зданий. Т.е. если на контуре уже есть адрес, то с точек его надо вычистить.

Но, пока не срочно. Рекомендую дождаться, когда все адреса приведу в порядок, чтобы второй раз потом не проходить.

Всё, "100.00% (-1 left)"

Отлично, попытаюсь подготовить выгрузку.

Немного забавной статистики: адреса, которые есть у более чем 10 домиков: http://svimik.com/osm/top_addr.php

(update)
Первая пачка прошла, 1068 штук. http://www.openstreetmap.org/browse/changeset/15084057

Интересно иногда читать историю, как адреса по чуть-чуть правили, то страну впишут, то город. А мы - как заключительный аккорд
http://www.openstreetmap.org/browse/way … 58/history

(update)
два http://www.openstreetmap.org/browse/changeset/15084205
три http://www.openstreetmap.org/browse/changeset/15084221

На этом на сегодня закончу

Last edited by SviMik (2013-02-19 02:28:42)

Vitalts · 2013-02-19 07:39:36

Имеются ввиду именно точки, не входящие в линии?

Проверка вхождения точки в линии или отношение не велась, ибо от этого зависит лишь метод чистки.

Вот 583 оставшихся могу выпилить без малейшего угрызения совести.

463 не связанных нода удалены (пакет правок 15078252. 120 имели связи (входили в вей или отношение), т.е. на них нужно было лишь почистить адресные теги. Но, к сожалению, pgAdmin не вовремя упал, запросы конечно же не сохранились. Только не связанные и успел в *.osm для чиситки скопировать. Позже вычищу.

Ещё такая задача теперь: проанализировать адресные точки, входящие в контуры зданий. Т.е. если на контуре уже есть адрес, то с точек его надо вычистить.

А быстро теперь и не получится, мне сейчас сложно даже 20 минут уделить проекту.

KonTur · 2013-02-19 08:26:27

Посмотрел - вообще с границами в Эстонии сущий бардак. С ходу наткнулся на три линии границы одного уровня, нарисованные одна поверх другой. Причем в отношениях используется только одна, а две другие - просто так. Работы там по чистке лишних линий - немало аднака.

Vitalts · 2013-02-19 10:41:51

KonTur, Только что проверил, граница госсударства замкнута (а вот по выгрузке имеет кучу дыр, поначалу даже испугался). По уездам тоже должны быть ОК, если уже не поломали. До более низких уровней еще не дошел, в них много чего уже может быть поломано.

KonTur · 2013-02-19 11:12:50

Vitalts wrote:

в них много чего уже может быть поломано.

Я не говорю что поломано, те отношения что я смотрел (штук 10, admin_level=9) все были замкнуты. Я имею ввиду что нарисованы три линии друг поверх друга, а используется только одна. Две лишние совершенно. Вот пример вправо вниз от этой точки http://www.openstreetmap.org/browse/node/579624843:
http://www.openstreetmap.org/browse/way/30603417
http://www.openstreetmap.org/browse/way/30603458
http://www.openstreetmap.org/browse/way/45489504
Не смертельно, но "непорядок"

Last edited by KonTur (2013-02-19 11:14:28)

Vitalts · 2013-02-19 11:25:40

Ну, до приведения в порядок admin_level=9 я еще долго буду добираться

AlexTheTux · 2013-02-19 23:48:47

А почему некоторые здания остались так и не адресованными, хотя, изначально с контуром у них все в порядке и на схеме Maa-amet они есть (но не знаю, что там с номером - этот слой Maa-amet я не вижу)?
Например: http://www.openstreetmap.org/browse/way/26885410

SviMik · 2013-02-20 00:13:14

26885410 - адресной точки не найдено в базе Maa-amet в радиусе 10 метров.
Зданий с таким статусом в базе сейчас 805. Когда-нибудь доберусь и до них.

Last edited by SviMik (2013-02-20 00:56:54)

SviMik · 2013-02-20 12:22:40

Интересно, а что означают номера вида !*25a ?

-------------

Результат работы валидатора:
Адресов с ошибками:
Было: 2051 (1.50%)
Стало: 382 (0.28%)

Отчет об оставшихся 382 домиках, с пояснением причины, по которой они остались (в последнем столбике):
http://svimik.com/osm/ads_validator.php

!!!!**** это наверное очень-очень плохой контур
!*!*!*22 порезать! Трижды порезать!

Last edited by SviMik (2013-02-20 12:50:23)

AlexTheTux · 2013-02-20 14:37:22

Убедительная просьба (если этого еще не сделано):
a. Сохранять для введенной адресной информации каждого дома - ID участника, который ее ввел
b. И более важное, но являющееся следствием первого - не выдавать на адресацию два раза один дом одному участнику.

Просто когда первый раз на адресацию пошли десятки тысяч домов, а участников было много - пункт b. был неважен, но сейчас, раз за разом, в адресацию подкидывается (и будет подкидываться еще неоднократно) относительно небольшое количество домов, и постоянно встречается ситуация, когда один дом выдается на адресацию два раза (а я встречал несколько раз, когда вообще два раза ПОДРЯД), а это делает бессмысленным двойную адресацию каждого дома (если это делает один человек).
Еще аргумент - при нынешних небольших количествах домов на адресацию, зачастую всю порцию успевает обработать ОДИН человек (ну - два), пока остальные участники подтягиваются. Вот он один и проставляет номера дважды.

Это ведь относительно не сложно (хранить для каждого дома ID участника и не выдавать дом повторно), верно?

SviMik · 2013-02-21 00:11:41

a. Сохранять для введенной адресной информации каждого дома - ID участника, который ее ввел

Это есть с самого начала.

b. И более важное, но являющееся следствием первого - не выдавать на адресацию два раза один дом одному участнику.

Причин здесь на самом деле две.

1. Скрипт подгружает в очередь сразу 5 заданий, а т.к. из базы задания удаляются только когда они решены - скрипту нет причин не выдать повторы, когда браузер запрашивает ещё, при этом предыдущие ещё только ожидают решения пользователя. Поэтому в пределах пяти штук действительно могут быть повторы. Это я поправлю, чуть позже.

2. Как таковых, повторов в пределах сессии (кроме п.1) быть не может, т.к. при генерации новой пачки заданий, на каждый дом генерируется только по одному. Проще говоря, я сначала генерирую одну пачку, жду когда её решат, и потом подкидываю вторую пачку, куда домики, которые имеют только одну запись, попадают повторно. Поэтому иногда можно заметить, что в день домики подкидываются дважды (хотя экспорт у gis-lab только раз в сутки ).
Т.е. попасть на один и тот же домик (кроме п.1) дважды возможно лишь попав на обе пачки заданий. Тут наверное запрещать нет смысла, иначе я просто не знаю, как оформлять статистику. "Осталось 42 домика, но вам их нельзя, вам осталось 0"?

AlexTheTux · 2013-02-21 01:32:24

Чисто для иллюстрации: :-)

За сессию: 30
Server said: OK, 206162551 stored as 101
Server said: OK, 206162456 stored as 10
Server said: OK, 206162499 stored as 18/15
Server said: OK, 206162591 stored as 14/6
Server said: OK, 26889844 stored as 23 11
Server said: OK, 206314012 stored as 25
Server said: OK, 206162456 stored as 10
Server said: OK, 206162486 stored as 47
Server said: OK, 206162535 stored as 4c
Server said: OK, 206162518 stored as !
Server said: OK, 206162568 stored as 8
Server said: OK, 206162538 stored as 14
Server said: OK, 206162478 stored as 18/16
Server said: OK, 206162549 stored as 2
Server said: OK, 206162538 stored as 14
Server said: OK, 206162604 stored as 20c
Server said: OK, 206162596 stored as 20/1
Server said: OK, 206162516 stored as 124
Server said: OK, 206162525 stored as 18/12
Server said: OK, 206162525 stored as 18/12
Server said: OK, 206162552 stored as !
Server said: OK, 206162573 stored as !
Server said: OK, 206162500 stored as !
Server said: OK, 206162534 stored as (empty)
Server said: OK, 206314009 stored as !
Server said: OK, 206162540 stored as (empty)
Server said: OK, 206162534 stored as (empty)
Server said: OK, 206314016 stored as (empty)
Server said: OK, 206162539 stored as (empty)
Server said: OK, 206162512 stored as !

SviMik · 2013-02-21 01:58:13

Чисто для иллюстрации:

Данный принцип позволил скрипту летать даже при плохом соединении, придерживая некоторый запас заданий, заранее скачанных с сервера.
Плюсы очевидны: 5 про запас скачанных задания - хороший запас на случай любых лагов инета или сервера.
Минусы: задания-то мы скачали, но результат на сервер ещё не отправляли, соответственно на сервере о них никаких записей. И когда клиент запрашивает следующее задание - серверу ничто не мешает выдать A/B/C/D, т.к. фактически пользователь их ещё не решил, поэтому ограничение, предложенное AlexTheTux, не сработает

Возможный выход - при запросе новых заданий клиент может подсказывать, какие у него уже загружены, чтобы сервер их повторно не выдавал.
Попробую реализовать на выходных.

Last edited by SviMik (2013-02-21 02:00:11)

SviMik · 2013-02-22 02:48:32

Ухты, целый посёлок... необкликанный!
http://www.openstreetmap.org/?lat=58.90 … 5&layers=M

Vitalts · 2013-02-22 06:11:55

У нас таких поселков еще... Да что поселки, городов нет.

SviMik · 2013-02-22 11:48:31

Значит, надо написать валидатор на эту тему Попробую на выходных заняться.

wowik · 2013-02-22 11:53:56

SviMik wrote:

Значит, надо написать валидатор на эту тему

Вот такой? http://forum.openstreetmap.org/viewtopic.php?id=20148

Announcement

#326 2013-02-17 20:38:12

Re: Эстония

#327 2013-02-17 22:28:40

Re: Эстония

#328 2013-02-17 23:25:13

Re: Эстония

#329 2013-02-17 23:34:20

Re: Эстония

#330 2013-02-18 00:43:00

Re: Эстония

#331 2013-02-18 13:22:26

Re: Эстония

#332 2013-02-18 18:54:56

Re: Эстония

#333 2013-02-18 19:29:30

Re: Эстония

#334 2013-02-19 01:30:11

Re: Эстония

#335 2013-02-19 07:39:36

Re: Эстония

#336 2013-02-19 08:26:27

Re: Эстония

#337 2013-02-19 10:41:51

Re: Эстония

#338 2013-02-19 11:12:50

Re: Эстония

#339 2013-02-19 11:25:40

Re: Эстония

#340 2013-02-19 23:48:47

Re: Эстония

#341 2013-02-20 00:13:14

Re: Эстония

#342 2013-02-20 12:22:40

Re: Эстония

#343 2013-02-20 14:37:22

Re: Эстония

#344 2013-02-21 00:11:41

Re: Эстония

#345 2013-02-21 01:32:24

Re: Эстония

#346 2013-02-21 01:58:13

Re: Эстония

#347 2013-02-22 02:48:32

Re: Эстония

#348 2013-02-22 06:11:55

Re: Эстония

#349 2013-02-22 11:48:31

Re: Эстония

#350 2013-02-22 11:53:56

Re: Эстония

Board footer