OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#26 2018-04-27 11:01:35

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,872

Re: Импорт адресов из открытых данных Москвы

я прделагал уже дополнить сервис функцией пересылки точки в джосм по апи, как сделано в купивановском валидаторе...

Offline

#27 2018-04-27 11:05:54

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,561
Website

Re: Импорт адресов из открытых данных Москвы

pfg21 wrote:

я прделагал уже дополнить сервис функцией пересылки точки в джосм по апи, как сделано в купивановском валидаторе...

Это-то несложно, но у решения несколько недостатков:
1. Одну-две точки так удобно править, тысячу (¹⁄₃ от только одного импорта адресов из 12) — задолбаешься.
2. Изменения из JOSM нельзя сохранить так, чтобы применить к обновлению данных из источника.
3. Велик шанс увлечься и причёсывать карту вокруг каждой импортированной точки.
4. Валидатор не знает, поправили и залили точку из JOSM или нет. На нажатие кнопки полагаться нельзя.
5. Не все мапперы предпочитают JOSM.

Для случая freeExec было бы правильно позволять двигать точку после нажатия «Create New». Но пока непонятно, как сделать интерфейс, чтобы он не запутывал пользователя (ещё больше).


ШТОСМ | josm.ru | обо мне | "never again" is what you swore the time before

Offline

#28 2018-04-27 11:49:58

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,872

Re: Импорт адресов из открытых данных Москвы

1. точки все равно обрабатываются поштучно, протыкать тысячу точек в интерфейсе сайта конечно быстрее джосма, но как видишь существуют моменты, которые не возможно решить в пределах данного интерфейса.

2. можно взять точку из осм. см. п.4

3. это будет бОльший плюс к осм, чем доработка списка,на мой взгляд. ибо по списку видно, что недоделано, и его один фиг доделает кто-то другой.
а вот на криво отрисованное место еще надо умудриться наткнуться. как вот здесь можно еще и контур домика отрисовать.
да и осм не комерческая проф.гис.система, "ориентированная на результат". я по валидатором хожу, чтобы улучшить осм и серьезно ориентируюсьь на доработку окружения точки, а не выполняю кусок возложенной корпорацией на меня работы.

4. К примеру, валидатор отмечает, что точка передана джосму, ждет через несколько часов и делает матчинг точки с базой осм (или выгрузкой участка через оверпасс или еще что). и получает и дудочку и кувшинчик.

5. никто не заставляет пользоваться ваапче этой функцией. можно дополнительно ввести сегрегацию и не показывать эту функцию мапперам с менее чем десятком тысяч правок в осм.
Так-то есть большое количество осмеров не умеющих или недолюбливающих отношения, но ничего, рисуют потихоньку.


либо выдавать точку во внешний полноценный редактор (имхо самый разумный вариант), либо монструозить что-то свое, либо прикручивать половину иД (а вдруг кому-то следующему захочетца чего-то еще большего ??)

п.с.: раширить апи иД на внесение точек тоже не помешает.

Offline

#29 2018-04-27 12:07:27

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,313

Re: Импорт адресов из открытых данных Москвы

Zverik wrote:

Для случая freeExec было бы правильно позволять двигать точку после нажатия «Create New». Но пока непонятно, как сделать интерфейс, чтобы он не запутывал пользователя (ещё больше).

Моё предложение разлочить маркер полигона. И если его сдвинули, то кнопка "хорошо" убирается, остаётся только создать в этом месте новую и отмена. Тут больше проблема двойной верификации, что произошло будет сложнее понять.

Offline

#30 2018-04-27 12:46:29

Владимир К
Member
Registered: 2015-05-22
Posts: 441

Re: Импорт адресов из открытых данных Москвы

Пара примеров "валидации".
https://www.openstreetmap.org/changeset/58468085
Вот тут было в ОСМ два дома. Один с адресом Комсомольский проспект, 23/7, второй 1-я Фрунзенская улица, 7/23.
Валидатор предлагал заменить адрес второго на первый. Первый проверяющий предложил не ничего не делать с комментарием "шило на мыло", видимо руководствуясь схемой с addrN с перекрестной нумерацией угловых домов.
Но на самом деле с обоих концов дома висит табличка с первым адресом, то есть второго просто не существует. Яндекс панорамы и, внезапно, мапиллари помогли разобраться.

https://www.openstreetmap.org/changeset/58467605
Вот тут было примерно то же самое, только комментарий был "уже есть".


Возникают вопросы: Зачем нам несуществующие адреса в базе? Что делают валидирующие, кроме нажатия на кнопочки? Может надо просто перерисовывать все эти места тупо по слою домиков адресного реестра? (может прикрутить кнопку с джосмом на страничке, если её нет?)

Last edited by Владимир К (2018-04-27 12:47:05)

Offline

#31 2018-04-27 13:06:44

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,561
Website

Re: Импорт адресов из открытых данных Москвы

Владимир К wrote:

Возникают вопросы: Зачем нам несуществующие адреса в базе? Что делают валидирующие, кроме нажатия на кнопочки? Может надо просто перерисовывать все эти места тупо по слою домиков адресного реестра? (может прикрутить кнопку с джосмом на страничке, если её нет?)

Кажется, оба дома отвалидировал я. Ну или были другие аналогичные случаи, где я принимал решение. И тут нужно кое-что понять про импорты, что я осознал после опыта импортов в Западной Европе.

Целью любого импорта является улучшение карты. Этим он вступает в явное противоречие с сообществом. Цель сообщества — не улучшение карты. Иначе можно было бы просто бросить адреса из открытых данных на карту, заменив существующие. У OpenStreetMap нет задачи стать самой полной или даже субъективно самой лучшей картой. Цель OSM — потешить самолюбие редакторов, которые самоотверженно заполняют белые пятна и круглосуточно ходят с обходными листами, собирая ценные данные. Любой импорт подрывает их самомнение, так как оказывается, что часть их работы была впустую. Поэтому в импорте обязательно нужно найти недостатки.

Поэтому я стараюсь минимизировать количество потенциальных возражений. То есть, если возможно не менять данные, уже добавленные в OSM, — я не меняю. Не важно, что написано на доме. Если человек, проставивший 7/23, заметит, что в процессе импорта я заменил его адрес, он, скорее всего, не пойдёт на панорамы или на местность выяснять, кто прав. Он напишет озлобленный комментарий к пакету правок или на форум. Мне это надо? Поэтому я не меняю. Для достаточно продвинутого геокодера эти адреса идентичны, а реальность никого в OSM не волнует.


ШТОСМ | josm.ru | обо мне | "never again" is what you swore the time before

Offline

#32 2018-04-27 13:22:13

Владимир К
Member
Registered: 2015-05-22
Posts: 441

Re: Импорт адресов из открытых данных Москвы

Печальбеда. Жду озлобленных комментариев к тем своим правкам big_smile А я был бы рад тупо перерисовать спорные моменты в осм по свежему слою адресного реестра. Вроде он соответсвует реальности, да и остальные карты, видимо, на него равняются.

Offline

#33 2018-04-27 14:14:49

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,485

Re: Импорт адресов из открытых данных Москвы

Zverik wrote:

Любой импорт подрывает их самомнение, так как оказывается, что часть их работы была впустую.

Если бы только это. Главная проблема, что заменяемые данные довольно часто хуже качеством. Те же попытки импорта музеев, галерей и т.п. это наглядно показали. Лучше меньше да лучше.

Last edited by Sergey Astakhov (2018-04-27 14:16:14)

Offline

#34 2018-04-27 14:38:23

Zverik
Moderator
From: Москва
Registered: 2010-10-14
Posts: 5,561
Website

Re: Импорт адресов из открытых данных Москвы

Sergey Astakhov wrote:
Zverik wrote:

Любой импорт подрывает их самомнение, так как оказывается, что часть их работы была впустую.

Если бы только это. Главная проблема, что заменяемые данные довольно часто хуже качеством. Те же попытки импорта музеев, галерей и т.п. это наглядно показали. Лучше меньше да лучше.

«Данные в импортах хуже качеством» — это «а как же дети» в мире OSM. Ты поди проверь качество данных OSM. Найти изъяны можно в любых данных, но скрупулёзно проверяем только импорты.

Музеи были плохи, да, но импорт и быстро закрыли. Есть разница между адом а-ля музеи и «вот тут одно название неправильно, НЕ ТРОГАЙ НАШУ СТРАНУ».

Впрочем, кажется, я совсем отклонился от темы.


ШТОСМ | josm.ru | обо мне | "never again" is what you swore the time before

Offline

#35 2018-04-27 14:41:47

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,617

Re: Импорт адресов из открытых данных Москвы

Владимир К wrote:

остальные карты, видимо, на него равняются.

У тех, кто их делает, есть начальство и план.
Соответственно и результаты нужны в первую очередь для отчета перед начальством.
А начальству нужны победные реляции:
"Теперь на нашей карте есть адреса всей Москвы".

Offline

#36 2018-04-27 14:47:20

Alexander-II
Member
From: Москва
Registered: 2017-02-03
Posts: 140
Website

Re: Импорт адресов из открытых данных Москвы

Sergey Astakhov wrote:

что заменяемые данные довольно часто хуже качеством

Если брать мой опыт использования адресного реестра Москвы, подложку из которого делал trolleway, то она чаще оказывается верной (если смотреть панорамы или сходить вживую глянуть) чем то, что отражено в ОСМ.
Потому что много чего в Москве отрисовано, и с тех пор не трогалось, в 2011-2014 года. По тем спутниковым снимкам, диванно. Потому иногда вместо трех домов - один. Вместо одного - семь. А двойная/тройная адресация или отменена по факту (вывески с домов сняли), или же могла быть тестовым полигоном в упражнении с схемами тегирования или фантазией самого мапера (на углу дома висело несколько указателей, и он подумал, что это один дом с двумя адресами. а это по факту два дома, каждый со своим адресом).

Long story short — подложка адресного реестра по Москве внушает больше доверия чем адреска из ОСМ.

Last edited by Alexander-II (2018-04-27 15:15:25)

Offline

#37 2018-04-27 15:23:12

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,872

Re: Импорт адресов из открытых данных Москвы

нормально получается с музеями, если делать нормально.
я обошел небольшое количество музеев по тому "импорту", поправил и музеи и окружающее через джосм, залезал на оф.сайты, поставил кучу информации как в довесок так и в замен некоторых полей импорта, но большинство полей напрямую скопировал в осм.
так что получился наиболее лучшее решение, объединяющее плюсы и импорта и ручного редактирования.

согласен что тупой импорт ложит на сообщество с пробором, ибо он "тупой" импорт. тигра вон в америке как положена так до сих пор и лежит. пару раз натыкался - в некоторых местах внесена откровенная туфта, не возможно качественно охватить большой объем данных.

ты сейчас пытаешься создать "умный" импорт с элементами ручной валидации живыми человеками перед импортом. это карошо для продукта который пойдет в комерческие массы.

но система получается не полноценная с точки зрения активного прикладного маппера (он функциолнально и по целям несколько отличается от нанятого работника или не сильно незаинтересованного в осм лица), о чем и речь.

Если делать таку систему под мапперов, то вместо валидаци исходника импорта сразу сделать систему прямого мерджинга данных импорта в осм с самым активным участием эффективной "живой" прослойки.

К примеру месяц дается на мерджинг: т.е. точки либо вносятся с отметкой в импорте внесено (+ обязательный матчинг по результатам в осм) либо удаляются/помечаются как недействительные в реальности.
полсе чего неразобранные остатки тупо импортятся в осм с тегом fixme="import by conflator, please check".

И овцы целы (у мапперов есть время эффективно обработать свалившиеся счастье) и волки сыты (заказчику/владельцу можно указать сроки внесения,затем отрапортовать о окончании священного действа с вразумительными результатами или показывать красивую онлайн-рапортовалку).

мож я просто не все понимаю в целях проектах, но вот таков мой взгляд.

Offline

#38 2018-04-27 15:42:36

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,617

Re: Импорт адресов из открытых данных Москвы

pfg21 wrote:

fixme="import by conflator, please check".

И висят там аки тигр в Америке

Offline

#39 2018-04-27 15:46:00

pfg21
Member
From: Чебоксары
Registered: 2012-10-18
Posts: 2,872

Re: Импорт адресов из открытых данных Москвы

ну как говорится - "вам шанс был дан, чего же тормозили ??" smile
выявить импортированное и допилить уже в базе тоже возможно

Offline

#40 2018-04-27 16:02:20

ghost_07
Member
From: Krasnogorsk
Registered: 2012-05-16
Posts: 36

Re: Импорт адресов из открытых данных Москвы

Импорты очень нужны. Конечно будет некоторый процент ошибок, но количество новых данных, которые руками (особенно в частном секторе) внесли бы очень не скоро. Опять же, что такое ошибка в адресе? В 90% случаев таких ошибок, дом с правильным адресом будет соседним, а это on the ground всяко лучше чем полное отсутствие адреса.

Offline

#41 2018-04-27 16:26:35

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,313

Re: Импорт адресов из открытых данных Москвы

Зато народу больше сагрится: " у вас музей на дороге, а должен быть на соседней улице".

Offline

#42 2018-04-27 16:28:55

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,313

Re: Импорт адресов из открытых данных Москвы

ghost_07 wrote:

(особенно в частном секторе) внесли бы очень не скоро

Частный сектор вообще изи, достаточно круговых панорам на перекрёстках, а дальше интерполяцией. Ну и отдельно зайти где не сошлось.

Offline

#43 2018-04-27 16:41:43

Alexander-II
Member
From: Москва
Registered: 2017-02-03
Posts: 140
Website

Re: Импорт адресов из открытых данных Москвы

freeExec wrote:

Зато народу больше сагрится: " у вас музей на дороге, а должен быть на соседней улице".

Это, кстати, отличный случай! Чем быстрее и больше народа сагрится, тем быстрее эти ошибки будут исправлены. Тут, как бы, уже роляет настрой участников, а не качество данных в том или ином наборе.

Но кажется, беседа скатывается не в обсуждение этого импорта, а в осбуждение самих импортов. Чем грешит рассылка про импорты.

Last edited by Alexander-II (2018-04-27 16:42:24)

Offline

#44 2018-04-27 16:42:17

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,485

Re: Импорт адресов из открытых данных Москвы

Alexander-II wrote:

много чего в Москве отрисовано, и с тех пор не трогалось, в 2011-2014 года

Вот именно. А что будет через несколько лет после данного импорта, когда данные опять разъедутся? И хорошо, если источник хорошего качества, как в данном случае, а если нет? У меня есть тут одна цитата по этому поводу:

Многие энтузиасты рассматривают импорт как единичное вливание данных, «сделал дело — гуляй смело». В итоге на карте появляются двумерные кладбища данных, за которыми никто не присматривает. Источники импортов обновляются: так, пока американцы ковыряются в TIGER от 2005 года, уже вышел значительно превосходящий его по качеству TIGER 2012. Несколько стран импортировали покрытие CORINE 2006 года, которое неминуемо обновят, но иначе как всё удалить и импортировать заново, данные в OSM не обновить. А править руками импортированное настолько муторно, что этим никто не занимается. Большие импорты остаются зафиксированными во времени, они не становятся частью OSM, торча из него спустя годы, когда участник, загрузивший их, уже давно покинул проект.

http://shtosm.ru/2013/01/15/1/

Offline

#45 2018-04-27 17:06:06

Alexander-II
Member
From: Москва
Registered: 2017-02-03
Posts: 140
Website

Re: Импорт адресов из открытых данных Москвы

[Forwarded from Илья Зверев]
Сейчас посчитал адреса в РФ и отдельно в Москве и Петербурге в OSM и по ФИАС. Статистика неутешительная:
* РФ: 1,4 млн из примерно 24 млн (5,8%)
* Москва: 80 тысяч из 200 тысяч (40%)
* СПб: 37 тысяч из 200 тысяч (18,5%)

В классической для ОСМ ситуации, когда настолько мало участников, что отсутствует 120к адресов по Москве, имо, можно сбросить атомную бомбу, залить всё с нуля и всё равно остаться в плюсе.

Sergey Astakhov wrote:

А что будет через несколько лет после данного импорта, когда данные опять разъедутся?

Я правильно понимаю, что это вопрос про следующую итерацию импорта этого же набора данных (через 3-6-12 месяцев)?

Касательно этого импорта хочется верить, что по его окончанию в ОСМ окажется примерно 200к адресов в Москве, вопиющие косяки из которых исправятся с гневными комментариями, проклятиями, неверными указаниями навигатора и результатами выдачи геокодера, и пеной изо рта (ну или если получится без пены, то пусть без пены).

То есть иметь 200к плавно устаревающих адресов (неизвестно какого) среднего качества — лучше чем иметь 80к плавно устаревающих адресов (неизвестно какого) среднего качества. Или не лучше, а — так же. Не хуже.

Last edited by Alexander-II (2018-04-27 17:44:04)

Offline

#46 2018-04-27 17:42:40

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,313

Re: Импорт адресов из открытых данных Москвы

Alexander-II wrote:

Это, кстати, отличный случай!

Вообще это закономерность, можно посмотреть на заметки.

Offline

#47 2018-04-27 18:20:03

Sergey Astakhov
Member
From: St.Petersburg, Russia
Registered: 2009-11-13
Posts: 5,485

Re: Импорт адресов из открытых данных Москвы

Alexander-II wrote:

То есть иметь 200к плавно устаревающих адресов (неизвестно какого) среднего качества — лучше чем иметь 80к плавно устаревающих адресов (неизвестно какого) среднего качества. Или не лучше, а — так же. Не хуже.

Вся проблема что вы рассматриваете не перспективу, а только одномоментное состояние. Это может быть оправданно для коммерческих поставщиков, у которых есть куча ограничений по бюджету, штату, срокам и надо выдать результат на гора.

Однако в социальных проектах всё немного по другому устроено, тут мапперы важнее набора данных. Это именно они добавляют и исправляют/актуализируют данные. И чем их больше - тем данные будут полнее и корректнее. Пытаясь подменить их импортами вы решаете только первую часть (добавление), но никак не решаете вторую - актуализация/исправление.

Грубая формула: Качество данных = Кол-во мапперов/кол-во данных

Увеличение кол-ва данных без увеличения кол-ва мапперов в результате снижает общее качество. А из-за деморализующего эффекта импортов кол-во мапперов может даже снизиться в итоге, что ещё больше усугубляет проблему.

Поэтому, IMHO, гараздо полезнее на перспективу было бы иметь регулярно обновляемый валидатор, который бы показывал расхождение адрески.

Last edited by Sergey Astakhov (2018-04-27 18:26:19)

Offline

#48 2018-04-27 18:31:36

Alexander-II
Member
From: Москва
Registered: 2017-02-03
Posts: 140
Website

Re: Импорт адресов из открытых данных Москвы

Sergey Astakhov wrote:

Пытаясь подменить их импортами вы решаете только первую часть (добавление), но никак не решаете вторую - актуализация/исправление.

Погодите. Почему мы в обсуждении этого импорта решаем проблему не импорта? Не лучше ли ее решать в отдельной теме?

Sergey Astakhov wrote:

Увеличение кол-ва данных без увеличения кол-ва мапперов в результате снижает общее качество.

Как может устранение нехватки 120к адресов снизить качество данных? И где оценка качества имеющихся данных, чтобы было с чем сравнить и делать вывод об изменении качества?

Sergey Astakhov wrote:

А из-за деморализующего эффекта импортов кол-во мапперов может даже снизиться в итоге, что ещё больше усугубляет проблему.

Мапперам бы научиться поменьше деморализовываться. И научиться брать от импортов хорошее, а не делать вид, что без них было бы лучше. Но опять же. Почему это обсуждает в рамках этого импорта, а не отдельным обсуждением?

Sergey Astakhov wrote:

Поэтому, IMHO, гараздо полезнее на перспективу было бы иметь регулярно обновляемый валидатор, который бы показывал расхождение адрески.

Что-то мешает его сделать и использовать?

Last edited by Alexander-II (2018-04-27 18:32:50)

Offline

#49 2018-04-27 18:50:44

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,313

Re: Импорт адресов из открытых данных Москвы

В данном импорте придётся править и ОСМ и Валидатор, потому что исходные данные криво сидят.

Offline

#50 2018-04-28 09:09:42

Владимир К
Member
Registered: 2015-05-22
Posts: 441

Re: Импорт адресов из открытых данных Москвы

ой да камон, всё упирается в людей. никто не мапит адреса. есть слой адрески для джосма уже сколько лет и чего? есть свежие яндекс панорамы с новыми табличками адресов и что? где адреска в москве? через раз валидатор импорта выдает в осм несуществующие адреса/один адрес вместо двух/жилые(!) дома без адреса. Без импорта всё так и останется протухшим говном мамонта, сообщество в таком количестве ничерта не может.

Но да, валидатор с адресным реестром и быстрым редактированием в джосм тоже было бы круто иметь.

Last edited by Владимир К (2018-04-28 09:15:21)

Offline

Board footer

Powered by FluxBB