Валидатор церквей

ajvol · 2012-11-06 14:09:36

Церкви и мечети - это не только духовные центры и памятники архитектуры, но и замечательные ориентиры для навигации.

Когда-то у меня появилась мысль отметить все церкви Ивановской области, но оказалось, что можно легко масштабировать эту задачу на другие регионы.

Это, конечно, не полноценный валидатор, а просто список недостающих в OSM церквей.

Главная ссылка:

https://docs.google.com/spreadsheet/ccc … ExSSkxzNGc

(сначала хотел сделать красивый сайт, но потом подумал, что это может затянуться и решил просто выложить таблицу, можно включить фильтрацию только по интересующим регионам)

А вот статистика по регионам:

https://docs.google.com/spreadsheet/ccc … 2p2OExSQ1E

Методика:

1. Загрузил списки и координаты церквей и мечетей с сайтов sobory.ru, temples.ru, russian-mosques.com. Всего около 20 тыс. объектов из России, Украины, Белоруссии. Полнота описания по регионам существенно разнится.

2. Загрузил из OSM все place_of_worship, у которых указан тег religion (тоже около 20 тыс., но сюда вошло много польских костёлов, так как я отбирал данные по bbox)

3. Загрузил всё это в базу данных и отобрал только такие церкви/часовни/мечети, в радиусе 1 км от которых нет ни одного осмовского объекта place_of_worship

4. Постарался отсеять дубли, получившиеся из разных источников. Попытался также отфильтровать утраченные объекты, но это удалось хуже.

5. В итоге получилось около 12 тыс. координат отсутствующих в OSM церквей со ссылками на их описание. Переносить их напрямую в OSM было бы сомнительно, так что просто предлагаю вам обратить внимание на эти места.

Если кому нужны исходные данные - готов поделиться.

Приятного мапинга.

Last edited by ajvol (2012-11-08 06:39:53)

pleshkovpa · 2012-11-06 14:40:38

На чем написаны исходники? Есть postgresql с импортированной RU и UA. Обновляется минутными диффами.
В принципе могу попробовать делать выборку, чтобы можно было править и наблюдать результаты. Нарисовать web страничку не проблема.

esaulenka · 2012-11-06 14:54:10

ajvol wrote:

2. Загрузил из OSM все place_of_worship, у которых указан тег religion (тоже около 20 тыс., но сюда вошло много польских костёлов, так как я отбирал данные по bbox)

Дурацкий вопрос: много ли у нас place_of_worship, у которых есть name, но нет religion ? Большая их часть чинится вообще мгновенно.

А вообще - всяческ приветствую и желаю далнейшего развития :-)

PS

ajvol wrote:

можно включить фильтрацию только по интересующим регионам

не работает. Видимо, из-за того, что документ для всех - readonly, стрелочка в заголовке таблицы, которая должна открывать выпадающий список, неактивна.

Last edited by esaulenka (2012-11-06 14:56:23)

ajvol · 2012-11-06 15:52:18

pleshkovpa wrote:

На чем написаны исходники? Есть postgresql с импортированной RU и UA. Обновляется минутными диффами.
В принципе могу попробовать делать выборку, чтобы можно было править и наблюдать результаты. Нарисовать web страничку не проблема.

Я имел ввиду исходники данных о координатах церквей.

Само сопоставление церквей я делал "на коленке": wget, overpass-api.de, XPath, regexp, MSSQL spatial и допиливание в Excel. Можно и на Postgre повторить эти шаги. Если этим заняться, можно много чего интересного придумать.

ajvol · 2012-11-06 15:54:07

esaulenka wrote:

Дурацкий вопрос: много ли у нас place_of_worship, у которых есть name, но нет religion ? Большая их часть чинится вообще мгновенно.

Как и везде в OSM, аномалий тут достаточно. Нормальный валидатор бы не помешал.

pleshkovpa · 2012-11-06 17:10:38

ajvol wrote:

Как и везде в OSM, аномалий тут достаточно. Нормальный валидатор бы не помешал.

Ну так давайте общими усилиями сделаем.
Выбрать все объекты из БД - без проблем. Проблемы начинаются дальше. Как определить в какую область попал объект? Я просто только начинаю в этом разбираться ....

wowik · 2012-11-06 17:56:41

К вопросу о католических храмах. Вот бы тоже под замах!
В вики есть координаты некоторых
http://ru.wikipedia.org/wiki/%D0%9A%D0% … 0%B8%D0%B8
http://ru.wikipedia.org/wiki/%D0%9A%D0% … 0%B8%D0%B8
и т.д.
http://ru.wikipedia.org/wiki/%D0%9A%D0% … 0%B0%D0%BC

pleshkovpa · 2012-11-06 19:26:16

Так. Поиск объектов (nodes, ways) в радиусе 1 км (можно и больше) я сделал (точнее выборку из postgresql).

ajvol, поделись пожалуйста скриптом, которым ты формировал списки объектов (который ходит и парсит страницы). Попробую это все собрать в базу и сделать станицу.

wowik, есть идеи как для RU и UA собрать базу названий и координат? Если такой файлик сформировать, то пробежать по нему запросом будет не очень сложно.

Last edited by pleshkovpa (2012-11-06 20:00:03)

ajvol · 2012-11-06 21:00:12

pleshkovpa wrote:

Ну так давайте общими усилиями сделаем.

Давай!

pleshkovpa wrote:

Как определить в какую область попал объект?

Я это определял по данным, выкаченным с сайтов типа sobory.ru. Там все объекты классифицированы по областям. Но должен быть и какой-то красивый GIS-совский способ.

pleshkovpa wrote:

ajvol, поделись пожалуйста скриптом, которым ты формировал списки объектов (который ходит и парсит страницы). Попробую это все собрать в базу и сделать станицу.

ОК. С меня скрипт. Только его придётся фактически написать заново. На каком языке сделать? Python-скрипт, генерирующий csv-файл, подойдёт? Сейчас пока выложу то, что я выкачивал и парсил пару дней назад.

ajvol · 2012-11-07 05:44:02

Вот исходные частично очищенные данные (кое где были перепутаны долгота и широта) с сайтов sobory.ru, temples.ru, russian-mosques.com. Здесь ещё названия регионов не приведены к единому виду (делал это regexp'ами в ручном режиме). Для temples.ru нужно ещё отфильтровать названия, содержащие "(не сохр.)"

https://docs.google.com/open?id=0BxyUTL … TZNUE56S0U

Alexandr Zeinalov · 2012-11-07 08:20:06

pleshkovpa wrote:

Как определить в какую область попал объект? Я просто только начинаю в этом разбираться ....

Что-то типа:

SELECT r.name FROM osm_polygon r WHERE r.admin_level='4' AND ST_Intersects(r.way,ST_SetSRID(ST_MakePoint(37,55),4326))

wowik · 2012-11-07 09:37:09

pleshkovpa wrote:

wowik, есть идеи как для RU и UA собрать базу названий и координат? Если такой файлик сформировать, то пробежать по нему запросом будет не очень сложно.

Так я ж списки вики страничек привел - там координаты не редкость. Или вопрос о том, как оттуда выудить? Тут надо капельку покумекать. Опять же проблемы с недействующими.

Кстати о вики, хочется контролировать и наличие вики-ссылок на OSM объектах.

Last edited by wowik (2012-11-07 09:38:47)

freeExec · 2012-11-07 10:14:41

Фигня в том, что в ссылках на osm.org.ru десятичная часть координат задана ",", а ожидается сайтом ".". В итоге показывать нам карту по округленным координатам.

fserges · 2012-11-07 10:26:28

ajvol wrote:

Вот исходные частично очищенные данные (кое где были перепутаны долгота и широта) с сайтов sobory.ru, temples.ru, russian-mosques.com. Здесь ещё названия регионов не приведены к единому виду (делал это regexp'ами в ручном режиме). Для temples.ru нужно ещё отфильтровать названия, содержащие "(не сохр.)"
https://docs.google.com/open?id=0BxyUTL … TZNUE56S0U

Так ведь к нам они даже обращались за помощью - http://forum.openstreetmap.org/viewtopic.php?pid=180050
И чем кончилось?

Я к слову работал с информацией из тех сайтов. К сожалению часто ошибка бывает довольно большой, ряд регионов проигнорирован и много церквей пропущено. Хотя конечно объём проделанной ими работы впечатляет.

wowik · 2012-11-07 12:03:48

fserges wrote:

И чем кончилось?

Насколько я понял, как обычно — сомнением в лицензионной чистоте.

pleshkovpa · 2012-11-07 13:20:17

Alexandr Zeinalov wrote:

Что-то типа:

Идея хорошая, но у меня база от osmosis. Там такого нет. Щас пробую распарсить poly файл и на основе этого сделать проверку попадания точки в полигон.

Alexandr Zeinalov · 2012-11-07 14:38:31

pleshkovpa wrote:

Alexandr Zeinalov wrote:
Что-то типа:
Идея хорошая, но у меня база от osmosis. Там такого нет. Щас пробую распарсить poly файл и на основе этого сделать проверку попадания точки в полигон.

Главное преимущество базы osm2pgsql как раз в том, что она содержит и мультиполигоны в виде полигонов. Можно своей такой не иметь, а пользоваться базой gis-lab.

pleshkovpa · 2012-11-07 17:46:03

Попробовал сделать выборку первых 50 объектов. Поиск идет в радиусе 500 метров от координат с сайта.
http://osm.liptown.ru/validator/place_o … points.php
Щас буду причесывать это в удобночитаемый вид.

Shushara · 2012-11-08 10:49:17

Добрый день, я рада, что данная тема снова возникла.

Мне на почту написали двое человек с вопросом о валидаторе церквей.
Безусловно, мы готовы помочь в вашей работе.

Если я правильно понимаю, есть две разные задачи — 1) валидация данных и 2) ввод данных на карту.
Для решения первой задачи нужны только название объекта и его координаты.
Для второй — более полная информация об объекте.

У нас в проекте Храмы России есть возможность предоставить в удобном виде эту информацию.

Список объектов с координатами доступен всем на сайте в виде kml-файлов по областям.
Если этоих файлов недостаточно, мы готовы представить информацию в более удобном для вас виде, только уточните, в каком именно.

Насчет лицензионной чистоты координат. В проекте координаты собираются несколькими способами — это и получение координат на месте по GPS, и съемка координат по GE. Однако, хочу вам сказать, что для получения координат храма по GE предварительно надо знать, что он там находится, и довольно часто надо точно знать, где именно, особенно это касается заброшенных храмов.
Прямого сканирования карт на предмет "а нет ли там где-то церкви", конечно же не проводилось.

Для добавления объектов на карту мы тоже готовы предоставить информацию. Собственно, после той темы в прошлом году мы почти все приготовили. Но, как обычно, из-за нехватки времени с обеих сторон, дело заглохло.

Last edited by Shushara (2012-11-08 10:51:05)

pleshkovpa · 2012-11-08 13:59:32

Shushara wrote:

Список объектов с координатами доступен всем на сайте в виде kml-файлов по областям.

Это очень хорошо. Постараюсь сделать импорт к себе.
Подскажите по поводу наименований. Откуда Вы их берете? Точнее сказать, насколько наименования официальны. Т.е для примера:

Ищем: Вознесенская Давидова Пустынь. Собор Вознесения Господня
Найден полигон на карте OSM: Вознесенская Давидова пустынь

Файлы kml генерируются "на лету" или с какой то задержкой?
Хотелось бы получить на почту таблицу
Наименование региона - ID. Чтобы было проще получать с сайта kml файлы.

ajvol · 2012-11-08 18:29:44

Shushara1 wrote:

1) валидация данных и 2) ввод данных на карту.

Об автоматическом переносе данных речи не идёт. Люди больше ценят то, что делают собственноручно, на что тратят время, поэтому "ручное" редактирование карты обычно более качественно и эффективно, чем автоматическое, да и интереснее. Но различные страницы-помощники очень бы помогли при ручной правке.

Валидатор можно сделать разной степени сложности. Простой валидатор может просто показывать, что эта часовня присутствует в каталоге сайта, но отсутствует на карте OpenStreetMap. Более сложный валидатор может выводить в таблице другие данные, позволяя наглядно сравнивать сведения из разных источников (к примеру, sobory.ru и temples.ru). Например, чтобы сравнить дату постройки церкви, указанную в OpenStreetMap и из "Храмы России", сравнивать полные и обиходные названия, ну и ссылки показывать, наконец. Вероятно, какая-то особая обработка понадобится для монастырей, отдельно стоящих колоколен, полуразрушенных церквей.

Думаю, на первое время KML-файлов будет достаточно, но если делать более сложный валидатор, то будут очень полезны таблицы с большим объёмом информации.

CupIvan · 2012-11-08 20:36:19

попробовал сверить церкви Московской области, тоже косяки есть :-(

wowik · 2012-11-08 22:11:32

CupIvan wrote:

попробовал сверить церкви Московской области, тоже косяки есть :-(

1. Опять проблема статусных частей в названии. Происходят мены храм<=>церковь. Хочется от специалистов комментарий, что как называется по канонам.
2. Много изменений только в порядке слов. Какой есть канонический порядок?

pleshkovpa · 2012-11-09 08:32:56

wowik wrote:

1. Опять проблема статусных частей в названии. Происходят мены храм<=>церковь. Хочется от специалистов комментарий, что как называется по канонам.
2. Много изменений только в порядке слов. Какой есть канонический порядок?

+1. На основе этого и будем делать валидатор.

Shushara · 2012-11-09 10:11:30

pleshkovpa wrote:

Подскажите по поводу наименований. Откуда Вы их берете? Точнее сказать, насколько наименования официальны.

Информация в нашей базе формируется на основе архивных источников.
Наименования берутся из дореволюционных епархиальных справочников. Собственно, наименование храма — это посвящение его главного престола.

Дело в том, что есть так называемое каноническое посвящение, то есть официальное церковное название, которое используется при освящении престола. Оно, как правило, довольно длинное и редко используется на практике, кроме самого процесса освящения.
Есть и обиходное название, то, которое используется в разговорной речи и светских документах. Оно сильно упрощено, во-первых, и сильно варьируется от местности и привычек, во-вторых.

Поясню на примере.

Итак, главный престол церкви освящен в честь Николая Чудотворца.
Каноническое (официальное) название посвящения звучит так: Во имя святителя Николая, архиепископа Мир Ликийских, чудотворца
Обиходные названия могут быть следующими: Никольская, Николаевская, Николая Чудотворца, Николая Угодника и т.п.
И по сути это все одно и тоже посвящение.

Другой пример: церковь Иконы Божией Матери Одигитрия.
Каноническое называние: Во имя Пресвятой Богородицы, в честь иконы Её, именуемой «Одигитрия»
Обиходные названия: Одигитриевская, Богородицкая и т.п.

Для того, чтобы упорядочить и упростить поиск нужных названий нами и был разработан так называемый список стандартизированных наименований (посвящений). Список этот составлен совместно со священниками, мы его постоянно дополняем.

Announcement

#1 2012-11-06 14:09:36

Валидатор церквей

#2 2012-11-06 14:40:38

Re: Валидатор церквей

#3 2012-11-06 14:54:10

Re: Валидатор церквей

#4 2012-11-06 15:52:18

Re: Валидатор церквей

#5 2012-11-06 15:54:07

Re: Валидатор церквей

#6 2012-11-06 17:10:38

Re: Валидатор церквей

#7 2012-11-06 17:56:41

Re: Валидатор церквей

#8 2012-11-06 19:26:16

Re: Валидатор церквей

#9 2012-11-06 21:00:12

Re: Валидатор церквей

#10 2012-11-07 05:44:02

Re: Валидатор церквей

#11 2012-11-07 08:20:06

Re: Валидатор церквей

#12 2012-11-07 09:37:09

Re: Валидатор церквей

#13 2012-11-07 10:14:41

Re: Валидатор церквей

#14 2012-11-07 10:26:28

Re: Валидатор церквей

#15 2012-11-07 12:03:48

Re: Валидатор церквей

#16 2012-11-07 13:20:17

Re: Валидатор церквей

#17 2012-11-07 14:38:31

Re: Валидатор церквей

#18 2012-11-07 17:46:03

Re: Валидатор церквей

#19 2012-11-08 10:49:17

Re: Валидатор церквей

#20 2012-11-08 13:59:32

Re: Валидатор церквей

#21 2012-11-08 18:29:44

Re: Валидатор церквей

#22 2012-11-08 20:36:19

Re: Валидатор церквей

#23 2012-11-08 22:11:32

Re: Валидатор церквей

#24 2012-11-09 08:32:56

Re: Валидатор церквей

#25 2012-11-09 10:11:30

Re: Валидатор церквей

Board footer