OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2013-08-06 17:02:50

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Щогодинна валідація

Основна сторінка:
  http://pavlo-dudka.github.io/osm-pg-tests
RSS-стрічка:
  http://pavlo-dudka.github.io/osm-pg-tests/test.rss

Код валідатора:
  https://github.com/pavlo-dudka/osm-pg-tests
GitHub Pages:
  https://github.com/pavlo-dudka/osm-pg-t … e/gh-pages

Ліричний вступ...
Все почалося з того, що Lindroid поцікавився чи запрацює колись валідатор Котяры "Где не хватает дорог".
Оскільки не працював він досить довго, то я спробував виконати валідацію самостійно. Спочатку в ручному режимі, потім в автоматизованому.
Так з'явився валідатор Бездоріжжя України(карта, таблиця).

Потім мені зустрілося чимало доріг, що перетинаються, але не мають спільної точки і так з'явився Валідатор Перетинів(карта, таблиця).
А потім і Круті Розвороти(карта,таблиця), Висячі Точки(карта,таблиця)(показує кінцеві точки ліній, які знаходяться в околі 5м іншої лінії).

У відповідь на поламаний мультиполігон Дніпра з'явився Валідатор Мультиполігонів(карта,таблиця)(перевіряє тільки полігони з тегами landuse,natural,waterway,place; можна додати й інші). Показує крайні точки ліній мультиполігону, які(тобто точки) включені тільки в одну лінію.

09.06.2013 додано Валідатор street/associatedStreet-зв'язків(карта,таблиця), що перевіряє чи співпадають name:**-теги зв'язку і name:**-теги ліній з роллю street, а також чи співпадають name зв'язку і addr:street(якщо задано) ліній з роллю address або house.

17.01.2014 додано Інший валідатор street/associatedStreet-зв'язків(карта,таблиця), що шукає зв'язки поруч з якими є об'єкти з ідентичним name/addr:street, що не включені в зв'язок.

12.02.2014 додано Ще інший валідатор street/associatedStreet-зв'язків(карта,таблиця), що відображає associatedStreet-зв'язки, частина об'єктів яких знаходиться поза межами міста.

16.04.2014 додано Ще інший валідатор street/associatedStreet-зв'язків(карта,таблиця), що відображає об'єкти включені в більш ніж один associatedStreet-зв'язок.

16.09.2014 додано Валідатор кінцевих точок(карта,таблиця), що відображає тупики ліній високого рівня(від secondary), а також точки де закінчуються або починаються oneway-лінії.

18.09.2014 додано Валідатор міст та смт(карта,таблиця), що відображає міста та смт для яких не знайдено лінії чи звязку кордону.

20.11.2014 додано Валідатор річок(карта,таблиця), що відображає річки та струмки з ненульовим layer, за виключенням tunnel=culvert та bridge=aqueduct.

04.12.2014 додано Валідатор дорожніх островів: tertiary(карта,таблиця), unclassified(карта,таблиця), service(карта,таблиця), track(карта,таблиця), що відображає групи доріг, до яких немає доступу з інших доріг.

03.03.2015 додано Валідатор входження населених пунктів до районів(карта,таблиця), що відображає населені пункти, які знаходяться в "чужому" районі.

Валідаторів немало, відкривати кожне посилання окремо незручно.
Тому з'явилась RSS-стрічка:
  http://pavlo-dudka.github.io/osm-pg-tests/test.rss
По цьому ж посиланню можна переглянути короткий звіт усіх валідацій. (Для хрому потрібен extension)

Валідація відбувається щогодини. Це основний плюс валідатора.
Розпочинається на п'ятій хвилині кожної години і завершується десь на тридцятьп'ятій.

Приймаються відгуки і побажання.
Запрошуються усі бажаючі повиправляти помилки osm-даних smile

Last edited by dudka (2015-03-03 16:54:19)

Offline

#2 2013-08-06 23:44:49

int_ua
Member
Registered: 2010-12-31
Posts: 69

Re: Щогодинна валідація

Усе супер, тільки прошу додати кнопки масштабування ще й до Зиґзаґів, а то на телефоні неможливо змінити масштаб smile

Offline

#3 2013-08-07 08:53:16

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

int_ua wrote:

Усе супер, тільки прошу додати кнопки масштабування ще й до Зиґзаґів, а то на телефоні неможливо змінити масштаб smile

дивно, у мене на телефоні все ок
можливо недозавантажилась сторінка?

Offline

#4 2013-08-07 09:12:33

Lindroid
Member
From: Ukraine, Poltava
Registered: 2011-04-18
Posts: 331
Website

Re: Щогодинна валідація

dudka wrote:

дивно, у мене на телефоні все ок
можливо недозавантажилась сторінка?

Працює, підтверджую


OpenStreetMap isn't a computer project, it's an outdoors activity.
Less of the bulk imports and wikifiddling please. Go outside and map!

Offline

#5 2013-08-07 14:09:55

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,790
Website

Re: Щогодинна валідація

Було б гарно, якщо в стрічці новин (RSS) була б присутня дата й час для кожного рядка

Offline

#6 2013-08-07 15:08:16

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

andygol wrote:

Було б гарно, якщо в стрічці новин (RSS) була б присутня дата й час для кожного рядка

Так як зараз?

Фраза
  MULTIPOLYGONS - 70 error(s) found at 07.08.2013 13:20:15.98
не означає, що перевірка не відбувалась після вказаного часу.
Перевірка відбувалась, але жодних змін не помічено: ні виправлень, ні нових помилок.

Last edited by dudka (2013-08-07 15:18:07)

Offline

#7 2013-08-07 15:35:36

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,790
Website

Re: Щогодинна валідація

dudka wrote:

Так як зараз?

ALMOST.JUNCTIONS - 0 error(s) found

та й все

PS. Подивився XML - час дата є %), а от ні в Feedly, ні  в інших RSS-агрегаторах часу не бачу

Last edited by andygol (2013-08-07 15:49:36)

Offline

#8 2013-08-09 08:32:59

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

Додано Валідатор street/associatedStreet-зв'язків, що перевіряє чи співпадають name:**-теги зв'язку і name:**-теги ліній з роллю street, а також чи співпадають name зв'язку і addr:street(якщо задано) точок/ліній/звязків з роллю address або house.

Last edited by dudka (2013-08-09 12:58:10)

Offline

#9 2013-08-09 09:09:02

olehz
Member
From: Lviv
Registered: 2011-08-11
Posts: 709
Website

Re: Щогодинна валідація

dudka wrote:

Валідація відбувається щогодини. Це основний плюс валідатора.
Розпочинається на п'ятій хвилині кожної години і завершується десь на двадцять п'ятій.
Приймаються відгуки і побажання.
Запрошуються усі бажаючі повиправляти помилки

А можна десь сорці глянути, що генерують geojson-и з помилками? Як взагалі побудована щогодинна валідація?

Offline

#10 2013-08-09 10:18:43

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,790
Website

Re: Щогодинна валідація

чудово, вже виправив у себе кілька помилок smile

Last edited by andygol (2013-08-09 10:18:52)

Offline

#11 2013-08-09 10:48:14

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

olehz wrote:

А можна десь сорці глянути, що генерують geojson-и з помилками?

З часом опублікую.
Ось для прикладу запит, що шукає помилки street-звязків:

http://dl.dropboxusercontent.com/u/14107903/test/sql/osm.street.relations.sql
"c:\Program Files\PostgreSQL\9.2\bin\psql.exe" -A -t -U postgres -w -d osm -p 5432 -f osm.street.relations.sql -o street.relations.geojson
olehz wrote:

Як взагалі побудована щогодинна валідація?

Наступний код завантажує pbf України годинної давності, він завантажується в базу даних PostgreSQL, потім запитами створюються geojson-файли, файли копіюються в мій DropBox, саме вони й відображаються на простій html-сторінці з Leaflet-картою.

if not exist UA.osm.pbf (wget.exe http://data.gis-lab.info/osm_dump/dump/latest/UA.osm.pbf)
rename ua.osm.pbf ua.0.pbf
osmupdate.exe UA.0.pbf ua.osm.pbf --hour -v -B=ua.poly --keep-tempfiles
if exist UA.osm.pbf del ua.0.pbf
if exist ua.0.pbf rename ua.0.pbf ua.osm.pbf

Попередньо потрібно скачати UA.poly і osmupdate

Last edited by dudka (2014-05-05 08:58:53)

Offline

#12 2013-11-01 17:48:19

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

Код валідатора викладено на GitHub.
Результати валідації щогодини комітяться туди ж.
Всі веб-сторінки теж там.
На dropbox'і все існуватиме як і раніше, але з часом я це відключу.

Додано дуже простеньку "основну" сторінку:
  http://pavlo-dudka.github.io/osm-pg-tests

Посилання на окремі сторінки валідатора також оновлено в першому повідомленні цієї теми.

Користуючись нагодою дякую andygol і ~Jhellico, які утримують кількість знайдених помилок близькою до нуля smile

Offline

#13 2013-11-09 20:57:47

udarnyk
Member
Registered: 2010-12-10
Posts: 86

Re: Щогодинна валідація

Не працює в Opera 12((


Mapping tools: Garmin GPSmap 62S, Ghost SE 1300 2009

Offline

#14 2013-11-10 08:24:32

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

udarnyk wrote:

Не працює в Opera 12((

Дещо поправив. Схоже, що тепер працює.

Вчора додав можливість перегляду деяких помилок знайдених валідатором Zkir'a в рамках мого валідатора: http://pavlo-dudka.github.io/osm-pg-tests .
Робилося це тому, що на http://peirce.zkir.ru/qa дані по Україні розбиті на 5 частин, а тут все буде разом.

Offline

#15 2013-11-10 15:54:07

udarnyk
Member
Registered: 2010-12-10
Posts: 86

Re: Щогодинна валідація

Дякую, у мене також все працює.


Mapping tools: Garmin GPSmap 62S, Ghost SE 1300 2009

Offline

#16 2014-01-17 18:00:42

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

додано валідатор street/associatedStreet-зв'язків, що шукає навколишні об'єкти з ідентичним name/addr:street, що не включені в зв'язок

Offline

#17 2014-01-18 11:16:02

dimonster
Member
Registered: 2012-07-08
Posts: 1,489

Re: Щогодинна валідація

dudka, дякую. Було б добре, якби валідатор також повідомляв про ті вулиці, де зв'язок відсутній взагалі, але поруч є будинки з addr:street.

Offline

#18 2014-01-18 20:42:14

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

dimonster wrote:

Було б добре, якби валідатор також повідомляв про ті вулиці, де зв'язок відсутній взагалі, але поруч є будинки з addr:street.

Зможу зробити і таку перевірку. Але давайте спочатку подивимося чи знайдуться бажаючі доповнити існуючі зв'язки іншими об'єктами. Хоча б у своїх містах.

Offline

#19 2014-02-13 18:54:24

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,790
Website

Re: Щогодинна валідація

dudka що значить інформація на сторінці street.relations.o?

Offline

#20 2014-02-13 19:44:37

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

http://pavlo-dudka.github.io/osm-pg-tes … elations.o
Це звязки, які принаймні двома точками належать вказаному в деталях місту, але при цьому хоча б двома точками знаходяться поза його межами.

Є кілька досить критичних помилок, наприклад http://www.openstreetmap.org/relation/2085011
Переважна більшість - лінія вулиці виходить на кілька сотень метрів за межі міста.

Не афішував, оскільки, можливо, серед знайдених звязків є й такі, що цілком коректні.

Чи правильно те, що проспект імені Газети Правда виходить у Ювілейне? чи існують у Ювілейному будинку, що адресуються по проспекту? якщо так - то мабуть варто розділити звязок на два. якщо ні - то може проспект закінчується раніше(в межах Дніпропетровська)?

Offline

#21 2014-02-13 20:24:30

andygol
Moderator
From: Дніпро
Registered: 2009-07-31
Posts: 1,790
Website

Re: Щогодинна валідація

dudka wrote:

http://pavlo-dudka.github.io/osm-pg-tes … elations.o

Чи правильно те, що проспект імені Газети Правда виходить у Ювілейне? чи існують у Ювілейному будинку, що адресуються по проспекту? якщо так - то мабуть варто розділити зв’язок на два. якщо ні - то може проспект закінчується раніше(в межах Дніпропетровська)?

Трохи підправив http://www.openstreetmap.org/changeset/20546610, так щоб проспект закінчувався в місті.

Offline

#22 2014-02-13 20:42:55

edward17
Member
Registered: 2013-08-26
Posts: 1,849
Website

Re: Щогодинна валідація

dudka велике спасибі вам за ваші валідатори! Вам не спадала на думку ідея валідатора дубльованих POI? Була б гарна штука. Чи таке вже є?


Все жители частного сектора, вешающие таблички с названием улицы и номером дома, попадают в рай без очереди.

Offline

#23 2014-02-13 21:05:02

dudka
Member
From: Київ
Registered: 2011-04-22
Posts: 1,573

Re: Щогодинна валідація

edward17 wrote:

dudka велике спасибі вам за ваші валідатори! Вам не спадала на думку ідея валідатора дубльованих POI? Була б гарна штука. Чи таке вже є?

Є ось таке на keepright
Чи ви про щось інше? Які POI вважаєте дублікатами?

Offline

#24 2014-02-13 22:06:01

edward17
Member
Registered: 2013-08-26
Posts: 1,849
Website

Re: Щогодинна валідація

dudka wrote:

Є ось таке на keepright
Чи ви про щось інше? Які POI вважаєте дублікатами?

Якщо я не помиляюсь, то воно знаходить лише точки, що лежать внутрі полігонів з такими самими тегами. А я маю на увазі точки, що знаходяться близько одна до одної і мають при цьому однакові теги (amenity або shop наприклад)


Все жители частного сектора, вешающие таблички с названием улицы и номером дома, попадают в рай без очереди.

Offline

#25 2014-02-13 22:07:39

avatar6
Member
From: Avdiyivka-Donetsk
Registered: 2013-12-12
Posts: 252

Re: Щогодинна валідація

Чи якийсь валідатор, із комусь відомих, перевіряє наявність некирилічних літер серед більшості кирилічних в значеннях тих тегів, що мають містити кирилічні літери, і навпаки?
Наприклад, наявність  латинських літер "c, e, y, a, p, o, i, x, H" серед російсько-українських назв та наявність кирилиці мішаної із латиницею у значеннях тегів, ключі яких чекають тільки латиницю повністю вимикає пошук та призводить до неможливості візуально знайти помилку...

Offline

Board footer

Powered by FluxBB