You are not logged in.

#1 2010-12-11 00:45:42

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Выгрузки CGNGU?

Чуть больше года назад, Alek Chmyr выгрузил нечто, им называемое CGNGU. Оно представляет собой некие странные обрывки рек и куски дорог, часто обозначенные тегом waterway=stream.

Я написал автору письмо, реакции нет.

Но по любому, выгрузки эти у меня вызывают вопросы, во-первых, лицензионной чистотой, а во-вторых, своим качеством.

Кто что знает по этому поводу?

Я бы вообще откатил эти правки как есть.


Eugene

PS. Увидел, что подобные выгрузки делали levinyte, pigeon и Igor Shubovich, которые недавно активизировались. Спрошу ещё их.

Last edited by _sev (2010-12-11 01:07:47)

Offline

#2 2010-12-11 17:53:35

Igor Shubovych
Member
From: Zhytomyr, Ukraine
Registered: 2008-12-15
Posts: 43
Website

Re: Выгрузки CGNGU?

Привіт,

Ці дані ми взяли у Одеського картографічного проекту travelGPS.com.ua. Вони дали нам свою карту за 2007 рік.
Там різні дані, отримані з різних джерел:
1) карти намальовані по підложкам Гугла (в містах)
2) карти намальовані по власним зібраним трекам (поза містом)
3) базова географічна інформація отримана від якогось інституту води, чи інституту землі, я вже не пригадаю

Ми розділили цю карту на квадранти і імпортували частинами тільки 2й і 3й пункт. Про пункт 3-й ми сперечалися, але прийшли до висновку, що він не суперечить Закону України про картографію. З приводу першого пункту, суперечок не було: всі одностайно вирішили не імпортувати дані, похідні від фотографій Google. Добре, що там було чітко видно, де вони малювали по гуглу (в містах). До речі ми звірили нашу карту в містах з їхньою (щоправда за 2007), і з приємністю зауважили, що у нас переважно краща.

Offline

#3 2010-12-11 21:25:16

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Ага, ясно, дякую.

Тоді є декілька питань:

  1. Чи всі дані було імпортовано
  2. Чи є доступ до тих, що були імпортовані, бо там є помилки з теґами
  3. Чи є досут до програм, якими було зроблено конвертацію

Приклади невірних даних: розірвана дорога, очевидно теґ wetland пропущено, не з'єднані шматки, схоже на зміщення, насправді це highway=unclassified; surface=ground, і таке усюди. Особливо явна проблема з highway=track. Ще десь бачив явну дорогу, помічену як stream, але не знайшов.

Мені було б цікаво ці дані переімпортувати більш правильно, тобто, краще теґування, з'єднати граф, більша територія, якщо є.


Eugene

Last edited by _sev (2010-12-11 21:25:57)

Offline

#4 2010-12-11 21:45:04

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Почитав форум travelgps, знайшов таке: "Несколько месяцев назад одному из участников OSM я по договоренности передал нашу дорожную сетку (travelgps) в формате *.mp по состоянию на весну 2007г. (как она была опубликована в формате для ГисРусса)". Значить, получаеться що не всю мапу ьуло імортовано.

Тож я хотів би (а) виправити, що є (якщо вдасться), (б) доімпортувати решту України. Дайте дані smile


Eugene

Offline

#5 2010-12-12 00:32:55

Igor Shubovych
Member
From: Zhytomyr, Ukraine
Registered: 2008-12-15
Posts: 43
Website

Re: Выгрузки CGNGU?

_sev,

Так і є. Один з учасників передав нам карту в форматі mp на ексклюзивних правах.
Ми перетворили ці дані в OSM формат та розбили на квадранти (20 х 20 = 400).
Імпорт одного квадранта у дуже підготовленої людини займає десь день. У непідготовленої - більше.

Я не хотів би відкривати публічний доступ до файлів, бо імпортувати непросто. Якщо не знати, де ліцензійні дані то можна запросто їх імпортнути. До того ж при імпорті треба досить обережно мерджити (merge - злиття) з існуючими даними.

Ми не доімпортували всі дані, бо там багато роботи.
Якщо ти хочеш допомогти з імпортом - ласкаво просимо. Напиши мені на мило
igor крапка shubovych на пошті Гугл

Offline

#6 2010-12-12 00:39:14

Igor Shubovych
Member
From: Zhytomyr, Ukraine
Registered: 2008-12-15
Posts: 43
Website

Re: Выгрузки CGNGU?

до речі,
levinyte - це дівчина smile

Offline

#7 2010-12-12 12:07:13

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Чудово! Написав.


Eugene

Offline

#8 2010-12-14 20:54:58

glebius
Member
From: Moscow, RU
Registered: 2009-02-24
Posts: 1,178

Re: Выгрузки CGNGU?

Друзья, сейчас картируя Курскую область заполз в Сумскую. Решать конечно украинским мапперам, но то, что наимпортировано - ужасно.

Водоёмы, которых нет в реальности. Реки, которые только очень внимательно можно найти на спутниковых снимках, где-то далеко в стороне от того, что нарисовано. Дороги точно такого же качества. Отстоят от реальных дорог на сотни метров, и это не просто сдвиг, они совершенно не повторяют реальный путь. При этом в Сумской области масса необрисованных треков, по которым можно построить реальную сеть, а не вымышленную.

Моё мнение таково, что подобный импорт не помогает проекту, а мешает. Потому на что Mapnikе у нас получается "всё хорошо прекрасная маркиза": деревни есть, они соединены дорогами, речки все есть. И только случайно открыв область в редакторе, подгрузив GPS треки и спутник становится понятно насколько всё плохо.

Offline

#9 2010-12-14 20:59:32

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Я бы за то, чтобы эти правки откатить, и сделать всё по новой, с бОльшим тестированием, возможно целиком, и автоматом. Написать бота по типу CLC Romanian import.

Данные там таки неплохие, правда, местами устаревшие (угадываются в выгрузках smile ).


Eugene

Offline

#10 2010-12-16 03:37:58

Igor Shubovych
Member
From: Zhytomyr, Ukraine
Registered: 2008-12-15
Posts: 43
Website

Re: Выгрузки CGNGU?

glebius,
а можешь URL дать где все плохо-плохо?

Offline

#11 2010-12-17 10:01:07

glebius
Member
From: Moscow, RU
Registered: 2009-02-24
Posts: 1,178

Re: Выгрузки CGNGU?

Я наткнулся здесь

http://www.openstreetmap.org/?lat=50.92 … 1&layers=M

Дороги я уже частично поправил. Самая вопиющая проблема - болтающаяся непривязанный граф сёл Грунёвка, Великая Рыбица, Осоивка и других я таки соединил с общей дорожной сетью. Попутно старался делать так, чтобы дороги шли по трекам, а не в сотне-другой от них. Кое где сделал, но не везде.

Дорог вроде как категорически неправильных в этом районе не осталось - топологически они теперь соответствуют реальности, но точность их по прежнему оставляет желать много лучшего. Даже если рисовать по генштабу, то точность получится в пару раз лучше.

Но самое худшее это natural=water. На карту брошены десятки водоёмов, которые совершенно не видны ни на каких спутниковых снимках, что на открытых для нас, что на гугле. Множество waterway=river тоже не видны на снимках. Иногда можно угадать, что water=river нарисован просто там, где есть какое-то понижение рельефа. Там же где река действительно есть, линия проходит часто на значительном от неё расстоянии.

Offline

#12 2010-12-20 13:23:01

DSem
Member
Registered: 2010-10-07
Posts: 23

Re: Выгрузки CGNGU?

Таки да.... те импорты жутковаты.

Гидрография там - отвратительная, а это очень важный элемент для ориентирования и прокладки туристических маршрутов и для тех кто ездит "напрямик".
Точность дорог - +- сотни метров, а это тоже перебор можно и совсем не там повернуть.
Не слинкованные дороги - маршруты по ним не строятся.

насчет данных с travelGPS - я по их картам с 2007 го и катаюсь... много катаюсь, города - очень даже достойно, а вот за их пределами... трассы - нормально, а все остальное - жуть. В моей области (Винницкой), по снимкам google с разрешением 25метров на пиксель, на мобильном телефоне - надежней и точнее чем по travelGPS.

PS: Про мосты через реки где их нет, и не нарисованные мосты - промолчу...  лишних 45 километров, на велосипеде, после ~100 км... в полной темноте и под дождем... из-за ошибочки c мостом на карте.... не... я таки лучше промолчу... smile

Offline

#13 2010-12-20 20:01:51

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Ну что, откатим? Чем дольше тянем, тем сложнее это сделать. То, что мне представляется возможным, это откатить только те объекты, которые до сих пор существуют в первой версии. Нужно писать программу, т.к. какие-то ноды версии 1 могут принадлежать к веям, правленных уже после импорта, и их удалять нельзя.


Eugene

Offline

#14 2011-01-11 09:37:20

Igor Shubovych
Member
From: Zhytomyr, Ukraine
Registered: 2008-12-15
Posts: 43
Website

Re: Выгрузки CGNGU?

А может хотя бы дороги взять оттуда?

Offline

#15 2011-01-11 21:35:05

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Да, я о дорогах думаю в первую очередь. Реки и водоёмы, по текущим выгрузкам вызывают одни вопросы, но может преобработка сырых данных поможет.


Eugene

Offline

#16 2011-01-15 18:12:09

glebius
Member
From: Moscow, RU
Registered: 2009-02-24
Posts: 1,178

Re: Выгрузки CGNGU?

Igor Shubovych,

дороги выглядят опрятно на мапнике, но при использовании этой карты в навигаторе пользователь проклянёт OSM. Фактически это не карта, а масштабная схема - из деревни А есть дорога в деревню Б, но нет в деревню В. Она годится для просмотра в броузере, но не для езды по ней с GPS-навигатором.

Как бы ни было жаль, но дороги лучше снести. Потому что при отсутствии дорог вероятность появления правильных в ближайшем будущем вероятнее, чем при наличии неточных дорог.

Offline

#17 2011-03-18 22:19:54

glebius
Member
From: Moscow, RU
Registered: 2009-02-24
Posts: 1,178

Re: Выгрузки CGNGU?

После обновления конфигурации мапника стало видно насколько уродлива карта когда всякий овраг (в котором даже воды летом нет) обозначен как waterway=river.

http://osm.org/go/0jejI

Особенно жуток квадрат в Ивано-Франковской области.

Offline

#18 2011-03-20 22:02:56

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Итак, думаю откатить все эти выгрузки. Откатывать буду только те объекты, которые остались с виде версии 1, т.е. после их никто не правил.

Есть ли возражения?


Eugene

Offline

#19 2011-03-20 22:33:06

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Это следующие ченджсеты:

2903328

2346946
2446754
2620620

2673896

2302322
2352044
2596901
2643050
2678361
2717003
2728534

2843481

2816627

3014412
3014832

Часть из них сразу же правилась, поэтому какая-то часть данных таки останется "висеть". Я буду удалять только те веи, которые остались на версии 1 и все ноды, которые включены в вей, тоже версии 1. Это даст гарантию, что никакие данные, исправленные позже человеком не потеряются.

Igor Shubovych после простения этой ветки решил таки не давать мне оригинальные данные, отсюда и единственный выход, который я вижу, это сневти всё. Сейчас создаётся видимость данных, и исправлять эти выгрузки будет дольше, чем пройтись когда-нибудь по спутнику.


Eugene

Offline

#20 2011-03-20 22:49:42

Larry0ua
Member
Registered: 2010-09-19
Posts: 1,061

Re: Выгрузки CGNGU?

glebius wrote:

Особенно жуток квадрат в Ивано-Франковской области.

поддержу... нам нужны правильные данные smile

Offline

#21 2011-04-05 10:22:45

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Вчера дописал clean reverter, убивает как и написано выше только те данные, которые после выгрузки не трогались.

На днях начну откатывать.


Eugene

Offline

#22 2011-04-05 20:59:12

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Итак, процесс пошёл.

2302322 -->
2346946 --> 7778062
2352044 --> 7779166
2446754 --> 7779218
2596901 --> 7779360
2620620 --> 7779592
2643050 -->
2673896 --> 7779678
2678361 --> 7779740
2717003 --> 7779792
2728534 --> 7779849
2816627 --> 7779880
2843481 --> 7779935
3014412 --> 7779963
3014832 --> 7779988

Осталось 2 ченджсета, они правились сегодня, сделаю завтра, когда не будет конфликтов. Ещё нужно пройтись по карте, посмотреть, может где пропустил выгрузки.


Eugene

Last edited by _sev (2011-04-05 23:11:54)

Offline

#23 2011-04-06 08:06:11

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Ещё один ченджсет:

2302322 --> 7781833

Остался 2643050, там часть рек было поправлены, у меня конфликты, сегодняшняя выгрузка за изменениями не поспела, откладывается до завтра.

Нужно проверить результаты. Я визуально глянул, вроде бы всё нормально. Только иногда остаются куски, это когда кто-то позже двигал узлы, тут уже автоматом делать нельзя, нужно надеяться на мапперов, которые в те места придут. Мапник изменения пока не подхватил, поэтому трудно определить где ещё остались незамеченные мной выгрузки.


Eugene

Last edited by _sev (2011-04-06 08:09:11)

Offline

#24 2011-04-06 20:32:44

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

И ещё один, обнаружил незамеченную выгрузку:

3263570 --> 7788330


Eugene

Offline

#25 2011-04-07 20:58:36

_sev
Moderator
Registered: 2010-10-12
Posts: 719

Re: Выгрузки CGNGU?

Последний из обнаруженных:

2643050 --> 7797954


Eugene

Offline

Board footer

Powered by FluxBB