Данные от Автолокатор.

elagin · 2016-01-27 21:31:14

Я работаю программистом в компании Автолокатор, которая предоставляет услуги мониторинга автотранспорта организациям и частным лицам.
Мною достигнута договоренность с руководством о возможности предоставления данных для сообщества OpenStreetMap. Предлагаю обсудить в каком виде эти данные удобнее всего можно использовать. Кроме поднятия GeoServer пока ни чего не придумал.

Вероятно потребуется некоторая фильтрация данных: например некоторые блоки присылают свои координаты раз в несколько часов и соединять линиями такие точки точно не следует.

freeExec · 2016-01-27 22:03:05

Я бы не отказался от треков в дали от магистралей. А то как начнёшь рисовать районы в области так полтора трека на сотни квадратных километров. Естественно никаких автозаливов, готов их перебрать вручную.
Было бы неплохо ещё извлекать покрытие, вдруг вы там видео с регистраторов собираете

Mir76 · 2016-01-28 09:21:06

Если сделать слой с точками (не с линиями), как в Страве, и сделать его как-то подключаемым к JOSM - было бы хорошо.

pfg21 · 2016-01-28 09:56:08

А почему бы просто не сливать данные в GPS-накопитель осм, как делают многие, к примеру gpslib-ru, GPSies_com.

Last edited by pfg21 (2016-01-28 09:56:31)

Mir76 · 2016-01-28 10:05:09

Потому что линия с интервалом записи раз в час будет там скорее мешать, чем помогать. Плюс ко всему эти треки скорее всего и так идут по федеральным трассам, где покрытие уже хорошее. Сливать надо только экзотику и хорошо прорисованную, нечего базу захламлять.

elagin · 2016-01-28 10:56:07

Mir76 wrote:

Если сделать слой с точками (не с линиями), как в Страве, и сделать его как-то подключаемым к JOSM - было бы хорошо.

Точки, кстати, интересная идея, там где надо и так получится линия.
GeoServer как раз позволяет отдавать WMS данные, которые прикручиваются в качестве слоя, например в JOSM.

wowik · 2016-01-28 11:16:59

JOSM умеет треки показывать только точками точек, как мне каацца.

Last edited by wowik (2016-01-28 11:17:21)

freeExec · 2016-01-28 11:25:40

Не совсем, https://api.openstreetmap.org/api/0.6/trackpoints возвращает нормальный трек, где загруженные в проект треки идут в виде сегментов. Поэтому у точки есть вся мета-информация, чья она, кто следующая, а значит направление и скорость.

fndoder · 2016-01-31 19:43:26

elagin wrote:

Предлагаю обсудить в каком виде эти данные удобнее всего можно использовать. Кроме поднятия GeoServer пока ни чего не придумал.

FTP с треками, порезанными по регионам и районам (admin_level=6) - вполне пригодный к использованию вариант. Захотел порисовать нужный район - скачал папку с треками этого района (при необходимости, отфильтровав нужное силами файлового менеджера по дате), открыл в JOSM и вперёд. Там, где границ районов в ОСМе нет, можно порезать регион по градусной сетке.

Исключение неинтересных треков сделать довольно просто, нужно взять из ОСМа все highway выше tertiary (как вариант - вообще все highway) и ещё до выкладывания треков на ftp вычищать из них все точки, которые ближе 50 м (это значение стоит уточнить, возможно лучше иное число) от существующих в ОСМе дорог.

Для начала подхода выше, по моему мнению, вполне достаточно. Вторым этапом уже можно подумать о реализации предотвращения выкладывания множества треков по одной и той же дороге (иметь штук 5 треков по одной и той же дороге за год - вполне ОК, а после этого дубли будут только мешаться). Тоже вполне можно автоматизировать такое.

Третьим этапом уже можно предусмотреть несколько наборов треков:
а) треки по уже существующим в ОСМе дорогам, без дублей - для уточнения имеющегося
б) треки по несуществующим в ОСМе дорогам, без дублей треков по одном и тем же местам - для их добавления
в) треки без фильтрации и без исключения дублей - для желающих пофильтровать и поанализировать по своим хитрым алгоритмам.
г) можно подумать ещё о других подходах автоматической классификации треков.

pfg21 · 2016-01-31 19:54:00

А если спросить как организована выдача треков на опенстритмап.орг, мож получится ксерануть систему ??

elagin · 2016-02-01 01:33:49

fndoder wrote:

FTP с треками, порезанными по регионам и районам (admin_level=6) - вполне пригодный к использованию вариант. Захотел порисовать нужный район - скачал папку с треками этого района (при необходимости, отфильтровав нужное силами файлового менеджера по дате), открыл в JOSM и вперёд. Там, где границ районов в ОСМе нет, можно порезать регион по градусной сетке.

А почему именно FTP, чем WMS-подложка не удобна? Если резать на треки, то как, один автомобиль - один трек? А если там 500 машин проехало?
Зачем разбивка по дате? Если включить в JOSM слой с загруженными на сервер треками там такого нет.

fndoder wrote:

Третьим этапом уже можно предусмотреть несколько наборов треков:
а) треки по уже существующим в ОСМе дорогам, без дублей - для уточнения имеющегося
б) треки по несуществующим в ОСМе дорогам, без дублей треков по одном и тем же местам - для их добавления
в) треки без фильтрации и без исключения дублей - для желающих пофильтровать и поанализировать по своим хитрым алгоритмам.
г) можно подумать ещё о других подходах автоматической классификации треков.

Опять же можно такие типы треков разнести по разным слоям, чтобы удобно переключаться, а не ковыряться с кучей файлов / папок на FTP.

fndoder · 2016-02-01 08:56:01

А почему именно FTP, чем WMS-подложка не удобна?

FTP предложил исключительно из-за простоты реализации, можно и WMS.

Если резать на треки, то как, один автомобиль - один трек? А если там 500 машин проехало?

Да, один автомобиль - один трек. Если 500 автомобилей проехало, оставлять на основном слое только треков штук 5 (желательно ещё половину в одном направлении, половину в другом, но для начала можно не учитывать направление)

Зачем разбивка по дате? Если включить в JOSM слой с загруженными на сервер треками там такого нет.

Разбивка по дате нужна для того, чтобы отфильтровывать устаревшие треки. То, что такого нет в JOSM - заметная недоработка там.

freeExec · 2016-02-01 09:04:44

Как раз в JOSM всё это есть, называется "фильтрация".

j-wills · 2016-02-01 18:01:24

elagin wrote:

А почему именно FTP, чем WMS-подложка не удобна?

Я за WMS! Когда можно будет уже пощупать?

Last edited by j-wills (2016-02-01 18:02:04)

OverQuantum · 2016-02-01 18:14:48

Если в имени файла на FTP (или подобном хранилище) заложить bbox трека, то можно будет наладить фильтрацию по координатам при скачивании.
3 знаков после запятой достаточно для точности около 100 метров, конструкт получается например такой: 55754_37620_55981_37254

elagin · 2016-02-02 13:50:56

j-wills wrote:

elagin wrote:
А почему именно FTP, чем WMS-подложка не удобна?
Я за WMS! Когда можно будет уже пощупать?

Машину пока обещают к концу недели.

freeExec · 2016-02-02 14:10:06

WMS чем плохо, он как карты гугл, смотреть можно, потрогать нельзя. И если треки будет совсем плохого качества их отсеять не удастся.

elagin · 2016-02-02 15:23:24

freeExec wrote:

WMS чем плохо, он как карты гугл, смотреть можно, потрогать нельзя. И если треки будет совсем плохого качества их отсеять не удастся.

Их можно отсеивать в процессе импорта в GeoServer. Думаю, что сеялку надо будет на github выложить.

elagin · 2016-03-09 15:18:58

Итак, сервер установлен находиться здесь: http://geoserver.autolocator.ru/geoserver/
Пардон, пока не разобрался, как настроить Jetty чтобы сервер заработал по http://geoserver.autolocator.ru

Чтобы добавить слои в JOSM нужно воспользоваться ссылкой http://geoserver.autolocator.ru/geoserv … ervice=WMS
Сейчас там два нужных слоя: points и lines.

Что мы имеем:
1) Данные изначально лежат в простом виде в базе ms-sql.
2) Для geoserver они перекладываются postgresql + postgis. Таблицы называются соответственно points и lines.
3 ) Для прекладывания используется написанное мною приложение на C++ (с использованием SOCI).

Текущий алгоритм перекладывания данных:
1) Извлекаем из ms-sql (пока по одному автомобилю) записи отсортированные по времени: id авто, время, широта, долгота.
2) Убираем дубликаты точек по широте и долготе (стоянка).
3) Пишем в points каждую точку в отдельности, в lines линию целиком.
4) Сохраняем в отдельную таблицу дату последней точки и id авто, чтобы в следующий раз начать работу с этого времени.

Посмотреть слои в браузере можно пройдя по ссылкам: points lines.

С points более менее все хорошо, про lines напишу ниже.

freeExec · 2016-03-09 15:47:29

И через сайт и через josm почему-то пустые картинки В каких координатах точно есть данные?

elagin · 2016-03-09 15:55:35

Если посмотреть слой lines можно увидеть, что с треками не всегда все хорошо. Для начала я пытался сделать следующее: после удаления стоянок вычислять расстояние между соседними точками и если расстояние больше какого-то значения, разрывать линию. В итоге линий стало попадать в базу больше, картинка стала приятнее глазу, но почему-то при этом, через короткое время, отвалился JOSM заявив, что ему не хватило кислорода памяти. Это как-то странно, ведь сервис отдает тайлы.

В любом случае с данными в таком виде работать не удобно, думаю, что приложением надо переносить информацию во временную таблицу из которой забирать хранимой процедурой (которую можно выложить на github) раскладывать по каким-то слоям.

Код приложения находиться на github.com.

elagin · 2016-03-09 15:58:04

freeExec wrote:

И через сайт и через josm почему-то пустые картинки В каких координатах точно есть данные?

Упс, пока не в каких нет, почистил таблицу перед очередной выгрузкой свежих данных. Я напишу когда появятся (ссылки даны как раз там где они были, Москва).

elagin · 2016-03-09 17:43:56

Вставил данные: треки двух машин за пару лет.

iagsav · 2016-03-09 19:24:49

А когда будут ещё данные? Каков Ваш план?

elagin · 2016-03-09 19:40:03

iagsav wrote:

А когда будут ещё данные? Каков Ваш план?

Так выше все описано.

Announcement

#1 2016-01-27 21:31:14

Данные от Автолокатор.

#2 2016-01-27 22:03:05

Re: Данные от Автолокатор.

#3 2016-01-28 09:21:06

Re: Данные от Автолокатор.

#4 2016-01-28 09:56:08

Re: Данные от Автолокатор.

#5 2016-01-28 10:05:09

Re: Данные от Автолокатор.

#6 2016-01-28 10:56:07

Re: Данные от Автолокатор.

#7 2016-01-28 11:16:59

Re: Данные от Автолокатор.

#8 2016-01-28 11:25:40

Re: Данные от Автолокатор.

#9 2016-01-31 19:43:26

Re: Данные от Автолокатор.

#10 2016-01-31 19:54:00

Re: Данные от Автолокатор.

#11 2016-02-01 01:33:49

Re: Данные от Автолокатор.

#12 2016-02-01 08:56:01

Re: Данные от Автолокатор.

#13 2016-02-01 09:04:44

Re: Данные от Автолокатор.

#14 2016-02-01 18:01:24

Re: Данные от Автолокатор.

#15 2016-02-01 18:14:48

Re: Данные от Автолокатор.

#16 2016-02-02 13:50:56

Re: Данные от Автолокатор.

#17 2016-02-02 14:10:06

Re: Данные от Автолокатор.

#18 2016-02-02 15:23:24

Re: Данные от Автолокатор.

#19 2016-03-09 15:18:58

Re: Данные от Автолокатор.

#20 2016-03-09 15:47:29

Re: Данные от Автолокатор.

#21 2016-03-09 15:55:35

Re: Данные от Автолокатор.

#22 2016-03-09 15:58:04

Re: Данные от Автолокатор.

#23 2016-03-09 17:43:56

Re: Данные от Автолокатор.

#24 2016-03-09 19:24:49

Re: Данные от Автолокатор.

#25 2016-03-09 19:40:03

Re: Данные от Автолокатор.

Board footer