Мечты о визуализации чейнджсетов

Zverik · 2015-05-15 18:05:49

Мой whodidit вот. Как его ускорить, я знаю, и записал себе в тикеты. Другой вопрос, что как и у всех остальных разработчиков в OSM, мой todo-list переполнен, и улучшение whodidit примерно на 3-4 месте (что очень неплохо, но не 1).

Vitalts · 2015-05-15 18:08:59

Боже, и у тебя на мускуле:(. А чего ссылки на гитхаб нет с обзорной страницы? Захочешь, не найдешь.

Vitalts · 2015-05-15 19:07:53

Я, конечно, не особо дружу с мускулом, однако, что-то мне подсказывает, что даже он удовлетворяет стандарту SQL-92, и никак не пойму, какова цель использования группировки в этом запросе

select 1 from wdi_changesets where user_name = \''.$db->escape_string($username).'\' group by user_name limit 1

Без неё результат должен быть тотже и быстрее

petrovnn · 2015-05-15 19:08:46

вот этот, от симона работает быстрее http://simon04.dev.openstreetmap.org/whodidit/

wowik · 2015-05-15 19:11:43

Zverik wrote:

Мой whodidit вот.

Кстати, когда они пишет дату чейнджсета, то не пишет год.
Я смотрю тут историю за всё время, а нихрена не понимаю когда что было.

Vitalts · 2015-05-15 19:43:31

Подозреваю, таблица чейнжсетов там большая, соответственно, можно чуточку сэкономить место и добавить производительности вынеся юзверей в отдельную таблицу. Пока на этом закругляюсь, батарея в телефоне садится, а ещё час в автобусе трястись...

var-alex · 2015-05-15 20:05:19

petrovnn wrote:

вот этот, от симона работает быстрее http://simon04.dev.openstreetmap.org/whodidit/

Но в подробностях в rss нет ссылки на achavi что не удобно. А так да, работает быстро.

fndoder · 2015-06-14 17:50:25

Whodidit + Achavi задачу визуализации решают.

На практике только есть одна проблема: некоторые люди не понимают и не хотят понимать, что такое чейнджсет и делают по одному чейнджсету на одно изменение (нарисовал домик - сделал чейнджсет). В итоге рисуя квартал, создают сотни чейнджесов в день при суммарном малом числе измененных/добавленных объектов.

Добавил ранее себе в RSS-ридер ленты whodidit интересующих bbox, но пришлось забить на них, т. к. из-за таких людей поток даже для одного города выходит чересчур большим, если его правят хоть несколько мапперов, пренебрегающих хорошим тоном оформления чейнджсетов.

BushmanK · 2015-06-14 18:45:41

Почему-то мне встречается противоположная крайность, когда человек в одном changeset делает сотню правок по территории целого города, так что не прощелкав по каждому изменению, невозможно понять, что же именно и где он правил.

zetx16 · 2015-06-15 07:44:21

Achavi оказывается умеет показывать правки за определенное время по bbox'у, нужно добавить в Whodidit "показать все правки в Achavi" для каждого квадрата.

Last edited by zetx16 (2015-06-15 07:46:32)

0leg-ch · 2015-06-15 14:31:47

fndoder wrote:

есть одна проблема: некоторые люди не понимают и не хотят понимать, что такое чейнджсет и делают по одному чейнджсету на одно изменение

Тоже с этим столкнулся. В начале прошлого месяца паре человек пришлось это объяснять. Наверное, надо специальную тему завести, или страничку в вике, где описывалось бы, чего не стоит делать:
-- сохраняться после отрисовки каждого домика
-- подписывать гаражи, стоянки и спортплощадки в стиле НЯК
-- и т.п.

И где вкратце объяснялись бы базовые концепции, вроде того, что OSM -- это не только Мапник на главной...

Vitalts · 2015-06-15 15:40:35

Есть ли среди нас люди, не на словах заинтереснованные в ускорении работы Achavi, но и на деле способные реализовать сие подстравиванием Achavi под работу с иным сервисом?
К чему вопрос? Пилю сервис для этого дела, думал молчать, пока не сделаю, но как-то времени своего жалко, если никому не нужно будет. Сам-то я с JS не особо дружу, поэтому за переделку самого Achavi даже браться не буду. Сервис же для получения необходимых данных в обход overpass-api предоставить вполне в моих силах.
Сбор данных производится по дифам. Если что-то из требуемых данных отсутствует, ну что же, с этим ничего не сделаешь, всю планету с версиями всех элементов позволить держать я себе не могу, сервис полезет в API. Но все быстрее, чем все через API тягать, плюс, при повторном обращении к этим данным они уже будут браться из базы сервиса.
Сервис уже способен пополнять свою базу по дифам, может выдать список ченжсетов по ббок за период "указанная дата - текущим момент", любой объект любой версии, ну и все объекты с их версиями конкретного ченжсета.
Однако, показать особо нечего, сервис лишь на локали и API пока отсутствуют.

edward17 · 2015-06-15 21:54:20

Есть одна идейка по поводу Achavi.

Как сделано сейчас: если геометрия линии изменена (пердвинуты, добавлены или удалены точки), то рисуется прошлая геометрия всей линии (красным) и новая геометрия всей линии (зелёным).

Что я предлагаю сделать:
1. Если точка линии была передвинута, то показывать старую и новую геометрии только для двух рёбер этой линии, в которые входит данная точка. Если данная точка - крайняя в линии, то показывать только одно ребро.
2. Если точка была добавлена в линию, то показывать новую геометрию только для двух рёбер этой линии, в которые входит данная точка, старую - для одного ребра между ближайшими к данной точке (в списке точек линии) точками, которые существовали в прошлой версии линии. Если данная точка - крайняя в линии, то показывать только новую геометрию (зеленым).
3. Если точка была удалена из линии, то показывать новую геометрию только для ребра между ближайшими к данной точке (в списке точек линии) точками, которые существуют в последней версии линии; старую - только для двух рёбер этой линии, в которые входила данная точка. Если данная точка - крайняя в линии, то показывать только старую геометрию (красным).

Всё это позволит легче находить места, где линия была изменена.

Главный вопрос: как вы считаете, полезная ли эта идея? Нужно ли писать о ней автору?
Если да, то если ли ещё что-то, что можно добавить сюда? И помогите, пожалуйста, понятно написать это на английском.

P. S. Простите за многократное повторение слова "точка"

Zverik · 2015-06-15 22:39:05

Автору можно писать, что угодно, но уже с полгода он не занимается Achavi. Хотя и принимает пул-реквесты.
Лично мне всё равно, какая часть геометрии была изменена: важно только, какие линии человек потрогал в ченджсете.

Vitalts · 2015-06-16 06:45:03

Если точки подергали, а версия линии не изменилась, то Achavi все равно эту линию отобразить? Я так ни разу не смог дождаться результата Achavi.

pfg21 · 2015-06-16 07:03:33

ачави бы преобразовать в серверную систему, чтоб ченджсеты скомпилировать в конечный хтмл, сжать и так хранить, отдавая по запросу.
будет быстрее и эффективнее.

Vitalts · 2015-06-16 07:18:26

XML, универсальнее будет. Предложение интересное, возьму на вооружение. Как уже писал, серверную часть я взял на себя. Сейчас же нужен человек, который сможет подкрутить сам Ачави и сформулировать необходимые требования к API.

Vitalts · 2015-06-16 07:53:20

В теории, я бы мог подогнать вывод под текущий Achavi и тупо поправить линки в нем, только, чую, это будет не столь продуктивно, как могло бы быть...

dkiselev · 2015-06-16 08:02:34

У Achavi ответ довольно простой.
Возвращает:
- старые версии нод с координатами
- новые версии с координатами
- удаленные (с координатами)
- созданные (с координатами)
Веи ссылаются на ноды.

Если писать свою веб-морду, удобнее наверное было получать geoJSON с геометрией, атрибутами и метками удален/создан/изменен.
+ метка были ли изменены атрибуты.

Vitalts · 2015-06-16 08:10:28

Помнится, на ОСМ радио озвучивалось, что в Achavi имеется достаточно сложный алгоритм выявления изменений с большим кол-вом запросов к overpass. Вот этого очень хотелось бы избежать. С упомянутым сервисом я бы мог за один запрос отдать весь ченжсет с объектами нужных версий да и предыдущие версии тута же впихнуть, если надо.
Ладно, пока подкручу вывод изменений по bbox, благо, с "Inspect element" в хроме даже разобрался, что ему в данном случае надобно

Last edited by Vitalts (2015-06-16 08:13:47)

Zverik · 2015-06-16 08:36:36

Vitalts wrote:

Помнится, на ОСМ радио озвучивалось, что в Achavi имеется достаточно сложный алгоритм выявления изменений с большим кол-вом запросов к overpass.

Не, запрос один, но на большую кучу данных (по bbox + день), которые затем в js отфильтровываются по номеру ченджсета. Всё равно неэффективно получается, особенно когда в районе много других правок. Можно представить, что творится для ченджсетов, покрывающих весь мир.

Vitalts · 2015-06-16 08:45:04

Если так, выходит, мне достаточно выдать результат по конкретному ченжсету в том же формате, что получает Achavi от overpass (ну и в Achavi урл сменить)? ОК, возможно, помощи сведущих в JS и не потребуется
Сперва прикручу обзор по bbox, там посмотрим...

dkiselev · 2015-06-16 09:14:34

В общем-то если апи будет отдавать удобный json - веб морду я тебе напишу.

Vitalts · 2015-06-19 08:20:40

Запуск сервиса на VPS прошел не без изъянов:
• Долгие коммиты транзакционных запросов, в следствии чего сервис не успевал обрабатывать диффы, чего на тестовой винде не наблюдалось.
• Небольшие сложности с запуском демона
• Демон нещядно пожирал память, в следстии чего через некоторое время работы он убивался системой (виновником оказался питоновский dom.minidom)
• Один из моих питоновский модулей конфликтовал с системным и подхватывался системный, не смотря на то, что нужный лежал в той же папке. Под виндой этого также не наблюдалось.
Сервис уже несколько дней работает и собирает данные. Однако, реализация API выявила еще один недостаток. Для его устранения будет менятся не только метод получения запрашиваемых, но отсутствующих, данных, но и структура базы, в следствии чего она даже должна несколько похудеть. Однако, близятся длительные выходные (20-24) на которые мне будут не доступны средства разработки. После чего "горячая пора", ну и так далее. Так что некоторое время проэкт развиваться не будет, но я его не забрасываю, мне он самому интересен, ранее ничего подобного разрабатывать не приходилось

d1g · 2015-07-19 02:37:04

Тааак.

https://wiki.openstreetmap.org/wiki/Show_Me_The_Way
https://osmlab.github.io/show-me-the-way/
https://github.com/osmlab/show-me-the-way

Если ровно этот телевизор ограничить областью (admin_level=*) то большинство запросов о пакетах правок отпадут, останутся только ошибочные правки.

achavi по регионам это для хардкорщиков, в этой паутине разобраться может только тот, что понял что теги главное - это не всем даётся и не сразу.

Last edited by d1g (2015-07-19 10:49:27)

Announcement

#26 2015-05-15 18:05:49

Re: Мечты о визуализации чейнджсетов

#27 2015-05-15 18:08:59

Re: Мечты о визуализации чейнджсетов

#28 2015-05-15 19:07:53

Re: Мечты о визуализации чейнджсетов

#29 2015-05-15 19:08:46

Re: Мечты о визуализации чейнджсетов

#30 2015-05-15 19:11:43

Re: Мечты о визуализации чейнджсетов

#31 2015-05-15 19:43:31

Re: Мечты о визуализации чейнджсетов

#32 2015-05-15 20:05:19

Re: Мечты о визуализации чейнджсетов

#33 2015-06-14 17:50:25

Re: Мечты о визуализации чейнджсетов

#34 2015-06-14 18:45:41

Re: Мечты о визуализации чейнджсетов

#35 2015-06-15 07:44:21

Re: Мечты о визуализации чейнджсетов

#36 2015-06-15 14:31:47

Re: Мечты о визуализации чейнджсетов

#37 2015-06-15 15:40:35

Re: Мечты о визуализации чейнджсетов

#38 2015-06-15 21:54:20

Re: Мечты о визуализации чейнджсетов

#39 2015-06-15 22:39:05

Re: Мечты о визуализации чейнджсетов

#40 2015-06-16 06:45:03

Re: Мечты о визуализации чейнджсетов

#41 2015-06-16 07:03:33

Re: Мечты о визуализации чейнджсетов

#42 2015-06-16 07:18:26

Re: Мечты о визуализации чейнджсетов

#43 2015-06-16 07:53:20

Re: Мечты о визуализации чейнджсетов

#44 2015-06-16 08:02:34

Re: Мечты о визуализации чейнджсетов

#45 2015-06-16 08:10:28

Re: Мечты о визуализации чейнджсетов

#46 2015-06-16 08:36:36

Re: Мечты о визуализации чейнджсетов

#47 2015-06-16 08:45:04

Re: Мечты о визуализации чейнджсетов

#48 2015-06-16 09:14:34

Re: Мечты о визуализации чейнджсетов

#49 2015-06-19 08:20:40

Re: Мечты о визуализации чейнджсетов

#50 2015-07-19 02:37:04

Re: Мечты о визуализации чейнджсетов

Board footer