You are not logged in.

#26 2022-02-15 15:32:12

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 322
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Коллеги, обновил систему представлений для вычисления импорта https://wiki.openstreetmap.org/wiki/RU: … 1.82.D0.B0. Название представлений начинаю с № вычислительного этапа и сортирую представляния строго по необходимости для последующих вычислений.

Изучаю JOSM по подсказке ув. Grass-snake и Osmium с точки зрения генерации файлов измнений. .osm для импорта получил, но он какой-то неполноценный вышел.

Пришлите пожалуйста файл и почему считаете неполноценным?

Кстати, предлагаю перейти на ты.


Если Вам нужно узнать что-то в Москве, Зеленограде или Химках —
пишите личное сообщение, по мере возможности постараюсь помочь.

Online

#27 2022-02-15 16:17:46

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Пришлите пожалуйста файл и почему считаете неполноценным?

Присылаю
https://github.com/mkgrgis/OSM_clock_mo … 0часов.osm
Считаю неполноценным, т. к. заголовки и ветви расходятся с форматом https://wiki.openstreetmap.org/wiki/OsmChange

Кстати, предлагаю перейти на ты.

Без проблем, Grass-snake!

Offline

#28 2022-02-15 16:32:46

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 322
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

freeExec wrote:

Зачем тут пункты 1 и 2, почему сразу не начать с жосма и загрузки нужной области?

А как ещё избавляться от дублей?


Если Вам нужно узнать что-то в Москве, Зеленограде или Химках —
пишите личное сообщение, по мере возможности постараюсь помочь.

Online

#29 2022-02-15 16:55:58

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 322
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Пришлите пожалуйста файл и почему считаете неполноценным?

Присылаю
https://github.com/mkgrgis/OSM_clock_mo … 0часов.osm
Считаю неполноценным, т. к. заголовки и ветви расходятся с форматом https://wiki.openstreetmap.org/wiki/OsmChange

Могу ошибаться (поправьте меня кто знает), но вроде формат OsmChange существует для диффов, то есть когда сервер присылает нам те изменения, которые произошли за определённый период времени.
Если мы загружаем из JOSM в базу OSM, то нужно использовать JOSM file format. Тут меняется параметр: для новых объектов просто отрицательный id (уникальный, это важно), а для существующих объектов указывается действие action='modify' при изменении или action='delete' при удалении.


Если Вам нужно узнать что-то в Москве, Зеленограде или Химках —
пишите личное сообщение, по мере возможности постараюсь помочь.

Online

#30 2022-02-15 17:17:30

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Москва: импорт данных по уличным часам из портала открытх данных

Grass-snake wrote:

А как ещё избавляться от дублей?

Не понятно, ты загрузил домик, какие дубли?

Grass-snake wrote:

но вроде формат OsmChange существует для диффов

Нет, это как раз и есть правка, что ты отправляешь на сервер - твои изменения, что ты добавил, что изменил, а что удалил.

Offline

#31 2022-02-15 17:23:06

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Если мы загружаем из JOSM в базу OSM, то нужно использовать JOSM file format. Тут меняется параметр: для новых объектов просто отрицательный id (уникальный, это важно), а для существующих объектов указывается действие action='modify' при изменении или action='delete' при удалении.

В том и беда, что у меня генерируется JOSM file format а не полноценный OsmChange. Поэтому и не даю результат на суд публики в привычном для импортов формате.

Offline

#32 2022-02-15 21:29:16

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 322
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

freeExec wrote:
Grass-snake wrote:

А как ещё избавляться от дублей?

Не понятно, ты загрузил домик, какие дубли?

Домик для римера. Я загружаю небольшую область рядом с местом предполагаемого нахождения частов (прямоугольник в проекции Меркатора). Если в него попала точка с определённым тегов, то значит есть вероятность что это дубль и нужно не доавлять новую точку, а изменять существующую (после ручной проверки, разумеется).

freeExec wrote:
Grass-snake wrote:

но вроде формат OsmChange существует для диффов

Нет, это как раз и есть правка, что ты отправляешь на сервер - твои изменения, что ты добавил, что изменил, а что удалил.

Если загрузка будет через JOSM, то вроде он позволяет открывать свой тип файлов. А дальше проверяем эти объекты и загружаем в OSM как обычный пакет правок. В теории должно работать, разве нет?

Эх, жаль я забросил свой проект, сейчас бы уже точно сказал.


Если Вам нужно узнать что-то в Москве, Зеленограде или Химках —
пишите личное сообщение, по мере возможности постараюсь помочь.

Online

#33 2022-02-16 05:56:29

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Если загрузка будет через JOSM, то вроде он позволяет открывать свой тип файлов. А дальше проверяем эти объекты и загружаем в OSM как обычный пакет правок. В теории должно работать, разве нет?

Да. Только в том и проблема, что по традиции нужно давать результат как .osc / osmChange а не  JOSM file format. А так JOSM file format я опубликовал, только толку-то. Для JOSM geoJSON проще, который тоже давно есть...

Last edited by MosKartograf (2022-02-16 05:56:56)

Offline

#34 2022-02-16 12:05:01

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Коллеги, опубликован osmChange. Получен не выходя из PostGIS, команда выгрузки опубликована. Документация импорта измненена, показаны представления, генерирующие сразу osmChange, дана ссылка, уточнён перечень тегов.

https://wiki.openstreetmap.org/wiki/RU: … ов_Моссвет

Last edited by MosKartograf (2022-02-16 12:05:14)

Offline

#35 2022-02-16 12:59:19

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Москва: импорт данных по уличным часам из портала открытх данных

Вы его открывали в жосме? Он же "пустой" по его мнению.

Offline

#36 2022-02-16 15:36:43

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Вы его открывали в жосме? Он же "пустой" по его мнению.

Пока что нет. Я не знаю о потребителях этого файлового формата кроме API OSM. Буду проверять JOSM сейчас.
Вопрос в том, что JOSM должен показать в случае верного файла? По сути мы сохраняем протокол действий на правах намерения. Никакие старые данные согласно указанному в описании имопрта намерению не меняются. Может надпись "Нет данных..." уместна?
FireFox хорошо подсвечивает внутренности файла.

Last edited by MosKartograf (2022-02-16 15:44:02)

Offline

#37 2022-02-16 16:05:45

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Москва: импорт данных по уличным часам из портала открытх данных

Он должен показать новые объекты. В общем то вы можете скачать любую правку как xml и засунуть в жосм, и он покажет.
У вас не совпадает формат по описанию тегов, например, и странные пустые блоки в xml

<modify/><delete/><delete/>

В общем надо ещё дорабатывать, в том числе и нормальный UTF8

Offline

#38 2022-02-16 16:43:17

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Коллеги, добился результата big_smile .

ещё дорабатывать, в том числе и нормальный UTF8

Это не при делах. Проблема была в том как пакуют теги через k + v

<node id="-1" lon="30.46261896701431" lat="59.69439983348053" version="0">
<tag k="name" v="имя"/>

У меня теги раньше паковались напрямую. Теперь JOSM открывает. Впрочем, отличий от открытого geoJSON для импорта я не обнаружил ... Цель усилий не понятна. Разве только в OSM API напрямую пихать из питона.

Для открывания в JOSM у файла нужно убрать .xml в конце и оставить .osc.

Last edited by MosKartograf (2022-02-16 16:49:35)

Offline

#39 2022-02-16 16:52:10

Grass-snake
Member
From: Зеленоград, Химки, Москва
Registered: 2020-06-11
Posts: 322
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:
<node id="-1" lon="30.46261896701431" lat="59.69439983348053" version="0">

Небольшое замечание:
в OSM используется только 7 цифр после точки. На всякий случай лучше округлить.


Если Вам нужно узнать что-то в Москве, Зеленограде или Химках —
пишите личное сообщение, по мере возможности постараюсь помочь.

Online

#40 2022-02-16 20:37:27

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

в OSM используется только 7 цифр после точки. На всякий случай лучше округлить.

Спасибо, округление введено в документацию и репозиторий.

Сейчас PostGIS делает данные импорта в двух видах. Смысл этого мне до сих пор не понятен. Предъявлемый сейчас в репозитории файл .osc  для выбранного способа загрузки данных ровно ничем не отличается от файла .geoJSON.

Может ли кто-нибудь мне пояснить как .osc используется в контексте обсуждения импорта? Что там можно такое увидеть, что не ясно из .geoJSON?

Offline

#41 2022-02-17 06:22:35

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,452

Re: Москва: импорт данных по уличным часам из портала открытх данных

В geojson не засунешь исправление и удаление существующих в ОСМ часов.

Offline

#42 2022-02-17 07:22:48

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

В geojson не засунешь исправление и удаление существующих в ОСМ часов.

Согласен. Но, по определению содержания импорта из преамбулы, такого рода правки заведомо не планировались. Вот по столбам без этого никуда, если дело до них дойдёт.

Кстати, расширил теги по замечанию. contact:phone диспетчерской часов + operaror как подрядчик + owner как балансодержатель. Скоро обновлю файлы в репозитории.

Last edited by MosKartograf (2022-02-17 07:24:30)

Offline

#43 2022-02-18 06:40:11

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Коллеги, причесал документацию на Вики https://wiki.openstreetmap.org/wiki/RU: … ов_Моссвет и репозиторий https://github.com/mkgrgis/OSM_clock_mos. Набор тегов расширялся два дня нанад. При отсутствии возражений 25 февраля буду анонсировать на рассылках.

Last edited by MosKartograf (2022-02-18 06:40:38)

Offline

#44 2022-02-18 08:08:17

literan
Member
Registered: 2012-11-06
Posts: 3,791
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

я хотел посмотреть результат импорта из этого раздела
https://wiki.openstreetmap.org/wiki/RU: … on_Results


JOSM выдает ошибку при открытии файла:

"Невозможно прочитать файл 'Экспорт часов.osc'. Ошибка: Строка 15 столбец 76: Attribute name "crossorigin" associated with an element type "link" must be followed by the ' = ' character"

я что-то делаю не так? или ошибка у вас?

Offline

#45 2022-02-18 11:53:57

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

я что-то делаю не так? или ошибка у вас?

Нет, проверил что у меня не было новых коммитов и что файл по-прежнему открывается с первого раза. Может быть, пробелма в бразузерном копировании?
У меня с момента создания файла osc силами PostGIS указана ссылка на страницу файла https://github.com/mkgrgis/OSM_clock_mo … 0часов.osc, которой соответствует ссылка на текстовые внутренности того же самого файла по кнопке raw https://raw.githubusercontent.com/mkgrg … 0часов.osc. Ни там, ни там нет проблем ни со скачиванием, ни с сохранением.

Без промежуточных ручных дейсвтий можно

# код для bash
wget 'https://raw.githubusercontent.com/mkgrgis/OSM_clock_mos/main/Экспорт часов.osc' -O 'Экспорт часов.osc';
josm 'Экспорт часов.osc';

Last edited by MosKartograf (2022-02-18 11:59:34)

Offline

#46 2022-02-18 12:06:32

literan
Member
Registered: 2012-11-06
Posts: 3,791
Website

Re: Москва: импорт данных по уличным часам из портала открытх данных

MosKartograf wrote:

Может быть, пробелма в бразузерном копировании?

действительно, из Гитхаб нормально сохранилось.

Посмотрел выборочно, теги ок, с координатами вроде бы тоже все нормально (на панорамах яндекса местоположение сходится). Возражений нет.

Offline

#47 2022-02-18 14:40:44

hitsmart
New Member
Registered: 2020-10-04
Posts: 2

Re: Москва: импорт данных по уличным часам из портала открытх данных

Ссылку на источник данных можно более коротко указать: "https://data.mos.ru/opendata/1499"

Offline

#48 2022-02-18 21:27:10

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Ссылку на источник данных можно более коротко указать: "https://data.mos.ru/opendata/1499"

Спасибо! Документация, скрипт и данные обновлены.

Offline

#49 2022-02-19 05:33:55

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

К каждым часам добавлена ссылка на их страницу сайта открытых данных, где можно посмотреть описание и подать заявку на исправления данных. Файлы .osc и .geojson обновлены.

Offline

#50 2022-03-04 11:16:58

MosKartograf
Member
Registered: 2012-02-17
Posts: 76

Re: Москва: импорт данных по уличным часам из портала открытх данных

Импорт отлежался. Прошу посоветовать куда дальше. Попробовал подписаться на Talks:ru. Отправил сообщение и тишина. Ни ответов ни просто сообщений нет.

Offline

Board footer

Powered by FluxBB