Москва и Московская область (обсуждение)

trolleway · 2015-12-05 11:28:41

Надо найти способ затащить их 200-меговый json в PostGIS, а дальше у него есть функция GeomFromJSON, и можно будет экспортировать во что угодно через ogr.
Или хотя бы найти потоковый парсер, чтобы сконвертировать json в csv.

freeExec · 2015-12-05 11:44:39

А где скачать их 200Мб файл?

trolleway · 2015-12-05 12:02:32

http://data.mos.ru/opendata/export/1927/json
На странице с картой, ссылка "Скачать"

BushmanK · 2015-12-05 17:53:09

freeExec wrote:

Сходу это чисто работа с текстом? Потому, что мне кажется проще смапить что есть в объект, а потом сереализовать его в json с новыми правилами.
Ах, да, нужен ещё более сложный корпусной пример, где "Number": 2+

Я не программист, так что пользуюсь одними только рег. выражениями. Так что да, работа с текстом.
Пример с "Number": 2+ не нужен, потому что кроме числа там ничего не меняется. Это поле - просто порядковый номер записи в их базе.

BushmanK · 2015-12-05 17:55:11

freeExec wrote:

А где скачать их 200Мб файл?

Еще можно так (для винды):

for /L %F in (0,500,148000) do wget "http://api.data.mos.ru/v1/datasets/1927/rows?$top=500&$orderby=Number&$skip=%F" --output-document="%F.json"

Но оно так отдает порциями по 500 записей.

freeExec · 2015-12-05 18:07:30

Я пишу конвертер к тому, что trolleway

BushmanK · 2015-12-05 18:09:30

В нормальный GeoJSON?

freeExec · 2015-12-05 18:29:32

Ну я как бы не стал поднимать спецификацию на нормальный, будет как ты показал.

BushmanK · 2015-12-05 19:16:50

А это и есть нормальный, просто минимальный.
Я, тем временем, тоже регулярками добился нормальной структуры в том, что скачал (правда, выкинул нахер их Id и Number, которые не значат ничерта), но оказалось, что там есть (редкие) объекты без геометрии. Думаю сейчас, как их убить.

О, блин, классно у них работает API.
Только при параметрах top=500 skip=0 оно выдает 500 записей, а при любом skip больше нуля (я запрашивал с 500*n) возвращает не 500, а 250.
ДИТ в своем духе, уроды.

Last edited by BushmanK (2015-12-05 19:30:05)

freeExec · 2015-12-05 19:57:13

Вот проверьте, нет ли косяков

d1g · 2015-12-05 19:57:57

trolleway wrote:

Или хотя бы найти потоковый парсер, чтобы сконвертировать json в csv.

Не уверен что jq потоковый:

https://stedolan.github.io/jq/ - на сайте есть некоторые готовые примеры
http://stackoverflow.com/questions/2555 … v-using-jq - здесь много вариантов как сделать это

Альтернативы jq: http://stackoverflow.com/a/14132863

BushmanK · 2015-12-05 20:13:23

freeExec wrote:

Вот проверьте, нет ли косяков

GlobalMapper ругается, не открывает.

trolleway · 2015-12-05 20:14:03

freeExec wrote:

Вот проверьте, нет ли косяков

Не пускает без пароля.

freeExec · 2015-12-05 20:16:28

Попробуй ещё разок. Но что-то никаких паролей я в принципе в настройках не нахожу.

BushmanK · 2015-12-05 20:19:30

trolleway wrote:

freeExec wrote:
Вот проверьте, нет ли косяков
Не пускает без пароля.

Никаких паролей там нет.

BushmanK · 2015-12-05 20:29:57

Собственно, вот:

Тут не все здания (половину из-за дебильной реализации API я не скачал), здания из этого адресного плана обозначены светло-зеленой заливкой и черными жирными контурами.
Все остальное - это топосъемка МГГТ, для сравнения геометрии.
Как можно видеть, местами она совпадает супер-точно (белый однопиксельный контур из топосъемки вписывается в черный трехпиксельный контур из адресного плана).

Естественно, какие-то здания могут вообще не совпадать (потому что снимались отдельно, кривыми руками и т.п., либо потому что были в какой-то момент перестроены или снесены и построены заново).
Однако, если на какой-то территории присутствует много однотипных строений, особенно - старых (жилые массивы, которые построены при СССР, скажем так), то контуры этих зданий из адресного плана можно использовать для правки смещений подложки и т.п. - они, определенно, могут быть много точнее треков.

BushmanK · 2015-12-05 20:47:42

freeExec, вот пример работающего файла
https://mega.nz/#!2VQH0Ria!xiIYwrl-l4Xm … a0g3Lk7LXs

На сколько я понял, featurecollection должна быть всего одна на весь файл, остальное - features.
Не должно быть feature не содержащих элемент geometry (их там дофига).

Last edited by BushmanK (2015-12-05 20:53:22)

freeExec · 2015-12-05 20:53:47

Ага, понял. Элементы без геометрии т.е. выкинуть создать пустой массив? А ещё насколько я вижу в properties можно массивы ложить (AdmArea).

Last edited by freeExec (2015-12-05 20:56:44)

BushmanK · 2015-12-05 20:58:53

У меня, пока я не выкинул те features, которые без геометрии, GlobalMapper отказывался это есть, а также какой-то онлайн-валидатор сказал, что раз GeoJSON, то feature без geometry - нонсенс.

В свойства можно класть массивы, но я увидел там только строки, так что нужды в [] там не вижу - это получается массив из одного элемента.

BushmanK · 2015-12-05 21:10:30

Зачем пустой массив? Зачем нам адрес без геометрии вообще?

trolleway · 2015-12-05 21:35:41

То спрашивает пароль, то не спрашивает. Скачал, но QGIS тоже не открывает.

freeExec · 2015-12-05 22:35:48

Вторая попытка

Converted: 146424, Skiped: 1109

BushmanK · 2015-12-05 22:46:31

Опять ругается. Может его прогнать через что-то типа https://github.com/mapbox/geojsonhint чтобы хоть видеть, в каких объектах ошибка? Потому что GM мне этого не говорит.

trolleway · 2015-12-05 22:58:44

Я написал свой парсер из их json в csv с WKT, чтоб открывать в QGIS.
https://drive.google.com/folderview?id= … sp=sharing - реестр в spatialite с геометрией.

Код парсера на питоне: https://github.com/trolleway/osm-script … ess_parcer
Вроде должен работать на Windows.

В данных портала неправильно формируются мультиполигоны: дырки не обозначены, поэтому геометрия может быть невалидной. По крайней мере QGIS её из csv показывает.

BushmanK · 2015-12-05 23:20:57

Мда, руки им оторвать - хоть что-то вообще сделали нормально?

Announcement

#3501 2015-12-05 11:28:41

Re: Москва и Московская область (обсуждение)

#3502 2015-12-05 11:44:39

Re: Москва и Московская область (обсуждение)

#3503 2015-12-05 12:02:32

Re: Москва и Московская область (обсуждение)

#3504 2015-12-05 17:53:09

Re: Москва и Московская область (обсуждение)

#3505 2015-12-05 17:55:11

Re: Москва и Московская область (обсуждение)

#3506 2015-12-05 18:07:30

Re: Москва и Московская область (обсуждение)

#3507 2015-12-05 18:09:30

Re: Москва и Московская область (обсуждение)

#3508 2015-12-05 18:29:32

Re: Москва и Московская область (обсуждение)

#3509 2015-12-05 19:16:50

Re: Москва и Московская область (обсуждение)

#3510 2015-12-05 19:57:13

Re: Москва и Московская область (обсуждение)

#3511 2015-12-05 19:57:57

Re: Москва и Московская область (обсуждение)

#3512 2015-12-05 20:13:23

Re: Москва и Московская область (обсуждение)

#3513 2015-12-05 20:14:03

Re: Москва и Московская область (обсуждение)

#3514 2015-12-05 20:16:28

Re: Москва и Московская область (обсуждение)

#3515 2015-12-05 20:19:30

Re: Москва и Московская область (обсуждение)

#3516 2015-12-05 20:29:57

Re: Москва и Московская область (обсуждение)

#3517 2015-12-05 20:47:42

Re: Москва и Московская область (обсуждение)

#3518 2015-12-05 20:53:47

Re: Москва и Московская область (обсуждение)

#3519 2015-12-05 20:58:53

Re: Москва и Московская область (обсуждение)

#3520 2015-12-05 21:10:30

Re: Москва и Московская область (обсуждение)

#3521 2015-12-05 21:35:41

Re: Москва и Московская область (обсуждение)

#3522 2015-12-05 22:35:48

Re: Москва и Московская область (обсуждение)

#3523 2015-12-05 22:46:31

Re: Москва и Московская область (обсуждение)

#3524 2015-12-05 22:58:44

Re: Москва и Московская область (обсуждение)

#3525 2015-12-05 23:20:57

Re: Москва и Московская область (обсуждение)

Board footer