You are not logged in.

#151 2015-08-18 10:05:52

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,999

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

вчера посмотрел статистику в валидаторе... и похоже на то, что до конца года можно не спеша доделать границы СП/ГП в 2-5 (из 9) федеральных округах.
Если немного повезет с данными и при наличии заинтересованных - можно и ЦФО в этот список добавить.

https://img-fotki.yandex.ru/get/6300/16 … 76d84_orig
https://goo.gl/vrp1Xd

Проще всего с Северо-Западным федеральным округом (осталась только Коми добить), чуть сложнее в Крымском федеральном округе... с остальными округами - как повезет, надо уточнять.

У меня с относительно свободным временем сейчас стало совсем плохо, поэтому границы теперь рисую иногда, стараюсь хотя бы пару раз в неделю. А выбирая где рисовать я как раз пошёл по обратному пути smile Весной активно участвовал в улучшении СЗФО, более конкретно, Псковской области. Теперь она выглядит пристойно. Коми мне не так интересна - я там никогда не был и каких-то планов на это нет. Поэтому выбирал регионы где с границами хуже а населения больше. Очевидно это СКФО. Когда-то сделал Чечню, Ингушетию, доделал по Дагестану что смог найти в графическом виде (существенная часть поселений на самом деле ещё не имеет генпланов, часть сделали недавно но найти графические материалы приемлимого качества не удалось), порисовал в Северной Осетии пока не запустался в границах, сейчас сижу в Ставропольском крае.

Но что мне удивитительно - среди самых запущенных регионов - Краснодарский край. При этом Xmypblu давно выкладывал генпланы поселений а судя по активности на форуме это один из самых картируемых регионов. Загадка для меня smile Ведь генпланы - хороший дополнительный источник для валидации того что уже нарисовано!


Бывший редактор ОСМ

Offline

#152 2015-08-18 11:17:08

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

в СЗФО осталось отрисовать 8 СП - 7 из них это Коми (Койгородский район), данные по которым я не нашел на ФГИС ТП и оф. сайтах (про РГИС знаю, но нет разрешения правообладателей) + в Троицко-Печорском районе нужно полностью перерисовывать границы СП, т.к. они там выдуманы или взяты с потолка

fserges wrote:

Но что мне удивитительно - среди самых запущенных регионов - Краснодарский край. При этом Xmypblu давно выкладывал генпланы поселений а судя по активности на форуме это один из самых картируемых регионов.

могу заняться в сентябре, если никто не возьмется - я сейчас собрал данные по Адыгее и Астраханской области и пока занят ими.

Offline

#153 2015-08-18 11:39:08

keder
Member
From: Воронеж (Voronezh, RU)
Registered: 2014-02-18
Posts: 820

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Кстати, заметил что сельские поселения в Липецкой области названы "сельсоветами", это правильно? Мне казалось везде поселения, а сельсоветы упразднили.

Offline

#154 2015-08-18 12:17:04

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,999

Re: [акция] на "День пограничника" - сбор границ сельских поселений

keder wrote:

Кстати, заметил что сельские поселения в Липецкой области названы "сельсоветами", это правильно? Мне казалось везде поселения, а сельсоветы упразднили.

Сельское поселение это тип. А в названии можно встретить и волость и сельсовет и поселение и муниципальное образование и сумон.


Бывший редактор ОСМ

Offline

#155 2015-08-18 12:18:00

Jake Strine
Member
Registered: 2014-04-15
Posts: 100

Re: [акция] на "День пограничника" - сбор границ сельских поселений

keder wrote:

Кстати, заметил что сельские поселения в Липецкой области названы "сельсоветами", это правильно? Мне казалось везде поселения, а сельсоветы упразднили.

Нормально. Вся Амурская область на сельсоветах. Это просто название, а так это сельское поселение.

Offline

#156 2015-08-18 12:23:29

keder
Member
From: Воронеж (Voronezh, RU)
Registered: 2014-02-18
Posts: 820

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Ок, понял, спасибо за разъяснения, просто у нас в Воронежской области только сельские поселения и я решил что везде так.

Offline

#157 2015-08-19 19:46:56

Jake Strine
Member
Registered: 2014-04-15
Posts: 100

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Всё, первый пошёл) по ДФО отрисованы все границы МО (МР,СП,ГП,ГО). Есть ещё конечно куда улучшать, но как я понимаю это первый полностью законченный регион в данном плане. Осталось дело за остальными 8. smile

Last edited by Jake Strine (2015-08-19 19:51:26)

Offline

#158 2015-08-20 08:07:20

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Jake Strine wrote:

Всё, первый пошёл) по ДФО отрисованы все границы

о, круто!

очень хочется получить в коллекцию отобранные файлы с границами wink
для сравнения в будущем или для масштабного ремонта...

UPD: судя по статистике - до отрисовки всех границ ДФО еще далеко...

Дата дампа: 21.08.2015

Дальневосточный федеральный округ
Городские поселения    131 из 153
Сельские поселения    985 из 1034

...или валидатор словил глюк

Last edited by Xmypblu (2015-08-21 10:07:56)

Offline

#159 2015-08-23 18:03:45

Jake Strine
Member
Registered: 2014-04-15
Posts: 100

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:
Jake Strine wrote:

Всё, первый пошёл) по ДФО отрисованы все границы

о, круто!

очень хочется получить в коллекцию отобранные файлы с границами wink
для сравнения в будущем или для масштабного ремонта...

UPD: судя по статистике - до отрисовки всех границ ДФО еще далеко...

Дата дампа: 21.08.2015

Дальневосточный федеральный округ
Городские поселения    131 из 153
Сельские поселения    985 из 1034

...или валидатор словил глюк

Второе. Всё отрисовано. И слишком актуально отрисовано, что имеющиеся базы данных обоих валидаторов (где основа версия ОКТМО от начала года) просто не принимают все нововведения. По факту говорю, отрисованы все МО. Каждый из создателей валидаторов правил что-то вручную в базе, но, видимо, пока новая версия ОКТМО не выйдет, так и будет отображаться.

Last edited by Jake Strine (2015-08-23 18:06:22)

Offline

#160 2015-08-24 09:41:12

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Jake Strine wrote:

Каждый из создателей валидаторов правил что-то вручную в базе, но, видимо, пока новая версия ОКТМО не выйдет, так и будет отображаться.

хм.. как интересно

наверное это как-то связано с работой сайта http://mosclassific.ru/ ?

судя по выложенному архиву на http://www.gks.ru/metod/classifiers.html

$ curl -I http://www.gks.ru/free_doc/2015/oktmo/tom8_oktmo.rar
HTTP/1.1 200 OK
Server: nginx
Date: Mon, 24 Aug 2015 08:44:30 GMT
Content-Type: application/octet-stream
Content-Length: 181802
Connection: keep-alive
Last-Modified: Thu, 11 Jun 2015 07:04:37 GMT
Accept-Ranges: bytes
ETag: "acca40e114a4d01:cf6"
X-Powered-By: ASP.NET

и описанию к файлам, там:

Общероссийский классификатор территорий муниципальных образований (ОКТМО) ОК 033-2013
Приказ Росстандарта от 14.06.2013 № 159-ст 01.01.2014
99/2015
Дата утверждения 26.05.2015
Дата введения в действие: 01.06.2015

доступна последняя версия, которую выложили почти сразу...
Jake Strine, можешь посмотреть "том 8" - там актуальные данные?

P.S. ...интересно, неужели так сложно распарсить эти архивы...

Last edited by Xmypblu (2015-08-24 09:42:57)

Offline

#161 2015-08-24 09:55:25

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,484

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

P.S. ...интересно, неужели так сложно распарсить эти архивы...

Уже год как парсят, но от того что он выпущен месяц назад, вовсе не значит, что в нём есть изменения прошлого квартала.

Offline

#162 2015-08-24 11:06:17

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,999

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Классификатор ОКТМО помимо валидаторов используют многие госучреждения, в частности налоговая и органы статистики. Вот передо мной лежит квиток на транспортный налог, там вбит код ОКТМО моей прописки. Поэтому государство (если точнее Росстандарт) обновляет ОКТМО в более консервативном режиме нежели Википедия. Кроме того, если посмотреть на законы то обычно всегда есть переходный период в течение которого действует прежняя схема работы. После расформирования сельского поселения муниципальные органы уже упразднённого поселения ещё функционируют какое-то время. Можете посмотреть реальное использование АТД чтобы убедиться в этом. А закон это бумажка - принять или отклонить можно очень быстро, тогда как первичным учреждениям нужно реальное время на перемены в документообороте и для фактической реорганизации.


Бывший редактор ОСМ

Offline

#163 2015-08-24 11:52:13

Jake Strine
Member
Registered: 2014-04-15
Posts: 100

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

Jake Strine, можешь посмотреть "том 8" - там актуальные данные?

Проверка показала, что изменения в АТД по ДФО в данном томе ОКТМО не учтены:
- в МаО с февраля 2014 года;
- в АО все за 2015 год;
- в ПК все за 2015 год;
- в Саха с декабря 2013 года;
- в ХК все за 2015 год.

Что же тогда значат эти магические цифры - 99/2015? Дата последней проверки на ошибки в орфографии? smile
Ладно изменения за 15 год. Но от начала то 14го должны же быть уже.

Вот тут я веду файлик по изменениям. Если есть сомнения, можете посмотреть.

Last edited by Jake Strine (2015-08-24 12:15:36)

Offline

#164 2015-08-25 10:46:13

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

freeExec wrote:

Уже год как парсят, но от того что он выпущен месяц назад, вовсе не значит, что в нём есть изменения прошлого квартала.

где-то можно посмотреть на код? есть ссылки на примеры?

fserges wrote:

Классификатор ОКТМО помимо валидаторов используют многие госучреждения, в частности налоговая и органы статистики.

Jake Strine wrote:

Ладно изменения за 15 год. Но от начала то 14го должны же быть уже.

тут напрашивается идея для мэшапа: ОКТМО + Консультант(Гарант) + OSM = актуальная база АТД по подписке wink
...и/или добавлять в валидаторы ОСМ примечания/отметки/ссылки на законы по изменению АТД или названий, которые еще "не дошли" в классификаторы

P.S. обновил страничку статистики https://goo.gl/9eaGfZ
если коротко +3(4)% границ СП/ГП по стране за месяц

жаль нет графика по дням, было бы интересно посмотреть

0_133063_fc72d93c_orig.gif

еще, если я правильно понял - нашлись добровольцы, которые взялись отбирать файлы границ Краснодарского края, а также скачивают генпланы районов Калмыкии с границами СП/ГП.

Offline

#165 2015-08-25 10:57:19

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,484

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

где-то можно посмотреть на код? есть ссылки на примеры?

http://forum.openstreetmap.org/viewtopi … 53#p399353
Исходники походу потерялись, но ты всегда можешь их декомпельнуть, там C#

Offline

#166 2015-08-27 15:07:35

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

чуть не забыл - выложил Астраханская область, границы всех СП/ГП.

Исходные файлы с ФГИС ТП - 1,4 Гб, большой объем в основном из-за PDF в которых содержится листы обзорных карт (как я понял - ГГЦ, использовать только для справки). Но основная ценность - XML файлы с координатными точками в МСК-30. Если правильно понимаю, это выписка из государственного кадастра недвижимости (ГКН).

Мои результаты конвертации в формат CSV и GPX - в файле размером 1,2 Мб

Т.к. я впервые сталкиваюсь с выписками ГКН, у меня вопрос:
как мне, человеку с улицы (не кадастровый инженер) получить эти выписки - с границами районов/СП/ГП/НП?

пытался нагуглить что-либо, но и половины не понимаю... зато встречал цифру в 150руб. за выписку, что в итоге приводит к сумме 20000 х 150 = 3 млн.руб за все границы России.

Вопрос чисто теоретический, ну разве что сделать один раз "контрольную покупку" и написать заметку - возможно кому-то из перфекционистов это пригодится. Почему бы и нет, если другие данные недоступны?

Offline

#167 2015-08-27 15:51:08

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,484

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Уже никак, ещё весной можно было через api росрееста, но лавочку прикрыли. Теперь только бумажные выписки с координатами.
Но имхо овчинка выделки не стоит. Визуально границы в кадастре кривые и вообще не сходятся с соседними. Тут вон где-то новость проскакивала, регион тратит 4.5 млн рублей на согласование границ районов своих и соседских.

Last edited by freeExec (2015-08-27 15:53:54)

Offline

#168 2015-09-02 20:46:48

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

решил заняться привязкой данных - взялся за обзорные схемы районов с границами поселений Тюменской области
в основном из-за того, что там не отрисовано 240 границ из 290 недостающих в УФО

https://yadi.sk/d/Oqedz8HaiqGZo

желающим порисовать границы, достаточно скачать PNG и WLD файлы - открывать в JOSM
файлы POINTS - точки привязки для QGIS, если что-то не понравится...

Остальные районы выложу по мере привязки.
Вагайский, Тюменский, Упоровский, Ялуторовский район - представлены наборами файлов, до них руки еще не скоро дойдут.

freeExec wrote:

Уже никак, ещё весной можно было через api росрееста, но лавочку прикрыли. Теперь только бумажные выписки с координатами.

нее... я про это спрашивал: https://rosreestr.ru/wps/portal/p/cc_ib_services_new
там куча вопросов... я этот квест не пройду )))

Offline

#169 2015-09-03 10:36:44

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,999

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Хотя Тюменская область меня безусловно интересует (поездил я по ней немало!) но в ближайший месяц от меняя будет минимальная активность - я отбываю в длительную командировку поэтому максимум что смогу делать - поддерживать валидатор в рабочем состоянии. Ну а по возвращении наверное всё-таки хочу доразбираться со Ставропольем - уж больно давно я там завяз. Так что я скорее помощник словом нежели делом.


Бывший редактор ОСМ

Offline

#170 2015-09-04 10:19:31

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Выложил все что было по Тюменской области, часть схем районов - с привязкой, а часть без.
не повезло районам: Вагайский, Тюменский, Уватский, Упоровский, Ялуторовский, Ярковский - выложил в виде набора файлов СП/ГП

Offline

#171 2015-09-09 00:32:31

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

iagsav отобрал файлы генпланов и СТП с границами ГП/СП Краснодарского края. Спасибо ему!

Добавил в коллекцию.

Offline

#172 2015-09-09 19:26:06

Семён Семёнов
Member
Registered: 2012-11-07
Posts: 590

Re: [акция] на "День пограничника" - сбор границ сельских поселений

iagsav отобрал файлы генпланов и СТП с границами ГП/СП Краснодарского края. Спасибо ему!

Спасибо, iagsav. Мостовский район!!! с тремя восклицательными знаками smile будем рисовать границы.
П.С. Скачал Мостовский район, потихоньку буду собирать границы.

Last edited by Семён Семёнов (2015-09-09 19:37:59)


«Дорогу осилит идущий»

Offline

#173 2015-09-09 19:35:25

iagsav
Member
Registered: 2015-03-15
Posts: 125

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Семён Семёнов wrote:

iagsav отобрал файлы генпланов и СТП с границами ГП/СП Краснодарского края. Спасибо ему!

Спасибо, iagsav. Мостовский район!!! с тремя восклицательными знаками smile будем рисовать границы.

roll Рабочий момент, сорри smile

Offline

#174 2015-09-09 21:34:32

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

iagsav wrote:
Семён Семёнов wrote:

iagsav отобрал файлы генпланов и СТП с границами ГП/СП Краснодарского края. Спасибо ему!

Спасибо, iagsav. Мостовский район!!! с тремя восклицательными знаками smile будем рисовать границы.

roll Рабочий момент, сорри smile

кстати, тут еще такой момент нужно учитывать - iagsav файлы отбирал из списка уже скаченного с ФГИС ТП, так что пропущенные СП/ГП вполне можно попробовать найти на официальных сайтах районов и поселений.

если найдете - не забудьте поделится wink добавлю их к себе

Offline

#175 2015-09-15 19:09:37

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 422

Re: [акция] на "День пограничника" - сбор границ сельских поселений

чтобы не оффтопить в соседней теме, решил перенести разговор сюда:

pfg21 wrote:
Xmypblu wrote:
keder wrote:

Качать генпланы с ФГИСа - это изощренная пытка (я знаю - отрисовывал АТД по Воронежской области).

pfg21 wrote:

Качание с ФГИСа не сильно отличается от качаний с любых других неудобных источников. Неделя тягомотины. Пока ктонить не упрется рогом и не реверснет запросы.

как я понял, тут обсуждается "точечное" добавление границ - это не выкачивание в ручную область или федеральный округ )))
реверс запросов и скрипт для массового скачивания с ФГИС ТП - есть (почти год как), но... есть большая вероятность, что эту "дырку" прикроют. Да и сам сервис в последнее время - нестабильно работает

давно мечтаю о создании зеркала ФГИС ТП с ежедневным обновлением
для создания локального зеркала, мне даже передали NAS (D-Link DNS-323), но не хватает 2 HDD по 2Тб (может есть у кого? wink )
для зеркала в облаке/ftp тоже необходимо ~4Тб - я уже искал и спрашивал сотрудников Рамблера/Яндекса/Майл.ру, но ответа пока не получил.
...по мне - вариант с облаком/ftp, намного лучше локального

Xmypblu, тогда можно попросить сделать бот, выдающий обновления ФГИСа в виде потока RSS, к примеру. свою копию чувашии тогда обязуюсь обновлять согласно ентому боту.
или адекватный листинг урлов для скачивания, я хотел дополнить копию на маилрушном террабайтнике ближними республиками, но гемор с ручным выкачиванием убивает.

то есть, в RSS давать прямые ссылки на файлы лежащие на ФГИС ТП, чтобы никто не мучился с реверсом? хитро... только боюсь прикроют лавочку очень быстро )))

твое предложение логично, я только немного по другому это представлял...

изначально я хотел просто выкладывать CSV файлы (по регионам) на GitHub, с данными по файлам лежащим на ФГИС ТП.
Чтобы каждый мог посмотреть - что есть, что добавилось и когда... но потом - самостоятельно скачивал с сайта ФГИС.
Но как на GitHub подписаться по RSS на изменения отдельных файлов - я не нашел...

Попытка переложить на плечи GitHub'a задачу уведомления по RSS и показа дифов изменений - приведет к созданию 85(86) репозиториев и хранению в каждом по 1 файлу... остается только понять, как во всём этом не запутаться и кому такое нужно.
Да и стимула возится тоже никакого не было - сообщение, что есть скрипт и выложенный пример распарсеного сайта в SQLite базе, никого так и не заинтересовало за год-полтора.
Хотя задач, помимо получения этих данных - хватает.
Так сравнением и созданием статистики изменений - как количества файлов, так и их статуса (например "утвержден" или "проект"), я еще не занимался... ну и т.д.

все упирается в хранении скаченных файлов.
при наличии хранилища (облако или локальный NAS) можно и прямые ссылки и что-то типа кеширующего прокси сделать или даже в виде сервиса - "стола заказов", чтобы самостоятельно отбирали, что интересует, а в течении дня/недели файлы скачивались и сохранялись в облаке по расписанию... а без такого хранилища - возможно давать только метаинформацию по файлам и отслеживание новых поступлений на ФГИС ТП.

Теоретически я могу раз в месяц выкладывать файл SQLite базы - типа такого:
https://yadi.sk/d/UanBiXzMj3CeV
его просмотреть можно с помощью плагина к FireFox

объемы файлов на ФГИС ТП большие, а нужно из них всего 5-10%, но пока не скачаешь все - не поймешь, нужное это или нет и в каком оно виде, разрешении или вообще битое. Да и худо-бедно, данные пополняются и обновляются постоянно.

тут напрашивается решение с созданием трекера руОСМа, но... я не уверен, что можно уговорить достаточное количество народа им пользоваться, если уж про форум знает малый процент участников проекта...

P.S. в данный момент хочу научится парсить XML с помощью Scrapy - с прицелом на создание сервиса на базе Django. Что позволит создать настраиваемую RSS-ленту и собирать в одном месте разные данные. Но пока больше вопросов, чем кода.
А т.к. не программист, ковыряться буду долго. Необходимы консультации и подсказки... для ускорения

P.P.S. люто завидую твоему маилрушному террабайтнику )))

Offline

Board footer

Powered by FluxBB