[акция] на "День пограничника" - сбор границ сельских поселений

Классификатор ОКТМО помимо валидаторов используют многие госучреждения, в частности налоговая и органы статистики. Вот передо мной лежит квиток на транспортный налог, там вбит код ОКТМО моей прописки. Поэтому государство (если точнее Росстандарт) обновляет ОКТМО в более консервативном режиме нежели Википедия. Кроме того, если посмотреть на законы то обычно всегда есть переходный период в течение которого действует прежняя схема работы. После расформирования сельского поселения муниципальные органы уже упразднённого поселения ещё функционируют какое-то время. Можете посмотреть реальное использование АТД чтобы убедиться в этом. А закон это бумажка - принять или отклонить можно очень быстро, тогда как первичным учреждениям нужно реальное время на перемены в документообороте и для фактической реорганизации.

Проверка показала, что изменения в АТД по ДФО в данном томе ОКТМО не учтены:

  • в МаО с февраля 2014 года;
  • в АО все за 2015 год;
  • в ПК все за 2015 год;
  • в Саха с декабря 2013 года;
  • в ХК все за 2015 год.

Что же тогда значат эти магические цифры - 99/2015? Дата последней проверки на ошибки в орфографии? :slight_smile:
Ладно изменения за 15 год. Но от начала то 14го должны же быть уже.

Вот тут я веду файлик по изменениям. Если есть сомнения, можете посмотреть.

где-то можно посмотреть на код? есть ссылки на примеры?

тут напрашивается идея для мэшапа: ОКТМО + Консультант(Гарант) + OSM = актуальная база АТД по подписке :wink:
…и/или добавлять в валидаторы ОСМ примечания/отметки/ссылки на законы по изменению АТД или названий, которые еще “не дошли” в классификаторы

P.S. обновил страничку статистики https://goo.gl/9eaGfZ
если коротко +3(4)% границ СП/ГП по стране за месяц

жаль нет графика по дням, было бы интересно посмотреть

еще, если я правильно понял - нашлись добровольцы, которые взялись отбирать файлы границ Краснодарского края, а также скачивают генпланы районов Калмыкии с границами СП/ГП.

http://forum.openstreetmap.org/viewtopic.php?pid=399353#p399353
Исходники походу потерялись, но ты всегда можешь их декомпельнуть, там C#

чуть не забыл - выложил Астраханская область, границы всех СП/ГП.

Исходные файлы с ФГИС ТП - 1,4 Гб, большой объем в основном из-за PDF в которых содержится листы обзорных карт (как я понял - ГГЦ, использовать только для справки). Но основная ценность - XML файлы с координатными точками в МСК-30. Если правильно понимаю, это выписка из государственного кадастра недвижимости (ГКН).

Мои результаты конвертации в формат CSV и GPX - в файле размером 1,2 Мб

Т.к. я впервые сталкиваюсь с выписками ГКН, у меня вопрос:
как мне, человеку с улицы (не кадастровый инженер) получить эти выписки - с границами районов/СП/ГП/НП?

пытался нагуглить что-либо, но и половины не понимаю… зато встречал цифру в 150руб. за выписку, что в итоге приводит к сумме 20000 х 150 = 3 млн.руб за все границы России.

Вопрос чисто теоретический, ну разве что сделать один раз “контрольную покупку” и написать заметку - возможно кому-то из перфекционистов это пригодится. Почему бы и нет, если другие данные недоступны?

Уже никак, ещё весной можно было через api росрееста, но лавочку прикрыли. Теперь только бумажные выписки с координатами.
Но имхо овчинка выделки не стоит. Визуально границы в кадастре кривые и вообще не сходятся с соседними. Тут вон где-то новость проскакивала, регион тратит 4.5 млн рублей на согласование границ районов своих и соседских.

решил заняться привязкой данных - взялся за обзорные схемы районов с границами поселений Тюменской области
в основном из-за того, что там не отрисовано 240 границ из 290 недостающих в УФО

https://yadi.sk/d/Oqedz8HaiqGZo

желающим порисовать границы, достаточно скачать PNG и WLD файлы - открывать в JOSM
файлы POINTS - точки привязки для QGIS, если что-то не понравится…

Остальные районы выложу по мере привязки.
Вагайский, Тюменский, Упоровский, Ялуторовский район - представлены наборами файлов, до них руки еще не скоро дойдут.

нее… я про это спрашивал: https://rosreestr.ru/wps/portal/p/cc_ib_services_new
там куча вопросов… я этот квест не пройду )))

Хотя Тюменская область меня безусловно интересует (поездил я по ней немало!) но в ближайший месяц от меняя будет минимальная активность - я отбываю в длительную командировку поэтому максимум что смогу делать - поддерживать валидатор в рабочем состоянии. Ну а по возвращении наверное всё-таки хочу доразбираться со Ставропольем - уж больно давно я там завяз. Так что я скорее помощник словом нежели делом.

Выложил все что было по Тюменской области, часть схем районов - с привязкой, а часть без.
не повезло районам: Вагайский, Тюменский, Уватский, Упоровский, Ялуторовский, Ярковский - выложил в виде набора файлов СП/ГП

iagsav отобрал файлы генпланов и СТП с границами ГП/СП Краснодарского края. Спасибо ему!

Добавил в коллекцию.

Спасибо, iagsav. Мостовский район!!! с тремя восклицательными знаками :slight_smile: будем рисовать границы.
П.С. Скачал Мостовский район, потихоньку буду собирать границы.

:roll_eyes: Рабочий момент, сорри :slight_smile:

кстати, тут еще такой момент нужно учитывать - iagsav файлы отбирал из списка [уже скаченного](https://cloud.mail.ru/public/f65ff3701737/Краснодарский край/) с ФГИС ТП, так что пропущенные СП/ГП вполне можно попробовать найти на официальных сайтах районов и поселений.

если найдете - не забудьте поделится :wink: добавлю их к себе

чтобы не оффтопить в соседней теме, решил перенести разговор сюда:

то есть, в RSS давать прямые ссылки на файлы лежащие на ФГИС ТП, чтобы никто не мучился с реверсом? хитро… только боюсь прикроют лавочку очень быстро )))

твое предложение логично, я только немного по другому это представлял…

изначально я хотел просто выкладывать CSV файлы (по регионам) на GitHub, с данными по файлам лежащим на ФГИС ТП.
Чтобы каждый мог посмотреть - что есть, что добавилось и когда… но потом - самостоятельно скачивал с сайта ФГИС.
Но как на GitHub подписаться по RSS на изменения отдельных файлов - я не нашел…

Попытка переложить на плечи GitHub’a задачу уведомления по RSS и показа дифов изменений - приведет к созданию 85(86) репозиториев и хранению в каждом по 1 файлу… остается только понять, как во всём этом не запутаться и кому такое нужно.
Да и стимула возится тоже никакого не было - сообщение, что есть скрипт и выложенный пример распарсеного сайта в SQLite базе, никого так и не заинтересовало за год-полтора.
Хотя задач, помимо получения этих данных - хватает.
Так сравнением и созданием статистики изменений - как количества файлов, так и их статуса (например “утвержден” или “проект”), я еще не занимался… ну и т.д.

все упирается в хранении скаченных файлов.
при наличии хранилища (облако или локальный NAS) можно и прямые ссылки и что-то типа кеширующего прокси сделать или даже в виде сервиса - “стола заказов”, чтобы самостоятельно отбирали, что интересует, а в течении дня/недели файлы скачивались и сохранялись в облаке по расписанию… а без такого хранилища - возможно давать только метаинформацию по файлам и отслеживание новых поступлений на ФГИС ТП.

Теоретически я могу раз в месяц выкладывать файл SQLite базы - типа такого:
https://yadi.sk/d/UanBiXzMj3CeV
его просмотреть можно с помощью плагина к FireFox

объемы файлов на ФГИС ТП большие, а нужно из них всего 5-10%, но пока не скачаешь все - не поймешь, нужное это или нет и в каком оно виде, разрешении или вообще битое. Да и худо-бедно, данные пополняются и обновляются постоянно.

тут напрашивается решение с созданием трекера руОСМа, но… я не уверен, что можно уговорить достаточное количество народа им пользоваться, если уж про форум знает малый процент участников проекта…

P.S. в данный момент хочу научится парсить XML с помощью Scrapy - с прицелом на создание сервиса на базе Django. Что позволит создать настраиваемую RSS-ленту и собирать в одном месте разные данные. Но пока больше вопросов, чем кода.
А т.к. не программист, ковыряться буду долго. Необходимы консультации и подсказки… для ускорения

P.P.S. люто завидую твоему маилрушному террабайтнику )))

git это децентрализинованная распределённая файловая система с полным контролем синхронизации пользователем. RSS это стандарт уведомления о изменениях. Проще говоря:

  • RSS это только чтение
  • RSS только от одного получател к одному читателю (в git - любой “читатель”, любой “писатель”, у всех есть контроль над всем)
  • RSS это без каких-либо сравнений в RSS

У git есть не только двусторонняя запись на неопрелённо большое количество хостов, но и встроенные инструменты сравнения и отката отдельных правок (коммитов). Кроме этого есть с два десятка вспомогательных инструментов.

“Игнорирование файлов” во второй главе, но всю книжку до этого придется пролистать я смотрю

Не нужны трекеры, большинство работает на https://en.wikipedia.org/wiki/Magnet_URI_scheme#Technical_description Magnet ссылках.

Потому что удобнее находить всё в одном месте, а не на десяти? https://ru.wikipedia.org/wiki/RuTracker.org

    • децентрализинованная

Мэйл.ру дает возможность дать доступ на запись другому пользователю облака. Если собраться толпой то можно получить практически неограничнное пространство. Одна беда - либо держать локально такой же объем дискового пространства под загрузку/синхронизацию официальным клиентом, либо закачивать через вебморду с тормозами и ограничениями по размеру файла.

Если есть желание занятся, готов дать один из своих Тб под благое дело. В общем и “железо” могу пожертвовать.

Непонятно зачем нужны промежуточные данные. Напомню:

Если ссылки можно получить автоматически - то лучше давать их, а не сырую БД. Формат для ссылок лучше использовать этот (он учитывает торренты): https://ru.wikipedia.org/wiki/Metalink

Не нужно завидовать, нужно один раз организовать торренты нормально и объяснить что происходит и зачем это в нужных местах.

Куда интересней это посмотреть что же новенького по интересующему региону


WITH ATD(Id, Name)
AS
(
    SELECT id_ktds, name FROM ktds
        WHERE name = 'Ульяновская область' --id_ktds = 21944      
    UNION ALL
    SELECT ktds_levelUp.id_ktds, ktds_levelUp.name
        FROM ktds AS ktds_levelUp
        INNER JOIN ATD AS ktds_level ON ktds_levelUp.parentid = ktds_level.Id    
)
SELECT * FROM ATD
INNER JOIN document_list_report AS list ON ATD.id = list.region_id
WHERE 0
OR list.metadata_type_id = 25 -- СТП Субъекта
OR list.metadata_type_id = 49 -- СТП Муниц
OR list.metadata_type_id = 83 -- Генплан
OR list.metadata_type_id = 244 -- Проект Генплан
OR list.metadata_type_id = 789 -- Проект Землепользование
ORDER BY list.document_date DESC 

В планах у министерства альтернативный доступ без сильвера, на какой это стадии хз, напишите, спросите .
Что касается зеркала, может на хдд можно вернуться и воткнуть к Zkir`y в валидатор?

вот пример того, про что я писал - попытка использовать GitHub

сделал последовательно выборку запросом freeExec в базах за разные даты
https://github.com/Xmypblu/example-csv-fgis/commits/master.atom

в отличии от BitBucket - в ленте не показывается название папки и файла
https://yadi.sk/i/R9KA0yO6j8JZo

если freeExec покажет как изменить запрос, чтобы в базе дополнительно создавались 2 таблицы:

  1. по номеру субъекта (например Ульяновская область - 21944) в базе создавалась таблица с названием doc_21944 (или doc_RU-ULY). Куда скопировать все строки документов из таблицы document_list_report относящиеся к Ульяновской области.
  2. В таблицу с названием files_21944, скопировать все строки из таблицы documentfileinfoes, относящиеся к Ульяновской области

позже смогу написать скрипт для экспорта в CSV и отправки на GitHub - посмотреть, как это выглядит и насколько это будет удобно…

дальше… зачем нужна SQLite база - она нужна мне, для эксперементов с Django.
Делал для себя, но готов поделится.

Зимой экспериментировал с python-social-auth и django-tables2
Скриншоты прототипа работающего на SQLite, что я выложил

чекбоксы - как раз для “стола заказов”, но пока не реализовал обработку

Идея была такая: выбираем, подсчет объема и прикидывается время (ограничения еще не продуманы), создается список документов/файлов, по крону скачивается (порциями) и размещается в хранилище.

Там еще есть засада с длиной и спецсимволами в названии папок и файлов - посчитайте самые длинные.
У меня получилось найти 839 у папки и 472 символа у файла.
Есть мысли сохранять названия в базе, а файлы и папки именовать по их UUID…
Если #daf готов поделится аккаунтом с Тб - мои контакты в профиле, буду экспериментировать с майлрушным облаком (и ждать когда они родят WebDAV)

Про Magnet и Metalink - сказать нечего, не сталкивался, но при случае надо будет разобраться…

не уверен что понял, но идея вставить в валидаторы ссылки на список файлов(или хранилища) интересна, но это скорее к держателям валидаторов вопрос.
И думаю, что это произойдет быстрее, если сделать API - если я правильно понимаю задачу.