Исходные файлы с ФГИС ТП - 1,4 Гб, большой объем в основном из-за PDF в которых содержится листы обзорных карт (как я понял - ГГЦ, использовать только для справки). Но основная ценность - XML файлы с координатными точками в МСК-30. Если правильно понимаю, это выписка из государственного кадастра недвижимости (ГКН).
Мои результаты конвертации в формат CSV и GPX - в файле размером 1,2 Мб
Т.к. я впервые сталкиваюсь с выписками ГКН, у меня вопрос:
как мне, человеку с улицы (не кадастровый инженер) получить эти выписки - с границами районов/СП/ГП/НП?
пытался нагуглить что-либо, но и половины не понимаю… зато встречал цифру в 150руб. за выписку, что в итоге приводит к сумме 20000 х 150 = 3 млн.руб за все границы России.
Вопрос чисто теоретический, ну разве что сделать один раз “контрольную покупку” и написать заметку - возможно кому-то из перфекционистов это пригодится. Почему бы и нет, если другие данные недоступны?
Уже никак, ещё весной можно было через api росрееста, но лавочку прикрыли. Теперь только бумажные выписки с координатами.
Но имхо овчинка выделки не стоит. Визуально границы в кадастре кривые и вообще не сходятся с соседними. Тут вон где-то новость проскакивала, регион тратит 4.5 млн рублей на согласование границ районов своих и соседских.
решил заняться привязкой данных - взялся за обзорные схемы районов с границами поселений Тюменской области
в основном из-за того, что там не отрисовано 240 границ из 290 недостающих в УФО
желающим порисовать границы, достаточно скачать PNG и WLD файлы - открывать в JOSM
файлы POINTS - точки привязки для QGIS, если что-то не понравится…
Остальные районы выложу по мере привязки.
Вагайский, Тюменский, Упоровский, Ялуторовский район - представлены наборами файлов, до них руки еще не скоро дойдут.
Хотя Тюменская область меня безусловно интересует (поездил я по ней немало!) но в ближайший месяц от меняя будет минимальная активность - я отбываю в длительную командировку поэтому максимум что смогу делать - поддерживать валидатор в рабочем состоянии. Ну а по возвращении наверное всё-таки хочу доразбираться со Ставропольем - уж больно давно я там завяз. Так что я скорее помощник словом нежели делом.
Выложил все что было по Тюменской области, часть схем районов - с привязкой, а часть без.
не повезло районам: Вагайский, Тюменский, Уватский, Упоровский, Ялуторовский, Ярковский - выложил в виде набора файлов СП/ГП
Спасибо, iagsav. Мостовский район!!! с тремя восклицательными знаками будем рисовать границы.
П.С. Скачал Мостовский район, потихоньку буду собирать границы.
кстати, тут еще такой момент нужно учитывать - iagsav файлы отбирал из списка [уже скаченного](https://cloud.mail.ru/public/f65ff3701737/Краснодарский край/) с ФГИС ТП, так что пропущенные СП/ГП вполне можно попробовать найти на официальных сайтах районов и поселений.
если найдете - не забудьте поделится добавлю их к себе
чтобы не оффтопить в соседней теме, решил перенести разговор сюда:
то есть, в RSS давать прямые ссылки на файлы лежащие на ФГИС ТП, чтобы никто не мучился с реверсом? хитро… только боюсь прикроют лавочку очень быстро )))
твое предложение логично, я только немного по другому это представлял…
изначально я хотел просто выкладывать CSV файлы (по регионам) на GitHub, с данными по файлам лежащим на ФГИС ТП.
Чтобы каждый мог посмотреть - что есть, что добавилось и когда… но потом - самостоятельно скачивал с сайта ФГИС.
Но как на GitHub подписаться по RSS на изменения отдельных файлов - я не нашел…
Попытка переложить на плечи GitHub’a задачу уведомления по RSS и показа дифов изменений - приведет к созданию 85(86) репозиториев и хранению в каждом по 1 файлу… остается только понять, как во всём этом не запутаться и кому такое нужно.
Да и стимула возится тоже никакого не было - сообщение, что есть скрипт и выложенный пример распарсеного сайта в SQLite базе, никого так и не заинтересовало за год-полтора.
Хотя задач, помимо получения этих данных - хватает.
Так сравнением и созданием статистики изменений - как количества файлов, так и их статуса (например “утвержден” или “проект”), я еще не занимался… ну и т.д.
все упирается в хранении скаченных файлов.
при наличии хранилища (облако или локальный NAS) можно и прямые ссылки и что-то типа кеширующего прокси сделать или даже в виде сервиса - “стола заказов”, чтобы самостоятельно отбирали, что интересует, а в течении дня/недели файлы скачивались и сохранялись в облаке по расписанию… а без такого хранилища - возможно давать только метаинформацию по файлам и отслеживание новых поступлений на ФГИС ТП.
объемы файлов на ФГИС ТП большие, а нужно из них всего 5-10%, но пока не скачаешь все - не поймешь, нужное это или нет и в каком оно виде, разрешении или вообще битое. Да и худо-бедно, данные пополняются и обновляются постоянно.
тут напрашивается решение с созданием трекера руОСМа, но… я не уверен, что можно уговорить достаточное количество народа им пользоваться, если уж про форум знает малый процент участников проекта…
P.S. в данный момент хочу научится парсить XML с помощью Scrapy - с прицелом на создание сервиса на базе Django. Что позволит создать настраиваемую RSS-ленту и собирать в одном месте разные данные. Но пока больше вопросов, чем кода.
А т.к. не программист, ковыряться буду долго. Необходимы консультации и подсказки… для ускорения
git это децентрализинованная распределённая файловая система с полным контролем синхронизации пользователем. RSS это стандарт уведомления о изменениях. Проще говоря:
RSS это только чтение
RSS только от одного получател к одному читателю (в git - любой “читатель”, любой “писатель”, у всех есть контроль над всем)
RSS это без каких-либо сравнений в RSS
У git есть не только двусторонняя запись на неопрелённо большое количество хостов, но и встроенные инструменты сравнения и отката отдельных правок (коммитов). Кроме этого есть с два десятка вспомогательных инструментов.
Мэйл.ру дает возможность дать доступ на запись другому пользователю облака. Если собраться толпой то можно получить практически неограничнное пространство. Одна беда - либо держать локально такой же объем дискового пространства под загрузку/синхронизацию официальным клиентом, либо закачивать через вебморду с тормозами и ограничениями по размеру файла.
Если есть желание занятся, готов дать один из своих Тб под благое дело. В общем и “железо” могу пожертвовать.
Если ссылки можно получить автоматически - то лучше давать их, а не сырую БД. Формат для ссылок лучше использовать этот (он учитывает торренты): https://ru.wikipedia.org/wiki/Metalink
Не нужно завидовать, нужно один раз организовать торренты нормально и объяснить что происходит и зачем это в нужных местах.
Куда интересней это посмотреть что же новенького по интересующему региону
WITH ATD(Id, Name)
AS
(
SELECT id_ktds, name FROM ktds
WHERE name = 'Ульяновская область' --id_ktds = 21944
UNION ALL
SELECT ktds_levelUp.id_ktds, ktds_levelUp.name
FROM ktds AS ktds_levelUp
INNER JOIN ATD AS ktds_level ON ktds_levelUp.parentid = ktds_level.Id
)
SELECT * FROM ATD
INNER JOIN document_list_report AS list ON ATD.id = list.region_id
WHERE 0
OR list.metadata_type_id = 25 -- СТП Субъекта
OR list.metadata_type_id = 49 -- СТП Муниц
OR list.metadata_type_id = 83 -- Генплан
OR list.metadata_type_id = 244 -- Проект Генплан
OR list.metadata_type_id = 789 -- Проект Землепользование
ORDER BY list.document_date DESC
В планах у министерства альтернативный доступ без сильвера, на какой это стадии хз, напишите, спросите .
Что касается зеркала, может на хдд можно вернуться и воткнуть к Zkir`y в валидатор?
если freeExec покажет как изменить запрос, чтобы в базе дополнительно создавались 2 таблицы:
по номеру субъекта (например Ульяновская область - 21944) в базе создавалась таблица с названием doc_21944 (или doc_RU-ULY). Куда скопировать все строки документов из таблицы document_list_report относящиеся к Ульяновской области.
В таблицу с названием files_21944, скопировать все строки из таблицы documentfileinfoes, относящиеся к Ульяновской области
позже смогу написать скрипт для экспорта в CSV и отправки на GitHub - посмотреть, как это выглядит и насколько это будет удобно…
дальше… зачем нужна SQLite база - она нужна мне, для эксперементов с Django.
Делал для себя, но готов поделится.
Зимой экспериментировал с python-social-auth и django-tables2
Скриншоты прототипа работающего на SQLite, что я выложил
чекбоксы - как раз для “стола заказов”, но пока не реализовал обработку
Идея была такая: выбираем, подсчет объема и прикидывается время (ограничения еще не продуманы), создается список документов/файлов, по крону скачивается (порциями) и размещается в хранилище.
Там еще есть засада с длиной и спецсимволами в названии папок и файлов - посчитайте самые длинные.
У меня получилось найти 839 у папки и 472 символа у файла.
Есть мысли сохранять названия в базе, а файлы и папки именовать по их UUID…
Если #daf готов поделится аккаунтом с Тб - мои контакты в профиле, буду экспериментировать с майлрушным облаком (и ждать когда они родят WebDAV)
Про Magnet и Metalink - сказать нечего, не сталкивался, но при случае надо будет разобраться…
не уверен что понял, но идея вставить в валидаторы ссылки на список файлов(или хранилища) интересна, но это скорее к держателям валидаторов вопрос.
И думаю, что это произойдет быстрее, если сделать API - если я правильно понимаю задачу.
прямые ссылки в RSS это было очень круто, а то пока ентот кривой сильвер-квест пройдешь все желания отпадут, но раз имеется возможность возмущения разных умников, то х с ним. мне будет достаточно строчки типа
появились новые файлы Чувашская республика - Алатырский район - Алтышевское сп - Генеральный план Алтышевского сельского поселения
не думаю что там часто проскакивают обновления, так что можно и ручками помучиться.
CSV, SQLite это не ко мне, у меня к данных ФГИС интерес на уровне праздного, даже то, что скачал ковыряю изредка.
терабайтник эт да, я счас завидую знакомому который додумался зарегить еще парочку маилру-ящиков и во всех сделал терабайт места, правда зависть не так что бы уж велика, ибо имеющееся сейчас пусто, “чуть более чем полностью” :). но ведь есть же китайские облака в которых можно получить огромные пространства забесплатно, или объемы в эксабайты за небольшие деньги, посмотри в их сторону. меня тормозит наличие адекватных систем управления ентими штучками, маилрушники до сих пор никак не могут webdav прикрутить, хотя обещались очень и очень давно.
трекер на мой взгляд крайне излишен, р2р система распростраения файлов имеет смысл при массовости пользования, тот же Drp.su, торрент-раздача 10гб исошника жутко удешевила его распространение. А если в р2р системе будут ковыряться полтора землекопа, то все заморочки с хешами, хитроумными протоколами будут нужны как яйца танцору.
Если уж думать в эту сторону р2р cdn, то мне видится домашний NAS c Synchting - удовлетворяет все запросы, или dc++ клиентом, но тогда обновления ручками придется запрашивать, или RSS ленточка с ссылками на торрент-образы, utorrent позволяет их подключать но чего то ни разу ими не пользовался. стоит ли овчинка выделки…