[акция] на "День пограничника" - сбор границ сельских поселений

Communities Россия (Russia)
181

вот пример того, про что я писал - попытка использовать GitHub

сделал последовательно выборку запросом freeExec в базах за разные даты
https://github.com/Xmypblu/example-csv-fgis/commits/master.atom

в отличии от BitBucket - в ленте не показывается название папки и файла
https://yadi.sk/i/R9KA0yO6j8JZo

если freeExec покажет как изменить запрос, чтобы в базе дополнительно создавались 2 таблицы:

  1. по номеру субъекта (например Ульяновская область - 21944) в базе создавалась таблица с названием doc_21944 (или doc_RU-ULY). Куда скопировать все строки документов из таблицы document_list_report относящиеся к Ульяновской области.
  2. В таблицу с названием files_21944, скопировать все строки из таблицы documentfileinfoes, относящиеся к Ульяновской области

позже смогу написать скрипт для экспорта в CSV и отправки на GitHub - посмотреть, как это выглядит и насколько это будет удобно…

дальше… зачем нужна SQLite база - она нужна мне, для эксперементов с Django.
Делал для себя, но готов поделится.

Зимой экспериментировал с python-social-auth и django-tables2
Скриншоты прототипа работающего на SQLite, что я выложил

чекбоксы - как раз для “стола заказов”, но пока не реализовал обработку

Идея была такая: выбираем, подсчет объема и прикидывается время (ограничения еще не продуманы), создается список документов/файлов, по крону скачивается (порциями) и размещается в хранилище.

Там еще есть засада с длиной и спецсимволами в названии папок и файлов - посчитайте самые длинные.
У меня получилось найти 839 у папки и 472 символа у файла.
Есть мысли сохранять названия в базе, а файлы и папки именовать по их UUID…
Если #daf готов поделится аккаунтом с Тб - мои контакты в профиле, буду экспериментировать с майлрушным облаком (и ждать когда они родят WebDAV)

Про Magnet и Metalink - сказать нечего, не сталкивался, но при случае надо будет разобраться…

не уверен что понял, но идея вставить в валидаторы ссылки на список файлов(или хранилища) интересна, но это скорее к держателям валидаторов вопрос.
И думаю, что это произойдет быстрее, если сделать API - если я правильно понимаю задачу.

182

прямые ссылки в RSS это было очень круто, а то пока ентот кривой сильвер-квест пройдешь все желания отпадут, но раз имеется возможность возмущения разных умников, то х с ним. мне будет достаточно строчки типа
появились новые файлы Чувашская республика - Алатырский район - Алтышевское сп - Генеральный план Алтышевского сельского поселения
не думаю что там часто проскакивают обновления, так что можно и ручками помучиться.
CSV, SQLite это не ко мне, у меня к данных ФГИС интерес на уровне праздного, даже то, что скачал ковыряю изредка.

терабайтник эт да, я счас завидую знакомому который додумался зарегить еще парочку маилру-ящиков и во всех сделал терабайт места, правда зависть не так что бы уж велика, ибо имеющееся сейчас пусто, “чуть более чем полностью” :). но ведь есть же китайские облака в которых можно получить огромные пространства забесплатно, или объемы в эксабайты за небольшие деньги, посмотри в их сторону. меня тормозит наличие адекватных систем управления ентими штучками, маилрушники до сих пор никак не могут webdav прикрутить, хотя обещались очень и очень давно.

трекер на мой взгляд крайне излишен, р2р система распростраения файлов имеет смысл при массовости пользования, тот же Drp.su, торрент-раздача 10гб исошника жутко удешевила его распространение. А если в р2р системе будут ковыряться полтора землекопа, то все заморочки с хешами, хитроумными протоколами будут нужны как яйца танцору.
Если уж думать в эту сторону р2р cdn, то мне видится домашний NAS c Synchting - удовлетворяет все запросы, или dc++ клиентом, но тогда обновления ручками придется запрашивать, или RSS ленточка с ссылками на торрент-образы, utorrent позволяет их подключать но чего то ни разу ими не пользовался. стоит ли овчинка выделки…

183

А зачем новые таблицы если данные нисколько не меняются. На худой конец можно обойтись вьюшкой.

184

смотрел в сторону “Yunpan 360” - но смутила мутная регистрация на русский форум пользователей и жалобы на скорость и баны

мне так проще - сначала раскидать данные по таблицам, а потом вернутся и экспортировать… не факт, что в одно время и из одного скрипта

185

Абслютно всё равно сколько сидов если хоть у групки сидов есть 100% файлов (точнее - блоков). У Synchting насколько я знаю обязателен один сид с 100%.

Synchting как минимум нужно объяснять как устанавливать и запускать, что это такое вообще. Торренты проще в освоении, они популярнее по моему опыту.

PS. не в курсе как именно работает BTSync у Synchting, поправьте если вру

186

Я бы хотел взглянуть на этот план, судя по изогнутости линий он довольно точен, но вот то, что он пилит населённый пункт пополам - видимо криво внесён.

https://www.openstreetmap.org/changeset/26631371#map=14/53.5510/52.7443

187

А что даёт сопоставления с кадастром?
Часто там такие же характерные линии можно узреть, а привязаны там могут оказаться точнее

188

В Воронежской области много раз такое наблюдал. Чиновники порезали НП по границе поселения, в результате получилось два. При чём граница частенько идёт прямо по домам.

189

А это повод пнуть кое кого, кое куда :slight_smile: Должна быть строгая пирамида.

А ещё мне там попались интересные условия, для выбора админ. центров.

Причём надо обратить на “туда и обратно” за 8 часов.

190

Так формально пирамида есть - это же два НП принадлежащих разным поселениям. У нас например под Воронежем две Новых Усмани и это не совпадения имён, а дурные чиновники порезали НП для каких то своих нужд. В результате два НП имеют общую границу, одинаковое название и дома частями входящие туда и туда. И кстати это ещё самое большое село в России (хотя по населению уже давно на хороший город тянет).

191

Ааа, но опять же кадастровый участок (под домом) не может быть и там и там.

192

Под лесом/полем наблюдаю, хотя это просто еще толком неразмежеванно с советских времен, но вот под домом не видал.

193

Посмотрел конкретное место - там видать же издалека, что граница и река идут строго паралельно - вот первый косяк привязки границы.
Тот же сдвиг, что относительно реки, то и относительно кадастра.

Некоторые активные участники этой ветки небрежно относятся к привязке планов, отсюда и неоправданные “разрубания”.
Уже писал и исправлял, так что не удивляйтесь.
Кому-то количество отрисованных границ интереснее, чем порубленные НП.
http://forum.openstreetmap.org/viewtopic.php?pid=461751#p461751
http://forum.openstreetmap.org/viewtopic.php?pid=461762#p461762

Вот, чисто для смеху admin_centre вылез из поселения из-за свига границ.

Кому-то лень вставить admin_centre в отношение.
Ну а то, что кто-то не одобряет слов “сельское поселение”, это уже совсем мелочи.
http://forum.openstreetmap.org/viewtopic.php?pid=499646#p499646

194

Ну а по поводу конкретного Заглядино.
Там с юга вплотную примыкает посёлок Отделение №3, но он тоже входит Заглядинский сельсовет. так что граница поселений проведена не по той линии генплана.

Но это для границ поселений Оренбургской области не редкость, вот станция Филипповка выпала из Мартыновского сельсовета

195

Появился на fgis проект ГО Махачкала (до этого на офсайте было несколько вариантов совершенно неприемлемого для обрисовки размера). Это последний крупный город в ОСМ границы которого приведены очень примерно. Поскольку с Махачкалой дело довольно запущенное то отрисовка по плану займёт некоторое время которое почему-то у меня не находится :frowning:

Если кто-то любит квесты с границами - ГО Махачкала очень хороший пример для этого - крупный городской округ, несколько районов, много НП и кривые границы нарисованные ранее …

196

Вот для Мурома всё никак не опубликуют данные нормальны. Всё только обобщённые планы. Писал в администрацию письма, главе города - без ответа.

197

Если совсем без ответа, то пиши в прокуратуру, что не отвечают за положенные 30 дней. Там их быстро научат уму-разуму :slight_smile:

198

Переделка и перенос “домашней заготовки” заняло много времени, но начало положено

http://fgis-xmypblu.rhcloud.com/

убрал авторизацию, обновление и создание дампа - пока вручную… с кроном еще предстоит разобратся
Но основная проблема для меня - сложные SQL запросы для сбора статистики.
Заметка в дневниках: http://www.openstreetmap.org/user/Xmypblu/diary/36289

Еще вопрос к пользователям Облако@майл.ру - там есть перечень ограничений, но в этом списке нет упоминания об ограничении количества папок и файлов.
Скажем если есть аккаунт с 1Тб хранилищем и 150-200тыс. файлов, их можно скинуть в корень или необходимо по папкам раскидать?
С папками тоже непонятно, 10-20 тыс. папок в корень хранилища - возможно?
Кто-нибудь выяснял такие ограничения?

199

freeExec сначала достаточно просто позвонить и узнать. Ибо скорее всего ответ дан , но не дошел про какой то причине

200

1000 файлов в одной папке точно держит. 50 папок по 50 папок по 1000 файлов. Итого 250000.

Но, с точки зрения архитектуры, лучше делить семантически, сохраняя осмысленные имена файлов и папок.
Тем более, чт структура административно-территориального деления очень подходит для такого варианта.

Устаревшие файлы архивировать, убирать в другие хранилища и пр. Дискового пространства и мощностей никогда не бывает много.

По опыту эксплуатации подобных систем, правда без доступа к исходному коду - любое восстановление после сбоя превращается в ад, до того, что проще перезалить файлы заново.

ЗЫ На айпаде верстка поехала. Блоки друг под другом стали, а не рядом , как на скриншоте.