OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#201 2015-11-10 22:03:34

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 388

Re: [акция] на "День пограничника" - сбор границ сельских поселений

#daf wrote:

Но, с точки зрения архитектуры, лучше делить семантически, сохраняя осмысленные имена файлов и папок.
Тем более, чт структура административно-территориального деления очень подходит для такого варианта.

я бы согласился, если бы не знал, что упрусь в ограничения:

  • длине названия файла или папки

  • спецсимволы в названиях

  • короткие и бессмысленные названия

  • не уверен, но возможно и по длине URL

  • при загрузке на свой комп - прибавляем к пути папку сохранения

т.к. каждый файл имеет UUID, а папка помимо UUID еще и уникальный короткий номер "order_number", планировал использовать их в качестве имен для хранения файлов/папок.

В простейшем сценарии:

  • сохранять все файлы в одной папке, в качестве имен использовать UUID (без расширения).

  • при скачивании, с помощью javascript(?) переименовывать UUID в имя файла с расширением.

  • т.к. дамп базы будет доступен - восстановить названия самостоятельно (локально) будет относительно просто, при необходимости

если задуматься о скачивании документов(папок)... возможно несколько вариантов.


Последняя заметка в дневниках: [перевод] "OpenStreetMap Mapping Priority"

Offline

#202 2015-11-10 22:17:37

iagsav
Member
Registered: 2015-03-15
Posts: 125

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Отличная вещь. решает проблемы с SilverLight. Большое спасибо! удобно пользоваться.

Offline

#203 2015-11-10 22:37:16

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,138

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Не решает, в том то и дело. Облегчает, да. Вот ещё историю изменений прикрутить и будет замечательно.

Offline

#204 2015-11-10 23:02:05

#daf
Member
Registered: 2013-10-17
Posts: 38

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Конечно не надо называть файлы "план современного использования и комплексной оценки территории пгт. Светлый Солнечного сельского поселения Мирного района Плодородного края Российской Федерации.pdf" как это иногда предлагает fgis.

Когда предлагал учитывать семантику, имел ввиду нечто подобное

/<код страны>/<код региона>/<название поселения>/[название нп] в пути и
<тип документа>_<статус>_<дата присвоения статуса>[_часть#из#].ext в качестве имени файла

В 255 символов должно поместиться.

Еще есть проблема. Как с мэйла получить ссылку на конкретный файл программно? API то никакого нет.

Offline

#205 2015-11-14 20:58:38

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 388

Re: [акция] на "День пограничника" - сбор границ сельских поселений

#daf wrote:

Когда предлагал учитывать семантику, имел ввиду нечто подобное

/<код страны>/<код региона>/<название поселения>/[название нп] в пути и
<тип документа>_<статус>_<дата присвоения статуса>[_часть#из#].ext в качестве имени файла

В 255 символов должно поместиться.

хм... надо обдумать (хотя с ходу и не нравится) и посчитать на примерах с самыми длинными названиями поселений/нп.

На данный момент более приоритетным является статистика и история изменений... но без помощи с запросами, буду долго ковыряться. Пытаюсь разобраться с терминологией postgresql, т.к. даже загуглить примеры запросов (для сбора статистики) сложно, не зная что искать.

freeExec wrote:

Не решает, в том то и дело. Облегчает, да. Вот ещё историю изменений прикрутить и будет замечательно.

freeExec ты в комментариях к заметке предлагал показывать дату самого нового документа в списке регионов.
Если поможешь с запросом, будет здорово - я постараюсь побыстрее внести в проект.
Наверное придется или отдельную таблицу делать или расширить atd - добавив столбец под дату.

#daf wrote:

Еще есть проблема. Как с мэйла получить ссылку на конкретный файл программно? API то никакого нет.

Нагенирировать ссылок и отдачу переложить на скрипты майлру - неудобно, но как вариант... дополнительно вкладывая список фалов (txt/html) в каждую папку(документ), например.

Firebug показывает ссылки типа: _https://cloud.mail.ru/api/v2/user/space
Хотя да - официально нет и видимо не предвидится в ближайшее время, но используя бесплатные сервисы и решения - трудно ожидать скорости, удобства и логичности, что в ОСМ, что в других любых компаниях и проектах.

P.S. А про платные... мне они интересны чисто теоретически, в статье "Linux и бесплатные облачные хранилища" упоминается интересный тарифный план Amazon (если еще существует)


Последняя заметка в дневниках: [перевод] "OpenStreetMap Mapping Priority"

Offline

#206 2015-11-14 21:04:40

d1g
Member
From: not using forum
Registered: 2010-01-23
Posts: 2,380
Website

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

упоминается интересный тарифный план Amazon (если еще существует)

Первые три месяца бесплатно https://www.amazon.com/clouddrive/home

Это более простое по сравнению с https://aws.amazon.com/ru/glacier/ где нужно самому считать расходы на хранение
https://fastglacier.com/
https://github.com/basak/glacier-cli#using-pipes

Offline

#207 2015-11-16 18:57:05

#daf
Member
Registered: 2013-10-17
Posts: 38

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

На данный момент более приоритетным является статистика и история изменений... но без помощи с запросами, буду долго ковыряться. Пытаюсь разобраться с терминологией postgresql, т.к. даже загуглить примеры запросов (для сбора статистики) сложно, не зная что искать.

Так сложно что-то сказать. Неплохо бы выложить код и скрипты создания БД на гитхаб и написать какую-нибудь инструкцию по развертыванию. Думаю, помощь не заставит себя ждать :)

Xmypblu wrote:

P.S. А про платные... мне они интересны чисто теоретически, в статье "Linux и бесплатные облачные хранилища" упоминается интересный тарифный план Amazon (если еще существует)

Чисто теоретически можно получить терабайт от Яндекса по цене банки Гиннеса в год. С WebDAV-ом и API. Они после окончания оплаченного периода не блокируют загрузку и не удаляют файлы. Догружать раз в полгода-год изменения, между загрузками хранить их на бесплатных аккаунтах.

Да и стоимость за год не больше оплаты дня работы программиста.

Last edited by #daf (2015-11-16 19:24:39)

Offline

#208 2015-11-16 22:38:42

Xmypblu
Member
From: Москва
Registered: 2011-01-18
Posts: 388

Re: [акция] на "День пограничника" - сбор границ сельских поселений

#daf wrote:
Xmypblu wrote:

На данный момент более приоритетным является статистика и история изменений... но без помощи с запросами, буду долго ковыряться. Пытаюсь разобраться с терминологией postgresql, т.к. даже загуглить примеры запросов (для сбора статистики) сложно, не зная что искать.

Так сложно что-то сказать. Неплохо бы выложить код и скрипты создания БД на гитхаб и написать какую-нибудь инструкцию по развертыванию. Думаю, помощь не заставит себя ждать smile

хм... я думал выложенного дампа хватит, чтобы помочь с запросами SQL
там вначале есть (для всех 3-х таблиц) "CREATE TABLE ..." могу продублировать сюда, если надо.
Могу только добавить, что на OpenShift используется PostgreSQL 9.2.13

или я что-то не понимаю - и для помощи с SQL запросами, действительно необходимы исходники всего сайта?

пока продвинулся не сильно, но хоть что-то... вот например я не смог сделать одним запросом, пришлось добавить столбец

ALTER TABLE file ADD COLUMN file_ext text;
update file set file_ext=right(upper(file_name), position('.' in reverse(file_name)) -1 ) WHERE length(right(upper(file_name), position('.' in reverse(file_name)) -1 )) < 5;
SELECT file_ext, COUNT(file_ext) AS stat FROM file GROUP BY file_ext ORDER BY stat DESC;

в итоге получил такую статистику https://goo.gl/BXcYZj
Статистика по расширениям файлов выложенных на ФГИС ТП

не хватает еще как-то вставить TRIM и в зависимости от расширения - расставить категории: архив, pdf, текстовый, растровый, векторный или векторный формат, который скачать невозможно... и можно будет рисовать графики wink

кстати датчане (http://gis-lab.info/forum/viewtopic.php?f=33&t=20111) сегодня мне написали письмо с вопросом - как получить SHP файлы... пришлось расстроить и объяснить, что такие файлы планирую скрыть из показа, т.к. они недоступны на ФГИС ТП.
привел цитаты из старой инструкции http://minregion-ra.ru/wp-content/uploa … uction.doc

Картографические материалы для загрузки в базу данных ФГИС ТП представляются в векторном виде в обменных форматах: MIF/MID, TAB, DWG, SHP, в государственной или местных системах координат, установленных в соответствии с действующим законодательством.

В рамках первой очереди ФГИС ТП в системе не предусмотрен просмотр данных в векторных форматах.

Внимание! Ранее загруженные, а также вновь размещаемые файлы векторных форматов будут автоматически скрыты в системе от просмотра и не доступны для скачивания!


Последняя заметка в дневниках: [перевод] "OpenStreetMap Mapping Priority"

Offline

#209 2015-11-17 00:05:29

usm78-gis
Member
Registered: 2008-04-21
Posts: 2,424

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Xmypblu wrote:

в зависимости от расширения - расставить категории: архив, pdf, текстовый, растровый, векторный или векторный формат, который скачать невозможно...

TAB может быть геопривязкой растра, так что не увлекайтесь smile

Offline

#210 2015-11-17 09:24:20

#daf
Member
Registered: 2013-10-17
Posts: 38

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Восстановил базу из дампа на локалхосте.
Запрос выше можно записать без дополнительных колонок так:

SELECT (right(upper(file_name), position('.' in reverse(file_name)) -1 )) file_ext, COUNT(1) stat 
FROM file GROUP BY 1 ORDER BY 2 DESC;

но:

Суммарное время выполнения запроса: 6907 ms.
207 строк получено.

Что есть очень очень плохо.

Если делать доп. колонку, то по-хорошему нужно писать триггеры на вставку/изменение с расчетом значения или вести расчет значения при загрузке на клиенте. Для этого надо ковырять код.

Еще код на github под свободной лицензией нужен для спокойствия. smile

Бывает, что некое ООО "РОги и нОги" выигрывает конкурс на модернизацию информационной системы некоего федерального ведомства со сроком реализации семь дней и бюджетом ХХ миллионов. Не хочется в подобном участвовать.

А помочь общему делу - завсегда, по мере возможностей.

Last edited by #daf (2015-11-17 11:35:09)

Offline

#211 2015-11-20 15:39:30

#daf
Member
Registered: 2013-10-17
Posts: 38

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Скачивание файла с ФГИС

hттp://фгис.economy.гав.ру/.....=dfaa031b-db2d-4c81-a11e-5717d4508ff2&fileIds=ccfaac08-8017-4451-9554-76aebc20af22&userId=1&isExport=True&isFileContent=True

documentId и fileIds из таблицы file в дампе.

Сервер фгис не отдает в http заголовок имя файла. Ссылка для красивой отдачи имени файла для современных броузеров:

<a href="ссылка выше" download="имя файла из таблицы file">имя файла из таблицы files</a>

ЗЫ Там оказывается столько интересного.

Last edited by #daf (2015-11-22 19:39:29)

Offline

#212 2015-11-20 20:08:55

usm78-gis
Member
Registered: 2008-04-21
Posts: 2,424

Re: [акция] на "День пограничника" - сбор границ сельских поселений

#daf wrote:

Скачивание файла с ФГИС

А это работает для jpeg ? Без куки, скрытых параметров и магических хеадеров ?

Edit
Было бы полезно добавить в таблицу файлов еще 2 колонки: srs и wld,
для координатной системы и 6 реальных чисел для world file.

Last edited by usm78-gis (2015-11-20 20:16:52)

Offline

#213 2015-11-25 21:06:46

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,732

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Если кто любит парсить данные то вот, вышел csv файл "Численность постоянного населения на 1 января 2015 года" - http://www.gks.ru/opendata/dataset/7708234640-ca-08-002

Совсем бездумно втянивать не надо, так как ОКТМО там немного устаревший, но на самом деле отличия вполне терпимые и полуавтомат подойдёт.

Offline

#214 2015-12-29 10:22:07

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 7,138

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Оказывается много от нас скрыто на ФГИС ТП sad
http://itpgrad.ru/node/2000#comment-1468

Offline

#215 2015-12-30 11:54:54

usm78-gis
Member
Registered: 2008-04-21
Posts: 2,424

Re: [акция] на "День пограничника" - сбор границ сельских поселений

freeExec wrote:

Оказывается много от нас скрыто на ФГИС ТП sad

Если специалисты уже пересчитали МСК в "WGS84:EPSG3857" (интересное сокращение)
то и WMTS с геосервером им не очень-то и нужен.

Offline

#216 2016-01-03 17:04:53

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,732

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Наступил новый год, можно подводить итоги smile

Xmypblu wrote:

Кстати, теме год - с чем всех поздравляю wink проделано много работы, которая позволила внести и уточнить данные по границам страны, населенными пунктам и дорогам.

2014-04-25
Муниципальные районы - 1817 из 1817
Городские поселения - 906 из 1674
Сельские поселения - 7207 из 18586

2015-04-26
Муниципальные районы    1823 из 1823
Городские поселения    1107 из 1658
Сельские поселения    10650 из 18698

А вот что сейчас:

2016-01-03
Городские поселения     - 1283 из 1615
Сельские поселения - 12543 из 18376

Темпы немного упали, но теперь картина не так печальна как 2 года назад. Пусть в ОСМ не всё отрисовано, но прогресс есть и цель кажется уже не за горизонтом smile

Offline

#217 2016-07-01 21:17:20

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,732

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Наткнулся на очень странную границу - город Инта, "почти квадрат" - http://www.openstreetmap.org/way/213129337 который захватывает другие НП. В таком виде в ОСМ существует несколько лет.

Offline

#218 2016-08-04 10:21:49

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,732

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Темпы действительно упали:

Xmypblu wrote:

Кстати, теме год - с чем всех поздравляю wink проделано много работы, которая позволила внести и уточнить данные по границам страны, населенными пунктам и дорогам.

2014-04-25
Муниципальные районы - 1817 из 1817
Городские поселения - 906 из 1674
Сельские поселения - 7207 из 18586

2015-04-26
Муниципальные районы    1823 из 1823
Городские поселения    1107 из 1658
Сельские поселения    10650 из 18698

А вот что сейчас:

2016-01-03
Городские поселения     - 1283 из 1615
Сельские поселения - 12543 из 18376

2016-08-03
Городские поселения     - 1323 из 1601
Сельские поселения - 12968 из 18236

Темпы безусловно упали, но теперь картина не так печальна как 2 года назад. Планирую устроить какой-нибудь конкурс для разогрева темы, но пока нужно напилить некоторое количество отчётов чтобы скучный процесс стал бы немного интереснее. Удивительно что в числе "неудачников" достаточно центральные или населённые регионы - Рязанская область, Брянская область, Республика Башкортостан, Самарская область, Костромская область, Тамбовская область, Белгородская область

Offline

#219 2016-08-12 20:29:43

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,732

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Оренбургская область пополнила список регионов с полностью отрисованными поселениями - http://atd.osm.rambler.ru/r77669.html

Основная работа, конечно, была проведена Xmypblu в прошлом году, но это была спорная работа. Было сделано очень много, но временами довольно небрежно, пришлось потратить немало времени на уточнение границ. Но с другой стороны уточнение обычно было относительно простым и за несколько месяцев всё более-менее устаканилось smile

Итого в Оренбургской области осталось поискать некоторые неотмеченные НП (часть из них не смог найти ни в геплане ни в гуглоянгдексах) и проставить центры поселений и Оренбургская область из отстающих вырвется в лидеры smile - http://atd.osm.rambler.ru/posstat.html

Offline

#220 2016-08-13 12:23:57

lcat
Member
From: Tambov
Registered: 2015-03-06
Posts: 69
Website

Re: [акция] на "День пограничника" - сбор границ сельских поселений

fserges wrote:

Темпы безусловно упали, но теперь картина не так печальна как 2 года назад. Планирую устроить какой-нибудь конкурс для разогрева темы, но пока нужно напилить некоторое количество отчётов чтобы скучный процесс стал бы немного интереснее. Удивительно что в числе "неудачников" достаточно центральные или населённые регионы - Рязанская область, Брянская область, Республика Башкортостан, Самарская область, Костромская область, Тамбовская область, Белгородская область

По Тамбовской области могу сказать, что у нас что-то рисуют на постоянной основе 1-2 человека. Я сейчас занимаюсь перерисовкой Тамбова, так что границы НП пока побоку

Last edited by lcat (2016-08-13 12:24:49)

Offline

#221 2016-10-17 14:51:00

Takuto
Member
Registered: 2011-01-09
Posts: 209

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Добрый день. А может кто проконсультировать, что делать чтобы ФГИС ТП работал? Обновил сильверлайт, открываю естествено Эксплорером (11 на Win 8.1 x64). Сайт грузится после чего встает колом, ни на одну иконку не реагирует.

upd: живительный ребут машины исправил ситуацию. Думал, что в 2016 программы ставятся без перезагрузки всей машины.

Last edited by Takuto (2016-10-18 13:56:41)

Offline

#222 2016-10-17 17:23:55

fserges
Member
From: St.Petersburg/Russia
Registered: 2010-11-08
Posts: 3,732

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Странно, у меня на IE 11 http://fgis.economy.gov.ru/fgis/ прекрасно работает ... У меня Silverlight 5 (5.1.50901.0)

Offline

#223 2016-10-25 19:03:14

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,440

Re: [акция] на "День пограничника" - сбор границ сельских поселений

А что-то admin_centre в отношениях границ не всюду проставлены?

Собираюсь оптом проставить по ОКТМО там, где еще нету.
Есть какие-то соображения за или против?

P.S. прогнал на пробу пару дюжин регионов https://www.openstreetmap.org/changeset/43170948

Last edited by wowik (2016-10-25 20:22:42)

Offline

#224 2016-10-26 14:04:15

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 7,440

Re: [акция] на "День пограничника" - сбор границ сельских поселений

Прогнал все остальные регионы  https://www.openstreetmap.org/changeset/43191640
Заодно поисправлял ругань JOSMового валидатора

admin_centre у районов и выше практически все стояли, а вот сельских поселений без admin_centre всего было больше тысячи.

Всё еще попадаются hamlet в качестве admin_centre, хотя по феншую должны быть village.
Стоит их нормализовать?

Offline

#225 2016-10-26 14:34:39

evgenykatyshev
Member
From: Nizhny Novgorod
Registered: 2009-06-16
Posts: 1,332
Website

Re: [акция] на "День пограничника" - сбор границ сельских поселений

wowik wrote:

Всё еще попадаются hamlet в качестве admin_centre, хотя по феншую должны быть village.
Стоит их нормализовать?

По соглашению village — только если население >100.


Нижегородская область: ФГИС, страница в ВК, чат в Телеграме

Offline

Board footer

Powered by FluxBB