You are not logged in.

#626 2014-04-22 13:43:31

wowik
Member
From: Zelenograd
Registered: 2009-09-29
Posts: 9,249

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

edward17 wrote:

И есть ли Украина в формате nm2 с украиноязычными именами?

http://forum.openstreetmap.org/viewtopi … 10#p414910

Offline

#627 2014-04-22 14:57:07

edward17
Member
Registered: 2013-08-26
Posts: 1,849
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

wowik wrote:
edward17 wrote:

И есть ли Украина в формате nm2 с украиноязычными именами?

http://forum.openstreetmap.org/viewtopi … 10#p414910

Эту ссылку видел, но интересует регулярное конвертирование с украинскими именами


Все жители частного сектора, вешающие таблички с названием улицы и номером дома, попадают в рай без очереди.

Offline

#628 2014-04-24 07:42:35

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Предлагаю подпилить скрипты конвертации, что бы они рядом с файлами <map name>.obf генерировали текстовые файлы с технической информацией о конвертации <map name>.info

who=Vitalts
pbf_timestamp=2014-04-23T05:05:00Z
obf_started=2014-04-23T06:00:00Z
obf_finihed=2014-04-23T06:11:23Z

Наличие подобных файлов в папках с картами же ни на что не повлияет? Если что-то ломается, можно иную структуру формирования названий придумать, хоть <folder>~<map name>.info
Список полей - пример, предлагайте, что еще можно добавить.

Для чего это нужно? Все просто, парсингом данных файлов можно формировать динамическую страничку с общей информацией по сгенерированным картам - кто, когда, насколько актуальна карта.

Offline

#629 2014-04-24 09:49:41

Cd_spb
Member
From: Санкт-Петербург
Registered: 2011-11-04
Posts: 1,267

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Vitalts, посмотрите xml, который генерируется для osmdownloader.

Offline

#630 2014-04-24 11:16:37

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

ну да, кое-что есть, но нет основного, ради чего затеваю, информации о том, кто генерирует.

Offline

#631 2014-04-25 15:44:50

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Решил для себя переписать скрипты от AHTOH. Имеющиеся не устраивают структурой, по скрпту на карту, хочется управления с командной строки. Поскольку нужна кроссплатформенность (на Windows тестирую, на Linux будет крутится), а в последнее время полюбился Python, то на него и пал выбор. В итоге, вырос монстрик, которым и делюсь.

Возможные параметры запуска:

-i переинициализация batch.xml, если вдруг решите изменить дефолтные папки для PBF/OBF (input/temp), достаточно сменить их в <cfg/config.py> и запустить скрипт с этим параметром. При этом скрипт продолжит выполнять задачи по конвертированию
-o только переинициализация batch.xml, на этом скрипт заканчивает свою деятельность

-c скачивает и распаковывает конвертер, по умолчанию берет стабильную версию, однако, практика показала, что имеющаяся на сайте стабильная не работает. Но выпиливать не стал
-n вместо стабильной скачивать ночной билд конвертера, использовать вместе с предыдущим параметром -с

-u не обновлять файл стилей для UniRS, по умолчанию обновляется при каждом запуске

-m обработать только указанный в значении параметра список карт. В отсутствии параметра будут обработаны все карты из <cfg/maps.cfg>. Карты перечисляются через запятую. Пример: -m BY,LV,RU-AD. Указываемые карты должны быть описаны в <cfg/maps.cfg>.

-d не скачивать карты. Полезно для перегенерации уже имеющихся файлов, что бы не качать заного. Если в списке карт для конвертации какой-то не будет, скачивание все равно произойдет.

-f только заливка по FTP, конвертации не происходит. Полезно в случае сбоев при аплоаде для перезаливки с указанием конкретного списка карт в параметре -m

-s отправка отчета критических ошибок генерации на e-mail. В случае отсутствия ошибок письмо не отправляется.

Как видно, значения принимает только один параметр, -m, остальные лишь управляют булевыми значениями с подбором дефолтных значений так, что бы для настроенной ежедневной конвертации было достаточно запустить python process_maps.py, или python process_maps.py -s для уведомлений на почту.

• Все переменные описаны в файле <cfg/config.py>.
• Файл с параметрами ftp не трогал, остается как есть и используется <cfg/ftp.cfg>.
• Файл с картами видоизменился и переименовался <cfg/maps.cfg>. В нем указываются все карты, которые собираетесь конвертировать построчно в следующем формате: ссылка<Tab>название на выходе без расширения<Tab>название папки, в которую попадет файл на FTP. Тут есть один момент, подразумевается, что названия pbf также совпадают с этим значением. Т.е для AZ pbf файл имеет название AZ.osm.pbf. Надеюсь это справедливо для всех карт smile
• Для почтовых уведомлений появился файл <cfg/mail.cfg> с информацией о подключении, получателях и т.д.
• Текст ошибок вынесен в файл <cfg/error_text.cfg>. Именно эти строки попадут в имейл, или в поток стандартного вывода при отсутсвии ключа -s.
• Для проверки работоспособности отправки и-мейл после настройки можно запусть скрипт <send_test.py>. Опять один скользкий момент. Отправку писем с местных (это я про Эстонию) мыло-хостеров можно осуществлять только через SMTP провайдера. У меня аутентификация отключена и проверить корректность работы отправки с аутентификацией пока не на чем.

PS: Еще по поводу обновления конвертера. Как уже упоминал, стабильная версия ничерта не работает, ночную как-то ссыкотно, в следствии чего рекомендую оставить ту версию, что была в скриптах AHTOH (я брал у SviMik), посему, о параметре -c можно пока забыть. Отдельно тот самый OsmAndMapCreator положил сюда

Offline

#632 2014-04-25 16:35:40

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Отлично! Вставил в шапку темы.

Offline

#633 2014-04-25 20:03:27

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Как быть, ежели я хочу взять на конвертацию регион, отсутствующий на гитхабе? Ведь и у SviMik в описателях карт, насколько я понимаю, его тоже не будет? Как бы этот процесс упростить...

Offline

#634 2014-04-25 23:53:34

SviMik
Member
From: Tallinn, Estonia
Registered: 2013-01-01
Posts: 1,392

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Как быть, ежели я хочу взять на конвертацию регион, отсутствующий на гитхабе? Ведь и у SviMik в описателях карт, насколько я понимаю, его тоже не будет?

Не совсем верно. Если под описателем имеется ввиду maplist.xml, то для него почти вся информация уже содержится в названии папки (она будет кодом) и имени файла (он будет названием).
Для русского названия следует добавить запись в name_ru.csv (правится любым текстовым редактором).
Пример:
UA-RU;Украина (рус)
(на гитхабе этого кстати нет)

Инструкция:
1. Создайте новую папку
2. Добавьте запись в name_ru.csv
3. Можно заливать свою карту

Известные ограничения:
- в btsync оно само не появится, нужно будет спросить меня
- в случае чего, я не смогу взять конвертацию на себя

Last edited by SviMik (2014-04-25 23:55:44)

Offline

#635 2014-04-28 07:34:34

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

У SviMik сабдомен с картами лег?
osmand_maps.png

Last edited by Vitalts (2014-04-28 07:52:02)

Offline

#636 2014-04-28 07:39:08

Nik64
Member
From: Ставрополь
Registered: 2013-11-10
Posts: 201

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Похоже лежит


osmand-mapsSTA

Offline

#637 2014-04-28 13:03:25

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,391

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

я давал ссыль на 4пда, прикрывая ресурс османда свимиковским сервером.. мож приток скачивальщиков? и всё легло?
((

Offline

#638 2014-04-28 14:03:02

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

[15:55:19] SviMik: исправлено ресетом

Offline

#639 2014-04-28 20:44:50

SviMik
Member
From: Tallinn, Estonia
Registered: 2013-01-01
Posts: 1,392

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

мож приток скачивальщиков? и всё легло?

Поубавьте оптимизм, качают там полтора человека, из гигабитного канала средняя нагрузка 2мбит (0.2%) smile

И да, не так уж и просто положить Core i7-3770 @ 3.40GHz с 16гб оперативки и nginx в качестве веб-сервера.

Причина падения скорее что-то внутреннее.

traffic_last_week.png

Last edited by SviMik (2014-04-28 20:52:50)

Offline

#640 2014-04-29 07:44:31

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Что-то не выходит у меня наладить конвертацию выбранных регионов. Тестовые конвертации на небольших объемах проходят на ура, а как дело доходит до обработки >~150Mb на PBF, так креш. Упомянутая версия конвертера из архива со скриптами валится с

A fatal error has been detected by the Java Runtime Environment:

 SIGSEGV (0xb) at pc=0x00007f5ce2fc3f41, pid=4914, tid=140036921820928

JRE version: Java(TM) SE Runtime Environment (7.0_51-b13) (build 1.7.0_51-b13)
Java VM: Java HotSpot(TM) 64-Bit Server VM (24.51-b03 mixed mode linux-amd64 compressed oops)
Problematic frame:
C  [sqlite-3.7.6.3-libsqlitejdbc.so+0x12f41]  sqlite3_backup_pagecount+0x241

Судя по Османд гугло круппе бага была исправлена еще в январе 13-го. Что же, нужно, думаю, попробовать ночнушку. Ночной билд данной ошибки не вываливает, но конверитить все карты все равно не собирается, похоже, валится с аут оф мемори.

/var/osmandmc/./temp/Finland-latest_2.obf.rtree0
java.io.IOException: Stream Closed
     at java.io.RandomAccessFile.seek(Native Method)
     at rtree.FileHdr.writeFileHeader(FileHdr.java:243)
     at rtree.FileHdr.flush(FileHdr.java:333)
     at rtree.FileHdr.finalize(FileHdr.java:318)
     at java.lang.ref.Finalizer.invokeFinalizeMethod(Native Method)
     at java.lang.ref.Finalizer.runFinalizer(Finalizer.java:101)
     at java.lang.ref.Finalizer.access(Finalizer.java:32)
     at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:190)
Exception in thread "Timer-0" java.lang.OutOfMemoryError: Java heap space
java.sql.SQLException: ResultSet closed
     at org.sqlite.RS.checkOpen(RS.java:63)
     at org.sqlite.RS.markCol(RS.java:77)
     at org.sqlite.RS.getBytes(RS.java:230)
     at net.osmand.data.preparation.OsmDbAccessor$EntityProducer.run(OsmDbAccessor.java:339)

Видно, не судьба. Пока взял на себя только Болгарию с геофабрик.

Offline

#641 2014-04-29 08:36:54

freeExec
Moderator
From: Ульяновск,Модератор всех слоёв
Registered: 2012-07-31
Posts: 8,389

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

А ты ключи для java про увеличение памяти брал из батников от mapcreater?

Offline

#642 2014-04-29 09:21:31

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Из батников. Но игра с параметрами выделения памяти не сильно поможет, сервачек-то бюджетненький, ОСМ хоть и притягивает сильно, но жаба тоже не спит.
Снимаю с сервака конвертацию, не потянет он ее, пусть занимается статистикой. В рамках данного топика он разве что для зеркалирования сгодится. Конвертацию запускаю на Виндовой машине. Пока беру Болгарию, Финку и Швецию с геофабрик.

Offline

#643 2014-04-29 10:15:46

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Гм, что-то тут не так. PBF до 50Мб пролетают на ура, Финку же в 169Мб уже 2 часа пилит. Нагрузка на CPU незначительными всплесками
2014_04_29_12_11_57_Process_Explorer_Sysinternals_www.sysinternals.com.png
Швецию в 198Мб чувствую вооще не дождусь...

Warning: OsmAndMapCreator needs a very large amout of RAM. For a 230 MB PBF file you should have at least 12 GB RAM if you do not want to store the databases at HDD/SSD

Мдя, без РАМ и на ХДД далеко не уедешь, похоже, большие файлы только SviMikу с 16Гб подвласны. Придется ограничиваться крохами.

Last edited by Vitalts (2014-04-29 11:04:33)

Offline

#644 2014-04-29 11:07:01

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Я с 2 гигами даже на 50 метров, со своим Р4, не зарился. 30 метров обрабатывает 12 минут.
Они же на i5 (ноутбук) с 6 гигами обрабатываются меньше минуты.

Offline

#645 2014-04-29 11:22:27

Vitalts
Member
From: Estonia
Registered: 2010-12-30
Posts: 1,440

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

То то и оно, что Виндовая машина i7 с 8Гб. Но даже с -Xmx2048M процесс идет без видимой нагрузки на CPU и жер памяти 300-600Мб. Ладно бы нагрузил одно из ядер под завязку, отожрал кучу памяти, стал бы свопить, а тут просто непонятные простои, никакой видимой деятельности. Ладно, буду довольствоваться небольшими файлами.

Offline

#646 2014-04-29 11:41:08

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Я кстати тоже нагрузку не всегда вижу на слабенькой машине. А вот на i5 в момент обработки она почему то есть.
Обе машины на линухе.

Offline

#647 2014-04-29 16:09:58

coolkaas
Member
From: RU, Penza
Registered: 2009-05-28
Posts: 2,391

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

у меня тоже на и5 жрёт. то одно ядро, то все. зависит от этапа задачи. часть процесса параллеится, часть -- нет.

а вот озу извините. на моих 4 гб -- 50-100 меговый жатый осм-архив, не больше. мос.- и лен.-область уже наверно не провернёт. и никакие свопы не помогут.
джава своп не кушает, ей чистое озу подавай.

Last edited by coolkaas (2014-04-29 16:10:46)

Offline

#648 2014-04-30 13:15:13

SviMik
Member
From: Tallinn, Estonia
Registered: 2013-01-01
Posts: 1,392

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Сначала я было расстроился, что конвертер стал плохо работать, а оказалось - что-то сломалось на http://be.gis-lab.info/data/osm_dump/dump/latest/

Offline

#649 2014-04-30 14:27:48

AHTOH
Member
From: Зеленодольск
Registered: 2010-09-22
Posts: 1,024
Website

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Тоже заметил что обновления не было...

Offline

#650 2014-05-05 08:49:49

var-alex
Member
From: МО, Коломна
Registered: 2012-04-12
Posts: 1,399

Re: OsmAnd: Ежедневное конвертирование и автоматическое обновление карт

Итак, вернулся из отпуска, могу обратно взять что конвертировал. Если все согласны завтра с утра буду запускать.

Last edited by var-alex (2014-05-05 08:50:10)

Offline

Board footer

Powered by FluxBB