planet dump + daily diffs = бред...

Ezhick · 2010-08-25 14:25:14

Беру распакованную планету, осмосисом применяю к ней дневной диф, получаю файл размером на 2 ГБ меньше означального файла. Это КАК???

gps-Max · 2010-08-25 19:51:24

Еще вопрос - почему в часовых диффах попадаются узлы с одинаковым ID разных версий? Осмозис при накатывании такого диффа выходит с ошибкой.

Это разбиралось в листе рассылки, но к решению там вроде не пришли.
http://lists.openstreetmap.org/pipermai … 00438.html
Может, кто знает, как это побороть или обойти?

P.S. Нашел - нужен ключ --simplify-change.

Last edited by gps-Max (2010-08-25 20:03:15)

Ezhick · 2010-09-02 13:46:52

Да что же за хрень... На свежую планету 0825 накатываю суточный дифф - 0824-0825, чтобы влить в нее возможно отсутствующие данные конца дня, когда она уже генерилась. И размер файла уменьшается на 3 ГИГА, со 160 до 157... ЧЯДНТ?????

zverik · 2010-09-02 14:03:24

может, в планете при применении диффа чистятся все линии без точек и отношения без участников — и их там скопилось дофига?

gps-Max · 2010-09-02 18:03:59

Как это - линии без точек? Звучит как дырка от бублика.

zverik · 2010-09-02 18:04:37

именно

Ezhick · 2010-09-02 19:48:41

zverik wrote:

может, в планете при применении диффа чистятся все линии без точек и отношения без участников — и их там скопилось дофига?

На два ГИГА???

AMDmi3 · 2010-09-02 20:12:28

Сделайте diff и посмотрите, что изменилось.

Ezhick · 2010-09-02 20:15:09

Дифф 160 гб файла? И как я потом отловлю какие 200 метров изменение от диффа, а какие левые?

AMDmi3 · 2010-09-02 20:37:08

Ezhick wrote:

Дифф 160 гб файла?

В чем проблема?

Ezhick wrote:

И как я потом отловлю какие 200 метров изменение от диффа, а какие левые?

Если там 3GB минус 200MB изменений не от диффа, это тривиально.

zverik · 2010-09-02 20:40:09

Ezhick, попробуй вручную сделать дифф на 100 байт (ну, или как получится — добавить одну точку, например).

Ezhick · 2010-09-02 20:40:41

Ну попробую оставить на ночь сравниваться...

UPD: diff отказывается сравнивать, говорит память исчерпана, это при 8 гб оперативки.

Last edited by Ezhick (2010-09-02 21:00:01)

Ezhick · 2010-09-02 21:04:58

Посмотрел глазками начала файлов - сравнивать бесполезно - вообще другое расположение данных, совпадает только первая строка.

AMDmi3 · 2010-09-02 21:30:34

osmosis сортировать умеет - думается, отсортированные planet и результат применения диффа будут совпадать с точностью до диффа + тех 3GB которые исчезли.

Sergey Astakhov · 2010-09-02 21:32:27

Может там просто форматирование разное? Типа там кол-во пробелов, табуляций, \r\n и т.п.

zverik · 2010-09-02 21:42:57

кстати да.
может, были виндовые переводы строк, а стали юниксовые.

AMDmi3 · 2010-09-02 23:33:29

Вполне может быть, в июньской планете было как раз 2G строк.

Ezhick · 2010-09-03 05:06:24

zverik wrote:

кстати да.
может, были виндовые переводы строк, а стали юниксовые.

Виндовые? Откуда???

Ezhick · 2010-09-03 05:10:57

AMDmi3 wrote:

Вполне может быть, в июньской планете было как раз 2G строк.

Запустил osmosis --sort потом диффну, посмотрим.

AMDmi3 · 2010-09-03 14:25:23

Ну или, к примеру вот - в планете в <tag> перез закрывающим слешом стоит пробел, в выхлопе осмозиса - нет. Тэгов, правда, всего полмиллиарда.

zgremlin · 2010-09-03 15:59:03

Ezhick wrote:

Дифф 160 гб файла? И как я потом отловлю какие 200 метров изменение от диффа, а какие левые?

Это уже чрезмерный оптимизм. Если файлы отличаются на 3 гига, то дифф будет не меньше этих 3 гиг. А скорее все 10, при условии идентичности форматирования и сохранения порядка. В данном случае более вероятно около 300 гиг

AMDmi3 wrote:

Ну или, к примеру вот - в планете в <tag> перез закрывающим слешом стоит пробел, в выхлопе осмозиса - нет. Тэгов, правда, всего полмиллиарда.

Заочно можно очень долго гадать.
Идентичные по сути xml могут отличаться форматированием кардинально.
Вот только несколько моментов:
Незначащие пробелы и переводы кареток:

<tag1><tag2></tag2></tag1>

идентично

   <tag1>
         <tag2>
         </tag2>
   </tag1>

Более того - это же идентично

<tag1><tag2/></tag1>

Можно использовать разные кодировки, можно использовать коды символов ("&32;" вместо простого пробела).
Ну и так далее...

Как вариант, стоит запостить по десятку первых строчек от исходного и получившегося файлов, тогда можно будет оценить хотя бы разницу в форматировании.

P.S. Даже разница в концах строк (2 символа под DOS/Windows и 1 под UNIX/Mac) даст больше, чем замеченные два процента, если средняя длина строки меньше 50 символов.

Last edited by zgremlin (2010-09-03 16:01:08)

AMDmi3 · 2010-09-03 16:04:53

zgremlin, это все и так понятно

Ezhick · 2010-09-03 20:09:57

подскажите, чем диффнуть два 160 гб файла? первый несколько десятков миллионов строк совпали до символа, дальше meld выжрал всю оперативку и начал дико тормозить систему, пришлось прибить.

AMDmi3 · 2010-09-03 20:42:00

Обычный GNU diff не канает?

Ezhick · 2010-09-03 20:49:42

я уже писал, diff вываливается с фразой про недостаточность памяти

Announcement

#1 2010-08-25 14:25:14

planet dump + daily diffs = бред...

#2 2010-08-25 19:51:24

Re: planet dump + daily diffs = бред...

#3 2010-09-02 13:46:52

Re: planet dump + daily diffs = бред...

#4 2010-09-02 14:03:24

Re: planet dump + daily diffs = бред...

#5 2010-09-02 18:03:59

Re: planet dump + daily diffs = бред...

#6 2010-09-02 18:04:37

Re: planet dump + daily diffs = бред...

#7 2010-09-02 19:48:41

Re: planet dump + daily diffs = бред...

#8 2010-09-02 20:12:28

Re: planet dump + daily diffs = бред...

#9 2010-09-02 20:15:09

Re: planet dump + daily diffs = бред...

#10 2010-09-02 20:37:08

Re: planet dump + daily diffs = бред...

#11 2010-09-02 20:40:09

Re: planet dump + daily diffs = бред...

#12 2010-09-02 20:40:41

Re: planet dump + daily diffs = бред...

#13 2010-09-02 21:04:58

Re: planet dump + daily diffs = бред...

#14 2010-09-02 21:30:34

Re: planet dump + daily diffs = бред...

#15 2010-09-02 21:32:27

Re: planet dump + daily diffs = бред...

#16 2010-09-02 21:42:57

Re: planet dump + daily diffs = бред...

#17 2010-09-02 23:33:29

Re: planet dump + daily diffs = бред...

#18 2010-09-03 05:06:24

Re: planet dump + daily diffs = бред...

#19 2010-09-03 05:10:57

Re: planet dump + daily diffs = бред...

#20 2010-09-03 14:25:23

Re: planet dump + daily diffs = бред...

#21 2010-09-03 15:59:03

Re: planet dump + daily diffs = бред...

#22 2010-09-03 16:04:53

Re: planet dump + daily diffs = бред...

#23 2010-09-03 20:09:57

Re: planet dump + daily diffs = бред...

#24 2010-09-03 20:42:00

Re: planet dump + daily diffs = бред...

#25 2010-09-03 20:49:42

Re: planet dump + daily diffs = бред...

Board footer