Status Lizenzwechsel

Mondschein · 2012-07-10 15:37:06

wambacher wrote:

wenn ich all die Infos richtig verstanden habe, ackert sich der Bot so nach und nach durch die ganze Live-DB und wird dafür einige Wochen brauchen.

Ja.

wambacher wrote:

Daraus folgere ich, dass ab sofort die Diff-Files aus UK "ein wenig größer" werden, da bei dieser Aktion ja auch Sachen angefasst werden, die sonst niemand ändert.
Mal sehen, ob mein Diff-Import auf Minutenbasis das verkraftet.

Ich versuche gerade herauszufinden, wie stark die Diffs (in Prozent) wachsen werden.
Ganz naiv:
Ca. 2% der Daten werden durch den Bot verändert oder gelöscht, dafür gebe ich ihm 3 Wochen.
Ca. 2% der Daten werden täglich durch normale Bearbeitungen erzeugt oder verändert.
Das bedeutet also, dass die Diffs um 1/21 (also ca. 5 Prozent) größer werden?

Ist das wirklich so wenig oder wo ist mein Fehler?
Sind meine Zahlen falsch, habe ich mich verrechnet oder habe ich da etwas völlig falsch verstanden?

Gruß,
Mondschein

Last edited by Mondschein (2012-07-10 15:39:14)

wambacher · 2012-07-10 15:40:31

aighes wrote:

Walter, das wirst du ohnehin machen müssen. Deine DB ist nur cc-by-sa un die kannst du nicht umlizenzieren. Aber das hatten wir doch schon mal ausdiskutiert....

jo, da war mal was. Diskutiert ja - ausdiskutiert, nicht unbedingt
werd ich wohl gelegendlich mal machen, aber nur damit anderer Schrott rauskommt. Allerdings sehe ich da für mich keine akuten Probleme, da ich derzeit eh nichts im Netz anbiete.

Im übrigen bin ich immer noch der Ansicht, dass eine DB, die nur ODBL-Daten enthält, "sauber" ist - egal auf welchem Weg das erreicht wurde.

schau'n mer mal, wie sich die Sache entwickelt und was dazu eventuell von unseren Lizenz-Gurus kommt.

Gruss
walter

Oli-Wan · 2012-07-10 15:52:39

Mondschein wrote:

Ca. 2% der Daten werden täglich durch normale Bearbeitungen erzeugt oder verändert.

Worauf basiert diese Annahme?

Ich versuche mal eine Abschätzung; dabei addiere ich Knoten, Wege und Relationen vereinfachend ohne Gewichtung. OSM enthält etwa 1.5G Knoten, 140M Wege und ein paar Relationen, macht grob 1.6G Objekte. In einem zufällig herausgegriffenen day-replicate aus den letzten Tagen finden sich 1,7 M Objekte. Das ergibt eher 10^-3 oder 0,1 % pro Tag.

wambacher · 2012-07-10 16:09:52

Mondschein wrote:

Ist das wirklich so wenig oder wo ist mein Fehler?
Sind meine Zahlen falsch, habe ich mich verrechnet oder habe ich da etwas völlig falsch verstanden?

Ehrlich gesagt, mach ich mir nicht allzu viele Sorgen darüber. Meine Toolchain (osmosis -> postgresql/snapshot) braucht zum Verarbeiten der Daten einer Stunde ca 10-15 Minuten.
D.h. erst wenn ca 3-4 mal mehr rüberkommt als jetzt, wird es bei mir eng.

kann man schön an den Zacken rechts sehen: Rechner um 14:00 an und dann die Daten von ca 9:00-14:00 Uhr in Stundenblöcken reingezogen. Nach ca 1H ist das Lag nur noch 2 Minuten. Dann geht übrigens die Last im Grundrauschen des Rechners unter.

In der mittleren "Steilkurve" geht das noch fixer, da er hier die nächtlichen Daten verarbeitet und Europa tief geschlafen hat.
Dauert wohl noch ein wenig, bis rund um die Welt gemappt wird.

Gruss
walter

p.s. grafik wird hier nicht aktualisiert.

Last edited by wambacher (2012-07-10 16:10:14)

Mondschein · 2012-07-10 16:19:17

Ich wusste es, ich habe mich verrechnet.

Oli-Wan wrote:

Das ergibt eher 10^-3 oder 0,1 % pro Tag.

Ja, da ist mir das Komma verrutscht, nach meiner groben Rechnung kommen ca. 0,2 % pro Tag heraus.
Hatte die Zahlen nur "grob" von odbl.de abgelesen.

Jetzt nehme ich mal 0,1 % normale Bearbeitungen pro Tag an.
Beim Bot wären es dann ca. 0,1 % pro Tag (bei 3 Wochen).

Also könnte man dann grob mit einer Verdopplung der Diff-Größe rechnen?

Gruß,
Mondschein

Last edited by Mondschein (2012-07-10 16:20:20)

aighes · 2012-07-10 16:19:36

@Oli-Wan das dürfte wohl eher hinkommen und wäre dann Faktor 2. Wobei das natürlich eher der Durchschnitt ist.

In einigen Regionen sind es deutlich weniger als 2% die gelöscht werden und wenn ich an Australien denke, dürften die Changefiles deutlich größer werden.

Last edited by aighes (2012-07-10 16:21:04)

Oli-Wan · 2012-07-10 16:20:16

wambacher wrote:

D.h. erst wenn ca 3-4 mal mehr rüberkommt als jetzt, wird es bei mir eng.

Wenn man meine obige Abschätzung zugrunde legt, ist ein Faktor 2 durchaus drin. Dabei ist noch zu beachten, daß die Laufzeit des Putzbots bisher nur eine wilde Schätzung ist, und sein Durchsatz je nach Region stark variieren könnte (je nachdem, ob die problematischen Bearbeitungen weitgehend isoliert oder mehr oder weniger stark mit anderen Beiträgen verflochten sind). Für Datenbanken, die beim Import schon nahe am Limit sind, könnte es durchaus knapp werden.

wambacher wrote:

jo, da war mal was. Diskutiert ja - ausdiskutiert, nicht unbedingt

Nun, die Ansichten waren dargelegt, ohne daß einer den anderen überzeugen konnte. D.h. wir waren ungefähr an folgendem Punkt:

wambacher wrote:

Im übrigen bin ich immer noch der Ansicht, dass eine DB, die nur ODBL-Daten enthält, "sauber" ist - egal auf welchem Weg das erreicht wurde. (Position A)

Das dürfte juristisch anders gesehen werden. Der lizenz- und urheberrechtliche Status eines Objekts ist (leider) keine Zustandsgröße. (Position B)

Last edited by Oli-Wan (2012-07-10 16:21:43)

Mondschein · 2012-07-10 16:29:44

Oli-Wan wrote:

Wenn man meine obige Abschätzung zugrunde legt, ist ein Faktor 2 durchaus drin. Dabei ist noch zu beachten, daß die Laufzeit des Putzbots bisher nur eine wilde Schätzung ist, und sein Durchsatz je nach Region stark variieren könnte (je nachdem, ob die problematischen Bearbeitungen weitgehend isoliert oder mehr oder weniger stark mit anderen Beiträgen verflochten sind).

Einverstanden.

Bin mal gespannt, wer da mithalten kann/will und wer nicht.

Gruß,
Mondschein

SammysHP · 2012-07-10 16:48:46

Werden die Diffs nicht sowieso während dieser Zeit eingestellt und man muss danach einen neuen Planet laden? Ich meine das mal gelesen zu haben.

wambacher · 2012-07-10 16:52:16

Oli-Wan wrote:

Nun, die Ansichten waren dargelegt, ohne daß einer den anderen überzeugen konnte. D.h. wir waren ungefähr an folgendem Punkt:
wambacher wrote:
Im übrigen bin ich immer noch der Ansicht, dass eine DB, die nur ODBL-Daten enthält, "sauber" ist - egal auf welchem Weg das erreicht wurde. (Position A)
Das dürfte juristisch anders gesehen werden. Der lizenz- und urheberrechtliche Status eines Objekts ist (leider) keine Zustandsgröße. (Position B)

mag ja so richtig sein. Aber dann müsste ja auch die Live-DB, die ja (ab morgen?) "gebottet" wird, auch neu aufgesetzt werden?

Oder wollen/sollen wir hier in unserem deutschen Lande mal wieder päpstlicher als der Papst sein?
Hier interessiert mich momentan das Ziel mehr als der Weg.

Gruss
walter

p.s. woran erkennt man eigentlich (z.B als Anwalt) den Unterschied zwischen einer "gebotteten" DB und einem Neu-Import, wenn beide eh die gleichen Daten enthalten?

efred · 2012-07-10 16:54:29

SammysHP wrote:

Werden die Diffs nicht sowieso während dieser Zeit eingestellt und man muss danach einen neuen Planet laden? Ich meine das mal gelesen zu haben.

mir war auch so, dass ich das irgendwo gelesen hatte... kann sich aber natürlich geändert haben.

wambacher · 2012-07-10 16:57:09

SammysHP wrote:

Werden die Diffs nicht sowieso während dieser Zeit eingestellt und man muss danach einen neuen Planet laden? Ich meine das mal gelesen zu haben.

ist schon etwas länger her. Wenn das aber so wäre, dürften für die nächsten Wochen keine Diffs mehr kommen.
Das hatten unsere Kollegen ja auch Anfang April vor und dann kamen dennoch aktuelle Diffs rüber.

Aber die Diskussion ist hier sowieso schon hochspekulativ und bringt eh nicht viel.
Morgen rennt der Bot und wir wissen etwas mehr.

Gruss
walter

aighes · 2012-07-10 17:25:42

wambacher wrote:

woran erkennt man eigentlich (z.B als Anwalt) den Unterschied zwischen einer "gebotteten" DB und einem Neu-Import, wenn beide eh die gleichen Daten enthalten?

Bspw. weil deine DB eben nicht die gleichen Daten enthält, weil es beim updaten einen Schluckauf gab.

Der Unterschied zwischen deiner DB und der OSM-DB ist folgender: Die OSMF hat dir über eine gewisse Zeit die Daten unter cc-by-sa zur Verfügung gestellt. Das gibt dir aber nicht das Recht, diese unter ODbL zu stellen.

Die OSMF ist der Lizenzgeber für das Verteilen der Daten und kann die unter der Lizenz verteilen, die ihnen von den Mappern erlaubt wurde.

Das ist in etwa so, als würde ich dir ein Bild unter Lizenz A geben. Nur weil ich es aber jemanden anders das gleiche Bild unter Lizenz B gebe, hast du nicht das Recht, ebenso das Bild nach Lizenz B zu nutzen.

fx99 · 2012-07-10 19:45:19

aighes wrote:

Das ist in etwa so, als würde ich dir ein Bild unter Lizenz A geben. Nur weil ich es aber jemanden anders das gleiche Bild unter Lizenz B gebe, hast du nicht das Recht, ebenso das Bild nach Lizenz B zu nutzen.

Aber Du bietest mir das Bild auch unter Lizenz B an! Muss ich deshalb die Bild Bits nochmals von Dir holen?

wambacher · 2012-07-10 19:46:59

aighes wrote:

Der Unterschied zwischen deiner DB und der OSM-DB ist folgender: Die OSMF hat dir über eine gewisse Zeit die Daten unter cc-by-sa zur Verfügung gestellt. Das gibt dir aber nicht das Recht, diese unter ODbL zu stellen.
Die OSMF ist der Lizenzgeber für das Verteilen der Daten und kann die unter der Lizenz verteilen, die ihnen von den Mappern erlaubt wurde.
Das ist in etwa so, als würde ich dir ein Bild unter Lizenz A geben. Nur weil ich es aber jemanden anders das gleiche Bild unter Lizenz B gebe, hast du nicht das Recht, ebenso das Bild nach Lizenz B zu nutzen.

Für mich ist das reine Haarspalterei. Deshalb werde ich nicht aus DIESEN Gründen meine DB neu aufsetzen und ca 1 Woche Arbeit/Ausfall damit sinnlos verbraten.

Dass es beim Update per Diffs zu Datenverlusten kommen kann, ist allerdings ein ärgerliches Problem. Inzwischen biete Postgresql ja Replikation von Datenbanken mit Bordmitteln an, die dieses Verfahren eigentlich überflüssig machen könnten. Dabei wäre auch die Datenintegrität zu 100% gewährleistet. Aber das ist ein anderes Thema.

Gruss
Walter

Mondschein · 2012-07-10 20:56:41

efred wrote:

SammysHP wrote:
Werden die Diffs nicht sowieso während dieser Zeit eingestellt und man muss danach einen neuen Planet laden? Ich meine das mal gelesen zu haben.
mir war auch so, dass ich das irgendwo gelesen hatte... kann sich aber natürlich geändert haben.

Das hat sich wieder geändert, es wird definitiv Diffs, auch während der Bot läuft, unter der derzeit gültigen Adresse geben:
http://planet.openstreetmap.org/redaction-period/

Gruß,
Mondschein

Last edited by Mondschein (2012-07-10 20:57:21)

Mondschein · 2012-07-10 22:25:37

wambacher wrote:

aighes wrote:
Der Unterschied zwischen deiner DB und der OSM-DB ist folgender: Die OSMF hat dir über eine gewisse Zeit die Daten unter cc-by-sa zur Verfügung gestellt. Das gibt dir aber nicht das Recht, diese unter ODbL zu stellen.
Die OSMF ist der Lizenzgeber für das Verteilen der Daten und kann die unter der Lizenz verteilen, die ihnen von den Mappern erlaubt wurde.
Das ist in etwa so, als würde ich dir ein Bild unter Lizenz A geben. Nur weil ich es aber jemanden anders das gleiche Bild unter Lizenz B gebe, hast du nicht das Recht, ebenso das Bild nach Lizenz B zu nutzen.
Für mich ist das reine Haarspalterei. Deshalb werde ich nicht aus DIESEN Gründen meine DB neu aufsetzen und ca 1 Woche Arbeit/Ausfall damit sinnlos verbraten.

Siehe:
http://lists.openstreetmap.org/pipermai … 24848.html

Gruß,
Mondschein

Mondschein · 2012-07-11 11:01:25

Hier findet sich die Definition der Gebiete und die Bearbeitungsreihenfolge:
https://github.com/gravitystorm/openstr … bounds.xml

Gruß,
Mondschein

Mondschein · 2012-07-11 13:40:32

Hier die genauen Gebiete und deren Reihenfolge:

Irland
Vereinigtes Königreich
Westeuropa
Weißrussland
Nordamerika
Australien
Was dann noch fehlt, ist "Rest der Welt".

Wenn ich den Code richtig interpretiere, dann wird immer auf 1 Grad gerundet, also entstehen folgende Gebiete:

Irland
Vereinigtes Königreich
Westeuropa
Weißrussland
Nordamerika
Australien
Was dann noch fehlt, ist "Rest der Welt".

Also ist Irland im Norden abgeschnitten und vom Vereinigten Königreich fehlt im Osten auch etwas, gehört dann also zu Westeuropa (3).

Diese Gebiete werden dann in 1°-Zellen (welche nochmals in 128 Gebiete unterteilt werden) von SW nach NO abgearbeitet, also z.B.:

              [N]
    17 18 19 20 21 22 23 24
[W]  9 10 11 12 13 14 15 16  [O]
     1  2  3  4  5  6  7  8
              [s]

Gruß,
Mondschein

Last edited by Mondschein (2012-07-12 18:24:50)

wambacher · 2012-07-11 14:00:26

Mondschein wrote:

Also ist Irland im Norden abgeschnitten und vom Vereinigten Königreich fehlt im Osten auch etwas, gehört dann also zu Westeuropa (3).

also ob das den Briten so passt? Der Ostteil zählt jetzt zu Westeuropa?
Wie stand das angeblich schon mal in der Times: "Nebel auf dem Kanal - Kontinent von England abgeschnitten!"

Gruss
walter

Mondschein · 2012-07-11 14:26:23

Das wird der Bot-Account sein:
OSMF Redaction Account

Dort wird man dann auch seine Arbeit verfolgen können.

Gruß,
Mondschein

Mondschein · 2012-07-11 14:47:54

Was habe ich da nur angerichtet.

Die lesen hier alle mit:

#osm wrote:

* EdLoach pokes the OSMF Redaction Account
<EdLoach> Does Facebook still have pokes?
<andrewsh> It does.
<andrewsh> OSMF Redaction Account is now your friend. Follow OSMF Redaction Account. Like OSMF Redaction Account. OBEY OSMF REDACTION ACCOUNT!
<EdLoach> andrewsh: I've just completely failed to find Poke anywhere, although you can Message people you don't know.
<MonkZ> OSMF Redaction Account ist nun dein Freund.
<EdLoach> Ah found it
<andrewsh> OSMF Redaction Account цяпер ваш сябар.
<RichardF> In Soviet Russia, OSMF redacts you!

Gruß,
Mondschein

wambacher · 2012-07-11 15:14:03

Mondschein wrote:

Das wird der Bot-Account sein:
OSMF Redaction Account
Dort wird man dann auch seine Arbeit verfolgen können.
Gruß,
Mondschein

ich hoffe nur, der wird nicht wegen Vandalismus gesperrt

Mondschein · 2012-07-11 16:44:10

Es geht los!

efred · 2012-07-11 16:49:18

och, neee... nicht die St. Fachtnas Church...

OpenStreetMap Forum

#51 2012-07-10 15:37:06

Re: Status Lizenzwechsel

#52 2012-07-10 15:40:31

Re: Status Lizenzwechsel

#53 2012-07-10 15:52:39

Re: Status Lizenzwechsel

#54 2012-07-10 16:09:52

Re: Status Lizenzwechsel

#55 2012-07-10 16:19:17

Re: Status Lizenzwechsel

#56 2012-07-10 16:19:36

Re: Status Lizenzwechsel

#57 2012-07-10 16:20:16

Re: Status Lizenzwechsel

#58 2012-07-10 16:29:44

Re: Status Lizenzwechsel

#59 2012-07-10 16:48:46

Re: Status Lizenzwechsel

#60 2012-07-10 16:52:16

Re: Status Lizenzwechsel

#61 2012-07-10 16:54:29

Re: Status Lizenzwechsel

#62 2012-07-10 16:57:09

Re: Status Lizenzwechsel

#63 2012-07-10 17:25:42

Re: Status Lizenzwechsel

#64 2012-07-10 19:45:19

Re: Status Lizenzwechsel

#65 2012-07-10 19:46:59

Re: Status Lizenzwechsel

#66 2012-07-10 20:56:41

Re: Status Lizenzwechsel

#67 2012-07-10 22:25:37

Re: Status Lizenzwechsel

#68 2012-07-11 11:01:25

Re: Status Lizenzwechsel

#69 2012-07-11 13:40:32

Re: Status Lizenzwechsel

#70 2012-07-11 14:00:26

Re: Status Lizenzwechsel

#71 2012-07-11 14:26:23

Re: Status Lizenzwechsel

#72 2012-07-11 14:47:54

Re: Status Lizenzwechsel

#73 2012-07-11 15:14:03

Re: Status Lizenzwechsel

#74 2012-07-11 16:44:10

Re: Status Lizenzwechsel

#75 2012-07-11 16:49:18

Re: Status Lizenzwechsel

Board footer