Editor usage stats

sort -k ging mir auch schon durch den Kopf. Die Zeilenlänge wäre das kleinste Problem, die Ausgabe erfolgt ohnehin schon formatiert (vgl. Quellcode der Tabellen im Wiki - kommt genau so aus dem Skript). Aber in der Zeit, in der ich die Ausgabe so ändere, daß sie sort-ierbar (und sehr unübersichtlich) wird, kann ich auch gleich eine richtige Sortierung einbauen. Idee ist vorhanden, Umsetzung folgt.

Wie bereits mehrfach gesagt ist die vorsortierte Tabelle eine “nice-to-have” Eigenschaft aber nicht dringend. Also lass dir soviel Zeit, wie du dafür benötigst.

Edbert (EvanE)

Ich habe jetzt mal allen Versionen zusätzlich einen schwarzen Punkt verpaßt (nur 12M). Bei häufigen Versionen skaliert immer noch die Fläche mit der Anzahl der Änderungssätze, bei seltenen sieht man eben nur den schwarzen Fliegenschiß. Mir schwebte eigentlich eine hübschere Lösung vor, aber die habe ich noch nicht hingekriegt.

Die Tabellen sind nun ebenfalls vorsortiert.

So langsam wird es richtig rund.
Die kleinen Punkte sind jetzt besser zu erkennen.

Edbert (EvanE)

Neueste Errungenschaft: Histogramme zur Größe von Änderungssätzen.
http://wiki.openstreetmap.org/wiki/Editor_usage_stats#Editor_profiles_.282012.29

hübsch,

nur ne kleine Frage: sind die Werte gestapelt oder fangen all drei jeweils bei null an?

Gruss
walter

Nee, die fangen bei Null an. (Stapeln ist bei logarithmischer Achse auch nicht ohne). Aber das ist aus der Grafik selbst nicht ersichtlich, deswegen bin ich auch noch nicht ganz zufrieden damit. Wenn Dir (oder jemand anderem) etwas besseres einfällt, werfe ich die aktuelle Darstellung gerne über den Haufen. Das Original “plot with histograms” ist in der Doku leider ein bißchen umständlich.

Erstaunlich finde ich dabei, daß es tatsächlich Potlatch 2-Änderungssätze mit >=10 000 Änderungen gibt. Eventuell ein einfacher Trigger für Vandalenalarm, muß ich mir bei Gelegenheit mal näher ansehen.

da macht man drei kleine Balken nebeneinander und dann die nächsten drei. etwas so:

oder so:

kann eigentlich jede Software.

Gruss
walter

Richtig, kann natürlich auch Gnuplot. Aber genau bei diesem Stil steige ich (noch) nicht durch die Dokumentation durch. Nachteil ist, daß es damit horizontal ganz schön eng wird im Plot.

dann leg die hintereinander: vorne pl1 pl2 und hinten josm. das ganze etwas gedreht mit 3d-effekt.

das alles noch etwas enger zusammenschieben.

ideen sind ja was herrliches, wenn man sie nicht selber realisieren muß :wink:

Naja, sicher kann gnuplot alles, besonders wenn man gerne leidet, aber um mal schnell ein paar 2D-Daten darzustellen, kann ich xmgrace empfehlen, das kann unter der Haube mehr, als es auf im ersten Moment scheint und ist meist ausreichend, wenn man mehr will als simple Tabellenkalkulationsgrafiken und nicht gleich die großen Geschützen wie R oder Gnuplot auffahren will.

Mal noch ein Einwurf: Gnuplot kann doch dem Hörensagen nach SVG. Könnte man die Diagramme dann nicht als Vektorgrafik erstellen und hochladen?

Klar geht das. Über das Format habe ich mir keine tieferen Gedanken gemacht; png schien mir fürs Wiki (für nichts anderes waren die Plots gedacht) naheliegend. Wie geht das Wiki mit SVG um?

Subtopics available for terminal:
    canvas            gnugraph          nec_cp6           svg               
    cgm               gpic              okidata           tandy_60dpi       
    corel             hp2623a           pbm               tek40xx           
    dpu414            hp2648            pcl5              tek410x           
    dumb              hp500c            pdfcairo          texdraw           
    dxf               hpdj              png               tgif              
    dxy800a           hpgl              pngcairo          tikz              
    eepic             hpljii            pop               tkcanvas          
    emf               hppj              postscript        tpic              
    emtex             imagen            prescribe         vttek             
    epslatex          jpeg              pslatex           vx384             
    epson_180dpi      kyo               pstex             wxt               
    epson_60dpi       latex             pstricks          x11               
    epson_lx800       lua               push              xlib              
    excl              mf                qms               xterm             
    fig               mif               regis             
    gif               mp                starc             

SVG ist eines der Dateiformate, mit denen MediaWiki problemlos umgehen kann, es lässt sich ganz normal hochladen.

Für die Einbindung in die Seite wird es aus Kompatibilitätsgründen automatisch in ein PNG konvertiert. Das kann in einer beliebigen Auflösung geschehen - je nachdem, wie es für die Einbindung eben benötigt wird -, und man kann sich auf der Bildbeschreibungsseite unterschiedlich große Bitmaps oder aber die Original-Vektorgrafik anschauen und herunterladen.

Als zufällig herausgegriffene Beispiele: Die Zeichnungen auf Relation:multipolygon und das OSM-Logo in der Infobox dort sind z.B. SVG.

Okay, Umstellung auf SVG steht hiermit auf der To-Do-Liste. Mir war nicht klar, ob man bei der PNG-Konversion irgendwie nachhelfen muß, aber wenn das automatisch geht… Sucht sich das Wiki auch automatisch eine passende Vorschaugröße abhängig vom Browserfenster aus?
Erstmal kümmere ich mich aber weiter um die Aufbereitung und Darstellung der Daten (sowie Debugging); die vorhandenen PNGs werde ich erst später austauschen.

Die Wahl der Größe automatisiert das Wiki nicht - eine gewünschte Auflösung kann der Benutzer derzeit nur von Hand in seinen Einstellungen setzen. Das geht separat für Bildbeschreibungs- und Artikelseite:

Auf der Bildbeschreibungsseite ist die gewählte Auflösung das Minimum aus Benutzereinstellung und im SVG gespeicherter bevorzugter Auflösung (hier schreiben die meisten Programme, die SVG erzeugen, automatisch sinnvolle Werte).

In der Artikelseite wird - wenn im Artikelquelltext keine Größe ausdrücklich angegeben ist - bei Einbindung mit dem “thumb”-Parameter die entsprechende Benutzereinstellung gewählt, ohne diesen Parameter die im SVG gespeicherte bevorzugte Auflösung.

Neues: Die Marktanteile nach Changesets, Edits und Uids sind jetzt alle graphisch dargestellt (und ein Fehler bei der Erzeugung des ursprünglichen Plots ist auch beseitigt).

Das Änderungssatzgrößen-Histogramm ist immer noch das alte - wird aber irgendwann auch noch ausgetauscht. Außerdem will ich noch die Änderungssatzgrößen als Quantile darstellen, evtl. in Kombination mit einem der Profilplots (wo bisher nur mäßig aussagekräftige Mittelwerte stehen).

Wie gesagt, wenn noch jemand Ideen für weitere aussagekräftige Darstellungen hat (die mit changesets-yymmdd.osm.bz2 zu realisieren sind), würden mich diese interessieren - bestimmte Größen als Funktion der Zeit, verschiedene Größen gegeneinander. Für eine übersichtlichere Gestaltung der Seite findet sich vermutlich kein wiki-erfahrener Freiwilliger…?

@Tordanik: Danke für die Erklärungen. Der Wechsel zu SVG steht noch aus, aber wenn es soweit ist, werden sie sicher hilfreich sein.

Änderungssatzgrößen-Histogramme sind ausgetauscht.
http://wiki.openstreetmap.org/wiki/Editor_usage_stats

Bis auf ein paar png’s, die noch svg’s werden wollen, sehe ich die Baustelle “Editor usage stats” als weitgehend abgeschlossen an.
Höchstens noch eine Frage @Tordanik: Gibt es eine einfache Möglichkeit, hochgeladene Dateien automatisiert (per API) zu ersetzen? Die Tabellen sind schnell aktualisiert (vielleicht bringe ich auch noch Emacs bei, das automatisch zu machen), aber das Hochladen mehrerer neuer Plots ist doch immer etwas lästig.
Und @miraculixOSM: Wie sieht es mit der Lesbarkeit aus?

Dafür was anderes. Es ist ja immer die Rede davon, daß OSM Anfänger nicht bindet: Leute probieren OSM aus, dann sind sie wieder weg. Fundierte Erkenntnisse dazu sind aber rar (auch der Artikel von P. Neis und A. Zipf beleuchtet nur wenige Teilaspekte).
Ich habe mir daher einmal angesehen, wie viele Neumapper am Tag x nach ihrem ersten Änderungssatz einen weiteren aufmachen. Ein erstes Ergebnis ist, normiert auf Eins, hier zu sehen:

Zunächst ist wichtig zu verstehen, was dort dargestellt ist und was nicht. Tag Null ist nicht der Tag der Anmeldung, sondern der Tag des ersten Änderungssatzes (dazwischen liegen bisweilen Jahre). Die Aussage ist “am Tag x nehmen %% der neu angemeldeten User Bearbeitungen vor” - am Tag Null ist der Anteil definitionsgemäß eins. Eine Aussage, welcher Anteil der User insgesamt zu einem bestimmten Zeitpunkt noch aktiv ist, läßt sich daraus nicht unmittelbar ableiten, u.a. weil hierfür zunächst eine Aktivitätsdefinition gegeben werden muß. (Man könnte z.B. alle User, die innerhalb eines Monats/Quartals/Jahres mindestens N=1,10,100, … Edits gemacht haben, als aktiv bezeichnen.) Auch die Anzahl der Änderungssätze pro Tag oder pro Tag und Nutzer geht aus dem Plot nicht hervor, es wird nur gezählt, ob jemand am entsprechenden Tag mindestens einen Edit gemacht hat.
Aus dem obigen Plot geht z.B. auch nicht hervor, ob einige wenige Mapper übrig bleiben, die jeden Tag mindestens einen Änderungssatz aufmachen, oder ob es viele sind, die dafür nur in größeren Abständen editieren. Das will ich noch herausarbeiten.
Die Tendenz ist jedoch klar: nur ein Bruchteil der Anfänger wird richtig “angefixt” - nach günstigster Lesart würde etwa ein Prozent der Anfänger zu täglichen Mappern.
Ulkig ist jedoch das 7-Tage-Muster, das man im Plot erkennen kann. Auch Anfänger editieren bevorzugt an immer denselben Wochentagen (mutmaßlich Wochenende).

Datenquelle: changesets-120801.osm.bz2
Basis: User mit erstem Edit in den ersten 6 Monaten des Jahres 2012 (so gewählt, daß die im Plot gezeigten 30 Tage noch in das Zeitintervall der changesets-Datei fallen).

Dazu:

Aufgetragen ist der Anteil der Anfänger, die innerhalb der ersten 30 Tage nach ihrem ersten Änderungssatz an 0, 1, 2, … 30 Tagen erneut editieren. Man sieht: 71 % kommen (innerhalb der ersten 30 Tage) gar nicht wieder, 13 % nur an einem weiteren Tag, 5 % an zwei Tagen, 3 % an drei Tagen. Ein Anteil 10^-4 (0,01 % - im betrachteten Zeitraum ganze fünf neue User) werden zu süchtigen Mappern (Bearbeitungen an 30/30 Tagen).