You are not logged in.

#1 2022-01-14 18:23:13

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Anzahl der Edits in einer Region pro Tag (Ganglinie)

Hallo,
die Overpass API bietet die Möglichkeit, den Stand der OSM-Daten zu einem Stichtag zu ermitteln.

Wie kann man eine CSV-Liste der Anzahl der Edits in der Region pro Tag ermitteln, um eine Ganglinie zu zeigen. Ggf. noch mit Definition eines Startdatums oder Definition bestimmter User?

Danke, Michael

Offline

#2 2022-01-15 14:50:53

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

ist die Aufgabe gar nicht lösbar, auch nicht auf anderem Weg als Overpass?

Offline

#3 2022-01-15 19:11:11

Hungerburg
Member
Registered: 2020-12-11
Posts: 416

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Was ist eine Ganglinie? So etwas wie eine Fieberkurve?

Hier https://ohsome.org/apps/dashboard/ kann ich eine (kleine) Region auswählen; Dann Filter LEER, Osm-Type auf NODE+WAY (Relation nicht, das dauert, konnte es nicht erwarten), Gruppierung auf TYPE, Zeitbereich auf zB 8.1.2022T0:00 bis 9.1.2022T0:00 Intervall Stündlich und recht schnell erscheint ein Plot.

CSV holen unter "Download", dann seh ich im office calc, in dem Bereich wurden an dem Tag ein Weg und zwei Knoten gelöscht um 17:00 und um 11:00 ein Knoten angelegt.

Kann man als Kurve plotten. Ist es so etwas? Lässt sich auch skripten, https://docs.ohsome.org/ohsome-api/v1/

Offline

#4 2022-01-15 19:43:09

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Vielen Dank,

Hungerburg wrote:

Sorry, deren Benutzer-Schnittstelle ist so intelligent, dass ich gar nichts eingeben kann. Ich schaffe es nicht einmal, den SEND-Button aktiv zu halten ...

Hungerburg wrote:

Was ist eine Ganglinie? So etwas wie eine Fieberkurve?

Dieses Beispiel; also Anzahl der NWR in einer Region, aber z.B. für die letzten 100 Tage und / oder für einen definierten User. Das soll dann eine Liste ergeben

Datum      nodes    ways  relations
01.01.2022  220     33      4
02.01.2022  230     35      6

die später in einem Diagramm dargestellt (== Ganglinie) werden kann.

Offline

#5 2022-01-15 19:58:50

fx99
Member
From: Baden-Württemberg
Registered: 2009-06-02
Posts: 1,866

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Hungerburg wrote:

Hier https://ohsome.org/apps/dashboard/ kann ich eine (kleine) Region auswählen; Dann Filter LEER, Osm-Type auf NODE+WAY (Relation nicht, das dauert, konnte es nicht erwarten), Gruppierung auf TYPE, Zeitbereich auf zB 8.1.2022T0:00 bis 9.1.2022T0:00 Intervall Stündlich und recht schnell erscheint ein Plot.

Geniales Tool, konnte es auch gleich intuitiv bedienen.

Ganz klar sind mir allerdings die Ergebnisse nicht:
Für meine Abfrage ist die Anzahl der Nodes immer deutlich kleiner als die Anzahl der Ways.
Da Ways typischerweise aus mehreren Knoten bestehen, erwarte ich es umgekehrt.
Aber vielleicht werden nur Nodes mit tags gezählt ?

Offline

#6 2022-01-15 20:53:56

Hungerburg
Member
Registered: 2020-12-11
Posts: 416

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Was mich am meisten erstaunt, wie schnell das Ohsome dashboard geht!

fx99 wrote:

Für meine Abfrage ist die Anzahl der Nodes immer deutlich kleiner als die Anzahl der Ways … vielleicht werden nur Nodes mit tags gezählt ?

Stimmt, die Rechnung geht nicht auf. Die Vermutung leuchtet ein; Filtern geht ja nach Tags; Leerer Filter heißt dann wahrscheinlich, egal welcher Tag, die ohne Tag bleiben aber trotzdem außen vor?

Was geht noch unter: Änderungen am Verlauf eines Wegs oder am Umriss einer Fläche zB.

Das API hat noch andere Endpunkte als "elements", ich seh aber nicht, wie man mit einem von denen vollständigere Ergebnisse bekommen könnte.

Offline

#7 2022-01-15 21:27:59

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

https://overpass-turbo.eu/s/1f63 zeigt in der aktuellen bounding box die Zahl der Nodes und Ways auf Monatsbasis (von 2021-01 bis 2022-01). Relationen habe ich ausgeklammert, ebenso die Areas, weil beides unnötig teuer ist. Die Query läuft auf der offiziellen instanz je nach bbox bisweilen recht lange oder auch gar nicht.

Offline

#8 2022-01-16 15:35:36

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Danke

Prima, (wie) kann ich da noch eine area und einen User mitgeben

area(3600062484)->.searchArea;
user:UserName

mitgeben?

Offline

#9 2022-01-16 15:59:55

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Klar, das geht auch: https://overpass-turbo.eu/s/1f7b

Ich habe mal 2 User eingebaut, dann ist gleich klar, wie das läuft. Wenn Overpass noch sauber mit Monaten rechnen könnte, könnte man auch die ganzen retros durch eine Schleife ersetzen.

Offline

#10 2022-01-16 16:28:20

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Vielen Dank!

mmd wrote:

Klar, das geht auch: https://overpass-turbo.eu/s/1f7b
Ich habe mal 2 User eingebaut ...

Sehr vorausschauend von Dir! Die Query läuft und liefert Zahlen, die Ergebnisse verstehe ich nicht: Als Erfolgskontrolle und insbesondere Motivationshilfe möchte ich eine Gangline der von unserer Gruppe bearbeiteten (und ggf. auch der neu erstellten) Nodes / Ways.
Die aktuelle Abfrage liefert für die letzten Tage (ab 12.01.2022) identische Zahlen, obwohl ich vorgestern definitiv Punkte bearbeitet (nicht neu erstellt) habe.

Offline

#11 2022-01-16 16:43:55

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Ich sehe da zwei Effekte. Zum einen läuft die Query auf einer Entwicklungsinstanz mit einer randvollen SSD. Damit das ganze nicht irgendwann unkontrolliert zusammenbricht, hatte ich die Updates gestern angehalten. Im Moment laufen die Updates wieder...

Zur Zählweise: mir sind einige Nodes aufgefallen, die schon vor 4 Monaten von dir bearbeitet wurden (https://www.openstreetmap.org/node/8736355755/history), und dann gestern wieder. Die Aufwertung schaut jeweils zum Stichtag auf die Objekte und den jeweiligen letzten Bearbeiter. Ändert sich da nichts, bleibt die Zahl auch weiter unverändert.

Um nur die Änderungen seit dem letzten Tag zu zählen, müsste die Query weiter aufgebohrt werden und jeweils ein (if:timestamp >= "... zeitstempel von gestern") ergänzt werden. Das klappt dann aber nicht mehr mit overpass turbo und müsste irgendwie per Script oder so generiert werden.

Last edited by mmd (2022-01-16 16:48:40)

Offline

#12 2022-01-16 17:13:30

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Vielen Dank für die Erläuterungen.

mmd wrote:

... Um nur die Änderungen seit dem letzten Tag zu zählen, müsste die Query weiter aufgebohrt werden und jeweils ein (if:timestamp >= "... zeitstempel von gestern") ergänzt werden. Das klappt dann aber nicht mehr mit overpass turbo und müsste irgendwie per Script oder so generiert werden.

Mist! Wie entsteht denn der "grüne Teppich" von Pascal Neis in HDYC? Eigentlich suche ich ja dieses Ergebnis, allerdings als Zahlen-Liste, nicht als Bild.

Offline

#13 2022-01-16 17:28:54

pyram
Member
Registered: 2012-06-16
Posts: 1,397

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

MichaelFS wrote:

Mist! Wie entsteht denn der "grüne Teppich" von Pascal Neis in HDYC?...

Ich bin mir relativ sicher (weiß es aber nicht), dass er eine eigene PostgreSQL/PostGIS database nutzt und von der abfrägt.

Offline

#14 2022-01-16 17:44:24

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Mit etwas copy&pasta kann man das auch schnell zusammenklimpern: https://overpass-turbo.eu/s/1f7l

Das Datum nach dem "timestamp()" ist immer das vom jeweiligen Vortag.

Last edited by mmd (2022-01-16 17:46:21)

Offline

#15 2022-01-16 18:08:41

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Danke für Deine Mühe und Geduld!

mmd wrote:

Mit etwas copy&pasta kann man das auch schnell zusammenklimpern: https://overpass-turbo.eu/s/1f7l
Das Datum nach dem "timestamp()" ist immer das vom jeweiligen Vortag.

Leider liefert das aber nur NULLen, auch wenn ich den "anotherUser" gelöscht habe.

Offline

#16 2022-01-16 18:14:12

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Das dachte ich zunächst auch, aber in Zeile 12 sind "6 Nodes" drin. Der Rest ist aber 0. Wichtig: deine Änderungen müssen auch immer in der Relation https://www.openstreetmap.org/relation/62484 drin sein, sonst zählt das nicht mit.

Wenn ich die Einschränkung auf Landshut rausnehme, sehen die Zahlen so aus:

@count	@count:nodes	@count:ways	@count:relations
19	19	0	0
25	19	6	0
9	5	4	0
5	2	3	0
5	4	1	0
10	1	9	0
12	4	8	0
14	13	1	0
66	48	18	0
23	21	2	0
9	7	2	0
16	13	3	0
16	10	6	0
0	0	0	0
34	24	10	0


runtime error: Query timed out in "query" at line 22 after 124 seconds.

(Diese Query ist super teuer, deshalb auch der Timeout nach 2 Minuten)

Last edited by mmd (2022-01-16 18:20:12)

Offline

#17 2022-01-16 18:51:21

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

OK, danke

mmd wrote:

Das dachte ich zunächst auch, aber in Zeile 12 sind "6 Nodes" drin. Der Rest ist aber 0. Wichtig: deine Änderungen müssen auch immer in der Relation https://www.openstreetmap.org/relation/62484 drin sein, sonst zählt das nicht mit. ...

Mein Fehler! Trotzdem sehe ich auch mit Anpassung der Region die Zählung meiner Änderung gestern / vorgestern nicht.

Offline

#18 2022-01-16 18:59:51

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Argh, da war ein Tippfehler in Zeile 20 hinter timestamp() drin.... https://overpass-turbo.eu/s/1f7r sollte besser klappen (mit Relation 29996).

Das ganze nochmal auf einer Karte dargestellt: https://overpass-turbo.eu/s/1f7s

Offline

#19 2022-01-19 19:31:16

MichaelFS
Member
Registered: 2011-04-16
Posts: 95

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Herzlichen Dank!

mmd wrote:

Argh, da war ein Tippfehler in Zeile 20 hinter timestamp() ...

Das funktioniert prima .. für wenige Tage bzw. Nutzer und kleine Gebiete. Die Lösung merke ich mir für zukünftige Aufgaben.
Mein aktuelles Ziel
* Mehrere Nutzer
* Ganglinie über einige Wochen / Monate
* größere Gebiete, z.B. NRW oder Bayern
erreiche ich so nicht. Falls also jemand noch eine Idee hat ...

Offline

#20 2022-01-19 21:03:19

mmd
Member
Registered: 2010-11-06
Posts: 1,978

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

Also für Bayern (Relation 2145268) kann ich die Query für ~ 15 Tage ausführen. Die Instanz hat ein hartes Resourcenlimit und bricht Queries nach 2 Minuten ab. Das soll auch dazu dienen, dass die Leute nicht zuviel Kapa auf der Entwicklingsinstanz verbraten oder das ganze produktiv nutzen wollen.

Schick mir am besten mal ein Beispiel, was genau nicht funktioniert. Vielleicht reicht es schon aus, das ganze auf mehrere Queries aufzusplitten. Auf den produktiven Instanzen benötigt 1 Tag etwa 1,5 Minuten, da das Coding für solche Abfragen nicht (genug) optimiert ist.

Alternative ist natürlich immer ein Extrakt zu verwenden (die gibt's auch als Full History) und dann die Dateien selbst weiter zu analysieren.

Offline

#21 2022-01-22 15:21:00

ikonor
Member
Registered: 2010-11-08
Posts: 615
Website

Re: Anzahl der Edits in einer Region pro Tag (Ganglinie)

mmd wrote:

Alternative ist natürlich immer ein Extrakt zu verwenden (die gibt's auch als Full History) und dann die Dateien selbst weiter zu analysieren.

Zum Beispiel mit Full History Extrakt (.osh.pbf) von der Geofabrik, osmium-tool mit OPL Format und Unix-Kommandos:
https://osm-internal.download.geofabrik … rmany.html
https://osmcode.org/osmium-tool/
https://osmcode.org/opl-file-format/

Beispiel in diese Richtung aus der OPL Doku:

Count how many objects were created in each hour of the day:

egrep ' v1 ' data.osm.opl | cut -d' ' -f5 | cut -dT -f2 | \
    cut -d: -f1 | sort | uniq -c

https://osmcode.org/opl-file-format/#usage-examples

Offline

Board footer

Powered by FluxBB