You are not logged in.

#1 2022-05-10 19:45:25

derconno
New Member
Registered: 2022-05-09
Posts: 1

Rostocks OpenData Plattform automatisiert scrapen / einpflegen?

Moin,

da ich als Neuling ein derart großes Projekt nicht einfach "starten" möchte, wollte ich hier einmal abklopfen ob es sich im Folgenden überhaupt um eine gute Idee handelt und was man bei der Umsetzung so beachten müsste.

Die grundlegende Idee: Die Hansestadt Rostock veröffentlicht auf ihrem OpenData Portal (www.opendata-hro.de) einige Datensätze, die interessant wären in OSM einzupflegen. Beispielsweise wären die Standorte von Abfallbehältern (https://www.opendata-hro.de/dataset/abfallbehaelter) relativ simple POIs die IMHO einen Mehrwert für OSM bieten könnten.

Mögliche Bedenken:

  • Urheberrecht: Ist abhängig vom Datensatz, im allgemeinen sind die Lizenzen jedoch ziemlich frei: https://www.opendata-hro.de/terms_of_use

  • Technische Machbarkeit: Die Datensätze selber sind gut über eine API abrufbar und auch maschinell verarbeitbar. Zum Einpflegen in OSM bin ich bis jetzt nur über osmsync gestolpert, hätte diesbezüglich aber auf weitere Ideen hier im Forum gehofft...

  • Qualität der Datensätze: Muss noch evaluiert werden, da die Daten jedoch direkt von den zuständigen Behörden stammen gehe ich von einer relativ hohen Datenqualität aus

  • Automatisiert vs. Semi-automatisiert: Aufgrund der großen Menge an Daten halte ich selbst stichprobenartige Reviews auf Dauer für unpraktisch, zu Beginn wäre es sinnvoll um die korrekte Funktionsweise der Automatisierung zu verifizieren.

Ich würde mich über grundsätzliche Gedanken & Anmerkungen zu dem Thema freuen, vielen Dank schon mal für euer Feedback!

Offline

#2 2022-05-10 20:46:26

Tordanik
Moderator
From: Germany
Registered: 2008-06-17
Posts: 2,767
Website

Re: Rostocks OpenData Plattform automatisiert scrapen / einpflegen?

Willkommen im Forum! smile

derconno wrote:

Urheberrecht: Ist abhängig vom Datensatz, im allgemeinen sind die Lizenzen jedoch ziemlich frei: https://www.opendata-hro.de/terms_of_use

Sieht in der Tat ganz gut aus: CC0 1.0 ist ok, CC BY 4.0 ginge allerdings nur mit einer ausdrücklichen Erlaubnis. Damit sollte zumindest der Teil der Daten, die unter CC0 stehen (wie z.B. die Abfallbehälter), rechtlich kompatibel sein.

Als Herausforderung sehe ich bei einem automatisierten Vorgehen u.a. den Umgang mit bestehenden Daten, denn es sollen ja keine Duplikate entstehen. Wenn es um kontinuierliche Importe geht, ist das natürlich besonders komplex, weil ja u.U. ein Mapper die importierten Daten in der Zwischenzeit verbessert haben kann. Da müsste man einen Plan haben, wenn man das versuchen will. Konkrete Vorschläge zur Umsetzung kann ich da leider nicht anbieten, ich hatte auf der technischen Seite bisher nur mit manuellen Importen zu tun.

Falls du ihn noch nicht kennst, lasse ich noch diesen Link zum Vorgehen bei Importen hier:
https://wiki.openstreetmap.org/wiki/Import/Guidelines

Last edited by Tordanik (2022-05-10 20:46:47)


OSM in 3D: OSM2World

Offline

#3 2022-05-10 20:59:22

streckenkundler
Member
From: Lübben (Spreewald)
Registered: 2012-08-09
Posts: 4,950
Website

Re: Rostocks OpenData Plattform automatisiert scrapen / einpflegen?

Tordanik wrote:

Sieht in der Tat ganz gut aus: CC0 1.0 ist ok, CC BY 4.0 ginge allerdings nur mit einer ausdrücklichen Erlaubnis. Damit sollte zumindest der Teil der Daten, die unter CC0 stehen (wie z.B. die Abfallbehälter), rechtlich kompatibel sein.

Rostock?

da ist doch unser User https://www.openstreetmap.org/user/KVLA-HRO-Kro = sein Privataccount https://www.openstreetmap.org/user/!i! der primäre Ansprechpartner!

fragt Sven

Offline

#4 2022-05-10 21:53:32

Protoxenus
Member
From: Ostseeküste
Registered: 2008-10-26
Posts: 368

Re: Rostocks OpenData Plattform automatisiert scrapen / einpflegen?

streckenkundler wrote:

da ist doch unser User https://www.openstreetmap.org/user/KVLA-HRO-Kro = sein Privataccount https://www.openstreetmap.org/user/!i! der primäre Ansprechpartner!

fragt Sven


Nein,  !i! ist KVLA-HRO-Mei

Edith:

zum Thema:

Prinzipiell halte ich das Vorhaben für sinnvoll. Es gab bisher drei Datenimporte hier in HRO:
- Gebäudeumrisse (verfremdet)
- Straßenschlüssel
- Straßenlampen

Die Gebäudeumrisse haben erst mal eine Grundlage für die Datenbank geschaffen. Die Straßenschlüssel ergänzten die Daten der schon kartierten hignhways. Die Straßenlampen waren vor dem Import quasi nicht in der DB vorhanden.

Ich sehe das Problem, dass bei einem Import die hinzugefügten Daten mit den schon vorhandenen Daten korrelliert werden müssen. Wie sollte das geschehen?
Automatisch? Kann ich mir nicht vorstellen, das das funktioniert. Die "amtlichen" Daten sind in der Regel mit Profi-GNSS-Geräten eingemessen, die sehr genau sind, die "gesammelten" Daten werden wohl nicht diesem Qualitätsanspruch gerecht.
Das ist wohl der Hauptgrund, warum in dieser Richtung keine weiteren Aktivitäten erfolgt sind. Jeden Standort eines Papierkorbes aufsuchen, zu gucken, ob da neben dem aus der OpenData-DB vielleicht noch einer steht, der "on the ground" kartiert wurde, hate ich nicht für machbar. Aber vielleicht hat ja jemand dafür eine Lösung parat.

Aus meiner Sicht ist es nur für Daten sinnvoll, die bisher gar nicht oder nur sporadisch in der DB vorhanden sind.

Last edited by Protoxenus (2022-05-11 06:06:26)


Ein Viertel der Zeit, die ich für das Mappen aufwende, verschwende ich, um den Unfug, den Andere verzapfen, indem sie Ränder von Flächen an Mittellinien von anderen Flächen kleben, zu korrigieren bzw. zu umgehen.

Offline

#5 2022-05-12 06:25:49

the-asca
Member
Registered: 2020-05-18
Posts: 290

Re: Rostocks OpenData Plattform automatisiert scrapen / einpflegen?

Protoxenus wrote:

Das ist wohl der Hauptgrund, warum in dieser Richtung keine weiteren Aktivitäten erfolgt sind. Jeden Standort eines Papierkorbes aufsuchen, zu gucken, ob da neben dem aus der OpenData-DB vielleicht noch einer steht, der "on the ground" kartiert wurde, hate ich nicht für machbar. Aber vielleicht hat ja jemand dafür eine Lösung parat.

Man könnte für diesen Zweck vl. eine Aufgabe für StreetComplete schaffen. Sprich die Daten landen erstmal dort in der App und mit der Aufgabe kann dann entweder nicht getan werden "Mülleimer schon vorhanden" oder dieser halt eingetragen werden mit einem Klick eingetragen werden.


Mein Name ist nur "asca" (kleines a und ohne "the-"), bitte so schreiben, vielen Dank.
Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

Board footer

Powered by FluxBB