Use of private information to improve road attributes in Germany

English version:

Amazon has been an active contributor to OpenStreetMap (OSM) in Germany for over a year now. The drivers of our delivery service providers at times encounter problems where OSM data is not matching with on-ground reality (e.g., where the map suggests a left turn, but the left turn is legally restricted as per the street signs). These discrepancies are reported by the drivers, but due to absence of ground truth (street images), we are unable to investigate and rectify the map defect in OSM. These defects risk the safety of not just drivers of our delivery service providers, but all users who might be using OSM as a base map for navigation purposes. In order to overcome the lack of ground truth in Germany, Amazon has signed up for a short term contract with CycloMedia Technology B.V., a private street imagery provider. Details about CycloMedia can be found here (https://www.cyclomedia.com/en/profile-and-history).

How are we going to utilize the data?
Amazon will investigate the locations of feedback shared by drivers spread across Germany using CycloMedia street images on CycloMedia’s web-access portal. The images will be mainly used to add restrictions related to turns, access, directions, weight, and height to improve OSM map data. When making these edits on OSM, we will attribute the anonymized source of the image along with its date of capture. Additionally, staying true to maintain the quality of data in OSM, Amazon will contribute edits to OSM directly only when we have a street image of 2019 (or more recent). However, when we find images of 2018 or older (which reinforce the feedback from the driver), Amazon will share notes or create map roulette tasks. In these situations, we request support from the German OSM community to confirm the ground reality before making an edit. Furthermore, any comments on these changesets from the community members will be taken up on priority and responded to at the earliest.

What images are we using?
We will be using parallax free 360° panoramic photographs (Cycloramas) of street images captured by CycloMedia at every 5m intervals. These high resolution spherical panoramas are located to an accuracy within 10 cm.
How will we attribute the source for the edits made on OSM?
All the edits on OSM made using the street images of CycloMedia will have the anonymized source ( eg.-“source = private supplier”) and the year of image captured mentioned ( eg.-“Year = 2019”) against them.

Can we share CycloMedia images with community?
No, Amazon is not allowed to make CycloMedia image material available to public or to third parties. However, Amazon and its affiliated companies are entitled to use CycloMedia Image material to make temporary or permanent edits on OSM which may be made permanently available to the public without any reference to Supplier.

German Version:

Amazon ist seit über einem Jahr ein aktiver Mitwirkender bei OpenStreetMap (OSM) in Deutschland. Die Fahrer unserer Zustelldienste stoßen manchmal auf Probleme, wenn die OSM-Daten nicht mit der Realität vor Ort übereinstimmen (z.B. wenn die Karte eine Linkskurve vorschlägt, die Linkskurve aber gemäß den Straßenschildern gesetzlich eingeschränkt ist). Diese Diskrepanzen werden von den Fahrern gemeldet, aber aufgrund des Fehlens der Bodenwahrheit (Straßenbilder) können wir den Kartenfehler in OSM nicht untersuchen und beheben. Diese Defekte gefährden nicht nur die Sicherheit der Fahrer unserer Zustelldienste, sondern aller Benutzer, die OSM als Basiskarte für die Navigation verwenden könnten. Um den Mangel an Grundwahrheit in Deutschland zu überwinden, hat Amazon einen kurzfristigen Vertrag mit CycloMedia Technology B.V., einem privaten Anbieter von Straßenbildern, abgeschlossen. Details zu CycloMedia finden Sie hier (https://www.cyclomedia.com/en/profile-and-history).

Wie werden wir die Daten nutzen?
Amazon wird die Standorte der Rückmeldungen untersuchen, die von den über Deutschland verteilten Fahrern mit Hilfe von CycloMedia-Straßenbildern auf dem Web-Zugangsportal von CycloMedia ausgetauscht werden. Die Bilder werden hauptsächlich verwendet, um Einschränkungen in Bezug auf Kurven, Zugang, Richtungen, Gewicht und Höhe hinzuzufügen, um die OSM-Kartendaten zu verbessern. Wenn wir diese Bearbeitungen auf OSM vornehmen, werden wir die anonymisierte Quelle des Bildes zusammen mit dem Aufnahmedatum angeben. Um die Qualität der Daten in OSM aufrechtzuerhalten, wird Amazon nur dann direkt Änderungen an OSM vornehmen, wenn wir ein Straßenbild von 2019 (oder neuer) haben. Wenn wir jedoch Bilder von 2018 oder älter finden (die das Feedback des Fahrers verstärken), wird Amazon Notizen austauschen oder Kartenroulette-Aufgaben erstellen. In diesen Situationen bitten wir die deutsche OSM-Community um Unterstützung, um die Realität vor Ort zu bestätigen, bevor wir eine Bearbeitung vornehmen. Darüber hinaus werden alle Kommentare der Community-Mitglieder zu diesen Änderungssätzen mit Priorität aufgenommen und frühestens beantwortet.

Welche Bilder verwenden wir?
Wir werden parallaxenfreie 360°-Panoramafotos (Cycloramas) von Straßenbildern verwenden, die von CycloMedia in Abständen von 5 m aufgenommen werden. Diese hochauflösenden sphärischen Panoramabilder werden mit einer Genauigkeit von 10 cm aufgenommen.
Wie werden wir die Quelle für die auf OSM gemachten Bearbeitungen zuordnen?
Alle Bearbeitungen auf OSM, die mit den Straßenbildern von CycloMedia gemacht wurden, werden mit der anonymisierte Quelle ( z.B. “Quelle = privater Lieferant”) und dem Jahr des aufgenommenen Bildes ( z.B. “Jahr = 2019”) versehen.

Können wir CycloMedia-Bilder mit der Gemeinschaft teilen?
Nein, Amazon ist es nicht erlaubt, CycloMedia-Bildmaterial der Öffentlichkeit oder Dritten zur Verfügung zu stellen. Allerdings sind Amazon und seine verbundenen Unternehmen berechtigt, das CycloMedia-Bildmaterial für vorübergehende oder dauerhafte Bearbeitungen auf OSM zu verwenden, die der Öffentlichkeit ohne jeglichen Hinweis auf den Lieferanten dauerhaft zur Verfügung gestellt werden können.

Regards,
Jothirnadh

Would it perhaps be more sensible here to use OpenStreetCam or Mapillary and produce image material via DashCam or similar? Then you save yourself the detour via a service provider and the community benefits from it.

– deutsch –
Wäre es vielleicht hier sinnvoller, OpenStreetCam oder Mapillary zu nutzen und selbst Bildmaterial via DashCam oä. zu produzieren. Dann spart ihr euch den Umweg über einen Dienstleister und die Gemeinschaft hat auch was davon.

Jothirnadh,

thank you for sharing. My voice is just one among many here but personally I would prefer if you could refrain from using proprietary imagery to improve OSM data in Germany. Our data is not perfect but we’re happy enough with it; we’re working steadily to improve it using our proven open and collaborative approach. Bringing in a closed, proprietary data source sends the wrong signal here - it says “hey, the Germans can’t manage to make a good map without the help of proprietary data and paid staff from elsewhere, this means the OpenStreetMap idea is not working”. As a German mapper, I feel that this taints our success. And the improvements that you make are, in my personal opinion, not important enough to warrant this fly in the ointment. In addition, verifying edits that you have made using propietary imagery requires drastically more work from German mappers than you have invested in making the edit - you can make 100 edits in an hour, and mappers could need days to travel to all the places and verify the edit. All in all, if it were my call, I’d ask you to limit your contribution to the same ways and means that every other mapper has at their disposal.

Best
Frederik

Deutsch:

Jothirnadh,

danke für die Nachricht. Meine Stimme ist hier nur eine unter vielen, aber ich persönlich würde es bevorzugen, wenn ihr davon absehen würdet, proprietäres Bildmaterial zu benutzen, um die OSM-Daten in Deutschland zu verbessern. Unsere Daten sind nicht perfekt, aber wir sind zufrieden damit; wir arbeiten ständig an ihrer Verbesserung mit unseren bewährten, offenen Mitteln. Wenn ihr hier nun eine geschlossene, proprietäre Datenquelle hineinbringt, sendet das ein falsches Signal - ihr sagt damit “hey, die Deutschen kriegen es ohne proprietäre Daten und bezahlte Hilfe von anderswo nicht hin, eine gute Karte zu machen, also funktioniert die Idee von OSM nicht”. Als deutscher Mapper finde ich, dass das unseren Erfolg trübt. Und die Verbesserungen, die ihr macht, sind meiner Meinung nach nicht wichtig genug, um diese Fliege in der Suppe zu rechtfertigen. Hinzu kommt, dass Mapper drastisch mehr Zeit einsetzen müssen, um Eure Edits zu überprüfen, als es Euch gekostet hat, sie zu machen - ihr könnt 100 Edits in einer Stundemachen, und Mapper brauchen dann vielleicht Tage, um überall hin zu fahren und alles zu überprüfen. Alles in allem, wenn ich es entscheiden müsste, würde ich Euch auffordern, Eure Beiträge mit denselben Mitteln zu machen wie alle anderen auch.

Viele Grüße
Frederik

We want to move towards the approach proposed by you in long term and collaborate more with OSM community. There are legal constraints associated with street imagery collection which are blocking us from implementation. Our internal team is already working towards it, and hope to find a solution soon. In the mean time as a part of improving the base data quality, we decided to partner with a private provider.

Hallo jguthula,

dass Bilder verwendet werden, die anderen Mappern nicht zur Verifizierung zur Verfügung stehen, finde ich nicht gut.
Werden eure Quellen noch auf https://wiki.openstreetmap.org/wiki/Amazon_Logistics dokumentiert?

Hello jguthula,

that images are used that are not available to other mappers for verification, I do not like.
Will your sources still be documented on https://wiki.openstreetmap.org/wiki/Amazon_Logistics?

Auch bei Bildern aus 2019 muß beachtet werden, ob die letzte Änderung in OSM neuer ist als das Bild. In diesem Falle sollte keine Änderung erfolgen.

Grüße,
Rainer

Even with images from 2019 you have to consider whether the last change in OSM is newer than the image. In this case, no change should be made.

Greetings,
Rainer

Translated with www.DeepL.com/Translator (free version)

Da Amazon die Daten selbst nutzt, habe ich was die Qualität betrifft eigentlich relativ wenig Bedenken. Und ein ein Zugriff auf die gemeldeten Probleme der Fahrer könnte für uns alle recht interessant sein.

deepl:
Since Amazon uses the data itself, I have relatively few concerns about the quality. And an access to the reported problems of the drivers could be quite interesting for all of us.

Thanks for your inputs Frederik. @Amazon we respect community contributions and adopted the best possible editing practices from their suggestions itself. We will continue to learn from them and try our best to be more involved with them rather than working independent. Our only intention of getting into a contract with private supplier is to improve the road safety of OSM users. Data quality is the top priority @Amazon since it involves the safety of our drivers and also the local passengers. Let me emphasis our editing process to clear certain doubts to most community members:

We have been collecting driver feedback to add missing turn restrictions or one-way directions in OSM, but in 90% of the cases we were not able to fix the issue because of lack of accurate on ground information or street imagery. As committed to OSM norms, we made edits only if accurate ground information is available and to improve actionability of remaining 90% cases, we decided to get a contract with Cyclomedia street imagery. As per our analysis, we identified 14% of imagery to be from 2019 or recent where we are confident that it represents the ground reality since it matches with our driver feedback. In case of the rest of the 86% of imagery older than 2019, we will be dropping notes in OSM, which we think will be a good input for community to look into or action upon. This way we are trying to collaborate more with local community. In case of a doubt raised or a dispute arises with our edit we will respect community members input and immediately revert the edit.

Yes, I will be updating the Amazon wiki with this information once the editing gets started.

This input is very helpful. Sure, I will pass on this information to our editors and make sure to check the history of the edit before making any changes.

We will be doing 100% quality check of all the edits contributed by our team. Maintaining top quality data will be our primary objective since any wrong contribution from our end can lead to a road safety issue to our drivers and the local travellers as well.

Starting tomorrow, we will start using the Cyclomedia imagery to check underlying data quality issues. We will of course incorporate all valuable inputs that you have provided us when doing this activity

Regards,
Jothirnadh

That’s cool, thank you for the transparency!

That’s very well, thank you. But I would like to give you a little advice, concerning sharing a note with the issue “speed restriction sign board.”

We have some conditional maxspeed restrictions, they are called like this when there is a condition, often a time period when the maxspeed is valid. If that’s the case, we add maxspeed:conditional for the way. But now, I found some notes like this: https://www.openstreetmap.org/note/2223041

where a missing maxspeed was noticed, but the maxspeed was mapped already. The only difference is, that it is mapped not together with the key maxspeed=, but with the key maxspeed:conditional=, because there exists a time condition.

It’s a small thing but before opening a note concerning a missing maxspeed, maybe it would be worth to look on the affected way shortly whether there exists a maxspeed:conditional already.

maxspeed=* is then used for mapping the maxspeed=* which is valid at times out of the time condition in the speed sign.

Thank you.

I don’t know what kind of devices you use at Amazon, but this problem could be mitigated with an dashcam-like function, e.g. enduser clicks a button labeled “routing problem” and the last 10 pictures or so of dashcam data is saved, uploaded and an OSM-Note is opened at the location with a link to the pictures.

Please have a look on https://www.openstreetmap.org/note/2169172. That note was created two month ago. Unfortunately there has been no response on my advice to add a photo of the situation or the street sign so everyone could correct the problem(s) or add the missing information. Now there are many new notes in the whole area. I want to renew my advice: I think it’s better to add a photo, so the note could be solved within days and to be sure to add the correct tags. Otherwise I’m afraid the notes will keep open for a long time.

I agree with aixbrick’s message. If you have private images from your drivers, go ahead and just perform the necessary changes or find a way to provide a marker with a link to the image.

Otherwise only very few of the markers you create will be surveyed in real life. Also in “my” area I find more and more new amazon-markers created every day and none of them will be solved.

I like Amazon’s approach. I would even call it too cautious.
They have two sources: A driver on the ground and a team checking on photographs of that area. If they agree, I would put it in the database.
If it was for me, they should do edits even if images are from 2018 or 2017. A lot of other information in OSM is older than that.

Mir gefällt Amazons Vorgehen. Ich würde sogar sagen, es ist übervorsichtig.
Sie haben zwei Quellen: Einen Fahrer “on the ground” und ein Team, das Fotos von der Stelle überprüft. Wenn beide übereinstimmen, würde ich das in die Datenbank übernehmen.
Wenn es nach mir ginge, könnten sie die Sachen auch einpflegen wenn die Fotos von 2018 oder von 2017 sind. Viele Einträge in OSM sind älter.

“Otherwise only very few of the markers you create will be surveyed in real life. Also in “my” area I find more and more new amazon-markers created every day and none of them will be solved.”

Exactly. My (very rural) area is getting flooded with amazon notes, I find it rather distracting. Asking to have a 30 km/h speed limit or a HGV restriction checked in a town where such attributes are poorly taken care of (coverage far below 50%), does not help.

I fully agree with user_610: If you have matching street images and driver reports which are more recent than the last change of the relevant attribute, update it. It might be incorrect in a few cases but overall it will improve the database.

Ich stimme den letzten Beiträgen völlig zu und ich werde in Zukunft Amazon Hinweismarkierungen mit dem Verweis auf diese Diskussion schließen. Ich finde das Vorgehen und die Absicht dahinter sehr lobenswert und einen guten Ansatz. Aber das Ganze finde ich etwas zu kurz gedacht. Hinweise wie “Unser Fahrer hat entdeckt, dass…” und “bitte vor Ort überprüfen” bringen rein gar nichts. Diese Aufforderungen bleiben Jahrelang offen und bleiben unbeachtet, weil sich niemand angesprochen fühlt. Zudem werden wirklich wichtige Kartenfehler von diesen Hinweisen überschwemmt und gehen unter.

Wenn Ihr (Amazon) Fehler oder fehlende Markierungen findet und an deren Behebung wirklich interessiert seid, dann müsst ihr entweder einen Hinweismarker mit einem Foto für alle Mapper anlegen oder ihr findet einen Weg (mein Favorit), die fehlenden Tags oder Fehler selbst nach den Richtlinien von OSM zu korrigieren.

Was halten Sie davon ?

The crazy thing is: Amazon has hundreds of mappers who are adding service roads based on aerial images which is sometimes a few years old and even where no amazon driver would ever deliver a package. But it seems these mappers can’t add missing or correct the existing data based on their own driver feedback which is a few days or weeks old. Find the error…

Eine alternative wäre, dass die Fahrer die Möglichkeit bekommen für Mapillary Fotos aufzunehmen und dann diese Notes setzen. Die Kombination würde dann schon wieder eher Sinn machen, da hier dann wirklich jemand nachschauen kann.

Ich bezweifele, dass die Fahrer neben ihrer ohnehin schon ausgelastetem Arbeit noch mehr tun können, als sie offensichtlich ohnehin schon genötigt werden.

Hinzu kommt, dass die Fahrer größtenteils mit privaten PKW fahren und mit Sicherheit keine einheitliche Hardware zur Verfügung steht.

Und ganz bitter finde ich die Tatsache, dass sich die Herrschaften von Amazon offenbar seit einigen Tagen gar nicht mehr an der Diskussion beteiligen.

manchmal muss man euch nicht verstehen.

Sie dürfen ihre eigenen Daten nicht verwenden um die Karten zu aktualisieren, weil sie auf privaten Inhalten basieren. OK … jetzt machen Sie halt Tickets auf wo es Fehler gibt das jemand mit lokalen Kenntnissen sich das anschauen soll, weil Sie die Info vom Fahrer haben dass da was falsch ist. Anstatt zu schauen wer sich das lokal anschauen kann oder ob es ggf. mittlerweile neuere Mapillary Bilder gibt (sie scheinen auf einen anderen Street View Dienst zu schauen) wird hier gemeckert und alle Tickets zu gemacht. Bei mir in der Region wurden auch solche Dinger aufgemacht, häufig konnte ich auf basis von neueren Mapillary Bildern in der Umgebung das ganze verifizieren. Bei anderen Sachen schaue ich einfach, dass ich beim nächsten mal wenn ich in der Ecke bin mir das mal anshchaue.

Wenn ihr es nicht beantworten könnt, dann lasst doch einfach die Finger weg von den Reports oder schreibt zumindest in den Kommentar, dass dort aktuell auch keine aktuellen Mapillary Bilder vorhanden sind zum verifizieren. Dann wissen auch andere Bescheid…

Und bezüglich Dashcams für Mapillary und Co gab es ja mal eine Antwort:
“We want to move towards the approach proposed by you in long term and collaborate more with OSM community. There are legal constraints associated with street imagery collection which are blocking us from implementation. Our internal team is already working towards it, and hope to find a solution soon.”

Anstelle von Mimimi wäre es also mal interessant was aus dieser Arbeit geworden ist.

[In direct reply to Pajopath, therefore not in english.]

Ihre eigenen nicht verwendbaren Daten brauchen sie dafür gar nicht. Der Fahrer ist als Quelle völlig in Ordnung (“local knowledge”). Basierend auf seiner Aussage kann die Korrektur oder Ergänzung direkt durch Amazon vorgenommen werden. Aktuell ist es aber, dass man einen Hinweis von einem Fahrer erhält, der vor Ort war (zumindest sollte man davon ausgehen können). Statt das aber einzupflegen, erstellt man einen Hinweis und bittet darum, dass sich jemand anderes das (nochmal) ansehen soll.

Das wäre dasselbe wenn ich vor Ort sehe, dass in Straße X ein Restaurant eröffnet hat, ich dann aber einen Hinweis erstelle und quasi um Bestätigung bitte, dass ich Recht habe. Natürlich gibt es in manchen Gebieten Mapillary-Aufnahmen und man kann basierend darauf den Amazon-Hinweis erledigen. Es gibt aber noch genügend Straßen ohne Mapillary und in vielen Regionen keine aktive Community. Dann bleibt ein solcher Hinweis auf ewig offen, obwohl er möglicherweise wichtige Daten liefert. In dem Fall wäre ich sehr dafür, dass Amazon selbst aktiv wird.

Ich kann hier übrigens kein Gemecker oder Mimimi erkennen, sondern durchaus konstruktive Vorschläge: Foto erstellen oder selbst erledigen. Wenn ersteres aufgrund der Zeit nicht geht, muss Amazon notfalls selbst jemanden beautragen, dass vor Ort zu prüfen, da ihnen eine korrekte auf OSM-Daten basierende Karte ja offenbar wichtig ist.