Hi liebe Community,
ich plane in kürze meine Diplomarbeit in Angriff zu nehmen und hab da von meinem Arbeitgeber ein meiner Meinung nach interessantes Thema vorgeschlagen bekommen.
Wir haben eine große Fahrzeugflotte, die weltweit täglich bewegt wird, mit Datenloggern ausgestattet ist und mehrmals pro Sekunde die aktuellen GPS-Koordinaten aufzeichnen.
Es handelt sich also um eine große Menge an GPS-Traces, die sich ausschließlich auf befahrbaren Straßen befinden.
Das Ziel der Arbeit ist es eine Möglichkeit zu finden sämtliche Fahrten auf einer Karte darzustellen und auch noch statistisch zu erfassen. Interessant wäre, wo die Fahrzeuge noch nicht bewegt wurden, wieviel Prozent der Straße abgefahren wurden, etc. pp.
Kann vielleicht einer der alten Hasen/OSM-Profis abschätzen, ob dieses Projekt überhaupt auf der Grundlage von OSM möglich ist, bzw. alleine in 6 Monaten zu bewältigen ist, wenn man mit der Materie noch nicht vertraut ist?
Die GPS-Traces könnten auf Wunsch in OSM einfließen und damit zur besseren Genauigkeit/Aktualität des Kartenmaterials beitragen.
Ich würde mich sehr auf euren Input freuen!
vg
Hi Tabularaza,
also wenn Dir Dein Betreuer diese Fragen nicht beantworten kann… such Dir einen neuen 
Im Ernst: Hast Du nen Betreuer, der da Erfahrung hat, oder wenigstens einen kennt, der sich auskennt? Oder ein paar Tools, die schon vorhanden sind? Falls nicht, würde ich mich zumindest deutlich beschränken. 6 Monate sind nicht viel: 2 Wochen tippen, 2 Monate User Interface basteln, da bleiben gerade mal 3.5 Monate für die echte Arbeit und Urlaub.
Wenn da eine große Flotte mehrmals pro Sekunde einen Wert ausspuckt, hast Du gigantische Datenmengen. Die musst Du bändigen, für die Anzeige und Statistik zeitlich und räumlich sortieren. Das könnte schon auch noch mal ein paar Wochen kosten. Die Zuordnung zur Straße (-nklasse) ist auch noch mal ein paar Wochen (tracks liegen grundsätzlich ein bisschen daneben). Dann die Frage, was passiert, wenn man in näherer Umgebung in OSM keine Straße findet (Du schreibst “weltweit”…).
Ich denke, bei der Visualisierung würde ich aufhören. Weiße unbefahrene Flecken suchen könnte auch noch dazukommen. Aber allzuviel Statistik würde ich nicht mehr reinnehmen. Reicht ja wenn man die Schnittstellen dafür anbietet und danach ne feste Anstellung hast um, da weiter zu machen. “Prozentanteile vom Straßennetz” halte ich sowieso für Kaffeesatzleserei, wer weiss schon, was 100% sind?
Grüße, Max
die GPS Track nehmen wir trotzdem
Vielen Dank für die rasche Antwort!
Nunja, der Grund, weshalb ich diesen Thread ins Leben gerufen habe ist die Machbarkeit des Ganze. Es existieren über 15TB an Traces die teilweise auch schon einige Jahre alt sind. Da sind allerdings viele unwichtige Informationen wie aktuelle Geschwindigkeit, Treibstoffverbrauch, etc.pp. gespeichert (der komplette CAN und MOST Datenverkehr). Es existiert bereits ein Tool, das die Daten wesentlich reduzieren kann (Straßenname und Längen-/Breitengrad, z.B.). Darauf könnte ich ansetzen und die Daten noch weiter reduzieren, in dem ich jedesmal einen Wegpunkt generiere, wenn sich der Straßenname verändert. Natürlich habe ich den Freiraum das Ganze für die DA erst mal auf das Autobahn und Bundesstraßennetz zu reduzieren, vielleicht auch nur auf ein Land oder Bundesland.
Mein erster Ansatz war Google Maps, aber da gibt es zu viele Restriktionen, was den Datenverkehr/Abfragen pro Tag betrifft. So bin ich auf OSM gestoßen.
Bei uns gibt es einige Mitarbeiter, die auch schon Diplom-/Masterarbeiten im Zusammenhang mit OSM betreuten und auch großes Interesse zeigen dieses Projekt (OSM) weiter vorran zu treiben.
Ich selbst hab wie gesagt noch wenig Erfahrung mit der Materie. Hab bisher nur mein Viertel ein wenig vervollständigt und bezüglich meines Anliegens im Netz recherchiert, aber leider noch keinen brauchbaren Ansatz/Papers zu dem Thema ausfindig machen können.
Also mal laut gedacht. Man importiere Europe-OSM in PostgreSQL und erzeuge eine Spalte “besucht”. Danach importiere man die Lat/Lon Paare + HDOP aus den vorhanden Daten und generiere eine Geom Spalte aus latlon. Jetzt prüft man für jeden Punkt, ob sich eine Straße im Umkreis von 10m+HDOP befindet. Falls ja, zählt man in der Spalte “besucht” der Straßen einen Zähler hoch. Sind zwei Straßen im Umkreis, nimmt man die nächstliegende. Jetzt kann man die besuchten Straßen visualisieren, evtl erst ab einem gewissen Wert in “besucht”, und sogar die Farben nach Anzahl der Besuche staffeln. Statistische Funktionen, wie Länge aller besuchten/nicht besuchten Straßen pro Straßenkategorie sollten mit Postgres auch möglich sein.
Achso, die Messpunkte selber zu visualisieren, geht natürlich auch problemslos. Hab ich mal für ein anderes Projekt gemacht, wo Messorte von Ortungen von Handymasten + den gefunden Handymast visualisiert wurde.
Da hast Du echt einiges vor Dir. Wenn Du bei Null anfängst, behaupte ich mal, das ist von der Menge her nicht möglich.
Alleine das Automatisieren, welcher Track jetzt welche Straße ist, dürfte ausreichend sein für eine Masterarbeit. Unter Einbeziehung weiterer Sensordaten wie Kompass oder Beschleunigungssensoren, unter Berücksichtigung der Vergangenheit, usw. Wie viele Navis springen von der Autobahn auf die Landstraße, wenn diese nur dicht genug an der Autobahn ist. Hier dürfte alleine die Geschwindigkeit und die Vergangenheit ausreichend sein. Was noch nie einer gemacht hat, ist ein Handy-Navi mit einem Microfon zu koppeln, um an einer Kreuzung zu horche, ob der Blinker an ist - was die Warscheinlichkeit eines Abbiegens erhöht. Wobei das bei Nur-GPS-Daten natürlich weg fällt. Hier musst Du Dich mit Position, Richtung, Geschwindigkeit und Beschleunigung begnügen.
Ich würde an Deiner Stelle anfangen, das ganze Visuell darzustellen. Also mit Hilfe von JOSM z.B. kannst Du kleinere Datenmengen einladen und damit eine Straßenkarte erzeugen.
Dann programmierst Du Dir Geschwindigkeitsfilter, welche nur GPS-Daten durchlassen, die > 120 km/h sind. Damit siehst Du dann alle Autobahnen.
Für einzelne Städte könntest Du auch eine Überblendung erstellen. Also im Hintergrund eine Farblose Straßenkarte von OSM und im Vordergrund die Farbigen GPS-Daten. Das geht mit JOSM recht einfach, auch ohne etwas zu verändern.
Die gibt es bei uns auch!!!
Wenn du Georeferenzierung machen möchstest (“wo bin ich gerade? wie heisst die Stadt, die Strasse?”) könntest du unseren Nominatim-Service verwenden, wenn du nicht zuviel abfragst. Und da liegt der Hase im Pfeffer. Ihr werdet dafür einen eigenen Nominatim-Server aufsetzen müssen, der selbstverständlich mit den aktuellen OSM-Daten arbeiten darf und soll. Es muss ein eigener Rechner mit passender Infrastruktur sein oder ihr müsstet einen externen Dienstleister (gegen Kohle!) verwenden, sonst gibt es auch bei uns “Mächtig Ärger”.
Für Nominatim und die passende Infrastruktur (Rechner, Datenbank, Automatischer Datenupdate aus OSM) würde ich bei einem Newbie schon mal 2-3 Wochen ansetzen.
Ansonsten möchte ich Max definiv Recht geben: Das Projekt ist komplexer als du denkst - und erst recht dein Betreuer. Das reicht für ein halbes Dutzend Diplomarbeiten über einen Zeitraum von mindestens 2 Jahren. Anschliessend hat dein Betreuer eine eigene Firma 
Gruss
Walter
Nachtrag zu den Tracks:
es ist ein bei uns immer noch ungelöstes Problem, wie man mit Tracks umgeht, die alle die gleiche Strecke beschreiben, aber dennoch immer etwas abweichen. Wie gerne hätten wir dafür einen gewichteten Mittelwert als “Durchschnitt” aller Tracks. Eventuell fällt ja sowas bei euch ab.
Ich behaupte mal: Beschränkung auf bestimmte Straßen bringt nichts. So müssen ja doch alle Daten durchforstet und jedes Wegstück dahingehend überprüft werden, ob es auf eine solche Straße fällt. Dann doch lieber nur Daten aus einem bestimmten lat/lon-Rechteck ausschneiden und damit arbeiten.
Falls Du vorhaben solltest, die OSM-Server einzuspannen: vergiß es. Erstens ist das von der API gelieferte Format für Deine Zwecke sicher untauglich, zweitens sind deren Kapazitäten beschränkt und massive Zugriffe daher nicht erlaubt, siehe auch http://wiki.openstreetmap.org/wiki/API_usage_policy und dort speziell “Heavy Users”. Also muß eine eigene Datenbank her, von uns gibt es nur die Daten dafür. Wenn eine solche Datenbank noch nicht vorhanden ist, gehen für die Einrichtung ohne einschlägige Vorkenntnisse schon einmal die ersten Wochen drauf.
Postgres reicht um die nächste Straße zu einer Position zu finden
Anbei mal ein Bild mit GPS-Daten über einer SW-Karte in JOSM. Falls Deine Auswertungen eher Grafisch als Technisch erfolgen sollen.
Oha, ihr macht mir Angst! 
Ob der Blinker betätigt wurde, kann ich aus den Daten entehmen - sogar den Grad der Einlenkung durch das Lenkrad, die Daten der Sensoren an den Reifen, inklusive Be-/Entschleunigung (nicht durch GPS sondern Sensoren ermittelt), Geschwindigkeitsbegrenzung aufgenommen durch Kamera, etc.pp. - naja alles was so ein Oberklassewagen mit Komplettausstattung halt so aufzeichnet. Aber das ist definitiv zu viel. Ich will mit möglichst wenig Daten, bzw. mit den Essentiellen Daten beschäftigen müssen. Es ist ja schon ein Navigationssystem verbaut, dass das Fahrzeug immer brav auf der Straße anzeigt (inkl. Straßennamen). Auf diese Daten habe ich auch Zugriff, als auch auf die ‘RAW’-GPS-Daten.
@SunCobalt, Dennis und wambacher: vielen Dank für den Brainstorm!
vg,
Stefan
@Oli-Wan: Bezüglich der Datenbank bin ich auf diesen Blog aufmerksam geworden:
http://goblor.de/wp/2009/10/16/openstreetmap-projekt-teil-1-openstreetmap-daten-in-mysql-datenbank-einlesen/
klar,mach ich selber so, aber er hat ausdrücklich Google angesprochen und dass die dort anfallenden Kosten Grund dafür waren, nach OSM zu gehen. Also werden die wohl Georeferenzierung per API gemacht haben. Ich wollte nur darauf hinweisen, dass es bei uns auch Ärger geben kann.
Um das selber mit PostGis zu machen, muss man sowas am Rennen haben, die Daten aktuell halten und das auch benutzen können. Das kostet auch Zeit.
Gruss
walter
Dank Maxbe schaffe ich es sogar selber aus Postgres die nächsten Straßen zu finden
http://suncobalt.dyndns.org:82/test/distance.html
Nix mit Nominatin und so. Ich weiß nicht, warum ihr hier den Teufel an die Wand malt. Wo seht ihr denn das große Problem? Man braucht nur einen Rechner mit viel Plattenplatz und Bums
Nö, letzter ccbysa Planet. Aktuelle Daten würde ich nicht nehmen
Die Idee mit den Overlays hatte ich auch schon, ist halt die wie exakt das ganze auf der Infrastruktur liegt. Außerdem sollte da datenbanktechnisch schon ein Bezug zu einer bestimmten Straße bestehen, als nicht rein auf grafischer Ebene basieren.
@Dennis: Das schaut doch schon vielversprechend aus.
Wenn bei Du der “nächsten Straße” ein Merkmal setzt, kannst Du das Overlay so gestalten, dass es genau auf der Straße liegt und damit so aussieht, als wenn es die Straße selber wäre. Alternativ kannst Du auch komplett selber rendern, sprich die Straßen als solche, als postiv und negativ Karte.
Da gibt es aktuelleres… http://switch2osm.org/other-uses/ sei mal als Anlaufstelle genannt. Propaganda, Einführung, Anwendungsbeispiele und praktische Anleitungen. Der Schwerpunkt liegt auf einem Tileserver, aber Datenbank ist natürlich auch dabei.
und weiter gehts:
handelt es sich - ohne gleich auf Firmennamen zu kommen- um eine eigene Flotte, die von eigenen Mitarbeitern gefahren wird oder gar um eine Mietwagen-Firma, die ihre Flotte an Kunden vermietet?
Da könnte es in beiden Fällen einige Probleme in Hinsicht Datenschutz geben! Probleme mit Taxis gab es schon mal.
Und dann würde ich auch prüfen (lassen) wie es mit Daten aus dem Navi ist, die über Fahrzeugwerte und GPS-Daten hinausgehen. Strassennamen aus einem eingebauten Navi zu übernehmen, könnte auch kritisch sein. Obwohl, nach OSM wollt ihr die ja nicht reinschaufeln, oder?
Gruss
walter
Er hat 6 Monate Zeit (minus einige Wochen, wo er wohl schon nachgedacht hat).
Wenn bis dahin der Bot nicht vergessen ist, glaub ich nicht mehr an unsere Power.