Diplomarbeit - Abdeckung des Straßennetzes

Tabularaza · 2012-08-02 18:11:30

Hi liebe Community,
ich plane in kürze meine Diplomarbeit in Angriff zu nehmen und hab da von meinem Arbeitgeber ein meiner Meinung nach interessantes Thema vorgeschlagen bekommen.
Wir haben eine große Fahrzeugflotte, die weltweit täglich bewegt wird, mit Datenloggern ausgestattet ist und mehrmals pro Sekunde die aktuellen GPS-Koordinaten aufzeichnen.
Es handelt sich also um eine große Menge an GPS-Traces, die sich ausschließlich auf befahrbaren Straßen befinden.
Das Ziel der Arbeit ist es eine Möglichkeit zu finden sämtliche Fahrten auf einer Karte darzustellen und auch noch statistisch zu erfassen. Interessant wäre, wo die Fahrzeuge noch nicht bewegt wurden, wieviel Prozent der Straße abgefahren wurden, etc. pp.
Kann vielleicht einer der alten Hasen/OSM-Profis abschätzen, ob dieses Projekt überhaupt auf der Grundlage von OSM möglich ist, bzw. alleine in 6 Monaten zu bewältigen ist, wenn man mit der Materie noch nicht vertraut ist?
Die GPS-Traces könnten auf Wunsch in OSM einfließen und damit zur besseren Genauigkeit/Aktualität des Kartenmaterials beitragen.
Ich würde mich sehr auf euren Input freuen!
vg

Last edited by Tabularaza (2012-08-02 19:33:40)

maxbe · 2012-08-02 19:11:24

Hi Tabularaza,

also wenn Dir Dein Betreuer diese Fragen nicht beantworten kann... such Dir einen neuen

Im Ernst: Hast Du nen Betreuer, der da Erfahrung hat, oder wenigstens einen kennt, der sich auskennt? Oder ein paar Tools, die schon vorhanden sind? Falls nicht, würde ich mich zumindest deutlich beschränken. 6 Monate sind nicht viel: 2 Wochen tippen, 2 Monate User Interface basteln, da bleiben gerade mal 3.5 Monate für die echte Arbeit und Urlaub.

Wenn da eine große Flotte mehrmals pro Sekunde einen Wert ausspuckt, hast Du gigantische Datenmengen. Die musst Du bändigen, für die Anzeige und Statistik zeitlich und räumlich sortieren. Das könnte schon auch noch mal ein paar Wochen kosten. Die Zuordnung zur Straße (-nklasse) ist auch noch mal ein paar Wochen (tracks liegen grundsätzlich ein bisschen daneben). Dann die Frage, was passiert, wenn man in näherer Umgebung in OSM keine Straße findet (Du schreibst "weltweit"...).

Ich denke, bei der Visualisierung würde ich aufhören. Weiße unbefahrene Flecken suchen könnte auch noch dazukommen. Aber allzuviel Statistik würde ich nicht mehr reinnehmen. Reicht ja wenn man die Schnittstellen dafür anbietet und danach ne feste Anstellung hast um, da weiter zu machen. "Prozentanteile vom Straßennetz" halte ich sowieso für Kaffeesatzleserei, wer weiss schon, was 100% sind?

Grüße, Max

Last edited by maxbe (2012-08-02 19:12:01)

SunCobalt · 2012-08-02 19:14:34

die GPS Track nehmen wir trotzdem

Tabularaza · 2012-08-02 19:47:07

Vielen Dank für die rasche Antwort!

Nunja, der Grund, weshalb ich diesen Thread ins Leben gerufen habe ist die Machbarkeit des Ganze. Es existieren über 15TB an Traces die teilweise auch schon einige Jahre alt sind. Da sind allerdings viele unwichtige Informationen wie aktuelle Geschwindigkeit, Treibstoffverbrauch, etc.pp. gespeichert (der komplette CAN und MOST Datenverkehr). Es existiert bereits ein Tool, das die Daten wesentlich reduzieren kann (Straßenname und Längen-/Breitengrad, z.B.). Darauf könnte ich ansetzen und die Daten noch weiter reduzieren, in dem ich jedesmal einen Wegpunkt generiere, wenn sich der Straßenname verändert. Natürlich habe ich den Freiraum das Ganze für die DA erst mal auf das Autobahn und Bundesstraßennetz zu reduzieren, vielleicht auch nur auf ein Land oder Bundesland.
Mein erster Ansatz war Google Maps, aber da gibt es zu viele Restriktionen, was den Datenverkehr/Abfragen pro Tag betrifft. So bin ich auf OSM gestoßen.
Bei uns gibt es einige Mitarbeiter, die auch schon Diplom-/Masterarbeiten im Zusammenhang mit OSM betreuten und auch großes Interesse zeigen dieses Projekt (OSM) weiter vorran zu treiben.

Ich selbst hab wie gesagt noch wenig Erfahrung mit der Materie. Hab bisher nur mein Viertel ein wenig vervollständigt und bezüglich meines Anliegens im Netz recherchiert, aber leider noch keinen brauchbaren Ansatz/Papers zu dem Thema ausfindig machen können.

Last edited by Tabularaza (2012-08-02 19:50:17)

SunCobalt · 2012-08-02 20:01:13

Also mal laut gedacht. Man importiere Europe-OSM in PostgreSQL und erzeuge eine Spalte "besucht". Danach importiere man die Lat/Lon Paare + HDOP aus den vorhanden Daten und generiere eine Geom Spalte aus latlon. Jetzt prüft man für jeden Punkt, ob sich eine Straße im Umkreis von 10m+HDOP befindet. Falls ja, zählt man in der Spalte "besucht" der Straßen einen Zähler hoch. Sind zwei Straßen im Umkreis, nimmt man die nächstliegende. Jetzt kann man die besuchten Straßen visualisieren, evtl erst ab einem gewissen Wert in "besucht", und sogar die Farben nach Anzahl der Besuche staffeln. Statistische Funktionen, wie Länge aller besuchten/nicht besuchten Straßen pro Straßenkategorie sollten mit Postgres auch möglich sein.

Achso, die Messpunkte selber zu visualisieren, geht natürlich auch problemslos. Hab ich mal für ein anderes Projekt gemacht, wo Messorte von Ortungen von Handymasten + den gefunden Handymast visualisiert wurde.

Last edited by SunCobalt (2012-08-02 20:05:53)

Dennis[B] · 2012-08-02 20:09:38

Da hast Du echt einiges vor Dir. Wenn Du bei Null anfängst, behaupte ich mal, das ist von der Menge her nicht möglich.

Alleine das Automatisieren, welcher Track jetzt welche Straße ist, dürfte ausreichend sein für eine Masterarbeit. Unter Einbeziehung weiterer Sensordaten wie Kompass oder Beschleunigungssensoren, unter Berücksichtigung der Vergangenheit, usw. Wie viele Navis springen von der Autobahn auf die Landstraße, wenn diese nur dicht genug an der Autobahn ist. Hier dürfte alleine die Geschwindigkeit und die Vergangenheit ausreichend sein. Was noch nie einer gemacht hat, ist ein Handy-Navi mit einem Microfon zu koppeln, um an einer Kreuzung zu horche, ob der Blinker an ist - was die Warscheinlichkeit eines Abbiegens erhöht. Wobei das bei Nur-GPS-Daten natürlich weg fällt. Hier musst Du Dich mit Position, Richtung, Geschwindigkeit und Beschleunigung begnügen.

Ich würde an Deiner Stelle anfangen, das ganze Visuell darzustellen. Also mit Hilfe von JOSM z.B. kannst Du kleinere Datenmengen einladen und damit eine Straßenkarte erzeugen.

Dann programmierst Du Dir Geschwindigkeitsfilter, welche nur GPS-Daten durchlassen, die > 120 km/h sind. Damit siehst Du dann alle Autobahnen.

Für einzelne Städte könntest Du auch eine Überblendung erstellen. Also im Hintergrund eine Farblose Straßenkarte von OSM und im Vordergrund die Farbigen GPS-Daten. Das geht mit JOSM recht einfach, auch ohne etwas zu verändern.

wambacher · 2012-08-02 20:11:12

Tabularaza wrote:

Mein erster Ansatz war Google Maps, aber da gibt es zu viele Restriktionen, was den Datenverkehr/Abfragen pro Tag betrifft. So bin ich auf OSM gestoßen.

Die gibt es bei uns auch!!!!
Wenn du Georeferenzierung machen möchstest ("wo bin ich gerade? wie heisst die Stadt, die Strasse?") könntest du unseren Nominatim-Service verwenden, wenn du nicht zuviel abfragst. Und da liegt der Hase im Pfeffer. Ihr werdet dafür einen eigenen Nominatim-Server aufsetzen müssen, der selbstverständlich mit den aktuellen OSM-Daten arbeiten darf und soll. Es muss ein eigener Rechner mit passender Infrastruktur sein oder ihr müsstet einen externen Dienstleister (gegen Kohle!) verwenden, sonst gibt es auch bei uns "Mächtig Ärger".

Für Nominatim und die passende Infrastruktur (Rechner, Datenbank, Automatischer Datenupdate aus OSM) würde ich bei einem Newbie schon mal 2-3 Wochen ansetzen.

Ansonsten möchte ich Max definiv Recht geben: Das Projekt ist komplexer als du denkst - und erst recht dein Betreuer. Das reicht für ein halbes Dutzend Diplomarbeiten über einen Zeitraum von mindestens 2 Jahren. Anschliessend hat dein Betreuer eine eigene Firma

Gruss
Walter

Nachtrag zu den Tracks:
es ist ein bei uns immer noch ungelöstes Problem, wie man mit Tracks umgeht, die alle die gleiche Strecke beschreiben, aber dennoch immer etwas abweichen. Wie gerne hätten wir dafür einen gewichteten Mittelwert als "Durchschnitt" aller Tracks. Eventuell fällt ja sowas bei euch ab.

Last edited by wambacher (2012-08-02 20:18:19)

Oli-Wan · 2012-08-02 20:25:56

Tabularaza wrote:

Natürlich habe ich den Freiraum das Ganze für die DA erst mal auf das Autobahn und Bundesstraßennetz zu reduzieren, vielleicht auch nur auf ein Land oder Bundesland.

Ich behaupte mal: Beschränkung auf bestimmte Straßen bringt nichts. So müssen ja doch alle Daten durchforstet und jedes Wegstück dahingehend überprüft werden, ob es auf eine solche Straße fällt. Dann doch lieber nur Daten aus einem bestimmten lat/lon-Rechteck ausschneiden und damit arbeiten.

Tabularaza wrote:

Mein erster Ansatz war Google Maps, aber da gibt es zu viele Restriktionen, was den Datenverkehr/Abfragen pro Tag betrifft. So bin ich auf OSM gestoßen.

Falls Du vorhaben solltest, die OSM-Server einzuspannen: vergiß es. Erstens ist das von der API gelieferte Format für Deine Zwecke sicher untauglich, zweitens sind deren Kapazitäten beschränkt und massive Zugriffe daher nicht erlaubt, siehe auch http://wiki.openstreetmap.org/wiki/API_usage_policy und dort speziell "Heavy Users". Also muß eine eigene Datenbank her, von uns gibt es nur die Daten dafür. Wenn eine solche Datenbank noch nicht vorhanden ist, gehen für die Einrichtung ohne einschlägige Vorkenntnisse schon einmal die ersten Wochen drauf.

SunCobalt · 2012-08-02 20:30:19

wambacher wrote:

Für Nominatim und die passende Infrastruktur (Rechner, Datenbank, Automatischer Datenupdate aus OSM) würde ich bei einem Newbie schon mal 2-3 Wochen ansetzen.

Postgres reicht um die nächste Straße zu einer Position zu finden

Dennis[B] · 2012-08-02 20:35:06

Anbei mal ein Bild mit GPS-Daten über einer SW-Karte in JOSM. Falls Deine Auswertungen eher Grafisch als Technisch erfolgen sollen.

GPS%20%C3%BCber%20Karte.PNG

Tabularaza · 2012-08-02 20:37:25

Oha, ihr macht mir Angst!

Was noch nie einer gemacht hat, ist ein Handy-Navi mit einem Microfon zu koppeln, um an einer Kreuzung zu horche, ob der Blinker an ist - was die Warscheinlichkeit eines Abbiegens erhöht

Ob der Blinker betätigt wurde, kann ich aus den Daten entehmen - sogar den Grad der Einlenkung durch das Lenkrad, die Daten der Sensoren an den Reifen, inklusive Be-/Entschleunigung (nicht durch GPS sondern Sensoren ermittelt), Geschwindigkeitsbegrenzung aufgenommen durch Kamera, etc.pp. - naja alles was so ein Oberklassewagen mit Komplettausstattung halt so aufzeichnet. Aber das ist definitiv zu viel. Ich will mit möglichst wenig Daten, bzw. mit den Essentiellen Daten beschäftigen müssen. Es ist ja schon ein Navigationssystem verbaut, dass das Fahrzeug immer brav auf der Straße anzeigt (inkl. Straßennamen). Auf diese Daten habe ich auch Zugriff, als auch auf die 'RAW'-GPS-Daten.

@SunCobalt, Dennis und wambacher: vielen Dank für den Brainstorm!

vg,
Stefan

Tabularaza · 2012-08-02 20:39:40

@Oli-Wan: Bezüglich der Datenbank bin ich auf diesen Blog aufmerksam geworden:
http://goblor.de/wp/2009/10/16/openstre … -einlesen/

wambacher · 2012-08-02 20:40:29

SunCobalt wrote:

wambacher wrote:
Für Nominatim und die passende Infrastruktur (Rechner, Datenbank, Automatischer Datenupdate aus OSM) würde ich bei einem Newbie schon mal 2-3 Wochen ansetzen.
Postgres reicht um die nächste Straße zu einer Position zu finden

klar,mach ich selber so, aber er hat ausdrücklich Google angesprochen und dass die dort anfallenden Kosten Grund dafür waren, nach OSM zu gehen. Also werden die wohl Georeferenzierung per API gemacht haben. Ich wollte nur darauf hinweisen, dass es bei uns auch Ärger geben kann.

Um das selber mit PostGis zu machen, muss man sowas am Rennen haben, die Daten aktuell halten und das auch benutzen können. Das kostet auch Zeit.

Gruss
walter

SunCobalt · 2012-08-02 20:41:59

Dank Maxbe schaffe ich es sogar selber aus Postgres die nächsten Straßen zu finden
http://suncobalt.dyndns.org:82/test/distance.html
Nix mit Nominatin und so. Ich weiß nicht, warum ihr hier den Teufel an die Wand malt. Wo seht ihr denn das große Problem? Man braucht nur einen Rechner mit viel Plattenplatz und Bums

SunCobalt · 2012-08-02 20:43:00

wambacher wrote:

Um das selber mit PostGis zu machen, muss man sowas am Rennen haben, die Daten aktuell halten und das auch benutzen können. Das kostet auch Zeit.

Nö, letzter ccbysa Planet. Aktuelle Daten würde ich nicht nehmen

Tabularaza · 2012-08-02 20:43:01

Die Idee mit den Overlays hatte ich auch schon, ist halt die wie exakt das ganze auf der Infrastruktur liegt. Außerdem sollte da datenbanktechnisch schon ein Bezug zu einer bestimmten Straße bestehen, als nicht rein auf grafischer Ebene basieren.
@Dennis: Das schaut doch schon vielversprechend aus.

SunCobalt · 2012-08-02 20:44:56

Tabularaza wrote:

Die Idee mit den Overlays hatte ich auch schon, ist halt die wie exakt das ganze auf der Infrastruktur liegt. Außerdem sollte da datenbanktechnisch schon ein Bezug zu einer bestimmten Straße bestehen, als nicht rein auf grafischer Ebene basieren.

Wenn bei Du der "nächsten Straße" ein Merkmal setzt, kannst Du das Overlay so gestalten, dass es genau auf der Straße liegt und damit so aussieht, als wenn es die Straße selber wäre. Alternativ kannst Du auch komplett selber rendern, sprich die Straßen als solche, als postiv und negativ Karte.

Last edited by SunCobalt (2012-08-02 20:47:31)

Oli-Wan · 2012-08-02 20:49:28

Tabularaza wrote:

@Oli-Wan: Bezüglich der Datenbank bin ich auf diesen Blog aufmerksam geworden:
http://goblor.de/wp/2009/10/16/openstre … -einlesen/

Da gibt es aktuelleres... http://switch2osm.org/other-uses/ sei mal als Anlaufstelle genannt. Propaganda, Einführung, Anwendungsbeispiele und praktische Anleitungen. Der Schwerpunkt liegt auf einem Tileserver, aber Datenbank ist natürlich auch dabei.

Last edited by Oli-Wan (2012-08-02 20:49:59)

wambacher · 2012-08-02 20:51:03

Tabularaza wrote:

Es ist ja schon ein Navigationssystem verbaut, dass das Fahrzeug immer brav auf der Straße anzeigt (inkl. Straßennamen). Auf diese Daten habe ich auch Zugriff, als auch auf die 'RAW'-GPS-Daten.

und weiter gehts:

handelt es sich - ohne gleich auf Firmennamen zu kommen- um eine eigene Flotte, die von eigenen Mitarbeitern gefahren wird oder gar um eine Mietwagen-Firma, die ihre Flotte an Kunden vermietet?
Da könnte es in beiden Fällen einige Probleme in Hinsicht Datenschutz geben! Probleme mit Taxis gab es schon mal.

Und dann würde ich auch prüfen (lassen) wie es mit Daten aus dem Navi ist, die über Fahrzeugwerte und GPS-Daten hinausgehen. Strassennamen aus einem eingebauten Navi zu übernehmen, könnte auch kritisch sein. Obwohl, nach OSM wollt ihr die ja nicht reinschaufeln, oder?

Gruss
walter

wambacher · 2012-08-02 20:53:33

SunCobalt wrote:

Nö, letzter ccbysa Planet. Aktuelle Daten würde ich nicht nehmen

Er hat 6 Monate Zeit (minus einige Wochen, wo er wohl schon nachgedacht hat).

Wenn bis dahin der Bot nicht vergessen ist, glaub ich nicht mehr an unsere Power.

Tabularaza · 2012-08-02 20:56:47

Wenn bei Du der "nächsten Straße" ein Merkmal setzt, kannst Du das Overlay so gestalten, dass es genau auf der Straße liegt und damit so aussieht, als wenn Straße selber wäre. Alternativ kannst Du auch komplett selber rendern.

Das ist der Ansatz, den ich bisher zu Verfolgen versuche. Ich könnte aus den Daten die Knotenpunkte entnehmen und so eine Route generieren. Es sind halt allein in in einer Stadt einige tausend Routen pro Jahr, die alle dargestellt werden sollten.
Das Problem, wieviel Prozent, bzw. welcher Anteil einer Straße abgefahren wurde beschäftigt mich auch stark. Werden die Straßen in OSM als Listen aus Vektoren beschrieben? Wie berechnen die Navigationssysteme z.B. 'fahren sie 23.7 km auf der Straße' XY?

SunCobalt · 2012-08-02 21:01:12

ich glaub, dass das gut zu schaffen ist wenn man mit Computern umgehen kann, also Linux, SQL etc. 1) OSM-DB einspielen, 2)GPS-DB einspielem, 3)Punkte auf nächste Straße prüfen und 4)Merkmale setzen, 5)Rendern und 6)Statistik erstellen. Am längsten wird vermutlich das "Punkte auf nächste Straße prüfen" dauern. Bir Millarden von Punkte ist das eine ziemlich zeitaufwendige Prüfung. 1,2,3,5 sind trivial. 4 und 6 vermutlich auch, aber nicht für mich

maxbe · 2012-08-02 21:01:34

Also eine DB aufsetzen, GPX-Tracks drüberjagen und die Straßenstücke kennzeichnen im Sinne von "wurde schon X mal befahren" oder "wurde seit Januar 2011 nicht mehr von uns heimgesucht" und daraus eine Karte (aus den Straßen, nicht aus den Tracks) malen, wäre realistisch. Ein paar Tabellen dazu auch ("30% aller Ortsverbindungsstraßen wurden noch nie befahren, 80% aller Straßen im Wohngebiet, aber nur 10% der Autobahnen").

Den Erkenntnisgewinn für den Auftraggeber aus "Die Dingsstraße in Sowieso wurde erst 3 Mal befahren" oder "noch nie war einer von uns auf diesem Autobahnstück" sehe ich allerdings nicht...

@walter: Taxis scheiden aus, so nobel sind die nicht ausgestattet und deren Besitzer geben ihre Tracks nicht gern raus.

Grüße, Max

Last edited by maxbe (2012-08-02 21:07:20)

Tabularaza · 2012-08-02 21:04:20

handelt es sich - ohne gleich auf Firmennamen zu kommen- um eine eigene Flotte, die von eigenen Mitarbeitern gefahren wird oder gar um eine Mietwagen-Firma, die ihre Flotte an Kunden vermietet?
Da könnte es in beiden Fällen einige Probleme in Hinsicht Datenschutz geben! Probleme mit Taxis gab es schon mal.

Es handelt sich um eine eigene Flotte, die ausschließlich von eigenen Mitarbeitern gefahren wird.

SunCobalt · 2012-08-02 21:12:43

maxbe wrote:

Den Erkenntnisgewinn für den Auftraggeber aus "Die Dingsstraße in Sowieso wurde erst 3 Mal befahren" oder "noch nie war einer von uns auf diesem Autobahnstück" sehe ich allerdings nicht...

Ist ja auch ne Diplomarbeit, keine Doktorarbeit. Ich vermute mal ins Blaue...Der Auftraggeber will eigentlich wissen, wieviele seiner Routen in OSM sind und ob der sich nicht die teuren Lizenzgebühren sparen kann

Announcement

#1 2012-08-02 18:11:30

Diplomarbeit - Abdeckung des Straßennetzes

#2 2012-08-02 19:11:24

Re: Diplomarbeit - Abdeckung des Straßennetzes

#3 2012-08-02 19:14:34

Re: Diplomarbeit - Abdeckung des Straßennetzes

#4 2012-08-02 19:47:07

Re: Diplomarbeit - Abdeckung des Straßennetzes

#5 2012-08-02 20:01:13

Re: Diplomarbeit - Abdeckung des Straßennetzes

#6 2012-08-02 20:09:38

Re: Diplomarbeit - Abdeckung des Straßennetzes

#7 2012-08-02 20:11:12

Re: Diplomarbeit - Abdeckung des Straßennetzes

#8 2012-08-02 20:25:56

Re: Diplomarbeit - Abdeckung des Straßennetzes

#9 2012-08-02 20:30:19

Re: Diplomarbeit - Abdeckung des Straßennetzes

#10 2012-08-02 20:35:06

Re: Diplomarbeit - Abdeckung des Straßennetzes

#11 2012-08-02 20:37:25

Re: Diplomarbeit - Abdeckung des Straßennetzes

#12 2012-08-02 20:39:40

Re: Diplomarbeit - Abdeckung des Straßennetzes

#13 2012-08-02 20:40:29

Re: Diplomarbeit - Abdeckung des Straßennetzes

#14 2012-08-02 20:41:59

Re: Diplomarbeit - Abdeckung des Straßennetzes

#15 2012-08-02 20:43:00

Re: Diplomarbeit - Abdeckung des Straßennetzes

#16 2012-08-02 20:43:01

Re: Diplomarbeit - Abdeckung des Straßennetzes

#17 2012-08-02 20:44:56

Re: Diplomarbeit - Abdeckung des Straßennetzes

#18 2012-08-02 20:49:28

Re: Diplomarbeit - Abdeckung des Straßennetzes

#19 2012-08-02 20:51:03

Re: Diplomarbeit - Abdeckung des Straßennetzes

#20 2012-08-02 20:53:33

Re: Diplomarbeit - Abdeckung des Straßennetzes

#21 2012-08-02 20:56:47

Re: Diplomarbeit - Abdeckung des Straßennetzes

#22 2012-08-02 21:01:12

Re: Diplomarbeit - Abdeckung des Straßennetzes

#23 2012-08-02 21:01:34

Re: Diplomarbeit - Abdeckung des Straßennetzes

#24 2012-08-02 21:04:20

Re: Diplomarbeit - Abdeckung des Straßennetzes

#25 2012-08-02 21:12:43

Re: Diplomarbeit - Abdeckung des Straßennetzes

Board footer