You are not logged in.

#1 2020-03-23 16:30:25

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

PTNA - News: GTFS-Analyse

Hi,

folgende Erweiterung gibt es in PTNA - der Web-Seite: https://ptna.openstreetmap.de

* GTFS-Analyse

Das ist eine PHP-basierte Analyse von GTFS-Daten, wie sie von Verkehrsverbünden bereitgestellt werden.

Derzeit ist das (nur) der MVV (Münchner Verkehrs- und Tarifverbund), weitere werden folgen.

Schaut's euch das mal an - Feedback und weitere GTFS-Quellen sind willkommen.

Gruß,
Toni

P.S.: einige Abfragen dauern derzeit noch recht lange (bis zu 50 Sekunden). Das sind die Abfragen nach den Details einer Linie. An einer Optimierung [1], durch Reduzierung der Datenmenge arbeite ich gerade.

[1] https://ptna.openstreetmap.de/de/gtfs-doc.php#aggregate

Edit: update URL [1]

Last edited by ToniE (2020-04-22 11:22:14)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#2 2020-03-24 08:03:32

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

Hi,

für das gpx könnte ich dir auch eine Funktion in JavaSkript schreiben wink Wenn du vielleicht noch die Classen-Namen eindeutiger machst (results-name)... die Fehler im Html noch raus machst (</a> wink

                    <tr class="results-tablerow">
                        <td class="results-datadate">24</a></td>
                        <td class="results-name">Neufinsing, Rathaus</a></td>
                        <td class="results-name">48.22106576769</a></td>
                        <td class="results-name">11.8026285427951</a></td>
                        <td class="results-name">gen:9177:3490:0:2</a></td>
                        <td class="results-datadate"></td>
                        <td class="results-datadate"></td>
                        <td class="results-network"></td>
                    </tr>

Offline

#3 2020-03-24 09:38:30

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

miche101 wrote:

Hi,

für das gpx könnte ich dir auch eine Funktion in JavaSkript schreiben wink Wenn du vielleicht noch die Classen-Namen eindeutiger machst (results-name)... die Fehler im Html noch raus machst (</a>

Danke Miche,

ich nehme das Angebot gerne an.

Bzgl. Java-Script: das könntest du direkt in GitHub https://github.com/osm-ToniE/ptna-www dort ins Verzeichnis "script" einbringen ...

Nur sofern du GitHub magst und Zugang hast natürlich.

Ich werde die Tabellen noch ändern ... und die einzelnen Infos mit ihren GTFS-Namen benennen und durchnumerieren (%03d)

Gruß,
Toni

<h2>GTFS Analyse für <span id="network">DE-BY-MVV</span> Linie "<span id="route_short_name">xxx</span>", Trip-ID = "<span id="trip_id">adasasafaf</span>"</h2>

...

    <tr class="gtfs-tablerow">
        <td id="stop_sequence_001"         class="gtfs-number">1</td>
        <td id="stop_name_001"             class="gtfs-name">Neufinsing, Rathaus</td>
        <td id="stop_lat_001"              class="gtfs-lat">48.22106576769</td>
        <td id="stop_lon_001"              class="gtfs-lon">11.8026285427951</td>
        <td id="stop_id_001"               class="gtfs-id">gen:9177:3490:0:2</td>
        <td id="ptna_is_invalid_001"       class="ptna-radio"></td>
        <td id="ptna_is_wrong_001"         class="ptna-radio"></td>
        <td id="ptna_comment_001"          class="ptna-comment"></td>
    </tr>

Last edited by ToniE (2020-03-24 09:38:50)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#4 2020-03-24 09:47:57

Rainero
Member
Registered: 2016-02-26
Posts: 197

Re: PTNA - News: GTFS-Analyse

Hallo Toni,

wg. GTFS, ich weiß nicht ob ich es schon mal erwähnt habe: die S-Bahn Stuttgart bietet GTFS für OSM an: https://data.deutschebahn.com/dataset/d … tgart-gtfs.
Vielleicht sagst du auch nur "gähn, kenne ich doch schon" wink

- Rainer

Offline

#5 2020-03-24 09:49:19

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ok, class="gtfs-* werden die neuen ClassenNamen smile werd mich mal die nächsten tage hinsetzen smile

Offline

#6 2020-03-24 10:19:31

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

miche101 wrote:

ok, class="gtfs-* werden die neuen ClassenNamen smile werd mich mal die nächsten tage hinsetzen smile

wäre es nicht günstiger, über die "id" zu gehen? Die ist eindeutig.


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#7 2020-03-24 10:23:03

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

Rainero wrote:

Hallo Toni,

wg. GTFS, ich weiß nicht ob ich es schon mal erwähnt habe: die S-Bahn Stuttgart bietet GTFS für OSM an: https://data.deutschebahn.com/dataset/d … tgart-gtfs.
Vielleicht sagst du auch nur "gähn, kenne ich doch schon" wink

- Rainer

Bin ausgeschlafen, kein Grund zu gähnen cool

Ich werde die mal runterladen und integrieren.
Die Menge ist sehr überschaubar, keine Performanceprobleme zu erwarten - anders als beim VRR (mehr Daten als MVV).

Aber ich muss mich mal auf das Aggregieren konzentrieren, 50 Sekunden für die Abfrage der Varianten vom 210er ist zu viel.
Einen großen Teil der dabei immer wieder zu machenden Arbeit kann ich vorab einmalig machen.

Gruß,
Toni

Last edited by ToniE (2020-03-24 10:24:53)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#8 2020-03-24 10:32:01

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

wäre es nicht günstiger, über die "id" zu gehen? Die ist eindeutig.

ich hätte jetzt die id der tabelle genommen und tbody und dann eine schleife der tr's gemacht...

Günstiger finde ich es nicht.. weil ich da alle id's testen muss ob sie existieren... und dann hochzählen bis mal eine nicht gibt... find ich schlampig hmm

Offline

#9 2020-03-24 11:30:23

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

miche101 wrote:
ToniE wrote:

wäre es nicht günstiger, über die "id" zu gehen? Die ist eindeutig.

ich hätte jetzt die id der tabelle genommen und tbody und dann eine schleife der tr's gemacht...

Günstiger finde ich es nicht.. weil ich da alle id's testen muss ob sie existieren... und dann hochzählen bis mal eine nicht gibt... find ich schlampig hmm

OK, dann lasse ich die "id" komplett weg und sehe zu, dass die "class" innhalb einer Tabellenzeile eindeutig bleiben.


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#10 2020-03-24 11:47:44

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

, dass die "class" innhalb einer Tabellenzeile eindeutig bleiben.

wäre nicht schlecht wink sonst /lat/g usw.

Offline

#11 2020-03-24 12:29:24

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ach ja... wenn noch die Attribute/Dateinamen gefüllt haben möchtest... <name> xsd:string </name> <src> xsd:string </src> usw. wäre ein <span id="">...</span> gut wink

Edit:
denk da an so:
- DE-BY-MVV
- Linie => "262",
- Trip-Id => "1.T0.19-262-s20-1.6.H"

Last edited by miche101 (2020-03-24 12:31:44)

Offline

#12 2020-03-24 12:44:04

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

miche101 wrote:

ach ja... wenn noch die Attribute/Dateinamen gefüllt haben möchtest... <name> xsd:string </name> <src> xsd:string </src> usw. wäre ein <span id="">...</span> gut wink

Edit:
denk da an so:
- DE-BY-MVV
- Linie => "262",
- Trip-Id => "1.T0.19-262-s20-1.6.H"

Exakt, hatte ich in meinem Code oben u.A. schon erwähnt:

<h2>GTFS Analyse für <span id="network">DE-BY-MVV</span> Linie "<span id="route_short_name">xxx</span>", Trip-ID = "<span id="trip_id">adasasafaf</span>"</h2>

Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#13 2020-03-24 14:38:12

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

oben u.A. schon erwähnt:

ahhh ok... hab ich übersehen smile

Offline

#14 2020-03-25 20:05:48

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

Nur sofern du GitHub magst und Zugang hast natürlich.

Hab ich nicht,... ich schick es dir so... E-Mail ist raus smile

Offline

#15 2020-03-26 12:13:55

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

miche101 wrote:
ToniE wrote:

Nur sofern du GitHub magst und Zugang hast natürlich.

Hab ich nicht,... ich schick es dir so... E-Mail ist raus smile

Super und Danke, ist integriert.

Warum der Button bei mir im selben Browser (FF unter Linux) trotz identischem CSS mal

* 'lightgreen" und fett ist, wenn's von localhost mit lighttpd

* normal und nicht fett ist, wenn's vom ptna.openstreetmap.de mit apache

kommt erschließt sich mir nicht. sad

Na ja!

Die Aggregierung kommt voran, die Anzahl der "trip_id" reduziert sich beim MVV von ~37.000 auf ~2.400 repräsentative 'trip_id' -  das dauert auf meinem PC derzeit 20 Minuten.
Das dürfte die Web-Seite anschließend aber deutlich beschleunigen ... ich arbeite noch an den Feinheiten.

Last edited by ToniE (2020-03-26 20:27:19)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#16 2020-03-26 18:58:24

miche101
Member
Registered: 2008-12-16
Posts: 1,036

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

Super und Danke, ist integriert.

sehr schön smile

Offline

#17 2020-03-27 00:20:03

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

Die Aggregierung kommt voran, die Anzahl der "trip_id" reduziert sich beim MVV von ~37.000 auf ~2.400 repräsentative 'trip_id' -  das dauert auf meinem PC derzeit 20 Minuten.
Das dürfte die Web-Seite anschließend aber deutlich beschleunigen ... ich arbeite noch an den Feinheiten.

Die Arbeiten an der Aggregierung, dem Reduzieren der Datenmenge sind fertig.

Einige (nicht alle) Abfragen laufen nun um den Faktor 500 schneller, im 0.0x Sekundenbereich smilecool

Z.B. Suche nach den Varianten des 210er: von ~ 30 Sekunden auf 0.03 - 0,06 Sekunden.

Hier die Details:

* Dauer der Aggregierung auf dem PC                 =       1276 Sekunden ~ 21 Minuten
* Größe der SQLite-DB vorher                        =   56659968 Bytes ~ 54   MBytes
* Größe der SQLite-DB nachher                       =    5660672 Bytes ~  5,4 MBytes
* Anzahl der Linien vorher                          =        623
* Anzahl der Linien nacher                          =        278 (solche, die ab heute oder in der Zukunft gültig sind)
* Anzahl der Fahrten vorher                         =      37236
* Anzahl der Fahrten nachher                        =       2330 (die sich nur durch den Weg, nicht mehr durch die Abfahrtszeiten unterscheiden)

Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#18 2020-03-27 13:06:23

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

Rainero wrote:

Hallo Toni,

wg. GTFS, ich weiß nicht ob ich es schon mal erwähnt habe: die S-Bahn Stuttgart bietet GTFS für OSM an: https://data.deutschebahn.com/dataset/d … tgart-gtfs.
Vielleicht sagst du auch nur "gähn, kenne ich doch schon" wink

- Rainer

Hallo Rainer,

Stuttgarter S-Bahn ist auch drin.

Und dabei kommt mir die Idee: Ich könnte noch untersuchen:

* welche Variante Teilroute welcher anderen Variante(n) ist.

* welche Variante ein merkwürdiges Ende "nimmt"

** Da gibt es beim 210er des MVV eine, wo der Bus an der Endhaltestelle wendet, dabei aber keine Passagiere mitnimmt (zumindest im online-PDF-Fahrplan nicht sichtbar). Das sieht eher aus wie ein Fahranweisung für den Busfahrer.

Das könnte ich versuchen zu erkennen und im Kommentar abzulegen.


GTFS-Aggregation für den VRR läuft und läuft und läuft ... seit 2 Stunden. DB ist 6 mal größer als die vom MVV und die hat schon 20 Minuten benötigt.

Gruß,
Toni

Last edited by ToniE (2020-03-30 15:24:40)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#19 2020-03-27 17:38:53

Rainero
Member
Registered: 2016-02-26
Posts: 197

Re: PTNA - News: GTFS-Analyse

ToniE wrote:

Hallo Rainer,

Stuttgarter S-Bahn ist auch drin.

Hallo Toni,
sehr schön smile

Inzwischen habe ich noch weiteres Futter gefunden, das lizenztechnisch ok sein dürfte:
KVV
VBB

Gruß,
Rainer

Offline

#20 2020-03-27 17:54:09

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

Rainero wrote:
ToniE wrote:

Hallo Rainer,

Stuttgarter S-Bahn ist auch drin.

Hallo Toni,
sehr schön smile

Inzwischen habe ich noch weiteres Futter gefunden, das lizenztechnisch ok sein dürfte:
KVV
VBB

Gruß,
Rainer

Hi Rainer,

sehr gut, das hält mich beschäftigt.

* KVV ist auch bei PTNA-Analyse noch nicht drin, das kann ich nachholen.

* VBB ist zwar drin, aber die Liste der erwarteten Linien ist so gut wie leer, d.h. derzeit nur eine IST-Analyse.

* GTFS ist nicht gleich GTFS ist nicht gleich GTFS  ... jeder interpretiert den Standard wohl ein wenig anders.

* GTFS-Aggregation für den VRR (Sqlite-DB 330 MB!) erstmal nach 6 Stunden Laufzeit abgebrochen, ein paar printf() eingebaut um zu sehen, ob der überhaupt was sinnvolles tut, neu gestartet.

* Miche hat mir ein JavaScript geschickt, mit dem man Routen in GPX ausgeben kann .. smile

* Die Liste der existierenden Linien kann man ja für PTNA aus GTFS generieren, das mach' ich dann auch mal ...

Gruß,
Toni

Last edited by ToniE (2020-03-27 17:55:09)


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#21 2020-03-27 19:58:36

aixbrick
Member
Registered: 2016-05-31
Posts: 303

Re: PTNA - News: GTFS-Analyse

AVV: http://opendata.avv.de/current_GTFS/ (gemeinfrei/CC0)

Offline

#22 2020-03-27 20:30:25

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

aixbrick wrote:

Danke und prima ... jetzt geht's aber los.

Wie beim VRR sind hier auch shapes.txt dabei - das wird noch einmal ein Kapitel für sich!

SQLite-DB von AVV hat die gleiche Größe wie bei MVV,

D.h. Aggregation sollte in 20 Minuten durch sein, danach noch ein wenig Feintuning, ... aber noch ohne shapes.txt sad


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#23 2020-03-28 17:54:14

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

Update:

* AVV ist nun drin, aber ohne SPNV und noch ohne shapes
** SPNV scheint in GTFS nicht korrekt abgelegt zu sein, einige route_id in routes.txt gibt es doppelt (sollte UNIQUE sein)

* VBB ist in Arbeit, Aggregierung wird wohl > 10 Stunden laufen: 1280 Routen, 203701 Trips

* VRR ist in Arbeit, Aggregierung wird wohl ~ 10 Stunden laufen: 1825 Routen, 139344 Trips

* KVV macht Probleme, routes.txt und trips.txt scheint mit dem Feld 'route_id' nicht zu klappen ... 'no such column'

* Analyse implementiert: "welche Variante Teilroute welcher anderen Variante(n) ist."

Alles in Allem: GTFS ist nicht gleich GTFS ist nicht gleich GTFS ... jeder Datensatz eines neuen Verbundes bringt wieder eine Überraschung mit sich.


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#24 2020-03-29 16:33:11

ToniE
Member
From: Ottobrunn, Bayern, Germany
Registered: 2016-06-13
Posts: 404

Re: PTNA - News: GTFS-Analyse

Update:

* VBB ist integriert, Aggregierung dauerte 17 Stunden https://ptna.openstreetmap.de/en/gtfs-s … =DE-BE-VBB

* VRR ist integriert, Aggregierung dauerte 10 Stunden https://ptna.openstreetmap.de/en/gtfs-s … =DE-NW-VRR

* KVV, ich suche morgen mal nach einer Lösung


Alle Edits meiner Kommentare sind (nur) Typofixes, wenn nicht explizit anders angegeben.

Offline

#25 2020-03-29 16:49:15

Rainero
Member
Registered: 2016-02-26
Posts: 197

Re: PTNA - News: GTFS-Analyse

GTFS ist nicht wie Klopapier und Trockenhefe, es gibt Nachschub:
GTFS Daten BaWü
wink

Last edited by Rainero (2020-03-29 16:49:31)

Offline

Board footer

Powered by FluxBB