OSM Transport Karte und Upload verbessern ?

Ich an deiner Stelle würde die Ankündigungsmail “New map no 2 is online” einen halben Tag später schicken.

Den Leuten, die sich die Torrent-Daten automatisch von Dropbox holen, kann es egal sein. Deren Server sind geduldig und können auch gut über Nacht bei 50% stehenbleiben und am nächsten Tag weitermachen. Da wartet niemand vor einer Fortschrittsanzeige und will noch heute die Karte installieren.

Die Leute, die Deine Karten aber wirklich haben wollen, dürften das Runterladen als ziemlich frustrierend erleben: Sie bekommen um 18 Uhr eine Mail, schmeissen um 20 Uhr ihre Clients an, bekommen auch ordentliche Downloadraten und drei oder vier Peers, und dann bleibt der Fortschrittsbalken stehen. Sämtliche Peers sitzen nämlich bei 90% fest, weil dein erster Upload der Karten halt drei Stunden dauern würde und du den Rechner abends ausgemacht hast. Morgen geht es dann weiter mit den fehlenden 10%. Also … es würde weitergehen, falls der Nutzer dann noch Lust hat…

Dieses Erlebnis könntest du den Leuten ersparen, wenn du ihnen erst morgen früh die Mail schickst. Sie bekommen die Karte sowieso nicht vor dem Frühstück und sie schlafen besser, wenn sie nicht bei hängendem Download schlafen gehen müssen.

Alternativ noch mal ein Versuch mit Webseed… Das zeitliche Problem ist das gleiche, aber du könntest Upload und Benachrichtigung besser aufeinander abstimmen, weil du genau weisst, wann dein Upload abgeschlossen ist. Dass beim ersten Test nur 66% der Teilnehmer den Seed lesen konnten, ist nicht schlimm: Ein einziger würde reichen, den Rest zu versorgen…

Grüße, Max

Alternativ? Oder geht das nicht parallel?

Egal, ich kann inzwischen Webseeds wohl auch lesen, nachdem ich vor einigen Tagen den Vuze auf 5.4 hochgezogen habe. Dann wären es schon mal 2.

Und da meine Kiste rund um die Uhr an ist (bzw sein sollte ;)), bringt das den Kollegen wohl einiges.

Gruss
walter

Es geht parallel, aber ich denke Marko müsste sich entscheiden. Weil in der Zeit, die er mit Hochladen zum Webseeder verbringt, kann er nicht noch per Bittorrent ausliefern. Und zwischen seinen drei Karten, die er heute gemacht hat, ist ja fast nix mehr übrig vom Tag.

Hallo
Das mit der Benachrichtigung per mail ist eine gute idee, das etwas zu verzögern.

Habe jetzt in den neuen Karte automatisches Datum und Zeit mit drin.

Die Automatik macht kein Webseed möglich, die beste Wahl ist die Karten früh zumachen.

Wollen wir mal sehen wie das wird, heute war ein Fehler im Programm daher die Karte No6 so spät weil ich nicht da war.

Da es jetzt alles volautomatisiert abläuft könnte ich theo. mal 01 Uhr die Karte starten. Mal testen.
Beste Grüße

hat sich ja prächtig gemacht. Sorry, daß ich dich ein wenig getreten habe, aber nur so wie es jetzt ist, kann man das wirklich im Hintergrund benutzen.

Ich warte noch darauf, dass meine Vuze/Azureus anfängt, alte Files von selber zu löschen. Aber solange noch irgendwer auf der Welt einen Download davon macht, bleiben die halt drin. Das ist aber mein Problem, es sei denn du kennst einen Weg, das für alle zu machen.

die Karte No4 (nicht No04) vom 15.10 wäre so ein Kandidat.

Danke und Gruss
walter

Hallo

Nicht schlimm Walter nur so geht es auch nach vorn, denke ich.

Ich teste gerade mit der neuen automatischen Datumsfunktion im mkgmap ob ich da was machen kann mit Zeitstempel usw (das ein alter Torrent überschrieben wird).

Jetzt haben erst mal alle neuen Karten das aktuelle Datum und die Zeit wann die Karte gebaut wurde im Kartennamen mit drin.

Ich brauche jetzt nur noch "autostart-1! aufrufen mit " Geplante Aufgaben " Und alles ist fertig incl. des aktuellen Datums und Zeit.

Ich arbeite gerade auch an einer Lösung für eine automatische E-mail.

Ich will mal sehen ob ich das löschen mit find lösen kann ?

Also bisher scheint der Download mit dem Script die beste Lösung.

Ein Fehler in meinem Programmablauf hat alle Grunddaten gelöscht musste erst mal wieder alles herrichten.
Beste Grüße
Marko

Hallo
Der erste Versuch hat erst einmal alle Daten zerstört. :rage:

Neuer Versuch.
Beste Grüße
Marko

Bei dir wohl, oder?

Was willst du eigentlich erreichen? Einen Script, der bei dir Zuhause aufräumt, oder ein Verfahren, alle Kopien der Files auch bei uns zu löschen?
Zweiteres wäre nett, aber ich kann mir nicht vorstellen, daß das so einfach geht.

Ich habe meinem Vuze/Azureaus ja gesagt, er möge alle Files löschen, bei denen 7 Tage lang kein Download erfolgt ist, aber leider werden auch die uralten Files wie No4 oder No8 (nicht 04, 08) immer noch angefasst. Deine “Kunden” scheinen recht selten in deine Wiki-Liste zu schauen.

Nun denn, Platz hab ich genug. Es tut mir nur leid, daß der Kollege mühsam eine alte Karte herunterlädt, obwohl schon längst neue da sind.

Aktuelle Stand: 32 Datenfiles, 26 GB, 2.8 TB frei :slight_smile:

Gruss
walter

Ist wegen mir auch nicht nötig. Transmission ist ein Dämon und wird über eine Kommndozeile ferngesteuert. Da kann man recht einfach die Dateien ausgeben und nach allem möglichen sortieren und z.B. die vorvorletzte Version einer Karte wegwerfen.

Vorausgesetzt, die Namen passen, heute ist Dir eine Karte “No05-Date-2014-10-22” ausgekommen, die am 27.10. erstellt wurde. Jetzt heisst sie so wie ihre Vorgängerversion. Die No01 von heute hat aber den richtigen Namen, das Problem scheint gelöst zu sein.

Von solchen kleinen Unfällen mal abgesehn, funktioniert das aber jetzt ganz gut, glaube ich. Aus Sicht eines Peers ist zwar schwer zu beurteilen, wie es bei den Nutzern der Karten aussieht, aber da mein Peer selten am Limit arbeitet, ist wohl die Nachfrage geringer als das Angebot.

Das fällt mir auch auf. Diese Torrent-Dateien scheinen oft lange gelagert oder noch weiter verteilt zu werden, bevor irgendwann Tage später die Datei auch runtergeladen wird.

Grüße, Max

Nee, ich habe immer noch die alte Version, kann mit das aber bei meinem Batch erlären. darauf ist der wohl nicht vorbereitet. Ich werde das File manuell rauswerfen, dann sollte er sich um 19:00 Uhr das aktuelle holen.

Komisch, kommt schon rüber - ist mir aber egal.

Gruss
walter

Hallo
Ich baue weiter an dem Downloadscript, und am Zeitstempel, In den Kartennamen habe ich ihn schon bekommen.
Dann wird auch automatisch gelöscht.

Nur die No 1 hat es überlebt.
Die No 5 ist auch defekt.

Jetzt is erstmal alles kaputt :rage:

Das dauert, erste Karte die wieder geht ist die No 9 läuft.

Sicher?

Die neue Version ist nur 429MB gross. Die Versionen davor hatten alle etwas über 700MB…

Grüße, Max

Hallo
Karten mit neuen Größen / Neue mkgmap Version / neue poly Dateien
Es war alles defekt
Heute kommt Karte No 1, 2 und 3 (sind wieder rep.)

Lösung gefunden:
Ich musste nur für den Automatikprozess eine neue Struktur anlegen.

Neues Script,
Anleitung hier:
http://wiki.openstreetmap.org/wiki/DE:OSM_Transport_Karte#Die_Karte_automatisch_herunterladen

Im überwachten Verzeichnis werden alle Daten/Torents die älter als 20 Tage sind automatisch gelöscht.

Beste Grüße

Huh… Das würde ich nicht als Gerauchsanweisung veröffentlichen:

cd ~/Dokumente/osm-transport-karte/osm-karte-1
wget  ... ....
find -mtime +20 -delete

Stell dir vor, jemand hat das Verzeichnis “~/Dokumente/osm-transport-karte/osm-karte-1” nicht vorher angelegt. Dann ist ein trauriges “No such file or directory” gefolgt von der Ausgabe von wget das letzte, was er von seinen Daten im aktuellen Verzeichnis sieht… Alles ist weg und du bist schuld :wink:

Lass die Leute lieber selber überlegen, wie sie aufräumen.

Du hast auch die Pfade umgestellt, jedenfalls bei 3 der 12 Dateien. Was bisher auf
dl.dropboxusercontent.com/u/72097706/OSM-Transport-Karte-No01.zip.torrent zu finden war, soll jetzt auf
dl.dropboxusercontent.com/u/72097706/**osm-karte-1/**OSM-Transport-Karte-No01.zip.torrent abgeholt werden.
Ich fand ja Walters Dreizeiler in #120 hier schon wesentlich eleganter. Ich glaube, ich warte mit hinterherprogrammieren, bis die Sache rund läuft…

Grüße, Max

Nahmd,

Zumindest möge er ein “set -e” an den Anfang des Skriptes schreiben: dann ist nach dem ersten Fehler Schluss. Dies hilft gegen Fehler dieser Art.

Gruß Wolf

Hallo
Ja Danke für den Tip. schau einmal ob ich es so richtig habe?

Ich musste das so machen da der automatische Prozess sonnst nicht ging.

Jetzt bleiben die Verzeichnisse immer so.

Habe es wieder auf nur download zurück gesetzt.

Aber das mit der automatischen E-mail scheint zu gehen. :smiley:

Beste Grüße

Wie denn?

Gruss
walter

Hallo
Habe jetzt ein neues Script angepasst auf die neue automatische Kartenerstellung mit automatisiertem Datum.
Das Script geht schon für Karte 1,2,3,6,9,12

Beispiellinks für Karte No 01 / Es ändert sich lediglich nur die Zahl der Verzeichnisse und die Zahl dar Karte.


Link:
https://dl.dropboxusercontent.com/u/72097706/osm-karte-1/OSM-Transport-Karte-No01.zip.torrent

Die Links ändern sich in /public/osm-karte-1 , also von 1-12 wer das Script nicht verwendet.

Somit werden bei mir jetzt alle Daten max 5 Tage bei einer neuen Karte gelöscht. (Wenn eine neue Karte erzeugt wird werden alle Daten die älter als 5 Tage sind gelöscht.)

Beste Grüße
Marko

wen n das so weitergeht, steige ich wirklich aus. Jetzt stehen die Torrents in https://dl.dropboxusercontent.com/u/72097706/osm-karte-1/OSM-Transport-Karte-No01.zip.torrent.

Wenn du meinen Script dahin änderst, daß er die Directories von 1,2,3,…12 und die Torrents mit 01,02,03, …12 abholt, bleib ich dabei.

Oder du änderst die Dirs in osm-karte-01 usw. um.

So langsam hab ich die Faxen satt. :frowning:

walter

for LFN in 01 02 03 04 05 06 07 08 09 10 11 12 13
do
  ELFN=`echo $LFN | sed 's/^0//g'`
  wget -N -A torrent https://dl.dropboxusercontent.com/u/72097706/osm-karte-$ELFN/OSM-Transport-Karte-No$LFN.zip.torrent 
done

Mein Therapeut hat mir gestern zur Gelassenheit geraten. Ich soll mir nen Adventskalender kaufen und mich für jede Verfahrensänderung mit einem Stück Schokolade belohnen…

Grüße, Max