OSM-Diffs mittels NAS

brogo · 2013-04-18 09:28:58

Hallo!

Das Thema hat MotorKUH schon mal in http://forum.openstreetmap.org/viewtopi … 67#p267467 angesprochen. Leider gab es keine Rekationen, deshalb eröffne ich dafür mal einen eigenen Thread.

Ich suche nach der Möglichkeit die laufenden OSM-Planet-Diffs (daily, hourly bzw. minutely) automatisch über ein NAS zu laden.

Hintergrund: es soll sowieso ein NAS angeschafft werden und der Download der Diffs dauert über meine langsame Internet-Verbindung schon ne Weile, wenn man mehrere Tage aufholen will. Der NAS könnte die Diffs ständig nebenbei runterladen und osmosis würde auf dann die Diffs vom NAS verarbeiten.

Wie sieht das aus: Welches NAS hat schon so eine Funktionalität an Bord oder wo kann man z.B. rsync auf der Konsole starten? Oder was gibt es noch für Möglichkeiten?

Christian

wambacher · 2013-04-18 09:47:00

brogo wrote:

der Download der Diffs dauert über meine langsame Internet-Verbindung schon ne Weile, wenn man mehrere Tage aufholen will. Der NAS könnte die Diffs ständig nebenbei runterladen und osmosis würde auf dann die Diffs vom NAS verarbeiten.

Ich bin skeptisch, dass das was bringt - bei "meinen" Diff-Updates per osmosis -rri http://wiki.openstreetmap.org/wiki/Osmo … 28--rri.29 dauerte der Download der Daten einer Stunde auf meiner alten 2Mbit-Leitung ca 60 Sekunden und die Verarbeitung 20 Minuten. Jetzt dauert der Download noch 5 Sekunden und die Verarbeitung immer noch 20 Minuten.

Aber wenn es sein muß, schau mal nach wget. Eventuell kennt dein Nas das. Rennt auf allen Plattformen.
Eventuell hilft das hier weiter: http://apps.unmondemeilleur.fr/nww/index_en.html Hab ich aber nicht verwendet, nur so ein Tip.

Gruss
walter

nur so zur Info:

osmosis  \
        --read-replication-interval  \
        --simc \
        --write-pgsql-change database=osm authFile=authFile.txt

mach bei mir den ganzen Job. Download eines Datenblocks und Eintragen/Update der DB. Die ganze "Verwaltungsarbeit" (welche Diff-Files und wieviele werden runtergeladen) macht osmosis automatisch.

Last edited by wambacher (2013-04-18 09:55:22)

efred · 2013-04-18 10:00:01

ich selber habe ein Synology-NAS zu Hause stehen, nutze es aber nicht zum downloaden... Aber dennoch, ein NAS von Synology sollte für sowas gehen. Evtl. müsste man noch das Programm pyLoad drauf installieren (vermutlich gibt es noch x andere Downloader zum nachinstallieren auf einem Synology, da müsstest Du Dich drum kümmern, da ich bis jetzt noch keinen Bedarf dazu habe).
Und wie komfortabel das Ganze ist, kann ich aber auch nicht beurteilen - jedoch kann man auch Cronjobs hinterlegen und per Telnet und SSH drauf zugreifen.

So wie ich das sehe, würde dies Deine Bedürfnisse abdecken.

aighes · 2013-04-18 10:10:00

Ich vermute mal, dass du dir für solche spezielle Aufgaben wohl selber ein NAS zusammen basteln musst. Die Notwendigkeit sehe ich aber nicht. Bei mir dauert ein planet-update von einer Woche an nem DSL1000 keine 2h. Also inklusive der kompletten Bearbeitung und des Downloads. Das schmeiße ich dann an, wenn der PC ohnehin läuft und dann ist gut.

Joachim Moskalewski · 2013-04-18 13:37:21

brogo wrote:

Ich suche nach der Möglichkeit die laufenden OSM-Planet-Diffs (daily, hourly bzw. minutely) automatisch über ein NAS zu laden.
Hintergrund: es soll sowieso ein NAS angeschafft werden und der Download der Diffs dauert über meine langsame Internet-Verbindung schon ne Weile, wenn man mehrere Tage aufholen will. Der NAS könnte die Diffs ständig nebenbei runterladen und osmosis würde auf dann die Diffs vom NAS verarbeiten.
Wie sieht das aus: Welches NAS hat schon so eine Funktionalität an Bord oder wo kann man z.B. rsync auf der Konsole starten? Oder was gibt es noch für Möglichkeiten?

Ich verwende hier ein älteres NAS von Raidsonic ("Icybox" - http://www.raidsonic.de/ - damit wäre das problemlos möglich. Grundsätzlich sollte Dein Anliegen mit jedem NAS realisierbar sein, welches Dir den Zugriff via SSH erlaubt. Doch eben diese Aussage geben leider nicht viele Hersteller... Positive Erfahrungen habe ich auch mit dem Hersteller QNAP - ob man dort allerdings eigene Scripte etc. unterbringen kann habe ich nicht getestet (die Anforderung stellte sich mir nicht). QNAP wäre heute meine erste Wahl beim Kauf eines NAS.

In Deinem Fall würde ich den Hersteller eines SSH-fähigen NAS hierzu vor Kauf direkt befragen. Ansonsten ist ein NAS nix anderes als ein kleiner Server. Alternativ könntest Du also auch einen Mini-PC als NAS einsetzen, und hättest so volle Kontrolle und Flexibilität.

brogo · 2013-04-18 13:57:42

Joachim Moskalewski wrote:

Grundsätzlich sollte Dein Anliegen mit jedem NAS realisierbar sein, welches Dir den Zugriff via SSH erlaubt. Doch eben diese Aussage geben leider nicht viele Hersteller...

Aber SSH heißt ja noch lange nicht, daß ich dort alles machen kann, wenn man nur eingeschränkte Userrechte hat. Man braucht auch Root-Zugriff.

Joachim Moskalewski wrote:

Positive Erfahrungen habe ich auch mit dem Hersteller QNAP - ob man dort allerdings eigene Scripte etc. unterbringen kann habe ich nicht getestet (die Anforderung stellte sich mir nicht). QNAP wäre heute meine erste Wahl beim Kauf eines NAS.

QNAP ist tendenziell auch immer der teuerste Hersteller.

Joachim Moskalewski wrote:

In Deinem Fall würde ich den Hersteller eines SSH-fähigen NAS hierzu vor Kauf direkt befragen. Ansonsten ist ein NAS nix anderes als ein kleiner Server. Alternativ könntest Du also auch einen Mini-PC als NAS einsetzen, und hättest so volle Kontrolle und Flexibilität.

Schön beim einem NAS sind ja die kleinen Gehäuse, die nur wenig größer sind, als die Platten selbst. Beim Selbstbau finde ich auch immer das Thema Kühlung schwierig (soll ja ausreichend kühlen, aber nicht zu laut werden), fertige Geräte haben das schon ein fertiges Konzept.

Christian

Zecke · 2013-04-18 14:18:22

brogo wrote:

Aber SSH heißt ja noch lange nicht, daß ich dort alles machen kann, wenn man nur eingeschränkte Userrechte hat. Man braucht auch Root-Zugriff.

Bei QNAP hast du vollen root-Zugriff. Das ist ein stark verschlanktes Linux. Es gibt aber sogar eine eigene Paketverwaltung, mit der man sich klassische Standardpakete (z.B. bind) nachinstallieren kann.

Gruß,
Zecke

Joachim Moskalewski · 2013-04-18 14:40:48

brogo wrote:

Aber SSH heißt ja noch lange nicht, daß ich dort alles machen kann, wenn man nur eingeschränkte Userrechte hat. Man braucht auch Root-Zugriff.

Genau deswegen schrieb ich hinzu: Hersteller vor Kauf fragen. Die Angaben die Hersteller und Händler zu ihren Geräten machen sind für Deinen Fall schlicht unzureichend.

Root braucht man aber nicht zwangsläufig - rsync, wget und diff können auch schon vorhanden sein. Ich kenne solche SSH-fähigen NAS als kleine Linuxkisten. Eine komfortable Bash ist eher nicht vorhanden, aber ein Basissystem mit dem man sich helfen kann gibts. Gibt es z.B. kein wget und kein root, muss man eben schauen was es gibt... (spontan: "lynx --dump" oder TCL-Shell könnten z.B. wget ersetzen).

brogo wrote:

Joachim Moskalewski wrote:
Alternativ könntest Du also auch einen Mini-PC als NAS einsetzen, und hättest so volle Kontrolle und Flexibilität.
Schön beim einem NAS sind ja die kleinen Gehäuse, die nur wenig größer sind, als die Platten selbst. Beim Selbstbau finde ich auch immer das Thema Kühlung schwierig (soll ja ausreichend kühlen, aber nicht zu laut werden), fertige Geräte haben das schon ein fertiges Konzept.

Das fertige Konzept bekommst Du heute auch bei den Mini-PCs (auch lüfterlos). Ich dachte z.B. an so was hier: http://www.cyberport.de/zotac-zbox-hd-i … G_537.html 18x18 cm ist IMO nicht nennenswert größerals ein NAS.

aighes · 2013-04-18 17:13:01

Oder halt ein RaspberryPi, wenn einem die Anschlüsse ausreichen.

TEL0000 · 2013-04-18 17:40:13

Synology und QNAP kann ich beide empfehlen. Ich habe selber ein QNAP-NAS.

kellerma · 2013-04-18 19:16:54

Auf den QNAP Schüsseln kannst Du Dir Debian installieren, dann hast Du ein "richtiges" Linux:
http://www.cyrius.com/debian/kirkwood/qnap/

Das wird vom Hersteller so halbwegs sogar unterstützt:
http://wiki.qnap.com/wiki/Debian_Installation_On_QNAP

Es sind aber eher die kleine und mittleren Modelle:
http://www.qnap.com/static/products/com … ll_NAS.php

Ansonsten, have phun

brogo · 2013-05-22 13:08:10

Es ist eine Synology DS213 geworden. Schönes Teil. Sie läuft einwandfrei und fast lautlos.

SSH Zugang ist standardmäßig dabei. Zum Download habe ich ein Script aus Roland Olbrichts Overpass-API [1] abgewandelt. Auf der Synology mußte ich dazu allerdings noch bash nachinstallieren [2](default ist ash).

Christian

[1] https://github.com/drolbr/Overpass-API/ … tch_osc.sh
[2] http://www.synology-wiki.de/index.php/Bash

Announcement

#1 2013-04-18 09:28:58

OSM-Diffs mittels NAS

#2 2013-04-18 09:47:00

Re: OSM-Diffs mittels NAS

#3 2013-04-18 10:00:01

Re: OSM-Diffs mittels NAS

#4 2013-04-18 10:10:00

Re: OSM-Diffs mittels NAS

#5 2013-04-18 13:37:21

Re: OSM-Diffs mittels NAS

#6 2013-04-18 13:57:42

Re: OSM-Diffs mittels NAS

#7 2013-04-18 14:18:22

Re: OSM-Diffs mittels NAS

#8 2013-04-18 14:40:48

Re: OSM-Diffs mittels NAS

#9 2013-04-18 17:13:01

Re: OSM-Diffs mittels NAS

#10 2013-04-18 17:40:13

Re: OSM-Diffs mittels NAS

#11 2013-04-18 19:16:54

Re: OSM-Diffs mittels NAS

#12 2013-05-22 13:08:10

Re: OSM-Diffs mittels NAS

Board footer