You are not logged in.

#1 2014-12-23 09:58:27

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

[closed] Umbau meines Servers osm.wno-edv-service.de

Hi,

über die Feiertage steht der lange überfällige Umbau meines Servers an.

Folgende Probleme will ich damit erschlagen:

- Ubuntu 14.04 wird auf 14.10 hochgezogen.
- Das Raid-5 läuft in "Degraded Mode", d.h. eine der Raidplatten ist offline und daher ist der Overhead des Raids zu groß.
- Postgresql muß von 9.1 auf die frisch freigegebene Version 9.4 hochgezogen werden.
- In dem Rutsch wird auch PostGis auf den aktuellen Stand gebracht (2.0 --> 2.1.5) und zudem Topology und Raster installiert.
- Es gibt ziemlich viele Probleme in der OSM-Datenbank, da macher Diff doch "verschütt ging". Daher wird die DB neu aufgesetzt.
- Mancher Ballast wird entfernt, der für "gestorbene" Auswertungen nicht mehr benötigt wird.

Noch ist die alte DB aktiv, der Lag beträgt inzwischen aber schon 2 Tage sodaß man von zeitnahen Auswertungen wirklich nicht mehr sprechen kann.
Die Umstellung wird mehrere Tage dauern. Genauer Abschalt-Termin ist noch nicht festgelegt, da manche Vorbereitungen noch nicht fertig sind, aber spätestens morgen geht es wohl in die harte Phase.

ein frohes und ruhiges Weihnachtsfest wünscht euch
walter

Last edited by wambacher (2015-06-23 11:48:07)

Offline

#2 2014-12-23 10:14:45

geri-oc
Member
From: Sachsen
Registered: 2011-03-21
Posts: 5,055
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Danke für die Wünsche - natürlich mit dem Wunsch auf eine möglichst reibungsfreie Umstellung zurück, damit auch du ein paar ruhige Momente hast.

Offline

#3 2014-12-23 11:10:12

SimonPoole
Member
Registered: 2010-03-14
Posts: 2,060

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

wambacher wrote:

...
- Ubuntu 14.04 wird auf 14.10 hochgezogen.
...

OT, aber bist du sicher das du das willst? Der Support für nicht LTS Versionen hört wirklich schlagartig auf mit dem Erscheinen eines neuen Releases. Sprich im April wenn 15.04 rauskommt gibt es keine Updates mehr für 14.10.

Simon, der dran ist ein 13.10er System genau aus obigen Grund loszuwerden.

Offline

#4 2014-12-23 11:28:25

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

SimonPoole wrote:

OT, aber bist du sicher das du das willst? Der Support für nicht LTS Versionen hört wirklich schlagartig auf mit dem Erscheinen eines neuen Releases. Sprich im April wenn 15.04 rauskommt gibt es keine Updates mehr für 14.10.

Ok, ich denk mal drüber nach. Bisher bin ich mit den Zwischenreleases ganz gut gefahren, kann aber dennoch wohl bei 14.04 LTS bleiben. Schießlich hab ich noch den Server2, an dem ich rumspielen Erfahrungen mit den neuesten Releases bekommen kann.

Was ich auf jeden Fall machen muß: 14.04 LTS auf den aktuellen Stand hochziehen. Ging bisher nicht, da die Ubuntu-Leute dabei immer auch Postgresql updaten wollten, und das konnte ich wirklich nicht gebrauchen. Demnächst hole ich mir die Postgresql-Pakete direkt vom Repository der PostgreSQL Global Development Group und werde dadurch unabhängiger von der aktuellen Ubuntu-Release.

Gruss
walter

Offline

#5 2014-12-23 12:10:59

TobWen
Member
From: Ruhrgebiet
Registered: 2009-03-31
Posts: 1,108

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

wambacher wrote:

Demnächst hole ich mir die Postgresql-Pakete direkt vom Repository der PostgreSQL Global Development Group und werde dadurch unabhängiger von der aktuellen Ubuntu-Release.

Da ich auf einem Produktivserver noch mit Squeeze unterwegs bin (wird bald geändert), musste ich PostGIS immer selbst backporten. Werden die Pakete für Ubuntu auch für LTS-Versionen gepflegt?


Was macht der RVR mit OpenStreetMap? https://forum.openstreetmap.org/viewtopic.php?id=63052
Aktuelle Luftbilder des RVRs (Ruhrgebiet) http://forum.openstreetmap.org/viewtopic.php?id=28511

Offline

#6 2014-12-23 13:48:30

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

TobWen wrote:

Werden die Pakete für Ubuntu auch für LTS-Versionen gepflegt?

Ich hoffe, du meinst nicht die Pakete, die von Ubuntu kommen? Die nehme ich nicht mehr.

wiki wrote:

Currently, we support

    Debian 6 (squeeze), 7 (wheezy), 8 (jessie) and unstable (sid) 64/32 bit (amd64/i386)
    Ubuntu 10.04 (lucid), 12.04 (precise), 14.04 (trusty), 14.10 (utopic) 64/32 bit (amd64/i386)
    PostgreSQL 8.4, 9.0, 9.1, 9.2, 9.3, 9.4
    Server extensions such as Slony-I, various PL languages, and datatypes
    Applications like pgadmin3, pgbouncer, and pgpool-II

Postgis ist hier nicht erwähnt aber auch dabei.

Gruss
walter

aus https://wiki.postgresql.org/wiki/Apt

Last edited by wambacher (2014-12-23 13:50:28)

Offline

#7 2014-12-23 14:18:00

TobWen
Member
From: Ruhrgebiet
Registered: 2009-03-31
Posts: 1,108

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

wambacher wrote:

Postgis ist hier nicht erwähnt aber auch dabei.

Ah danke, das sind (teilweise etwas ältere) Backports aus Jessie. Spart man sich etwas Arbeit big_smile

Last edited by TobWen (2014-12-23 14:28:25)


Was macht der RVR mit OpenStreetMap? https://forum.openstreetmap.org/viewtopic.php?id=63052
Aktuelle Luftbilder des RVRs (Ruhrgebiet) http://forum.openstreetmap.org/viewtopic.php?id=28511

Offline

#8 2014-12-25 15:30:27

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Hi,

hier mal ein Zwischenstand:

- Raid-5 repariert
- Updates von 14.04 LTS nachgezogen - ja, ich bleib bei Trusty.
- Postgresq 9.4, PostGis 2.1.4 und Qgis 2.6 installiert
- Datenbank "planet2" mit allen alten Tabellen bis auf planet_osm_* geladen
- Import vom planet-2014-12-22.osm.bz2 angestoßen

jetzt müsste erst mal für einige Zeit (2-3 Tage!) nix zu tun sein - hoffe ich zumindest.

Gruss
walter

Last edited by wambacher (2014-12-25 17:39:57)

Offline

#9 2014-12-26 02:17:25

TobWen
Member
From: Ruhrgebiet
Registered: 2009-03-31
Posts: 1,108

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Wieso setzt Du eigentlich ein RAID-5 ein? Ich habe mir irgendwann überlegt: brauche ich überhaupt Redundanz? Und seit über 5 Jahren habe ich mit einem MDADM-RAID-0 gute Erfahrungen gemacht, nicht ein Aussetzer.

Wenn das RAID kaputt geht, spiele ich halt die Daten neu ein. Wirkt sich effizient vermutlich aber nur beim Schreiben aus, da im RAID-5 ja auch schnell gelesen wird. Müsste ich mal benchmarken, sobald die neuen SSDs eingebaut wurden.


Was macht der RVR mit OpenStreetMap? https://forum.openstreetmap.org/viewtopic.php?id=63052
Aktuelle Luftbilder des RVRs (Ruhrgebiet) http://forum.openstreetmap.org/viewtopic.php?id=28511

Offline

#10 2014-12-26 03:27:52

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

TobWen wrote:

Wieso setzt Du eigentlich ein RAID-5 ein? Ich habe mir irgendwann überlegt: brauche ich überhaupt Redundanz? Und seit über 5 Jahren habe ich mit einem MDADM-RAID-0 gute Erfahrungen gemacht, nicht ein Aussetzer.

Reine Nervensache Glückssache.

wikipedia wrote:

RAID 0: Striping – Beschleunigung ohne Redundanz

Bei RAID 0 fehlt die Redundanz, daher gehört es streng genommen nicht zu den RAID-Systemen, es ist nur ein schnelles „Array of Independent Disks“.

wikipedia wrote:

RAID 5: Leistung + Parität, Block-Level Striping mit verteilter Paritätsinformation

RAID 5 bietet sowohl gesteigerten Datendurchsatz beim Lesen von Daten als auch Redundanz bei relativ geringen Kosten und ist dadurch eine sehr beliebte RAID-Variante.

TobWen wrote:

Wenn das RAID kaputt geht, spiele ich halt die Daten neu ein.

Neu einspielen? Mach ich gerade und hoffe, dass ich in 2-3 Tagen damit durch bin. Aber nicht wegen dem Raid, sondern weil ich Postgresql und die DB  komplett neu aufgesetzt habe. Und bis die Daten wieder zeitnah sind, muß ich auch noch die Diffs ab dem 22.12. einspielen, das dauert auch noch ein wenig (1-2 Tage).

Mein Raid-5 hat 3x2TB und gibt mir daher 4 TB "robusten" Diskspace. Damit kann ich ziemlich gut schlafen. Ich hatte in 2 Jahren 2x einen Plattenausfall. 1x war die Platte wirklich defekt und wurde ausgetauscht. Dieses mal war es nur ein "Klemmer".
In beiden Fällen ein mdadm -manage /dev/md0 -a /dev/sddX und nach ~4 Stunden war der Resync fertig. Wärend der ganzen Zeit der Störungen waren die Daten online, nur die Performance war dann ziemlich schlecht.

ach ja: die Indices liegen auf SSD (120+250GB), sind aber nicht gespiegelt.

Gruss
walter

https://de.wikipedia.org/wiki/RAID#Die_ … _Einzelnen

Offline

#11 2014-12-26 16:39:49

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Starl OT: Disk-Mirroring der besonderen Art: http://www.heise.de/autos/artikel/Die-s … dergalerie

Gruss
walter

ps: Derzeit werden die Relationen importiert, 273000 sind schon drin. Bei 8-9 Rels pro Sekunde wird das wohl noch ein wenig dauern.

Last edited by wambacher (2014-12-26 16:40:34)

Offline

#12 2014-12-26 17:52:11

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 9,835

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

wambacher wrote:

Bei 8-9 Rels pro Sekunde

Wahnsinn. cool


Mapper aus dem Münsterland.

Offline

#13 2014-12-26 17:59:23

Prince Kassad
Member
Registered: 2013-10-18
Posts: 2,391

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Soviel zum Thema "Relationen belasten die Server nicht".

Offline

#14 2014-12-26 18:55:35

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Prince Kassad wrote:

Soviel zum Thema "Relationen belasten die Server nicht".

Die "Micro-Relationen", auf die du hier wohl unwissentlich ansprichst, brauchen nur Millisekunden. Die "richtigen" mit tausenden von Membern brauchen etwas länger. Und da wirkt es sich natürlich aus, dass beim Import noch keinerlei Spatiale Indices in der DB vorhanden sind. Dabei muss der Rechner "ein wenig länger" nach den Members suchen - und das geht dann in den derzeit ca 90 Millionen Ways derzeit nur sequentiell. (*)

Gruss
walter

*) Mal sehen, ob ich den Betreuern von osm2pgsql schmackhaft machen kann, bereits beim Import Indices zu erzeugen. Besonders zwischen Import der Ways und Import der Rels - da müsste das echt was bringen.

Last edited by wambacher (2014-12-26 18:56:08)

Offline

#15 2014-12-27 16:07:40

bilderhobbit
Member
From: wuppertal
Registered: 2011-11-10
Posts: 111
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Hallo Walter,

wäre ein RaidZ oder RaidZ2 nicht noch besser gewesen?

http://www.open-zfs.org/wiki/Main_Page
https://www.youtube.com/watch?v=xe4_95PJZlw
ZFS bringt im Problemfall einige erleichterungen und es hält auch die Daten sicher. das hat eigendlich alles was man sich wünscht.

Gruß
Michael

Offline

#16 2014-12-27 18:27:31

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

bilderhobbit wrote:

Hallo Walter,

wäre ein RaidZ oder RaidZ2 nicht noch besser gewesen?
ZFS bringt im Problemfall einige Erleichterungen und es hält auch die Daten sicher. das hat eigentlich alles was man sich wünscht.

Der Ansatz von RaidZ ist ganz interessant, nur ist mein Raid "älter" als Sep. 2013, als das Zeug erstmalig auftauchte. Ich hab das Raid ja auch nicht neu aufgesetzt, sondern es nur wieder stabilisiert, ganz so wie es im Problemfall vorgesehen ist.

Zudem haut mich das hier nicht vom Hocker "The main technical goal of OpenZFS is easier sharing of code between platforms", da ich mit Linux eh schon gut bedient bin. Wenn hier "Our community brings together developers from the illumos, FreeBSD, Linux, and OS X platforms" auch Windows stehen würde, dann wäre das ein Hammer - Obwohl: Windows boote ich nur noch zum Spielen.

Was ich aber für 2015 in der Pipeline habe, ist ein Hardware-Raid in einer extra Box (kein NAS). HR auf dem Motherboard ist nämlich was für die Tonne.

Verschneite Grüße aus dem Taunus
walter

Last edited by wambacher (2014-12-27 18:31:48)

Offline

#17 2015-01-06 10:41:54

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Moin,

kleine Frage an diejenigen, die einen vollen Planeten im osm2pgsql-Schema fahren: Wie groß ist bei euch der Index planet_osm_ways_nodes?

Abfrage in psql mit \di+ planet_osm_ways_nodes

Bei mir ist der inzwischen 118 GB groß und immer noch nicht fertig. Ich meine, vorher war der größte Index etwa 110 GB gross. Daher möchte ich den Job nicht knapp vor dem Ziel killen.

Knatschige Grüsse
walter

Offline

#18 2015-01-06 11:21:42

SimonPoole
Member
Registered: 2010-03-14
Posts: 2,060

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

133 GB

Ziemlich frisch aufgesetzte Maschine also noch wenig index bloat.

Simon

wambacher wrote:

Moin,

kleine Frage an diejenigen, die einen vollen Planeten im osm2pgsql-Schema fahren: Wie groß ist bei euch der Index planet_osm_ways_nodes?

Abfrage in psql mit \di+ planet_osm_ways_nodes

Bei mir ist der inzwischen 118 GB groß und immer noch nicht fertig. Ich meine, vorher war der größte Index etwa 110 GB gross. Daher möchte ich den Job nicht knapp vor dem Ziel killen.

Knatschige Grüsse
walter

Offline

#19 2015-01-06 11:54:21

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

SimonPoole wrote:

133 GB Ziemlich frisch aufgesetzte Maschine also noch wenig index bloat.

Danke, das beruhigt mich etwas.

Gruss
walter

Offline

#20 2015-01-09 10:42:31

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

@simon:

Ich krieg noch die Krise. Jetzt klemmt er bei einem Update von planet_osm_polygon, der über alle 160 Mio Datensätze gehen muß, da ich unbedingt noch zwei zusätzliche Spalten brauche.

Dazu legt Postgresql ja eine Kopie der alten Datensätze an und die physikalische Größe der Tabelle auf der Platte verdoppelt sich temporär. Und das ist das einzige was ich bei dem Update sehe. Derzeit hab ich da 111 GB von ??? mit einer Zunahme von 1-2 GB/Stunde.

Also wieder die Frage: Wie groß ist planet_osm_polygon bei dir? \d+ planet_osm_polygon oder besser noch ein \d+ der ganzen DB.

Ich habe die Parameter von postgresql.conf analog zu der vorherigen Version gesetzt - meine ich zumindest. Aber irgendwas muß ich übersehen haben. Eventuell schickst du mir per Mail noch postgresql.conf und die Info, wieviel Memory dein Rechner hat. Meine Kiste hat 24 GB und ich habe dafür massig was an die DB gegeben. Ich werde das halt nochmals überprüfen müssen.

Danke und Gruss
walter

Offline

#21 2015-01-09 10:58:23

SimonPoole
Member
Registered: 2010-03-14
Posts: 2,060

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

gis=> \dt+
                             List of relations
Schema |        Name        | Type  |  Owner   |    Size    | Description
--------+--------------------+-------+----------+------------+-------------
public | planet_osm_line    | table | www-data | 59 GB      |
public | planet_osm_nodes   | table | www-data | 8192 bytes |
public | planet_osm_point   | table | www-data | 12 GB      |
public | planet_osm_polygon | table | www-data | 56 GB      |
public | planet_osm_rels    | table | www-data | 1599 MB    |
public | planet_osm_roads   | table | www-data | 9987 MB    |
public | planet_osm_ways    | table | www-data | 61 GB      |
public | spatial_ref_sys    | table | www-data | 3224 kB    |

\di+

Schema |           Name           | Type  |  Owner   |       Table        |    Size    | Description
--------+--------------------------+-------+----------+--------------------+------------+-------------
public | addr_inter_idx           | index | www-data | planet_osm_line    | 101 MB     |
public | addr_point_idx           | index | www-data | planet_osm_point   | 1896 MB    |
public | b_addr_idx               | index | www-data | planet_osm_polygon | 919 MB     |
public | b_no_addr_idx            | index | www-data | planet_osm_polygon | 6831 MB    |
public | planet_osm_line_index    | index | www-data | planet_osm_line    | 14 GB      |
public | planet_osm_line_pkey     | index | www-data | planet_osm_line    | 2748 MB    |
public | planet_osm_nodes_pkey    | index | www-data | planet_osm_nodes   | 8192 bytes |
public | planet_osm_point_index   | index | www-data | planet_osm_point   | 4410 MB    |
public | planet_osm_point_pkey    | index | www-data | planet_osm_point   | 1679 MB    |
public | planet_osm_polygon_index | index | www-data | planet_osm_polygon | 17 GB      |
public | planet_osm_polygon_pkey  | index | www-data | planet_osm_polygon | 3690 MB    |
public | planet_osm_rels_parts    | index | www-data | planet_osm_rels    | 1324 MB    |
public | planet_osm_rels_pkey     | index | www-data | planet_osm_rels    | 68 MB      |
public | planet_osm_roads_index   | index | www-data | planet_osm_roads   | 1559 MB    |
public | planet_osm_roads_pkey    | index | www-data | planet_osm_roads   | 390 MB     |
public | planet_osm_ways_nodes    | index | www-data | planet_osm_ways    | 133 GB     |
public | planet_osm_ways_pkey     | index | www-data | planet_osm_ways    | 5878 MB    |
public | residential_idx          | index | www-data | planet_osm_polygon | 134 MB     |
public | spatial_ref_sys_pkey     | index | www-data | spatial_ref_sys    | 144 kB     |


Ist ne 32GB Kiste mit 2 480GB SSDs für die DB. Conf schicke ich noch, ist aber nichts aussergewöhnliches drin.

Simon

Offline

#22 2015-01-09 12:31:50

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

SimonPoole wrote:

gis=>

Ist ne 32GB Kiste mit 2 480GB SSDs für die DB. Conf schicke ich noch, ist aber nichts aussergewöhnliches drin.

Danke,

56 GB macht mir ja noch Hoffnung.

Gruss
walter

Offline

#23 2015-01-09 15:23:35

nordie69
Member
Registered: 2015-01-01
Posts: 38

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

Bitte die Conf auch an mich - ich träume auch gerade von einem eigenen Server :-) und eure Unterhaltung ist sehr aufschlussreich für mich.

Gruss & Danke,
Stefan aka nordie69

Offline

#24 2015-01-09 16:33:17

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,671
Website

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

nordie69 wrote:

Bitte die Conf auch an mich - ich träume auch gerade von einem eigenen Server :-) und eure Unterhaltung ist sehr aufschlussreich für mich.

meine aktuelle Config kannst du hier finden: http://osm.wno-edv-service.de:82/index. … nfig-files

Aber ob die wirklich so ok ist? Wird sich rausstellen.

Gruss
walter

Offline

#25 2015-01-09 19:27:09

woodpeck
Member
Registered: 2009-12-02
Posts: 1,124

Re: [closed] Umbau meines Servers osm.wno-edv-service.de

wambacher wrote:

meine aktuelle Config kannst du hier finden: http://osm.wno-edv-service.de:82/index. … nfig-files

Ich setze immer fsync und synchronous_commit auf off, das bedeutet zwar, dass man im Zweifel bei einem Absturz neu importieren muss, aber es bringt (immer je nach Anwendungsfall natürlich) einen Performancegewinn im oberen einstelligen Prozentbereich. Was Du früher schriebst mit räumlichen Indizes beim "pending relations" ist mir nicht klar - weder beim Import noch beim Update sollten räumliche Indizes jemals eine Rolle spielen, die werden nur für Leseabfragen beim Rendern oder sonstigen Analysen gebraucht.

Paul Norman hat gute Ergebnisse mit komprimiertem zfs erzielt: http://www.paulnorman.ca/blog/2014/11/z … osm2pgsql/ (lange Rede kurzer Sinn: Datenbank auf komprimiertem zfs ist schneller *und* braucht weniger Platz auf der Disk, d.h. in einer "SSD ist knapp"-Situation kann man zusätzlich zum Performancegewinn auch noch einen größeren Teil der Daten auf die SSD packen). Das hat aber glaub ich mit raidz nichts zu tun.

Bye
Frederik

Offline

Board footer

Powered by FluxBB