meinst also, meine AnsprĂŒche wĂ€ren zu hoch? Nun, ich kenne meine Kiste, weiss was die rattert und dass sie kurz vorm Ende ist. Klar, ein wenig SSD wĂŒrde noch was bringen, aber bei 32 GB Mem ist Schluss mit dem Motherboard. Da hilft nicht Kleckern sondern nur Klotzen.
Jo, Frederik hab ich noch nicht direkt angesprochen.
Danke, es hat sich schon wer âerbarmtâ und ist bald fertig.
Jo, ist schon heftig.
Eckdaten: 2x12 Core AMD, 64GB 4-6 TB HD Raid 1, 1 TB SSD Raid 1, wobei ich keine der noch verwendbaren Komponenten vom alten Server verwenden kann (geht ja wohl net, dass ich hetzner ein PĂ€ckchen schicke, gell?)
So gross, damit ich 2-3 Jahre Ruhe habe. Der alte Server ist von 2013.
Mit einer Neuinstallation der Softwareumgebung auf einem externen - nicht mir gehörenden - Server hÀtte ich wenig Probleme. Die Installation muss ich ja immer bei 'nem neuen Server machen. Und so sehr macht Admin ja auch nicht immer Spass. Nur bei FOSSGIS geht es nicht und andere Standorte hab ich noch nicht evaluiert.
Wenn ich da aber an die ânever ending storyâ wegen dem Forenserver denke, komm ich schon ins GrĂŒbeln.
Kein Problem. Es muss ja nicht jeder was spenden - aber garkeiner? Das ist echt Àtzend.
Ausserden war das hier bereits schon die 2. Anfrage, da gestern 102 Kollegen das hier gelesen aber keiner reagiert hat. Daher hab ich heute wohl ein wenig nachlegen mĂŒssen und noch ein wenig Frust hinzugepackt.
Jo, das hatte mit der Kollege von der FOSSGIS auch gesagt und ich kann das durchaus nachvollziehen. Ein Kollege von der Wochennews hat aber vorher gemeint, dass das kein Problem sein solle.
Ja, das werde ich wohl machen - und wenn mir mein Server nicht wieder vorher âabrauchtâ, kann das sogar was werden
Das ist leider ganz normal, dass kostenlose Dienste ĂŒber GebĂŒhr in Anspruch genommen werden (âmissbrauchenâ wĂ€re das besser Wort). Dagegen hilft nur konsequentes BeschrĂ€nken und Sperren der gröĂten Nutzer. Wenn der Dienst freie Software und sein Setup dokumentiert ist, dann kann man guten Gewissens den Schuldigen mit âSchnorrâ nicht, sondern betreibe bitte deine eigene Boundaries Mapâ antworten. Die Betreiber bekannter, kostenloser OSM-Dienste wie den Tileservern (egal ob OSMF oder openstreetmap.de), Nominatim oder Overpass-API klagen (und haben sich damit abgefunden) ĂŒber unerwĂŒnschte Crawler, schlecht programmierte Applikationen usw. Dagegen hilft nur Sperren, Sperren, Sperren. Und wenn das nicht hilft, kann man ja darĂŒber nachdenken, mit Error 429 (too many request) im Header und einer zufĂ€llig erzeugten, auf einer Landmasse liegenden Geometrie antworten (bei Tileservern haben sich Tiles mit dem Schriftzug âSie verletzten die Nutzungsbedingungen von âŠâ bewĂ€hrt).
So wie ich dich als Person kenne, dĂŒrfte dir das als Person vom Charakter her nicht schwer fallen, hart zu sein.
klar, in diese Richtung wird der Zug wohl fahren mĂŒssen. Hab die Sache wohl etwas schludern lassen, da ich mit der Entwicklung der 4.1 sehr beschĂ€ftigt war. Aber als ich dann feststellen musste, dass ich letztendlich nur ausgenutzt werde, ist auch mir der Kragen geplatzt (obwohl ich fast nie Hemden trage ;))
die Ăbersetzung ist mittels eines netten Kolegen fertig und eigentlich könnte ich morgen die Boundaries Map 4.1 freischalten.
Ich ĂŒberlege jetzt aber, ob ich noch einige Tage warte und in dieser Zeit eine vernĂŒnftige Kontingentierung einbaue. Es wĂ€re jetzt echt die beste Gelegenheit dazu. Eine Art Accounting hab ich ja bereits.
Danke fĂŒr die Hilfe und die konstruktiven Tips - aber ganz ist das Problem mit dem neuen Server nicht aus der Welt. Irgendwas muĂ passieren, sonst bricht mir die Kiste bald zusammen. Wer also noch konstruktive Tips hat - immer her damit.
Dazu eine kurze Nachfrage: ist darin ein kompletter Planet auf Postgres enthalten?
Könnte man den auch so eindampfen, dass nur noch z.B. Boundaries drin sind?
Ich habe da 2 Szenarien im Kopf:
Planet-File tĂ€glich updaten, Boundaries extrahieren, Postgres damit fĂŒttern
Overpass lĂ€uft die ganze Zeit mit Minutely updates (Planet benötigt etwa 200GB), je nach Bedarf Boundaries extrahieren, Postgres damit fĂŒttern
Ich kenne mich damit ĂŒberhaupt nicht aus. Aber bei Wikipedia gibt es wohl so einen Hosting-Service fĂŒr Werkzeuge und Ă€hnliches: das Wikimedia Tool Labs
WĂ€re so etwas vielleicht auch fĂŒr OSM eine sinnvolle Idee? Oder was sprĂ€che dagegen?
Nö, der Planet wird fĂŒr alle möglichen - und unmöglichen - Anwendungen und Auswertungen verwendet.
manche Anwendungen sind auch âRealtimeâ, wenn der Update mal wieder flutscht.
Verwendet die Overpass nicht ein spezielles Datenbankschema? Zumindest war das frĂŒher so und erklĂ€rte mir auch die super Geschwindigkeit bei Abfragen.
200 GB ist natĂŒrlich winzig. Da passt bei mir gerade mal eine Tabelle rein.
Hier mal die Grössen der Basistabellen und einiger der Indixes:
public | planet_osm_line | Tabelle | postgres | 184 GB | linestrings mit tags? - osm_id
public | planet_osm_nodes | Tabelle | postgres | 8192 bytes | rohdaten nodes (leer)
public | planet_osm_point | Tabelle | postgres | 15 GB | Nodes mit Tags (POI) - osm_id
public | planet_osm_polygon | Tabelle | postgres | 127 GB | Geschlossen Linestrings und Multipolygone - osm_id
public | planet_osm_rels | Tabelle | postgres | 2555 MB | Rohdaten Relationen, id
public | planet_osm_roads | Tabelle | postgres | 16 GB |
public | planet_osm_ways | Tabelle | postgres | 86 GB | Rohdaten ways, id
public | planet_osm_line_index | Index | postgres | planet_osm_line | 23 GB |
public | planet_osm_line_pkey | Index | postgres | planet_osm_line | 4274 MB |
public | planet_osm_line_tags_index | Index | postgres | planet_osm_line | 6785 MB |
public | planet_osm_nodes_pkey | Index | postgres | planet_osm_nodes | 8192 bytes |
public | planet_osm_point_index | Index | postgres | planet_osm_point | 5323 MB |
public | planet_osm_point_pkey | Index | postgres | planet_osm_point | 2328 MB |
public | planet_osm_point_place | Index | postgres | planet_osm_point | 201 MB |
public | planet_osm_point_tags_index | Index | postgres | planet_osm_point | 2813 MB |
public | planet_osm_polygon_index | Index | postgres | planet_osm_polygon | 16 GB |
public | planet_osm_polygon_pkey | Index | postgres | planet_osm_polygon | 6341 MB |
public | planet_osm_polygon_tags_index | Index | postgres | planet_osm_polygon | 6999 MB |
public | planet_osm_rels_idx | Index | postgres | planet_osm_rels | 10 MB |
public | planet_osm_rels_parts | Index | postgres | planet_osm_rels | 2341 MB |
public | planet_osm_rels_pkey | Index | postgres | planet_osm_rels | 218 MB |
public | planet_osm_roads_index | Index | postgres | planet_osm_roads | 2005 MB |
public | planet_osm_roads_pkey | Index | postgres | planet_osm_roads | 478 MB |
public | planet_osm_roads_tags_index | Index | postgres | planet_osm_roads | 1106 MB |
public | planet_osm_ways_idx | Index | postgres | planet_osm_ways | 332 MB |
public | planet_osm_ways_nodes | Index | postgres | planet_osm_ways | 188 GB |
public | planet_osm_ways_pkey | Index | postgres | planet_osm_ways | 13 GB |
Und da kommt noch manch anderes dazu.
Ein Full Import des Planeten ist bei mir derzeit illusorisch. Mit 24 oder auch 32 GB Memory klappt das nie. Frederik schrieb mal vor 2-3 Monaten, dass ein Import aus technischen GrĂŒnden inzwischen mindestens 64 GB braucht.
@frederik: ich kann deinen Beitrag leider nicht mehr finden, daher nur ein âGedĂ€chtnisprotokollâ
Ja, irgendwie schade. Ich hatte gehofft, dass z.B. die Boundaries Map viel Last und Traffic produziert und hĂ€tte nur diese dann ausgelagert auf einen eigenen minimalen Server (wie oben beschrieben). Du kannst ja weiterhin den Planet auf deinem Rechner nutzen, nur die ganzen externen User wĂŒrden dann wegfallen.
Weitere Ideen:
Ergebnisse cachen, oder vorberechnen und als File ablegen.
Warteschlange einfĂŒhren, maximale Zahl an Tasks. Wenn zuviel los ist, lĂ€uft irgendwann ein Job, wenn der fertig ist, gibtâs eine Email-Benachrichtung mit Download-Link.
Ja, der reine Export (Zusammenstellen der Grenzen und Umformung in das gewĂŒnschte Format) kostet natĂŒrlich auch Leistung, aber dafĂŒr hab ich ja die vielen Cores. Da qualmen mal 1-2 Cores einige Zeit und dann ist der jeweilige Export fertig zum Hochladen (oder Runterladen, je nach âStandpunktâ ;)).
ist eines der Highlights der 4.1
Ja, das könnte man fĂŒr die 4.x machen. Ich denk mal drĂŒber nach.
Hi every one,
Sorry I donât speak german⊠I just wanted to know if the OSM Boundaries Map 4.1 (https://osm.wno-edv-service.de/boundaries/) is still supported. Indeed, when I go to the website I have an infinite loading icon and the search doesnât do anything. This is my first time ever on this website, I canât tell you from when it has been this way.
Thanks