You are not logged in.

#1 2016-09-30 14:12:51

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Boundaries Map 4.1 released

Hi,

ich habe die neue Release 4.1 der Boundaries Map fast fertig. Es hapert nur noch an der Übersetzung der deutschen Dokumentation ins Englische. Mein altes Schulenglisch wird wohl grausige Reaktionen bei Muttersprachlern und sonstigen Lesern hervorrufen wink

Wer mir ein wenig helfen mag - und nebenbei die Freigabe ermöglicht - möge sich bitte per PN, OSM-Mail oder sonstwie melden. Nur sollte das "privat" sein, da ich erst die fertige Doku freigeben will.

Es handelt sich um einen Multi-User-Pad, wo man ohne Registrierung einfach loslegen kann. Very easy.

Textlänge: noch ca 1 Seite.

Natürlich bin ich auch noch am Übersetzen, aber manche Sachen fallen mir einfach schwer.

Danke und Gruss
walter

@volker, @stephan75: wie wärs? Weiteres im Slash-Blog der Wochennews.

Last edited by wambacher (2016-10-08 23:26:53)

Offline

#2 2016-10-02 10:57:27

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

So, jetzt weiss ich wirklich nicht mehr, was ich tun soll:

102x wurde dieser Thread bisher gelesen (meine Reads hab ich rausgerechnet) und nicht einer von euch hat sich bereit erklärt, mir ein wenig zu helfen. sad Auch andere Kommunikationsmöglichkeiten blieben unbeantwortet. Ok, einer hat kurz geschrieben, dass er keine Zeit habe.

Passt eigentlich in das Bild, dass ich bei den Spenden für dieses Projekt habe - da ist in den letzten 4 Monaten kein einziger Cent eingegangen.
Und das ganze bei einer nachweislich weltweiten sehr intensiven Nutzung. Gerade auch durch kommerzielle Nutzer.

Der Server, der diese Aufgaben erledigt, befindet sich zudem am Rande seiner Leistungsfähikeit und müsste dringenst erweitert werden. Allerdings wurde gerade ein Förderungsantrag über entsprechende Hardware bei der FOSSGIS in Vorfeld bereits abgelehnt, da dort nur Miete übernommen wird. Und ein entsprechender Server wird von den einschlägigen Firmen nicht angeboten oder ist mit ca 350€/Monat schier unfinanzierbar.

Bleibt mir eigentlich nur eines zu tun: Abschalten.

"Nebenbei" wären dann folgende Projekte betroffen:

- Missing Boundaries
- PLZ Map
- Postcode Boundaries
- Fools
- diverse weitere Webseiten

Alle basieren auf einer weltweiten, aktuellen Datenbank (planet file mit diff update), deren Pflege zunehmend unmöglicher wird.

In der Hoffnung, dass sich hier noch was tut und dass jemandem eine praktikable Lösung für den Server einfällt, warte ich noch etwas ab.

Walter

Offline

#3 2016-10-02 11:23:36

Harald Hartmann
Member
From: 98667 Schönbrunn
Registered: 2014-04-02
Posts: 3,123
Website

Re: Boundaries Map 4.1 released

hast du auch die bots mit rausgerechnet ... okay, war ein schlechter banaler versuch von meinen ebenfalls nicht wirklich gutem englisch abzulenken, bei welchem sich muttersprachlern vermutlich die fussnägel hochrollen würden wink

ps: schonmal daran gedacht eine zwangsspende nach einem gewissen freikontigent einzuführen? also ich wäre dank der super dienste definitiv dafür.


Mein aktives Gebiet: Gemeinde Schleusegrund
Fingerprint meines Schlüssels: 71F7 3CD9 B647 9079 6B88 326E 8B8B 72AE 34F9 5AAD

Offline

#4 2016-10-02 11:40:56

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: Boundaries Map 4.1 released

Ich will hier keine Schleichwerbung machen, aber meinen Xeon(R) CPU E3-1270 Server für Overpass habe ich in der Hetzner Serverbörse für <40€ Netto/Monat erstanden. Und das Ding ist richtig flott, wie man sich hier gerne selbst davon überzeugen kann.

Auch im Bereich >4TB ist in der Börse etwas zu vernünftigen Preisen dabei. Red doch mal mit Frederik, ob das eine Option wäre.

Last edited by mmd (2016-10-02 11:43:28)

Offline

#5 2016-10-02 11:43:33

toc-rox
Member
From: Münster
Registered: 2011-07-20
Posts: 2,084
Website

Re: Boundaries Map 4.1 released

Da gab es doch mal ein OSM-Übersetzungsteam ... der Kontakt damit liegt bei mir aber etwas zurück ... könnte ich versuchen wiederzufinden.

Gruß Klaus

PS: 350 € pro Monat für einen Mietserver scheint mir sehr hoch. Wie genau sind denn die Anforderungen?

Offline

#6 2016-10-02 13:03:01

Chenshi
Member
From: Diepholzer Land
Registered: 2009-04-22
Posts: 493

Re: Boundaries Map 4.1 released

wenn irgendwelche karten-tools-osm-werkzeuge eine gewisse "systemrelevants" haben, sollte man das einem nicht überlassen und unter einem "geldtopf" schlüpfen, ggf. auch mit teilabgabe der adminrechte darüber. vielleicht sollte man auch mal gespräche mit der finanzkräftigeren wikipedia stiftung führen oder der wikimedia deutschland.

ich persönlich trage kein geld bei, sondern nur meine zeit und meine daten, sowohl bei osm und wikipedia und noch andere projekte.

Offline

#7 2016-10-02 15:37:34

Jojo4u
Member
Registered: 2014-08-03
Posts: 1,090

Re: Boundaries Map 4.1 released

Ich hoffe doch dass die finanziellen Probleme ausgeräumt werden können.
Bezüglich der Übersetzung: Viele gehen erst einmal davon aus dass sich schon jemand anderes (ggf. noch besser qualifiziert) finden wird. Ein zweites mal nachfragen müssen ist nicht ungewöhnlich.

Offline

#8 2016-10-02 17:12:22

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,647
Website

Re: Boundaries Map 4.1 released

Hallo Walter,

wambacher wrote:

Der Server, der diese Aufgaben erledigt, befindet sich zudem am Rande seiner Leistungsfähikeit und müsste dringenst erweitert werden. Allerdings wurde gerade ein Förderungsantrag über entsprechende Hardware bei der FOSSGIS in Vorfeld bereits abgelehnt, da dort nur Miete übernommen wird. Und ein entsprechender Server wird von den einschlägigen Firmen nicht angeboten oder ist mit ca 350€/Monat schier unfinanzierbar.

Wie kommst du auf den Betrag? Mir kommt das gerade etwas teuer vor. mmds Vorschlag mit der Serverbörse ist eine günstige Option, aber auch "neue" Server für unter 100 Euro pro Monat sind mittlerweile echt potent.

Vielleicht ließe sich auch an der Software etwas optimieren? Für einen Förderantrag ist es von Nachteil, wenn der Quellcode unfrei ist.

Der FOSSGIS e.V. fördert aus – ich nenne es mal "Sicherheitsgründen" – nur gemietete Server, nicht den Kauf von Hardware, die dann außerhalb seines Einflussbereiches in Privatwohnungen steht. Aus ähnlichem Grund hat man vor einigen Jahren mal einen Förderantrag zum Kauf eines etwas stärkeren Rechners zum Erstellen von Garmin-Karten abgelehnt. Wenn der Server gemietet ist, aber für Zwecke außerhalb des Förderantrags bzw. der Vereinsziele des FOSSGIS e.V. verwendet wird, dann kann der FOSSGIS aufhören, dir die Ausgaben zu erstatten.

Du kommst ja auch, wie ich gesehen habe, voraussichtlich Ende Oktober nach Karlsruhe. Da kannst du ja mit Frederik mal direkt darüber reden.

Viele Grüße

Michael


Werdet Mitglied in der OpenStreetMap Foundation für 15 Pfund pro Jahr und bestimmt über die Zukunft der Foundation und des OSM-Projekts mit.
Moderator im Bereich users: Austria.

Offline

#9 2016-10-02 17:31:31

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Harald Hartmann wrote:

hast du auch die bots mit rausgerechnet ... okay, war ein schlechter banaler versuch von meinen ebenfalls nicht wirklich gutem englisch abzulenken, bei welchem sich muttersprachlern vermutlich die fussnägel hochrollen würden wink

jo, und deshalb versteht ich auch nicht, was die bots hier zu suchen haben.

ps: schonmal daran gedacht eine zwangsspende nach einem gewissen freikontigent einzuführen? also ich wäre dank der super dienste definitiv dafür.

Ja, in diese Richtung könnte/müsste sich das entwickeln.
Aber mir fallen bereits einige Wege ein, so ein Kontingent zu überlisten (Zweitaccounts usw.)

Gruss
walter

Offline

#10 2016-10-02 17:35:35

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,647
Website

Re: Boundaries Map 4.1 released

wambacher wrote:

ps: schonmal daran gedacht eine zwangsspende nach einem gewissen freikontigent einzuführen? also ich wäre dank der super dienste definitiv dafür.

Ja, in diese Richtung könnte/müsste sich das entwickeln.
Aber mir fallen bereits einige Wege ein, so ein Kontingent zu überlisten (Zweitaccounts usw.)

Hast du keine Maximalkontigente pro IP-Adresse und Tag? Oder ein Limit parallel laufender Abfragen pro IP-Adresse?


Werdet Mitglied in der OpenStreetMap Foundation für 15 Pfund pro Jahr und bestimmt über die Zukunft der Foundation und des OSM-Projekts mit.
Moderator im Bereich users: Austria.

Offline

#11 2016-10-02 17:36:54

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

mmd wrote:

Ich will hier keine Schleichwerbung machen, aber meinen Xeon(R) CPU E3-1270 Server für Overpass habe ich in der Hetzner Serverbörse für <40€ Netto/Monat erstanden. Und das Ding ist richtig flott, wie man sich hier gerne selbst davon überzeugen kann.

meinst also, meine Ansprüche wären zu hoch? Nun, ich kenne meine Kiste, weiss was die rattert und dass sie kurz vorm Ende ist. Klar, ein wenig SSD würde noch was bringen, aber bei 32 GB Mem ist Schluss mit dem Motherboard. Da hilft nicht Kleckern sondern nur Klotzen. 

Auch im Bereich >4TB ist in der Börse etwas zu vernünftigen Preisen dabei. Red doch mal mit Frederik, ob das eine Option wäre.

Jo, Frederik hab ich noch nicht direkt angesprochen.

Gruss
walter

Last edited by wambacher (2018-02-10 10:29:28)

Offline

#12 2016-10-02 17:49:16

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

toc-rox wrote:

Da gab es doch mal ein OSM-Übersetzungsteam ... der Kontakt damit liegt bei mir aber etwas zurück ... könnte ich versuchen wiederzufinden.

Danke, es hat sich schon wer "erbarmt" und ist bald fertig.

PS: 350 € pro Monat für einen Mietserver scheint mir sehr hoch. Wie genau sind denn die Anforderungen?

Jo, ist schon heftig.

Eckdaten: 2x12 Core AMD,  64GB  4-6 TB HD Raid 1,  1 TB SSD Raid 1, wobei ich keine der  noch verwendbaren Komponenten vom alten Server verwenden kann (geht ja wohl net, dass ich hetzner ein Päckchen schicke, gell?)

So gross, damit ich 2-3 Jahre Ruhe habe. Der alte Server ist von 2013.

Gruss
walter

Offline

#13 2016-10-02 17:57:26

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Chenshi wrote:

wenn irgendwelche karten-tools-osm-werkzeuge eine gewisse "systemrelevants" haben, sollte man das einem nicht überlassen und unter einem "geldtopf" schlüpfen, ggf. auch mit teilabgabe der adminrechte darüber. vielleicht sollte man auch mal gespräche mit der finanzkräftigeren wikipedia stiftung führen oder der wikimedia deutschland.

Mit einer Neuinstallation der Softwareumgebung auf einem externen - nicht mir gehörenden - Server hätte ich wenig Probleme. Die Installation muss ich ja immer bei 'nem neuen Server machen. Und so sehr macht Admin ja auch nicht immer Spass. Nur bei FOSSGIS geht es nicht und andere Standorte hab ich noch nicht evaluiert.

Wenn ich da aber an die "never ending story" wegen dem Forenserver denke, komm ich schon ins Grübeln.

ich persönlich trage kein geld bei, sondern nur meine zeit und meine daten, sowohl bei osm und wikipedia und noch andere projekte.

Kein Problem. Es muss ja nicht jeder was spenden - aber garkeiner? Das ist echt ätzend.

Danke und Gruss
walter

Offline

#14 2016-10-02 18:07:37

Jojo4u
Member
Registered: 2014-08-03
Posts: 1,090

Re: Boundaries Map 4.1 released

Man kann für die Boundary Map auch flattren, kommt darüber auch nichts rein?

Offline

#15 2016-10-02 18:07:37

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Jojo4u wrote:

Ich hoffe doch dass die finanziellen Probleme ausgeräumt werden können.
Bezüglich der Übersetzung: Viele gehen erst einmal davon aus dass sich schon jemand anderes (ggf. noch besser qualifiziert) finden wird. Ein zweites mal nachfragen müssen ist nicht ungewöhnlich.

danke, hat sich ja erübrigt smile

Ausserden war das hier bereits schon die 2. Anfrage, da gestern 102 Kollegen das hier gelesen aber keiner reagiert hat. Daher hab ich heute wohl ein wenig nachlegen müssen und noch ein wenig Frust hinzugepackt.

Gruss
walter.

Offline

#16 2016-10-02 18:12:51

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Nakaner wrote:

Der FOSSGIS e.V. fördert aus – ich nenne es mal "Sicherheitsgründen" – nur gemietete Server, nicht den Kauf von Hardware, die dann außerhalb seines Einflussbereiches in Privatwohnungen steht. Aus ähnlichem Grund hat man vor einigen Jahren mal einen Förderantrag zum Kauf eines etwas stärkeren Rechners zum Erstellen von Garmin-Karten abgelehnt. Wenn der Server gemietet ist, aber für Zwecke außerhalb des Förderantrags bzw. der Vereinsziele des FOSSGIS e.V. verwendet wird, dann kann der FOSSGIS aufhören, dir die Ausgaben zu erstatten.

Jo, das hatte mit der Kollege von der FOSSGIS auch gesagt und ich kann das durchaus nachvollziehen. Ein Kollege von der Wochennews hat aber vorher gemeint, dass das kein Problem sein solle.

Du kommst ja auch, wie ich gesehen habe, voraussichtlich Ende Oktober nach Karlsruhe. Da kannst du ja mit Frederik mal direkt darüber reden.

Ja, das werde ich wohl machen - und wenn mir mein Server nicht wieder vorher "abraucht", kann das sogar was werden smile

Gruss
walter

Offline

#17 2016-10-02 18:25:30

Nakaner
Moderator
From: Karlsruhe
Registered: 2011-09-03
Posts: 2,647
Website

Re: Boundaries Map 4.1 released

Hallo Walter,

wambacher wrote:
Nakaner wrote:

Du kommst ja auch, wie ich gesehen habe, voraussichtlich Ende Oktober nach Karlsruhe. Da kannst du ja mit Frederik mal direkt darüber reden.

Ja, das werde ich wohl machen - und wenn mir mein Server nicht wieder vorher "abraucht", kann das sogar was werden smile

Das ist leider ganz normal, dass kostenlose Dienste über Gebühr in Anspruch genommen werden ("missbrauchen" wäre das besser Wort). Dagegen hilft nur konsequentes Beschränken und Sperren der größten Nutzer. Wenn der Dienst freie Software und sein Setup dokumentiert ist, dann kann man guten Gewissens den Schuldigen mit "Schnorr' nicht, sondern betreibe bitte deine eigene Boundaries Map" antworten. Die Betreiber bekannter, kostenloser OSM-Dienste wie den Tileservern (egal ob OSMF oder openstreetmap.de), Nominatim oder Overpass-API klagen (und haben sich damit abgefunden) über unerwünschte Crawler, schlecht programmierte Applikationen usw. Dagegen hilft nur Sperren, Sperren, Sperren. Und wenn das nicht hilft, kann man ja darüber nachdenken, mit Error 429 (too many request) im Header und einer zufällig erzeugten, auf einer Landmasse liegenden Geometrie antworten (bei Tileservern haben sich Tiles mit dem Schriftzug "Sie verletzten die Nutzungsbedingungen von …" bewährt).

So wie ich dich als Person kenne, dürfte dir das als Person vom Charakter her nicht schwer fallen, hart zu sein. :-)

Viele Grüße

Michael


Werdet Mitglied in der OpenStreetMap Foundation für 15 Pfund pro Jahr und bestimmt über die Zukunft der Foundation und des OSM-Projekts mit.
Moderator im Bereich users: Austria.

Offline

#18 2016-10-02 18:39:33

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Nakaner wrote:

Hast du keine Maximalkontigente pro IP-Adresse und Tag? Oder ein Limit parallel laufender Abfragen pro IP-Adresse?

Nö, pro IP noch nicht. Nur eine  Erfassung pro User.

Bin gerade am Auswerten und bastel an einigen Grafiken.
siehe:
user1.png
Ca 3600 aktive User (also die schon mal etwas heruntergeladen haben) und davon ca 30-50, die 50 % der Exporte gemacht haben.
Hier die Top 40:

              user               |    kb     |   mb   | gb  
---------------------------------+-----------+--------+-----
 Gian***********                 | 3515532.2 | 3433.1 | 3.4
 Step**********                  | 2438629.0 | 2381.5 | 2.3
 miss********                    | 2330763.4 | 2276.1 | 2.2
 Leo ****                        | 2244428.9 | 2191.8 | 2.1
 xixe**                          | 2153151.3 | 2102.7 | 2.1
 jung***                         | 2088401.4 | 2039.5 | 2.0
 Rica***********                 | 2049324.5 | 2001.3 | 2.0
 Bumk**                          | 1878546.1 | 1834.5 | 1.8
 etes****                        | 1836869.7 | 1793.8 | 1.8
 asbt******                      | 1753867.4 | 1712.8 | 1.7
 Phil******                      | 1662180.0 | 1623.2 | 1.6
 Davi********                    | 1641831.6 | 1603.4 | 1.6
 toms******                      | 1638104.7 | 1599.7 | 1.6
 MapM***********                 | 1627314.9 | 1589.2 | 1.6
 Pasc**********                  | 1437158.6 | 1403.5 | 1.4
 Дина*****                       | 1397904.0 | 1365.1 | 1.3
 imza***                         | 1353032.4 | 1321.3 | 1.3
 TaoX*                           | 1273960.2 | 1244.1 | 1.2
 dk_s**                          | 1268096.8 | 1238.4 | 1.2
 Laur****                        | 1218532.9 | 1190.0 | 1.2
 Fran*************************** | 1207758.0 | 1179.5 | 1.2
 DFau******                      | 1140017.4 | 1113.3 | 1.1
 Euge************************    | 1127936.8 | 1101.5 | 1.1
 bard********                    | 1100032.2 | 1074.3 | 1.0
 Nena********                    | 1031573.9 | 1007.4 | 1.0
 ybuh***                         |  968651.2 |  945.9 | 0.9
 AleW***                         |  950613.2 |  928.3 | 0.9
 Artu************                |  933669.7 |  911.8 | 0.9
 rgba****                        |  920925.5 |  899.3 | 0.9
 Marí*****************           |  855555.4 |  835.5 | 0.8
 sedi****                        |  829993.3 |  810.5 | 0.8
 Paul**************              |  786629.5 |  768.2 | 0.8
 Yann********                    |  757117.5 |  739.4 | 0.7
 Yari******                      |  700817.1 |  684.4 | 0.7
 Proj*******                     |  689861.1 |  673.7 | 0.7
 maad****                        |  670676.7 |  655.0 | 0.6
 Hsin**********                  |  652596.7 |  637.3 | 0.6
 rash******                      |  607115.3 |  592.9 | 0.6
 Stef*********                   |  599389.9 |  585.3 | 0.6
 Mafi***                         |  597799.2 |  583.8 | 0.6
(40 Zeilen)

Summe ca 130 GB, meine Tests hab ich rausgerechnet.

Zu Einschätzung: DE hat 114 MB, wenn man die komplexen Landgrenzen mit den Costlines als Shapes lädt.

Last edited by wambacher (2017-08-04 23:42:39)

Offline

#19 2016-10-02 18:44:36

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Nakaner wrote:

So wie ich dich als Person kenne, dürfte dir das als Person vom Charakter her nicht schwer fallen, hart zu sein. :-)

klar, in diese Richtung wird der Zug wohl fahren müssen. Hab die Sache wohl etwas schludern lassen, da ich mit der Entwicklung der 4.1 sehr beschäftigt war. Aber als ich dann feststellen musste, dass ich letztendlich nur ausgenutzt werde, ist auch mir der Kragen geplatzt (obwohl ich fast nie Hemden trage wink)

Gruss
walter

Offline

#20 2016-10-02 21:04:42

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Nabend,

die Übersetzung ist mittels eines netten Kolegen fertig und eigentlich könnte ich morgen die Boundaries Map 4.1 freischalten.

Ich überlege jetzt aber, ob ich noch einige Tage warte und in dieser Zeit eine vernünftige Kontingentierung einbaue. Es wäre jetzt echt die beste Gelegenheit dazu. Eine Art Accounting hab ich ja bereits.

Danke für die Hilfe und die konstruktiven Tips - aber ganz ist das Problem mit dem neuen Server nicht aus der Welt. Irgendwas muß passieren, sonst bricht mir die Kiste bald zusammen. Wer also noch konstruktive Tips hat - immer her damit.

Gruss
walter

Offline

#21 2016-10-03 09:22:30

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Jojo4u wrote:

Man kann für die Boundary Map auch flattren, kommt darüber auch nichts rein?

Zero, nothing - und das von Anfang an sad

Offline

#22 2016-10-03 11:08:12

mmd
Member
Registered: 2010-11-06
Posts: 1,771

Re: Boundaries Map 4.1 released

wambacher wrote:

Eckdaten: 2x12 Core AMD,  64GB  4-6 TB HD Raid 1,  1 TB SSD Raid 1

Dazu eine kurze Nachfrage: ist darin ein kompletter Planet auf Postgres enthalten?
Könnte man den auch so eindampfen, dass nur noch z.B. Boundaries drin sind?

Ich habe da 2 Szenarien im Kopf:
1. Planet-File täglich updaten, Boundaries extrahieren, Postgres damit füttern
2. Overpass läuft die ganze Zeit mit Minutely updates (Planet benötigt etwa 200GB), je nach Bedarf Boundaries extrahieren, Postgres damit füttern

Offline

#23 2016-10-03 12:09:36

Yokr
Member
Registered: 2015-10-31
Posts: 521

Re: Boundaries Map 4.1 released

Ich kenne mich damit überhaupt nicht aus. Aber bei Wikipedia gibt es wohl so einen Hosting-Service für Werkzeuge und ähnliches: das Wikimedia Tool Labs

Wäre so etwas vielleicht auch für OSM eine sinnvolle Idee? Oder was spräche dagegen?

Offline

#24 2016-10-03 12:56:38

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

mmd wrote:

Dazu eine kurze Nachfrage: ist darin ein kompletter Planet auf Postgres enthalten?
Könnte man den auch so eindampfen, dass nur noch z.B. Boundaries drin sind?

Nö, der Planet wird für alle möglichen - und unmöglichen - Anwendungen und Auswertungen verwendet.

Ich habe da 2 Szenarien im Kopf:
1. Planet-File täglich updaten, Boundaries extrahieren, Postgres damit füttern

manche Anwendungen sind auch "Realtime", wenn der Update mal wieder flutscht.

2. Overpass läuft die ganze Zeit mit Minutely updates (Planet benötigt etwa 200GB), je nach Bedarf Boundaries extrahieren, Postgres damit füttern

Verwendet die Overpass nicht ein spezielles Datenbankschema? Zumindest war das früher so und erklärte mir auch die super Geschwindigkeit bei Abfragen.

200 GB ist natürlich winzig. Da passt bei mir gerade mal eine Tabelle rein.

Hier mal die Grössen der Basistabellen und einiger der Indixes:

 public | planet_osm_line                       | Tabelle | postgres   | 184 GB     | linestrings mit tags? - osm_id
 public | planet_osm_nodes                      | Tabelle | postgres   | 8192 bytes | rohdaten nodes (leer)
 public | planet_osm_point                      | Tabelle | postgres   | 15 GB      | Nodes mit Tags (POI) - osm_id
 public | planet_osm_polygon                    | Tabelle | postgres   | 127 GB     | Geschlossen Linestrings und Multipolygone - osm_id
 public | planet_osm_rels                       | Tabelle | postgres   | 2555 MB    | Rohdaten Relationen, id
 public | planet_osm_roads                      | Tabelle | postgres   | 16 GB      | 
 public | planet_osm_ways                       | Tabelle | postgres   | 86 GB      | Rohdaten ways, id

 public | planet_osm_line_index                 | Index | postgres   | planet_osm_line             | 23 GB      | 
 public | planet_osm_line_pkey                  | Index | postgres   | planet_osm_line             | 4274 MB    | 
 public | planet_osm_line_tags_index            | Index | postgres   | planet_osm_line             | 6785 MB    | 
 public | planet_osm_nodes_pkey                 | Index | postgres   | planet_osm_nodes            | 8192 bytes | 
 public | planet_osm_point_index                | Index | postgres   | planet_osm_point            | 5323 MB    | 
 public | planet_osm_point_pkey                 | Index | postgres   | planet_osm_point            | 2328 MB    | 
 public | planet_osm_point_place                | Index | postgres   | planet_osm_point            | 201 MB     | 
 public | planet_osm_point_tags_index           | Index | postgres   | planet_osm_point            | 2813 MB    | 
 public | planet_osm_polygon_index              | Index | postgres   | planet_osm_polygon          | 16 GB      | 
 public | planet_osm_polygon_pkey               | Index | postgres   | planet_osm_polygon          | 6341 MB    | 
 public | planet_osm_polygon_tags_index         | Index | postgres   | planet_osm_polygon          | 6999 MB    | 
 public | planet_osm_rels_idx                   | Index | postgres   | planet_osm_rels             | 10 MB      | 
 public | planet_osm_rels_parts                 | Index | postgres   | planet_osm_rels             | 2341 MB    | 
 public | planet_osm_rels_pkey                  | Index | postgres   | planet_osm_rels             | 218 MB     | 
 public | planet_osm_roads_index                | Index | postgres   | planet_osm_roads            | 2005 MB    | 
 public | planet_osm_roads_pkey                 | Index | postgres   | planet_osm_roads            | 478 MB     | 
 public | planet_osm_roads_tags_index           | Index | postgres   | planet_osm_roads            | 1106 MB    | 
 public | planet_osm_ways_idx                   | Index | postgres   | planet_osm_ways             | 332 MB     | 
 public | planet_osm_ways_nodes                 | Index | postgres   | planet_osm_ways             | 188 GB     | 
 public | planet_osm_ways_pkey                  | Index | postgres   | planet_osm_ways             | 13 GB      | 

Und da kommt noch manch anderes dazu.

Ein Full Import des Planeten ist bei mir derzeit illusorisch. Mit 24 oder auch 32 GB Memory klappt das nie. Frederik schrieb mal vor 2-3 Monaten, dass ein Import aus technischen Gründen inzwischen mindestens 64 GB braucht.

@frederik: ich kann deinen Beitrag leider nicht mehr finden, daher nur ein "Gedächtnisprotokoll"

Gruss
walter

Last edited by wambacher (2016-10-03 12:57:15)

Offline

#25 2016-10-03 16:58:18

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,405
Website

Re: Boundaries Map 4.1 released

Hi,

das kummulierte Erfassen der Exports funzt schon ganz gut:

select * from usage_by_user;select * from usage_by_ip;
 userid  |  bytes   | count |         ts          
---------+----------+-------+---------------------
 4473xxx |   266782 |    23 | 2016-10-03 14:42:44
  362xxx | 12023176 |     1 | 2016-10-03 16:26:46
 3408xxx | 80913251 |     1 | 2016-10-03 16:42:06
 4668xxx | 91716789 |     9 | 2016-10-03 17:15:36
(4 Zeilen)

       ip       |  bytes   | count |         ts          
----------------+----------+-------+---------------------
 178.203.xxx.xx |   266782 |    23 | 2016-10-03 14:42:44
 176.92.xxx.xxx | 12023176 |     1 | 2016-10-03 16:26:46
 87.213.xxx.xxx | 80913251 |     1 | 2016-10-03 16:42:06
 96.27.xx.xx    | 91716789 |     9 | 2016-10-03 17:15:36
(4 Zeilen)

Jetzt "nur noch" die Aktion drauf und dann warten mer mal ab.

Offline

Board footer

Powered by FluxBB