Die Geschichtskarte braucht Unterstützung

Nahmd,

vor ein paar Tagen ist die Geschichtskarte auf einen neuen leistungsstarken Server umgezogen (ich kürze ihn ab hier mit “whp” ab). Als nächstes steht eine technische Generalüberholung an, inklusive einer Erhöhung des Update-Taktes.

Gesucht ist jemand, der die technische Betreuung der Karte übernimmt.

Da ich für OSM keine Zeit mehr habe, kann ich anders als geplant diese Aufgabe leider nicht übernehmen.

Aktuelle Situation:

der Server selbst inklusive Backup läuft stabil und wird von Zecke betreut.

Mein Server (geo.netzwolf.info) liest einmal pro Tag den Planet und erzeugt daraus ein CSV mit den historischen Objekten und ein weiteres CSV mit Vector-Daten historischer Objekte; beide werden vom whp-Server übernommen und per OpenLayers(2) in der bekannten Weise in der Karte dargestellt. Mein Server wird die Daten für die historische Karte (und alle weiteren Auswertungen) mindestens für ein halbes Jahr bereitstellen.

Die Tools und Skripte sind auch auf whp installiert und getestet, whp ist also völlig autark und kann wahlweise selbst gewonnene Daten nutzen oder die von mir bereitgestellten (um CPU-Zeit und besonders IO-Bandbreite zu sparen).

Die Toolchain läuft seit vielen Monaten stabil ohne einen einzigen manuellen Eingriff, Dateninkonsistenzen, klemmende Indexe und solchen Firlefanz gibt es nicht. Aber: es gibt nur einen Update pro Tag.

Was genau steht an?

Der Daten-Feed der Karte soll häufiger aktualisiert werden. Ich sehe als eine Möglichkeit die Abfrage einer lokalen OP-Instanz (hab aber beim Versuch, die ~600k historischen Objekte von der OP-Haupt-Instanz zu ziehen, fast 3h gebraucht). Alternativ das Aufsetzen einer Datenbank mit inkrementellem Update, die mit listigen Stored-Procedures und Triggern die nicht im OSM-Rohdatenbestand enthaltenen, aber genutzen Werte ergänzt. Beides sind nur Ideen, ich halte mich da völlig raus (beantworte aber natürlich Fragen).

Das Schöne an der Aufgabe: es gibt keinen Zeitdruck, da Datenfeed und Karte stabil laufen. Die Hardware ist leistungsfähig genug für OP/DB-Einsatz. Gesucht ist auch kein Hiwi/Indianer, der für einen Häuptling die Fleißarbeit macht, sondern ein nächster (technischer) Häuptling. Die Aufgabe ist gut charakterisiert, erster Meilenstein ist ganz einfach die Erzeugung der historic.csv über die neu einzurichtende Toolchain.

Es wartet die perfekte Herausforderung für einen OP und/oder DB-Kundigen.

Ich hoffe, dass jemand die Herausforderung annimmt.

Hic Rhodos, hic salta. :slight_smile:

Gruß Wolf

Eine denkbare Vorgehensweise (von vielen) ist diese:

  • ständig ein aktuelles Planetfile bereithalten
  • regelmäßig mit Osmosis die Diffs holen und an das Planetfile anfügen (nicht in eine Datenbank)
  • ein Osmium-basiertes C+±Programm schreiben, das das Planetfile durchliest und dabei alle notwendigen Informationen herauszieht

Nach der Art funktionieren bei mir verschiedene “OSM Inspector”-Layer. Damit kann man eine Updatefrequenz von 2-3x am Tag erreichen, ohne mit der dicken Datenbank-Keule draufhauen zu müssen. Ständig aktualisierte Datenbank ist natürlich besser, aber frisst auch mehr Leistung auf dem System und braucht vorallem viel SSD-Platz.

Bye
Frederik

Moins,

Passiert ist: nichts. :frowning:

Statt der angekündigten sechs Monate habe ich den Service drei Jahre weiter betrieben.
Eine alte Weisheit sagt: „Was nicht immer weitergehen kann, hört irgendwann auf.”

Sowohl das „beantworte aber natürlich Fragen” als auch das „kein Zeitdruck” galt für die garantierten sechs Monate.
Jetzt nach über drei Jahren gilt das nicht mehr, insbesondere kann der Server jederzeit abgeschaltet werden.

Das gilt weiter, und mit der detaillierten Anleitung von Herrn Ramm sollte die Lösung der Aufgabe kein größeres Problem darstellen. :sunglasses:

Antworten bitte an das Team der Geschichtskarte und nicht hier an mich, ich lese das Forum nicht.

Gruß Wolf

Warum so sarkastisch?

PS: Was hatte sich eigentlich ereignet auf dem Weg vom OSM-Enthusiasten zum OSM-Totalverweigerer?

Aus meiner Erinnerung auch ein paar unerquickliche Diskussionen damals hier im Forum.

Außerdem: Den Betrieb eines Servers über 3 Jahre würde ich nicht Totalverweigerung nennen.

Hallo Netzwolf und restliches historic.place-Team,

es tut mir leid, wenn diese Nachricht demotivierend ist, aber ich schreibe hier einfach mal meine Meinung nieder und spare nichts aus. Dieser Beitrag mag dem Ruf des Projekt schaden, aber leider basiert er auf Fakten und Zitaten. Wenn ich im Folgenden von “ihr” und dessen Deklinationen verwende, bezieht sich das auf das Team von historic.place, zu welchem die FOSSGIS-Mitglieder über Lutz Kontakt hatten.

Ich habe das im Januar 2016 schon einmal in einer Mail an die FOSSGIS-Vereins-Liste geschrieben, wo Lutzs damaliger Förderantrag diskutiert wurde. Die Mail ging im CC an Lutz:

In eurem Aufruf fehlt ein Link zum Quellcode. Erwartet ihr hier, dass sich jemand meldet und die Katze im Sack “kauft”? Viele andere Projekte, die ebenfalls um die Freizeit der verfügbaren Kräfte buhlen, haben ihren Quellcode in Form eines Git- oder SVN-Repositorys online unter einer freien Lizenz. Ich gehe davon aus, dass jemand, der ein neues Freizeitprojekt sucht, zuerst mal, ohne den bisherigen Eigner des Projekts zu informieren, sich einen Überblick über das Projekt verschafft, indem er sich den Quellcode ansieht.

Geändert hat sich seitdem nichts oder fast nichts. Der Bitte/Forderung mehrerer FOSSGIS-Mitglieder den Quellcode seid ihr nicht nachgekommen. Ihr habt immer noch die CC-BY-Lizenz. Ihr seid darauf hingewiesen worden, dass diese für Quellcode ungeeignet ist und die BSD- und MIT-Lizenz geeignete Alternativen seien. Nennenswertes Interesse, diesen Makel zu beseitigen, kann ich nicht erkennen. Dabei dürfte dank einer geringen Anzahl an Mitwirkenden es einfacher sein, die erforderlichen Einwilligungen einzusammeln.

Jemandem der freie Software (frei wie Freiheit, nicht frei wie Freibier) liebt, sollte es sich zweimal überlegen, ob er Zeit in eine Software stecken möchte, die bei strenger Auslegung der Lizenz nicht frei ist.

Auf der Seite des damaligen Förderantrags im FOSSGIS-Wiki kann jeder die Antworten von Lutz, der für das historic.place-Team den Antrag stellte, nachlesen.

Die Antwort auf die Frage nach der Quellcodeveröffentlichung war:

Nicht im FOSSGIS-Wiki steht, dass von Seiten eures Admins Bedenken wegen Sicherheitslücken in den PHP-Skripten bestünden. (Mail von Lutz vom 15.01.2016)

Niemand schreibt euch Git vor. Wenn ihr SVN, wäre das höchstens eine Randnotiz wert. Im Gegenteil, SVN ist für Einsteiger sogar einfacher zu verstehen, weil es das einfache Client-Server-Modell hat. Gerade deshalb lässt eure Grundeinstellung mich jedes Mal erschaudern, wenn ich sie lese. Das Das obige Zitat lässt potentiellen Interessenten sehr viel Interpretationsspielraum über den Zustand des Projekts, die Arbeitsweise seiner Entwickler und deren Programmierstil. (Ich führe das hier mal nicht weiter aus, weil es zu spekulativ wird. Bildet euch selbst eine Meinung)

Aufgrund der fehlende Offenheit für weitere Mitwirkende und der ungeeignete Lizenz hatte ich mich damals gegen euren Förderantrag ausgesprochen. Damals war ich übrigens nicht alleine mit meiner Meinung. Ich habe den Eindruck, dass die Kritik an euch abgeperlt ist, ohne eine Öffnung zu bewirken.

Beim Stöbern in meinem persönlichen Archiv der FOSSGIS-Vereins-Mailingliste ist mir noch folgendes Zitat von Lutz über den Weg gelaufen:

Viele Grüße

Michael

EDIT ein “und” vor “deren Programmierstil” eingefügt

… ja, alles im Leben unterliegt einer emotionalen Abnutzung. Einzig der Umgang damit ist bei jedem anders ausgeprägt.

Mein Wissen in Sachen Datenbank und all den anderen Dingen hat sich bei mir in den letzt Jahren zurück entwickelt.

Ich finde nur die GK ist eine beachtliche Sonderkarten und wenn man diese wo zeigt, dann sind die Menschen (auch die Presse) immer wieder beeindruckt. Insbesondere unter dem Gesichtspunkt, das diese nicht nur auf Deutschland begrenzt ist.

Die Karte und das know-how dürfen nicht verloren gehen.

Gruß Jan

Der Fossgis und Förderanträge … ein Trauerspiel.

Hallo,

Mit dieser Trotzhaltung kommst du regelmäßig, wenn jemand, der im FOSSGIS aktiv ist, etwas zum Thema Förderanträge schreibt.

Es gibt in der älteren FOSSGIS-Vergangenheit (bis ca. 2014) ein paar Förderanträge, deren Ablehnung ich heute nicht mehr nachvollziehen kann und die nicht gerade für eine OSM-Freundlichkeit in jenen Tagen gesprochen haben. Die Zeiten haben sich jedoch gewandelt. Dein Antrag stammt aus dem Jahr 2016.

Du hattest einen Förderantrag unter folgende Bedingung gestellt:

Weitere Details können in anderen Diskussionen in diesem Forum nachgelesen werden:

Das Rezept für einen erfolgreichen FOSSGIS-Förderantrag für Serverbetriebskosten:

  • der gesamte Code ist unter einer freien Lizenz verfügbar (sonst ist das Geld futsch, wenn der Projektleiter die Lust verliert)
  • das Git- oder SVN-Repository ist öffentlich lesbar (d.h. Offenheit für weitere Mitwirkende)
  • mehrere Entwickler arbeiten am Projekt mit (das Kriterium ist nicht so streng)
  • es ist ein Open-Source-GIS-Software-Projekt oder ein Projekt zur Nutzung von OSM-Daten (andere Open-Data-Datensätze sind selten Thema, könnten aber auch klappen)
  • der FOSSGIS erhält SSH-Root-Zugang zum Server (er wird nur benutzt werden, wenn der eigentliche Admin verschollen oder unerreichbar ist)
  • Aussagen wie “ohne Förderung muss ich den Server kündigen” stören nicht, wenn sie keine Lügen sind

Wenn Hartmut Holzgraefe um Förderung der Serverbetriebskosten seiner Maposmatic-Instanz bitten würde, wären seine Chancen nicht schlecht. Es ist zwar de-facto momentan auch ein Ein-Mann-Projekt, aber der Quellcode ist offen zugänglich und es ist von großem Nutzen. Auch Wambacher hätte gute Chancen auf die Bezahlung eines Hetzner-Servers für seine Projekte, wenn der Quellcode offen wäre (ich habe nicht nachgeschaut, wie der aktuelle Stand da ist).

Viele Grüße

Michael

PS Wer Fragen zu den Förderanträgen hat und sie nicht öffentlich stellen möchte, kann sich gerne auch nichtöffentlich an mich wenden.

Die zuvor angemerkte emotionale Abnutzung bezieht sich auch auf Personen … sonst gäbe es ja keine Scheidungen.

Das ist einerseits historisch gewachsen (der erste Server auf dem Historic.Place lief war wohl zu klein, bzw. beschränkter Root Zugang).
Und Wolfgang nahm sowieso die Erstellung von OSM-Daten auf seinem Powerserver vor.
Es gab mehrere Anläufe, Historic.Place autark zu machen, da war auch ein wenig Pech dabei, mehrere Plattenausfälle (wir haben praktisch zweimal von vorne Angefangen).
Bisher ging ich auch noch davon aus, das wir mit Wolfgangs Hilfe autark werden können…

@Nakaner, warum soll dein Beitrag den Ruf des Projektes schaden?
Im laufe der Zeit hatte ich wegen Historic.Place Mail-Verkehr mit hunderten von Mappern und Anwendern aus der ganzen Welt.
Anfragen wurden Zeinah beantwortet, und Wünsche wurden wenn möglich erfüllt, auch wenn ich oder ein anderer im Projekt nicht hundertprozentig überzeugt von der Notwendigkeit war.
Zum Quellcode, ich arbeite die ganze Woche auf Montage, gehe spätestens 06.00 Uhr aus dem Haus, und bin frühestens 19.00-20.00 wieder in igendeinem Hotel oder Gasthof. Für OSM habe ich in der Woche 6-10 Stunden Zeit, da gehen schon mehrere Stunden nur für die Kommunikation drauf.
Da ist keine Zeit mehr sich noch mit SVN oder Git zu beschäftigen.
Das habe ich ja schon mehrmals erwähnt, aber das können ja Menschen, die ihre OSM-Tätigkeiten vom Büro aus machen nicht verstehen.
Im Übrigen wurde dem FOSSGIS Vorstand der Link zur ZIP mit den Code von Historic.Place schon vor Wochen gesendet.

Grüße von Lutz

Ist denn der Förderantrag beim FOSSGIS für 2018 schon entschieden?

Ich finde auch, es könnte helfen, das Projekt und seinen Umfang schon mal irgendwo zu sehen, gerade die Datenversorgung sieht man ja eben nicht im Browser. Ich bin mir aber auch recht sicher, dass der Code ziemlich genial ist und 2016 hätte ich sicher eine Führung durch den Code bekommen.

Vielleicht findet man ja einen Git/SVN-wasauchimmergradangesagtist-affinen Programmierer, der den Code auf irgendeine Plattform bringt und dort dann auch die zahlreichen zukünftig Mitwirkenden betreut. Das jetzt von den wenigen und technisch nicht so interessierten übrig gebliebenen Leuten zu verlangen, ist nicht nett.

Nehmen wir es doch als zusätzliche Werbung für den Job: Der Neue darf die GK ins open-source-Dasein führen!

Grüße
Max (sorry keine Zeit dafür übrig)

Nein. Die Seite wurde zwar im Januar angelegt, aber das war es dann erst einmal. Ob Lutz eine Mail damals an den Vorstand geschickt hatte (das ist erforderlich, wenn man mit dem Schreiben des Antrags fertig ist), weiß ich nicht. Ich habe im März (war vielleicht auch im Februar oder April) den Vorstand mal gebeten, Lutz per Mail zu bitten, die aktuelle Vorlage für Förderanträge zu verwenden. Die aktuelle Vorlage enthält eine Frage nach “Ort” des Quellcode und dessen Lizenz. Lutz hat daraufhin noch Änderungen an der Förderantragsseite vorgenommen (siehe FOSSGIS-Wiki). Ich wollte historic.place damit die Chance geben, mich wieder zur selben Kritik zu provozieren, die ich schon einmal vorgetragen hatte. Was seitdem lief, weiß ich nicht. Im Zweifelsfall bei Till Adams nachfragen. Er ist für Förderanträge zuständig.