OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 Re: users: Germany » Die Geschichtskarte braucht Unterstützung » 2018-06-03 12:14:55

Netzwolf

Moins,

Netzwolf wrote:
Gesucht ist jemand, der die technische Betreuung der Karte übernimmt.

Da ich für OSM keine Zeit mehr habe, kann ich anders als geplant diese Aufgabe leider nicht übernehmen.

[…]
Mein Server (geo.netzwolf.info) liest einmal pro Tag den Planet und erzeugt daraus ein CSV mit den historischen Objekten und ein weiteres CSV mit Vector-Daten historischer Objekte; beide werden vom whp-Server übernommen und per OpenLayers(2) in der bekannten Weise in der Karte dargestellt. Mein Server wird die Daten für die historische Karte (und alle weiteren Auswertungen) mindestens für ein halbes Jahr bereitstellen.

Passiert ist: nichts. sad

Statt der angekündigten sechs Monate habe ich den Service drei Jahre weiter betrieben.
Eine alte Weisheit sagt: „Was nicht immer weitergehen kann, hört irgendwann auf.”

Netzwolf wrote:
Was genau steht an?

Der Daten-Feed der Karte soll häufiger aktualisiert werden. Ich sehe als eine Möglichkeit die Abfrage einer lokalen OP-Instanz (hab aber beim Versuch, die ~600k historischen Objekte von der OP-Haupt-Instanz zu ziehen, fast 3h gebraucht). Alternativ das Aufsetzen einer Datenbank mit inkrementellem Update, die mit listigen Stored-Procedures und Triggern die nicht im OSM-Rohdatenbestand enthaltenen, aber genutzen Werte ergänzt. Beides sind nur Ideen, ich halte mich da völlig raus (beantworte aber natürlich Fragen).

Das Schöne an der Aufgabe: es gibt keinen Zeitdruck, da Datenfeed und Karte stabil laufen.

Sowohl das „beantworte aber natürlich Fragen” als auch das „kein Zeitdruck” galt für die garantierten sechs Monate.
Jetzt nach über drei Jahren gilt das nicht mehr, insbesondere kann der Server jederzeit abgeschaltet werden.

Netzwolf wrote:
Es wartet die perfekte Herausforderung für einen OP und/oder DB-Kundigen.

Ich hoffe, dass jemand die Herausforderung annimmt.

Das gilt weiter, und mit der detaillierten Anleitung von Herrn Ramm sollte die Lösung der Aufgabe kein größeres Problem darstellen. cool

Antworten bitte an das Team der Geschichtskarte und nicht hier an mich, ich lese das Forum nicht.

Gruß Wolf

#2 users: Germany » Die Geschichtskarte braucht Unterstützung » 2015-04-16 01:17:44

Netzwolf
Replies: 14

Nahmd,

vor ein paar Tagen ist die Geschichtskarte auf einen neuen leistungsstarken Server umgezogen (ich kürze ihn ab hier mit “whp” ab). Als nächstes steht eine technische Generalüberholung an, inklusive einer Erhöhung des Update-Taktes.


Gesucht ist jemand, der die technische Betreuung der Karte übernimmt.

Da ich für OSM keine Zeit mehr habe, kann ich anders als geplant diese Aufgabe leider nicht übernehmen.


Aktuelle Situation:

der Server selbst inklusive Backup läuft stabil und wird von Zecke betreut.

Mein Server (geo.netzwolf.info) liest einmal pro Tag den Planet und erzeugt daraus ein CSV mit den historischen Objekten und ein weiteres CSV mit Vector-Daten historischer Objekte; beide werden vom whp-Server übernommen und per OpenLayers(2) in der bekannten Weise in der Karte dargestellt. Mein Server wird die Daten für die historische Karte (und alle weiteren Auswertungen) mindestens für ein halbes Jahr bereitstellen.

Die Tools und Skripte sind auch auf whp installiert und getestet, whp ist also völlig autark und kann wahlweise selbst gewonnene Daten nutzen oder die von mir bereitgestellten (um CPU-Zeit und besonders IO-Bandbreite zu sparen).

Die Toolchain läuft seit vielen Monaten stabil ohne einen einzigen manuellen Eingriff, Dateninkonsistenzen, klemmende Indexe und solchen Firlefanz gibt es nicht. Aber: es gibt nur einen Update pro Tag.


Was genau steht an?

Der Daten-Feed der Karte soll häufiger aktualisiert werden. Ich sehe als eine Möglichkeit die Abfrage einer lokalen OP-Instanz (hab aber beim Versuch, die ~600k historischen Objekte von der OP-Haupt-Instanz zu ziehen, fast 3h gebraucht). Alternativ das Aufsetzen einer Datenbank mit inkrementellem Update, die mit listigen Stored-Procedures und Triggern die nicht im OSM-Rohdatenbestand enthaltenen, aber genutzen Werte ergänzt. Beides sind nur Ideen, ich halte mich da völlig raus (beantworte aber natürlich Fragen).

Das Schöne an der Aufgabe: es gibt keinen Zeitdruck, da Datenfeed und Karte stabil laufen. Die Hardware ist leistungsfähig genug für OP/DB-Einsatz. Gesucht ist auch kein Hiwi/Indianer, der für einen Häuptling die Fleißarbeit macht, sondern ein nächster (technischer) Häuptling. Die Aufgabe ist gut charakterisiert, erster Meilenstein ist ganz einfach die Erzeugung der historic.csv über die neu einzurichtende Toolchain.


Es wartet die perfekte Herausforderung für einen OP und/oder DB-Kundigen.

Ich hoffe, dass jemand die Herausforderung annimmt.


Hic Rhodos, hic salta. smile

Gruß Wolf

#3 Re: users: Germany » Opening_hours ... und nach Vereinbarung » 2015-02-19 16:55:04

Netzwolf

Nahmd,

Lübeck wrote:

sollte es für eine weit verbreitete Definition wie "nach Vereinbarung" nicht eine internationale Definition geben ?

Du kannst ein “+49 1234 567890” dazuschreiben. Das wird international verstanden.

Gruß Wolf

#4 Re: users: Germany » 2 slider mehrere karten deckkraft vergleichen » 2015-02-19 16:52:19

Netzwolf

Das Forum erlaubt Beiträge mit mehr als 140 Zeichen.

#5 Re: users: Germany » Problem mit Koordinatentransformationen » 2015-02-19 16:30:46

Netzwolf

Nahmd,

wambacher wrote:

Danach hab ich das Programm von Netzwolf um eine weitere Ausgabe erweitert

Ich hoffe, dass war ein sachgemäßer Eingriff, denn bei unsachgemäßen Eingriffen erlischt die Garantie! tongue

wambacher wrote:

./josmPiclayerCalDecoder.pl 1654 2338 nepal_01_Admin.jpg-move.cal

mit

#JOSM PicLayer plugin calibration data
#Wed Feb 18 02:01:41 CET 2015
POSITION_Y=3132393.459019553
POSITION_X=9534742.422238246
M12=-50.68955846622368
M11=0.021788490422173075
M10=0.0
M02=-23.031323884902726
INITIAL_SCALE=81985.45583742265
M01=0.0
M00=0.021788490422173075

ergibt obiges Ergebnis.

Liefert bei mir im JOSM folgendes Ergebnis:

http://www.netzwolf.info/tmp/madhyamanchal.jpg

Und die Anzeige passt zu dem vom Skript berechneten Ergebnissen:

$ /opt/www/www.netzwolf.info/htdocs/2015/josmPiclayerCalDecoder.pl 1654 2338 <rahmen.png.cal
Bildmitte   :   x:  9513536   y:  3179064     lon:  85.461555  lat: 27.444086
Oben  links :   x:  9496946   y:  3202516     lon:  85.312518  lat: 27.630889
Oben  rechts:   x:  9530127   y:  3202516     lon:  85.610592  lat: 27.630889
Unten links :   x:  9496946   y:  3155613     lon:  85.312518  lat: 27.256967
Unten rechts:   x:  9530127   y:  3155613     lon:  85.610592  lat: 27.256967

Folgerung: wir nutzen eine unterschiedliche Projektion.
(die speichert das &$%" Piclayer nicht in die Config).

Ich hab beim JOSM eingestellt:

Merkator / EPSG:3857

Gruß Wolf

#6 Re: users: Germany » Erstellung einer Karte mit ÖPNV-Linien für Recklinghausen » 2015-02-19 14:38:20

Netzwolf

Nahmd,

domigoer wrote:

Ich soll eine Karte mit bestimmten Buslinien der Vestischen Straßenbahnen erstellen. Auf dieser Karte sollen NUR diese Linien sein. Wie kann ich das machen?

Möglicherweise so.

Gruß Wolf

#7 Re: users: Germany » Problem mit Koordinatentransformationen » 2015-02-19 13:16:50

Netzwolf

Matrixmultiplikation ist einfach:

matmul.png

Edit: Unfug getilgt.

#8 Re: users: Germany » Problem mit Koordinatentransformationen » 2015-02-19 00:59:44

Netzwolf

Nahmd,

ich würde vor Installation von Libraries zuerst die Formeln prüfen.

Gruß Wolf

#9 Re: users: Germany » GPS-Störung / James Bond in Biblis ? » 2015-02-17 08:56:42

Netzwolf

Moins,

geomehr wrote:

da mach mir ernsthaft sorgen über die lehrinhalte an den unis und du solltest unbedingt nochmal die vorlesung e-mag-wellen besuchen. da war doch was mit wellenlängen, antennengewinn und unerwünschte reflexionsüberlagerungen. na gut wieder was gelernt nehme einfach eine alu folie egal wie gross, pack die irgendwo hin egal wo und erfreue dich an den signalen die du da einfängst. egal ob es ein nutzsignal, irgendeine oberwelle oder eine reflexion un nicht vergessen vor allem mit völliger vernachlässigung der polarisierung. was eine helix antenne ist und wie die funzt weiss der kundige ja schliesslich auch und das kann ignoriert werden. deshalb sind ja die smart phones auch alles so genau.

Selbstverständlich kann man Alufolie als Abschirmung verwenden.

Wolf

#10 Re: users: Germany » OSM zu CSV - Hilfe » 2015-02-16 16:21:54

Netzwolf

Nahmd,

gormo wrote:

Magst du (@Netzwolf) grad noch deinen Algorithmus erklären (bzw. das SQL posten), wie du an die Datei gekommen bist?

Ich hab keine SQL-Datenbank, sondern nur eine binäre Kopie des Planet und eine handvoll Tools, um die Daten zu plündern. Die Kopie ist immer 'nen Tag hinterher, und die Tools sind strunzdumm und können nur einen winzigen Bruchteil von dem, was OP oder SQL können. Das aber können sie schnell.

War es in etwa (hab meine DB grade nicht zugreifbar, daher pseudocode):

select
  plz->tags('postal_code') as PLZ,
  obj.name
from planet_osm_lines as obj, planet_osm_polygons as plz
where
  plz.tags->'boundary' = 'postal_code'
  and obj->tags('highway') is not null
  and obj->tags('name') is not null
  and ST_Within(plz.way, obj.way)
group by PLZ, obj.name

So ähnlich würd ich es machen. Fehlt noch die Begrenzung auf DE und die Bestimmung von Koordinaten für jede PLZ/Namen-Kombination.

Mich interessiert aber viel mehr die Lösung mit osmconvert und osmfilter, denn nur für eine dämliche Straßenliste ein Postgres+Postgis mit Feed aufsetzen und betreuen zu müssen halte ich für Overkill.

Gruß Wolf

#11 Re: users: Germany » OSM zu CSV - Hilfe » 2015-02-15 21:51:45

Netzwolf

Nahmd,

Ceetrox wrote:

Im Grunde such ich nur den schnellsten Weg für:

"Mach aus einer deutschlandweiten OSM-DATEI eine CSV mit ID, Lat, Lon, Straßenname und Postleitzahl wobei der Straßenname nur 1x pro PLZ auftauchen soll)

Der schnellste Weg ist der Download: PLZ und Straße (1.1 Mio Records, gepackt 18Mb, ausgepackt 76Mb) und PLZ, Straße und Hausnummer (7.9 Mio Records, gepackt 95Mb, ausgepackt 430Mb).

Die zweite Liste ist wegen der Unvollständigkeit der Hausnummern kein Ersatz für die erste Liste, sondern (nur) eine Ergänzung: man suche zuerst in Liste 2, und wenn kein Treffer, dann in Liste 1.

Gruß Wolf

Edit: überholten Hinweis entfernt

#12 Re: users: Germany » OSM zu CSV - Hilfe » 2015-02-15 20:53:44

Netzwolf

Nahmd,

Ceetrox wrote:

Ich danke deiner Kristallkugel und werde deinen Post einmal studieren. Vielen Dank!

Wenn du mir jetzt noch verrätst wie der Befehl für den Export dieser CSV lautet... Hast du Osmosis verwendet?

Nein, Osmosis kann weder die Länge noch Postleitzahl oder Stadt dazuschreiben.

Nach meinen rudimentären Kenntnissen brauchst Du in Osmosis nur wenige Parameter:

— mach alles zu Pois
— behalte alles mit "highway=" (wirf den Rest weg)
— schreib ein CSV raus
— schreib die und die Felder (highway, name) in das CSV

Wie die Parameter genau heißen → Doku.

Wenn Du die Postleitzahlen oder Orte dazupacken willst oder sogar die Hausnummern zuordnen, kommst Du kaum daran vorbei, die OSM-Rohdaten in eine Datenbank (i.a. Postgres+Postgis) einzuspielen und dann die DB geschickt zu befragen.

Nachtrag:

Im Grunde brauch ich nur den Mittelpunkt der jeweiligen Straße (also jede Straße nur 1x / 1x name pro plz) ohne size, highway und city

Sollst Du haben. Die Länge ist aus technischen Gründen dabei (wird zur Berechnung des "Mittelpunktes" benutzt), und die highway am Ende, damit Du siehst, aus welchen Straßenklassen sich die jeweilige Straße zusammensetzt.

Für die eingesparte Zeit kannst Du Dich hier erkenntlich zeigen. Server können nie groß und schnell genug sein. tongue

Gruß Wolf

#13 Re: users: Germany » Pflege der deutschen PLZ-Daten in OSM » 2015-02-15 17:50:15

Netzwolf

Nahmd,

als weitere Argumentationsbasis: ich hab mich mal an einer Zuordnung zwischen AGS-Gemeinden und Postleitzahlen versucht. Danach gibt es ca. 1/3 eins-zu-eins-Zuordnungen. Die Identität zwischen Gemeinde und Postleitzahlenbereich ist zwar keine seltene Ausnahme, aber auch nicht der Normalfall.

Gruß Wolf

#14 Re: users: Germany » OSM zu CSV - Hilfe » 2015-02-15 17:11:50

Netzwolf

Nahmd,

Ceetrox wrote:

Wenn ich richtig verstanden habe ist OSM eine Datenbank mit nahezu allen relevanten Karteninformationen. Also auch Straßen, event. Hausnummern usw...

Es gibt bei OSM  keine garantierte Qualität. Hausnummern können drin sein, müssen aber nicht.

Was ich Suche:
ID (fortlaufend)
Latitude
Longitude
Straßenname
event. Hausnummer
Postleitzahl

Zu den Straßen:

– was meinst Du mit Lat/Lon? Eine einzelne Koordinate (Mittelpunkt des Segments), oder ein Array / eine Liste mit den Koordinaten der Punkte (Plural!), die den Verlauf der Straße beschreiben?

– der Straßenverlauf ist bei uns in Segmente aufgeteilt, wobei die Aufteilung nicht deterministisch ist: es kann sein, dass zwei Segmente sich an einer Straßenkreuzung kreuzen, die Kreuzung besteht dann nur aus zwei "Straßen". Es kann auch sein, dass die Segmente an einer Kreuzung enden, dann sind an der Kreuzung vier Segmente beteiligt. Es kann auch ein Segment auf freier Strecke enden und da ein neues beginnen. Du musst also sehr wahrscheinlich einige Segmente für Deinen Bedarf noch einmal splitten und/oder zusammenfassen.

– die Straßen/Wege sind bei uns in Klassen aufgeteilt, die im Attribut “highway=” erfasst wird. Such nach "openstreetmap wiki key highway" für weitere Infos dazu. Du musst wählen, welche Klassen Du in Deinem Bestand haben willst.

- an Straßen und Wegen können noch Dutzend weitere Attribute kleben.

Zu den Hausnummern:

– Hausnummern kleben bei uns an Gebäuden, aber erst einmal nicht an den Straßen[segmenten]. Die Hausnummern an die Straßensegmente zu überführen, die Segmente also mit Hausnummernbereichen auszustatten ist eine nicht ganz triviale Aufgabe.

Damit Du Dir eine Vorstellung von der Größenordnung machen kannst, habe ich mal was vorbereitet™, und zwar ein CSV mit nur den nötigsten Angaben zu den Wegsegmenten in DE: Koordinaten (Mittelpunkt, kein Verlauf), Länge, Klasse, Name sowie Plz. und Ort. Gepackt 86Mb, ungepackt 466Mb. Wohlgemerkt OHNE Verlauf und OHNE die Attribute, die man zu einer sinnvollen Nutzung braucht.

id	lon	lat	~size	highway	name	plz	city
w150792360	13.737968	51.051823	l61	living_street	Sporergasse	01067	Dresden
w163208264	13.726507	51.054363	l110	living_street	Schützengasse	01067	Dresden
w163468488	13.743211	51.052291	l59	living_street	Georg-Treu-Platz	01067	Dresden
[7052563 Zeilen entfernt]

Meine Kristallkugel sagt mir, dass Du für den Start mit einem kleineren Auszug (zB. Regierungsbezirk) der OSM-Daten glücklicher wirst. Und Dich zuerst ein wenig in das bei OSM verwendete Datenmodell und die die Attribute einarbeiten solltest.

Gruß Wolf

#15 Re: users: Germany » Übergabe Variablen Java-Script -> PHP. Bitte um Hilfe » 2015-02-15 10:22:12

Netzwolf

Moins,

vDJan wrote:

Kann mir jemand weiterhelfen?

Ich hab aus Deinen Code mal ans Laufen gebracht. Möglicherweise ist der Quellcode hilfreich als Startpunkt für Dich.

Gruß Wolf

#16 Re: users: Germany » Opening_hours ... und nach Vereinbarung » 2015-02-10 12:43:40

Netzwolf

Nahmd,

gormo wrote:

Schaut dem hier recht ähnlich... ein Fall für unsere Lizenzverletzungsverfolger? tongue big_smile lol

Gruß Wolf

#17 Re: users: Germany » Opening_hours ... und nach Vereinbarung » 2015-02-10 09:54:08

Netzwolf

Moins,

ist in meiner Beispielsammlung enthalten.

Wenn jemand Lust und Zeit oder hinreichend Langeweile hat, kann er die ins Wiki schieben.

Gruß Wolf

#18 Re: users: Germany » historische objekte-karte » 2015-02-09 21:36:09

Netzwolf

Nahmd,

Ryukia wrote:

Momentan werden hier bei Zoomlevel 12 _alle_ Symbole bis runter zum Stolperstein geladen, zumindest bis zum Abbruch bei $maxcount... Auch der +/- Switch ändert nix.

Ich kümmere mich drum. Danke für den Hinweis!

Nachtrag: und schon gefixt.

Zur Erklärung: wir stellen gerade den Datenfeed um, und der Neue hatte den Objekten keine “Gruppe” zugeordnet; die Zoomstufen-abhängige Auswahl aber benutzt die Gruppe als Entscheidungsbasis. Keine Gruppe → immer dargestellt → sad

Gruß Wolf

#19 Re: users: Germany » Sinflut » 2015-02-07 14:21:03

Netzwolf

Nahmd,

maxbe wrote:

Ich hab eine alte Aufnahme der originalen Arche Noahs im Archiv, falls sie jemand nachbauen möchte. Leider sind nicht alle Details drauf...

Und bitte nicht in Deutschland nachbauen.

Gruß Wolf

#20 Re: users: Germany » OverpassTurbo für Dummies » 2015-02-06 23:08:50

Netzwolf

Nahmd,

Netzwolf wrote:

Es gibt zur Zeit 22846 Relationen ohne Element

Swen Wacker wrote:

Sollte diese Relationen - wenn man diejenigen rausfilterte, die in den letzten Woche bearbeitet wurden (man also glauben könnte, da könnte jemand vorhaben, sie wieder mit Elementen zu füllen) - maschinell gelöscht werden?

Ich hatte gute Laune und hab verspätet Christkind gespielt und Wünsche erfüllt. Ohne Hintergedanken. Automatisches Löschen (ohne anschauen der Tags) halte ich für nicht angebracht.

Ich hab die Liste überarbeitet und zu "type" noch die Eltern-Relationen ("~in"), "name", "note" und den letzten Bearbeiter ("~user") ergänzt. Ich denke, zumindest die eigenen Schandtaten kann man guten Gewissens bereinigen.

.oO( und hab mich gleich zweimal erwischt. Und gleich gefixt. )

Gruß Wolf

Edit: neue URL hinterlegt

#21 Re: users: Germany » Sinflut » 2015-02-06 22:51:35

Netzwolf

Nahmd,

free_as_a_bird wrote:

Für die wenigen Überlebenden: man/frau oder jemand hat die komplette OSM-Welt unter Wasser gesetzt (ndem er vermutlich die World Boundaries beschädigt hat).
Nur die OSMF kann uns jetzt retten!!1!

Weltuntergang schön und gut.

ABER NICHT SO!

Wo soll ich denn da noch ein Apfelbäumchen pflanzen?

Entsetzter Gruß
Wolf

.oO( das ist alles eine Folge der Klimaerwärmung. Und der warmen Winter! )

#22 Re: users: Germany » Wochenaufgabe KW 06/07 Apotheken » 2015-02-06 21:49:36

Netzwolf

Nahmd,

wambacher wrote:

ps: cpu kein Problem, ich hab 14 Kerne in 2 Rechnern direkt neben mir wink

Ange-Bär!

Gruß Wolf
[Intel Atom mit 1 Kern und 1Gb neben mir. Aber mit 6! Akkuzellen. Ätsch!]

#23 Re: users: Germany » Wochenaufgabe KW 06/07 Apotheken » 2015-02-06 21:21:48

Netzwolf

Nahmd,

wambacher wrote:

bin schon dran. Hab natürlich ein paar Unstimmigkeiten bei mir gefunden, komme aber gut voran.

Ist sowas möglich (ins Unreine geschrieben):

“SELECT plz_area, admin_area WHERE intersects(plzarea, adminarea)”

Das dürfte eine blitzsaubere Auswertung geben, die auch Mehrfachzuordnungen in beiden Richtungen abbildet.

Gruß Wolf

.oO( aber nur, wenn ich die CPU-Zeit nicht zahlen muss! )

#24 Re: users: Germany » OverpassTurbo für Dummies » 2015-02-06 21:12:00

Netzwolf

Nahmd,

cepesko wrote:

In einem konkreten Fall habe ich zwei Relationen eines Wanderwegs ("Hasenstabweg") in die größte bereits vorhandene dritte Relation integriert. Im RelationsAnalyzer werden die beiden Relationen dann als gelöscht angezeigt. Ist dem tatsächlich so? (...dass Potlatch einen geleerten Container löscht oder bleibt eine Relationsleiche zurück?)

Du kannst Deine Relation live in der OSM-DB anschauen. Da findet sich der Link zum Änderungssatz. Und der listet 5 geänderte Relationen und die gelöschte Relation #1578958.

Wenn Du eine weitere Relation angefasst hast, egal ob nur geändert oder gelöscht, müsste das in einem älteren Changeset erfasst sein; Du kannst die Versionen der Hasenstabweg-Relationen durchgehen und die jeweiligen Changesets prüfen oder einfacher Deine Changesets durchblättern.

Die Relation muss in einen CS auftauchen, und da kannst Du schauen, ob sie gelöscht ist.

Gruß Wolf

Board footer

Powered by FluxBB