You are not logged in.

#1 2014-02-11 21:57:53

aseerel4c26
Member
From: Germany
Registered: 2013-12-01
Posts: 142
Website

Massenedit "-website (DNS does not resolve)"

(ich erwähne es hier mal, damit nicht zu viele Leute dem User unnötig schreiben)

… beispielsweise http://www.openstreetmap.org/changeset/20508389 (den Username nenne ich hier absichtlich erstmal noch nicht, bis das geklärt ist). Ich habe ihn um 19:19 (UTC) angeschrieben (um Erklärung und keine weiteren Edits gebeten), da mir die Edits nicht sinnvoll erscheinen und ich keine Erwähnung einer Diskussion in den Changesettags sah. Websiteprobleme sind oft ein gutes Zeichen dafür, dass ein Feature nicht mehr existiert oder umbenannt wurde (Teilweise ist auch einfach nur ein Tippfehler in der Adresse). Somit eine sehr wertvolle Information, die hier anscheinend einfach nur automatisch weggeworfen wurde.

Update: der betreffende Benutzer hat sich hier im Thread gemeldet, danke!

Last edited by aseerel4c26 (2014-02-12 14:27:42)

Offline

#2 2014-02-11 22:03:29

maxbe
Member
Registered: 2010-01-19
Posts: 3,207
Website

Re: Massenedit "-website (DNS does not resolve)"

aseerel4c26 wrote:

Teilweise ist auch einfach nur ein Tippfehler in der Adresse

Ja, manchmal hätte ein "http" mehr oder weniger gereicht als Korrektur.

Offline

#3 2014-02-11 23:12:01

moenk
Member
From: N52.466 E13.335
Registered: 2012-04-02
Posts: 493
Website

Re: Massenedit "-website (DNS does not resolve)"

Moin,

die Domains die es nicht mehr gibt sind also eine wertvolle Information? Es geht hier nicht um Webseiten die 404er bringen oder so, davon sind noch reichlich mehr in der Datenbank, sondern nur wo der DNS schon nicht mehr klappt. Hätte hier eine Liste die YAPIS mir erzeugt falls die jemand haben will.

Ich wäre im Traum nicht drauf gekommen, dass nicht mehr erreichbare Domains in der OSM weiter gehortet werden sollen. Hatte immer so die Auffassung, dass der aktuelle Stand der Welt wiedergegeben werden soll. Wenn das so ist, dann müssen diese bösen Changesets natürlich sofort reverted werden!

Wenn mich jemand fragt: Ich find das peinlich für OSM wenn da Website-Einträge drin sind die einfach nicht mehr funktionieren. Von 87000 Website-Tags in Deutschland sind knapp 2000 von Domains die es gar nicht mehr gibt.

Macht doch was ihr wollt,

-moenk

Offline

#4 2014-02-11 23:36:14

MHohmann
Member
From: Tartu, Estonia
Registered: 2009-06-07
Posts: 1,598
Website

Re: Massenedit "-website (DNS does not resolve)"

Man sollte vielleicht eher sagen, dass die nicht mehr vorhandene / erreichbare Webseite keine Information ist, sondern eher ein Anhaltspunkt dafür, dass es dieses POI vielleicht gar nicht mehr gibt und man ihn deshalb überprüfen sollte. Eine nicht mehr vorhandene Webseite gehört natürlich ganz klar nicht mehr in OSM hinein, das dürfte völlig klar sein. Aber wenn man eine solche findet, dann sollte man das am besten zum Anlass nehmen, um zuerst zu überprüfen, ob es denn den POI überhaupt noch gibt, und diesen gegebenenfalls ebenfalls löschen. Wenn man nur die Webseite löscht, dauert es vielleicht länger, bis jemand auf diese mögliche POI-Leiche aufmerksam wird. Von daher ist es schon grundsätzlich gut, nach solchen nicht mehr vorhandenen Webseiten zu suchen und diese als Anlass für einen Edit zu nehmen, aber der sollte nötigenfalls tiefer gehen als nur das Tag zu löschen.


SotM Baltics, 3.-4. August 2013, Tartu, Estonia: amenity=university, mappers=yes

Offline

#5 2014-02-11 23:43:17

rayquaza
Member
From: DE-BW
Registered: 2012-11-18
Posts: 2,007

Re: Massenedit "-website (DNS does not resolve)"

Von den nun gelöschten hätte aber schonmal bei den zwei hier genannten eine Korrektur automatisch erfolgen können. Bei einem weiteren zufällig ausgewählten POI war eine Websuche erfolgreich. Bei weiteren müsste vermutlich nicht nur die Website gelöscht werden, was ohne die "defekte" URI übersehen wird.

Gegen eine systematsiche Überprüfung habe ich nichts, aber einfach ohne Prüfung löschen ist offensichtlich keine gute Idee. Eine solche Prüfung müsste imo in diesem Fall mindestens umfassen: Erreichbarkeitsprüfung nach manueller Syntaxkorrektur (z.B. "http://" oder "www." ergänzt/entfernt), Websuche nach dem POI. Also das, was ein anderer Mapper (hoffentlich) machen würde, wenn er anhand der Website prüfen will ob z.B. die Öffnungszeiten noch aktuell sind.

Offline

#6 2014-02-12 00:07:22

whb
Member
Registered: 2013-01-18
Posts: 483

Re: Massenedit "-website (DNS does not resolve)"

Hallo moenk!

moenk wrote:

Es geht hier nicht um Webseiten die 404er bringen oder so, davon sind noch reichlich mehr in der Datenbank, sondern nur wo der DNS schon nicht mehr klappt.

Dann ist vermutlich dein DNS defekt, denn ich kann z.B. diese von dir entfernten Internetseiten problemlos erreichen:
https://www.openstreetmap.org/node/2211040311/history
https://www.openstreetmap.org/node/2209560854/history
https://www.openstreetmap.org/node/2551334526/history
https://www.openstreetmap.org/node/364138475/history
https://www.openstreetmap.org/node/2088627369/history
https://www.openstreetmap.org/node/2210500216/history

Außerdem sind z.B. diese Adressen sehr einfach zu korrigieren und existieren noch:
https://www.openstreetmap.org/node/1594508335/history
https://www.openstreetmap.org/node/2228280821/history
https://www.openstreetmap.org/node/1868510140/history
https://www.openstreetmap.org/node/1813074734/history
https://www.openstreetmap.org/node/2242348627/history

Nicht ohne Grund wird vor einer automatischen Massenbearbeitung gefordert, diese zu diskutieren und auch die technische Seite zu erläutern.

Viele Grüße,
whb

Last edited by whb (2014-02-12 00:53:42)

Offline

#7 2014-02-12 00:23:50

aseerel4c26
Member
From: Germany
Registered: 2013-12-01
Posts: 142
Website

Re: Massenedit "-website (DNS does not resolve)"

Danke alle eure Kommentare hier!

Ich finde, wir sollten wir die Edits einfach nur reverten (evtl. optional mit automatischer Korrektur, aber vielleicht ist das separat sinnvoller). Nichtfunktionierende Websites werden schon durch beispielsweise keepright entdeckt und können so von Ortskundigen bearbeitet werden (in welcher Weise auch immer). (das ist, was ich moenk auch per Mail schrieb).  Ich sehe, dass meine Meinung hier unterstützt wird.

Optional kann man die Liste fehlerhafter Websites z.B. zum Abarbeiten ins Wiki stellen, aber, wie gesagt, das macht keepright auch schon. Ortskundigkeit ist beim Überprüfen der Existenz eines POIs sehr sinnvoll. Ich habe die 404-Hinweise von Keepright schon öfters zu diesem Zweck genutzt. Wenn man, in Einzelfällen - nicht als Massenedit, die nichtfunktionierende Website nicht beheben kann, und sich nicht gleich vor die Haustür machen mag (oder per Telefonnummer ausm Webarchiv anrufen mag), dann könnte man auch ein fixme dranhängen. Bei keepright mache ich es meist so, dass wenn ich keinen offensichtlichen Fehler finden kann, ich erstmal auf "temporär gelöst" klicke und als Kommentar "warten wir mal noch ne Woche" dranhänge. Websiteumzug, technische Probleme (bei kleinen Geschäften gern auch mal mehrere Monate lang), …

Last edited by aseerel4c26 (2014-02-12 00:27:25)

Offline

#8 2014-02-12 09:58:11

geri-oc
Member
From: Sachsen
Registered: 2011-03-21
Posts: 5,055
Website

Re: Massenedit "-website (DNS does not resolve)"

Noch einmal zur Fehleranzeige (auch bei keep_rigth):

Mir ist aufgefallen das einige Websites als Fehler angezeigt werden, die bem Aufruf aber funktionieren (auch bei keep_rigth).
Könnte es sein, dass bei der Abfrage vielleicht die Website (kurzzeitig) nicht erreichbar ist und dann schon der Fehlerstatus gesetzt wird?

EDIT:
Hier als Beispiel.

Last edited by geri-oc (2014-02-12 10:02:36)

Offline

#9 2014-02-12 10:00:50

streckenkundler
Member
From: Lübben (Spreewald)
Registered: 2012-08-09
Posts: 4,287
Website

Re: Massenedit "-website (DNS does not resolve)"

geri-oc wrote:

Mir ist aufgefallen das einige Websites als Fehler angezeigt werden, die bem Aufruf aber funktionieren (auch bei keep_rigth).

Das ist mir auch aufgefallen... Trotz KeepRight-Fehlermeldung sind die angemeckerten Webseiten erreichbar...

Sven

Last edited by streckenkundler (2014-02-12 10:00:58)

Offline

#10 2014-02-12 10:38:06

MHohmann
Member
From: Tartu, Estonia
Registered: 2009-06-07
Posts: 1,598
Website

Re: Massenedit "-website (DNS does not resolve)"

Tatsächlich hat KeepRight hier Recht, wenn man sich die Response-Header ansieht:

Content-Language: de
Last-Modified: Wed, 12 Feb 2014 09:01:02 +0000
Vary: Cookie,Accept-Encoding
Content-Type: text/html; charset=utf-8
Cache-Control: public, max-age=1209600
Content-Length: 41431
Accept-Ranges: bytes
Date: Wed, 12 Feb 2014 09:35:02 GMT
Connection: keep-alive
X-VCache: MISS
X-Age: 0
Proxy-Connection: keep-alive
404 Not Found

Die Webseite liefert also tatsächlich einen Fehler in Form des HTTP-Statuscodes 404, obwohl sie aufgerufen werden kann... Das würde ich eher als einen Bug bei der entsprechenden Webseite ansehen.

Last edited by MHohmann (2014-02-12 10:39:58)


SotM Baltics, 3.-4. August 2013, Tartu, Estonia: amenity=university, mappers=yes

Offline

#11 2014-02-12 10:57:21

maxbe
Member
Registered: 2010-01-19
Posts: 3,207
Website

Re: Massenedit "-website (DNS does not resolve)"

MHohmann wrote:

Die Webseite liefert also tatsächlich einen Fehler in Form des HTTP-Statuscodes 404, obwohl sie aufgerufen werden kann... Das würde ich eher als einen Bug bei der entsprechenden Webseite ansehen.

Ihr redet über vitalis-senioren.de? Jo, eine dämliche Form der Weiterleitung, die aber recht beliebt ist... Machen auch manche Shops und andere CMSe so: Man liefert bei Aufruf einer nicht vorhandenen Unterseite eine 404 und danach (also da wo in einer korrekt funktionierenden Seite eine hilfreiche Fehlermeldung kommt) die Startseite. Das soll Suchmaschinen und Crawler vom Aufruf der gelöschten Seite abhalten, ohne den Besucher mit Fehlermeldungen zu behelligen.

Die Senioren haben ihre Seite umgebaut, das Haus in Dresden findet man nicht mehr unter "vitalis-senioren.de/de/95166-Dresden", sondern unter dresden.vitalis-senioren.de

Offline

#12 2014-02-12 13:45:51

aseerel4c26
Member
From: Germany
Registered: 2013-12-01
Posts: 142
Website

Re: Massenedit "-website (DNS does not resolve)"

Hier übrigens als Beispiel für die Detektion durch Keepright eines der obengenannten Probleme mit einmal http zu viel: http://keepright.at/report_map.php?sche … r=27218941 Entdeckt von keepright ("The URL (http://http://www.schurk-markelsheim.de) cannot be opened (HTTP status code 504)").

Gut, also? Weiteres Vorgehen? Ewig sollten wir mit einem möglichen Revert nicht warten – je eher desto problemloser. Spricht etwas dagegen? Andere Vorgehen? Ansonsten würde ich mich heute Abend vom aktuellsten zum ältesten Changeset per JOSM reverter durcharbeiten (nur Revertieren, keine Korrekturen).

Was mir eingefallen ist: der Fall mit "http://http://...." wäre evtl. auch eine passende Aufgabe für den Korrekturbot Wall·E.

Last edited by aseerel4c26 (2014-02-12 14:05:37)

Offline

#13 2014-02-12 13:59:54

SammysHP
Member
From: Celle, Germany
Registered: 2012-02-27
Posts: 1,629
Website

Re: Massenedit "-website (DNS does not resolve)"

IMHO sollte das erstmal revertet werden. Anschließend doppeltes Protokoll o.ä. von einem Bot korrigieren lassen. Alle anderen Fehler per Hand über KeepRight o.ä.

Offline

#14 2014-02-12 15:14:35

moenk
Member
From: N52.466 E13.335
Registered: 2012-04-02
Posts: 493
Website

Re: Massenedit "-website (DNS does not resolve)"

aseerel4c26,

nur zu, das Revert war ja von Anfang an Dein Wunsch, soll ja alles seine Ordnung haben. Dann sind die ganzen nicht funktionierenden URLs wieder drin. Wäre noch schön wenn die anderen Korrekturen die ich dabei gleich mit gemacht habe (sonst will JOSM nicht so gern hochladen) irgendwie nicht noch mal gemacht werden müssen.

Nachdem sich nun einige Erbsenzähler tatsächlich die Mühe gemacht haben die URLs durchzugucken, ob nicht doch welche dabei waren die man hätte retten können, wäre es nun ja auch gut die übrigen website-Tags anzugehen. Wie auch immer wir mit solchen Fällen umgehen - vielleicht sowas wie "fixme=website", natürlich nur da wo noch kein Fixme steht. Aber das können wir ja erstmal hier diskutieren.

LG,

-moenk

Offline

#15 2014-02-12 15:24:40

SammysHP
Member
From: Celle, Germany
Registered: 2012-02-27
Posts: 1,629
Website

Re: Massenedit "-website (DNS does not resolve)"

Warum ein fixme Tag? Dafür gibt es Tools wie KeepRight. Und ansonsten behebt man es direkt.

Offline

#16 2014-02-12 15:41:59

aseerel4c26
Member
From: Germany
Registered: 2013-12-01
Posts: 142
Website

Re: Massenedit "-website (DNS does not resolve)"

moenk wrote:

nur zu, das Revert war ja von Anfang an Dein Wunsch, soll ja alles seine Ordnung haben. Dann sind die ganzen nicht funktionierenden URLs wieder drin. Wäre noch schön wenn die anderen Korrekturen die ich dabei gleich mit gemacht habe (sonst will JOSM nicht so gern hochladen) irgendwie nicht noch mal gemacht werden müssen.

Ja, die Sympathie empfinde ich ebenso. Es geht mir nicht um Ordnung (im übertriebenen Sinne), sondern um das bessere Ergebnis für unseren Datenbestand.

Die anderen Korrekturen beim Revert herauszufummeln halte ich für zu kompliziert und Fehleranfällig. Um es KISS zu halten übrigens auch das schrittweise Vorgehen: Revert, anschließend evtl. koordiniertes automatisches Verbessern und der Rest bleibt für keepright (wo das Problem ja schon bestens bearbeitbar ist).

Wenn du eine bessere Idee hast, dann lass sie uns wissen. Du kannst auch sehr gern selbst revertieren. Schade, dass du aber anscheinend immer noch nicht verstanden hast, dass deine Aktion kontraproduktiv war.

Achja, ich bitte, dass das Revertieren jemand anderes übernimmt. Das scheint mir ob der Uneinsichtigkeit von moenk und meiner Rolle als Quasi-Ankläger angebrachter.

Last edited by aseerel4c26 (2014-02-12 15:47:57)

Offline

#17 2014-02-12 22:04:21

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,622
Website

Re: Massenedit "-website (DNS does not resolve)"

aseerel4c26 wrote:

Achja, ich bitte, dass das Revertieren jemand anderes übernimmt. Das scheint mir ob der Uneinsichtigkeit von moenk und meiner Rolle als Quasi-Ankläger angebrachter.

done.

Gruss
walter

Offline

#18 2014-02-12 22:43:24

aseerel4c26
Member
From: Germany
Registered: 2013-12-01
Posts: 142
Website

Re: Massenedit "-website (DNS does not resolve)"

Danke Wambacher!

Verbesserungsvorschläge für's nächste Mal:

1. hier ankündigen, wenn du anfängst und dann anschließend einfach den Beitrag editieren und hinzufügen dass du fertig damit bist. Das vermeidet, dass jemand anderes zur gleichen Zeit damit auch anfängt.
2. Im Änderungskommentar sollte nicht nur "dns-revert", sondern auch diese Diskussion angegeben sein, damit jeder, der die Änderung sieht, sie nachvollziehen kann und weiß, dass diskutiert wurde.

Offline

#19 2014-02-12 23:01:53

aseerel4c26
Member
From: Germany
Registered: 2013-12-01
Posts: 142
Website

Re: Massenedit "-website (DNS does not resolve)"

Gut, was hätten wir für Fehler, die evtl. vollautomatisch durch einen Bot behebbar sind?

jeweils nur am Anfang des Value-Strings zu ersetzen:
* http://taginfo.openstreetmap.org/search … %22#values  – 159 mal http://http://
* http://taginfo.openstreetmap.org/search … %22#values (diese Suche für "htp://") – eine Hand voll, die ttp:// oder htp:// oder htt:// benutzen (abzukären, ob das erlaubte Protokolle für den key "website" sein könnten und ob die geringe Anzahl eine Korrektur rechtfertigt).
* mehr? Anderes findet man noch in der Liste in Beitrag #6 oben: Leerzeichen in der URL oder ".d" statt ".de".

Ob das Anfügen von "http://" im Falle der Schreibweise ohne Protokoll sinnvoll ist, bezweifle ich. Es dürfte sehr viele solcher Values ohne Protokoll geben und man könnte auch meinen, dass http:// implizit ist, wenn es nicht angegeben ist. Das ist wohl nichts für eine automatische Korrektur. keepright beispielsweise scheint http:// automatisch anzufügen (hier scheint es aber zusätzlich ein Problem für keepright – nicht für Firefox – mit der Umleitung zu geben).

Optimal wäre es natürlich, wenn die Korrektur nur dann gemacht würde, wenn die Website mit dem alten Value nicht erreichbar war, sie es aber mit dem korrigierten Value ist. Vielleicht aber auch eine unnötige Absicherung.

Bei automatischen Korrekturen sollte man natürlich immer bedenken, dass ein Fehler auf eine gewisse Schlampigkeit des Fehlerproduzierers hinweist und man manuell so vielleicht noch mehr Fehler in anderen Tags oder Edits finden könnte. Das ist Abwägungssache, die genauso bei der Adresskorrektur besetzt.

Ich habe Obi-Wan mal gefragt, ob er sich hier melden kann. Der Bot Wall·E kann aber evtl. nicht die Websites checken, könnte ich mir vorstellen.

Offline

#20 2014-02-13 07:31:10

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,622
Website

Re: Massenedit "-website (DNS does not resolve)"

aseerel4c26 wrote:

1. hier ankündigen, wenn du anfängst und dann anschließend einfach den Beitrag editieren und hinzufügen dass du fertig damit bist. Das vermeidet, dass jemand anderes zur gleichen Zeit damit auch anfängt.

war mehrere Stunden nix passiert und dann auch spät genug. Ein "Ich mach das jetzt"-Locking erschien mir nicht unbedingt notwendig. Ich kenne meine Pappenheimer schon - entweder passiert sowas sofort oder garnicht wink

2. Im Änderungskommentar sollte nicht nur "dns-revert", sondern auch diese Diskussion angegeben sein, damit jeder, der die Änderung sieht, sie nachvollziehen kann und weiß, dass diskutiert wurde.

jo, hattu recht.

Gruss
walter

Offline

#21 2014-02-13 07:48:16

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,622
Website

Re: Massenedit "-website (DNS does not resolve)"

aseerel4c26 wrote:

Der Bot Wall·E kann aber evtl. nicht die Websites checken, könnte ich mir vorstellen.

Doch, sowas geht selbstverständlich - wenn man den Aufwand treiben will. Es gibt für nahezu jede Programmiersprache Libraries, die http(s)-Zugriff auf Programmebene ermöglichen. Ich hab nicht in OLI-WAN's Code reingeschaut, kenne aber einige ältere Bots, die genau so arbeiten.

Gruss
walter

in Java sieht das z.B. dann so aus:

      String Url = "http://api.openstreetmap.org/api/0.6/changeset/"+id;

      DocumentBuilder db = DocumentBuilderFactory.newInstance().newDocumentBuilder();
      Document doc;

      try {

         doc = db.parse(Url);  // get changeset
         String temp;

         NodeList ChangeSets = doc.getElementsByTagName("changeset");
         Node ChangeSet = ChangeSets.item(0); 
         Element ChangeSetElement = (Element) ChangeSet;
 
         // get details

         this.id                = id;
         this.user_name		= ChangeSetElement.getAttribute("user");
         this.uid		= Integer.parseInt(ChangeSetElement.getAttribute("uid"));
	 this.created_at	= ChangeSetElement.getAttribute("created_at");
	 this.closed_at		= ChangeSetElement.getAttribute("closed_at");
         ...

Offline

#22 2014-02-13 08:10:46

SammysHP
Member
From: Celle, Germany
Registered: 2012-02-27
Posts: 1,629
Website

Re: Massenedit "-website (DNS does not resolve)"

Vielleicht macht es auch Sinn, einen richtig üblen Regex bestehend aus Information vom RFC für URLs und einer Liste von TLDs der ICANN zu basteln.

Offline

#23 2014-02-13 08:28:36

wambacher
Member
From: Schlangenbad/Wambach, Germany
Registered: 2009-12-16
Posts: 16,622
Website

Re: Massenedit "-website (DNS does not resolve)"

SammysHP wrote:

Vielleicht macht es auch Sinn, einen richtig üblen Regex bestehend aus Information vom RFC für URLs und einer Liste von TLDs der ICANN zu basteln.

vermisse ich da den Ironie-Flag oder verstehe ich dich einfach nicht?

Grübel Grübel
walter

Offline

#24 2014-02-13 08:36:17

MHohmann
Member
From: Tartu, Estonia
Registered: 2009-06-07
Posts: 1,598
Website

Re: Massenedit "-website (DNS does not resolve)"

wambacher wrote:
SammysHP wrote:

Vielleicht macht es auch Sinn, einen richtig üblen Regex bestehend aus Information vom RFC für URLs und einer Liste von TLDs der ICANN zu basteln.

vermisse ich da den Ironie-Flag oder verstehe ich dich einfach nicht?

Also wenn die Übersetzung lautet: "Vielleicht macht es auch Sinn, die vorhandenen website-Tags mittels eines Musterabgleichs gegen den Standard für URLs auf Gültigkeit zu überprüfen." sehe ich keine Notwendigkeit für Ironie-Flags wink


SotM Baltics, 3.-4. August 2013, Tartu, Estonia: amenity=university, mappers=yes

Offline

#25 2014-02-13 08:42:44

wandsecacher
Member
From: Hamburg-Wandsbek
Registered: 2014-01-21
Posts: 28

Re: Massenedit "-website (DNS does not resolve)"

moenk wrote:
Wäre noch schön wenn die anderen Korrekturen die ich dabei gleich mit gemacht habe (sonst will JOSM nicht so gern hochladen) irgendwie nicht noch mal gemacht werden müssen.

Inhaltlich nicht zusammengehörende Datenänderungen (z.B. URL Änderungen und Neuerfassung von Daten) sollten auch in getrennten Changesets hochgeladen werden. Einerseits erleichtert dies im Notfall das Reverten und andererseits dient es auch der Nachvollziehbarkeit (sonst wird der Kommantar am Changeset auch so lang wenn man dort alle enthaltenen Änderungen aufzählt...).

Offline

Board footer

Powered by FluxBB