OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2018-02-26 23:34:16

geow
Member
Registered: 2012-12-16
Posts: 665

[Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Zumindest laut Taginfo sind in den letzen Tagen rd. 2000 Ferienwohnungen verschwunden, das sind fast 15%.

23.02.2018: rd. 16000 (aus dem Gedächtnis)
26.02.2018: 14114

Mit welchem QS-Werkzeug könnte man die Ursache am besten ermitteln?

http://resultmaps.neis-one.org/ erlaubt keine Suche nach bestimmten tags. Wie würde eine Overpass-Abfrage für die beiden Stichtage aussehen?

Weitere Ideen?

Besten Dank im voraus!

Last edited by geow (2018-02-27 22:17:09)

Offline

#2 2018-02-27 00:25:45

Nakaner
Moderator
Registered: 2011-09-03
Posts: 2,125
Website

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Hallo,

geow wrote:

Zumindest laut Taginfo sind in den letzen Tagen rd. 2000 Ferienwohnungen verschwunden, das sind fast 15%.

23.02.2018: rd. 16000 (aus dem Gedächtnis)
26.02.2018: 14114

Mit welchem QS-Werkzeug könnte man die Ursache am besten ermitteln?

Bei der Menge (fünfstellige Anzahl) und einer weltweiten Abfrage ist das für die Overpass-API zu viel. Osmium-basierte C++-Programme sind hier die Lösung. Das längste ist der Download des Planets (deshalb mache ich das dann auf einem Mietserver im Rechenzentrum big_smile)

geow wrote:

http://resultmaps.neis-one.org/ erlaubt keine Suche nach bestimmten tags. Wie würde eine Overpass-Abfrage für die beiden Stichtage aussehen?

Weitere Ideen?

Eine einfache, aber müsige Lösung: Nimm einen Planet von kurz vor dem 23. Februar. Der Planet wird jeden Donnerstag veröffentlicht. Mit

osmium tags-filter --progress --omit-referenced -o=old_filtered.opl planet.osm.pbf nw/tourism/appartment

die alten Ferienwohnungen herausfiltern und im OPL-Format speichern

Dasselbe mit einem Planet, den du mit Diffs aktualisiert hast (z.B. mit Pyosmium):

osmium tags-filter --progress --omit-referenced -o=new_filtered.opl planet_updated.osm.pbf nw/tourism/appartment

Anschließend mit dem Diff-Befehl von Osmium die Unterschiede inspizieren:

osmium diff old_filtered.opl new_filtered.opl

Die alternative Lösung, die sich gut ausbauen lässt, ist das Tool FiTaDel, das ich für PT-53s systematischer Verwendung von building=yes neulich geschrieben habe. Das musst du aber noch anpassen. Unter anderem die Beschränkung auf einen Nutzer müsste man noch entfernen.

Viele Grüße

Michael


Moderator im Bereich users: Austria.
Bitte aussagekräftige Threadtitel verwenden und bei Änderungssätzen einen aussagekräftigen Kommentar eingeben.

Offline

#3 2018-02-27 17:06:54

mmd
Member
Registered: 2010-11-06
Posts: 1,395

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Welche query hat denn mit Overpass nicht funktioniert, oder war das nur ein intelligent guess?

Offline

#4 2018-02-27 17:19:42

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 8,489

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Kann man nicht einfach die diff Files der letzten Tage analysieren?


Internettechnik aus Nordkorea: Demnächst auch in der EU.

Online

#5 2018-02-27 17:23:53

mmd
Member
Registered: 2010-11-06
Posts: 1,395

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

chris66 wrote:

Kann man nicht einfach die diff Files der letzten Tage analysieren?


Normale diffs enthalten keine Tags bei Löschungen, mit augmented diffs sollte es aber klappen.

Last edited by mmd (2018-02-27 17:31:15)

Offline

#6 2018-02-27 18:32:40

Nakaner
Moderator
Registered: 2011-09-03
Posts: 2,125
Website

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

mmd wrote:

Welche query hat denn mit Overpass nicht funktioniert, oder war das nur ein intelligent guess?

Bloß geschätzt, nichts ausprobiert.


Moderator im Bereich users: Austria.
Bitte aussagekräftige Threadtitel verwenden und bei Änderungssätzen einen aussagekräftigen Kommentar eingeben.

Offline

#7 2018-02-27 20:01:22

whb
Member
Registered: 2013-01-18
Posts: 337

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

geow wrote:

23.02.2018: rd. 16000 (aus dem Gedächtnis)

Tatsächlich.
Am 21.2.2018 (22:00:00) waren es genau 15996.

Offline

#8 2018-02-27 20:07:38

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 8,489

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Hilft die Liste mit den meisten Löschungen der letzten 4 Tage?

user                          cnt
------------------------ ----------
rab                          67,541
*Martin*                     48,290
didier2020                   30,217
VLD007                       17,943
indigomc                     15,089
OSM Projeto                  13,326
Svein Olav                   11,470
Carsten Madsen               10,400
frosm                        10,001
gscholz                       7,638
andi9876                      5,730
Godfrey Hussein               4,766
RVR006                        4,708
Martin868                     4,644
Soma Gotama                   4,616
octel                         4,030
Glassman                      4,012
nugraha95                     3,789
walley                        3,601
Sander H                      3,375
Rps333                        3,355
PhQ                           3,285
coloredstone_import           3,229
UAN51                         3,135
Alan Trick                    3,091
Milancer                      2,851
lorenzo23622                  2,841
Moiman                        2,723
Adamant1                      2,585
jhohn                         2,531
Hora                          2,514
Aaron Opdyke                  2,489
Hjart                         2,417
Kohki Hiraga                  2,416
mboeringa                     2,355
ELadner                       2,333
AlexLabrada                   2,283
old wolf                      2,112
Linie29                       2,107
SimMoonXP                     2,090
thetornado76                  2,078
Spanholz                      2,021
芋けんぴ                  1,945
CENTRALHUB                    1,931
Scheve                        1,928
Roadsguy                      1,921
taketaketake                  1,912
gendy54                       1,907
VLD009                        1,882
DannyMcD                      1,867
user_5359                     1,811
NURU ATHUMANI                 1,809
rusefkuma                     1,805
dubf                          1,789
cinar                         1,787
corfede                       1,756
RVR009                        1,752
zzptichka                     1,752
rene78                        1,729
Syl                           1,718
Laurentiu Popa                1,711
marco443                      1,688
penguin_the_dawn              1,639
ДмитрийBY              1,590
yunita sari                   1,553
HarmHarm                      1,537
olehz                         1,503
asciiphil                     1,476
Anas Almzoghy                 1,433
Sven Witte                    1,416
q_un_go                       1,413
Guy P                         1,407
Bakhadir                      1,403
adrianojbr                    1,396
elkueb                        1,357
TAA                           1,335
StephaneP                     1,264
Diego Sanguinetti             1,234
B_KSL                         1,231
RavInHeaven                   1,230
Σεραφειμ              1,228
d_berger                      1,221
Petr1868                      1,207
AlaskaDave                    1,203
Aroche                        1,203
Marion29                      1,179
Adam Schneider                1,146
leboef                        1,113
fayor                         1,106
Lauretta_J                    1,103
de vries                      1,083
gerhard81                     1,067
NeemaAlphonce                 1,064
CocoEnBuisson                 1,061
AndrewSnow                    1,057
Nesim                         1,054
3yoda                         1,047
Ryo-a                         1,042
TomDeKanter                   1,036
rosomak                       1,032
Hendrikklaas                  1,027
fuckzionists69                1,021
Riski Kadriansari             1,020

NB: Den User fuckzionists69 sollte man eventuell mal bitten sich einen anderen Namen zuzulegen?

Last edited by chris66 (2018-02-27 20:13:47)


Internettechnik aus Nordkorea: Demnächst auch in der EU.

Online

#9 2018-02-27 21:22:43

AB-inf-x-chg-AB
Member
Registered: 2016-12-17
Posts: 145

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Hallo Zusammen,

schade drum, würde mich auch interessieren wo die "tourism=aparment"-Einheiten hin sind.
Danke chris66 für die Liste der löschintensivsten Gemeindemitglieder der letzten Tage. Apropos wie hast Du die so schön aufgestellt bekommen?

Eine Idee dazu, könnte es auch sein, dass die 2k Einheiten nicht direkt gelöscht wurden, sondern "nur" umgetaggt worden sind, und dann eben ggf. gar nicht in chris' Liste auftauchen?

Viele Grüsse
AB

edit:
PS: in zwei sehr kleinen Gebieten (in Hessen & Thüringen), welche ich per RSS-feed beobachte sind keine abhanden gekommen...

Last edited by AB-inf-x-chg-AB (2018-02-27 21:24:46)


Hier führt der Weg zum anderen Informationskanal (mailing list talk-de@openstreetmap.org):
http://gis.19327.n8.nabble.com/Germany-f5281960.html

Offline

#10 2018-02-27 21:23:47

whb
Member
Registered: 2013-01-18
Posts: 337

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Am 22.2.2018 (22:00:00) waren es 16033.
Am 24.2.2018 (22:00:00) waren es 14048.

Diff sagt:
https://www.openstreetmap.org/changeset/56642175
https://www.openstreetmap.org/changeset/56644354

Last edited by whb (2018-02-27 21:26:49)

Offline

#11 2018-02-27 21:26:49

Prince Kassad
Member
Registered: 2013-10-18
Posts: 1,815

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Da hat also jemand Ferienwohnungen auf Malle massenhaft importiert, ohne zu gucken ob die schon gemappt sind und mit Koordinaten die teilweise meilenweit daneben lagen wodurch sich die FeWos im Meer befanden. Das ist dann natürlich einleuchtend, wieso so was revertiert wird.

Offline

#12 2018-02-27 21:27:09

AB-inf-x-chg-AB
Member
Registered: 2016-12-17
Posts: 145

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

@whb, oh klasse das sollte der betreffende verantwortliche CS sein. Merci fürs Finden!
Das fiel mir letztens sogar auf, das dort eine Menge von tourism=apartment eingetragen waren...


Hier führt der Weg zum anderen Informationskanal (mailing list talk-de@openstreetmap.org):
http://gis.19327.n8.nabble.com/Germany-f5281960.html

Offline

#13 2018-02-27 21:29:14

AB-inf-x-chg-AB
Member
Registered: 2016-12-17
Posts: 145

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Prince Kassad wrote:

Da hat also jemand Ferienwohnungen auf Malle massenhaft importiert, ohne zu gucken ob die schon gemappt sind und mit Koordinaten die teilweise meilenweit daneben lagen wodurch sich die FeWos im Meer befanden. Das ist dann natürlich einleuchtend, wieso so was revertiert wird.

Das ist die Nachbarinsel von "Malle" ;-)


Hier führt der Weg zum anderen Informationskanal (mailing list talk-de@openstreetmap.org):
http://gis.19327.n8.nabble.com/Germany-f5281960.html

Offline

#14 2018-02-27 22:36:59

geow
Member
Registered: 2012-12-16
Posts: 665

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Wow, danke euch allen und speziell @whb für die schnelle Lösung. Wie hast du das gemacht?

Schon erstaunlich, nach dem ersten Import hat der Newbie-Mapper noch um einen Revert gebeten, was erledigt wurde:
https://www.openstreetmap.org/changeset/53455604

Einen Tag später hat er das ganze wiederholt und auf einen eindeutige CS-Diskussion nicht mehr reagiert:
https://www.openstreetmap.org/changeset/53473705

Danke an @mboeringa, dass es jetzt nach 4 Monaten bereinigt hat.

Gruß
geow

Offline

#15 2018-02-27 22:52:46

geow
Member
Registered: 2012-12-16
Posts: 665

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

mmd wrote:

Welche query hat denn mit Overpass nicht funktioniert, oder war das nur ein intelligent guess?

Diese ist ab ab z8 ausgestiegen mit "Query run out of memory using about 2048 MB of RAM."

[date:"2018-02-23T00:00:00Z"];
(  node["tourism"="apartment"]({{bbox}});
  way["tourism"="apartment"]({{bbox}});
  );
// print results
out body;
>;
out skel qt;

Offline

#16 2018-02-28 07:43:27

Chrysopras
Member
From: Germany
Registered: 2015-04-01
Posts: 1,179

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

chris66 wrote:

NB: Den User fuckzionists69 sollte man eventuell mal bitten sich einen anderen Namen zuzulegen?

Scheint schon jemand erledigt zu haben – bei Aufruf der Benutzerseite kommt nur die Meldung „Benutzer nicht gefunden“. smile

Offline

#17 2018-02-28 08:30:24

chris66
Member
From: Germany
Registered: 2009-05-24
Posts: 8,489

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

AB-inf-x-chg-AB wrote:

Danke chris66 für die Liste der löschintensivsten Gemeindemitglieder der letzten Tage. Apropos wie hast Du die so schön aufgestellt bekommen?

Habe die diffs der letzten Tage per Script durchkämmt nach <delete> Tags.


Internettechnik aus Nordkorea: Demnächst auch in der EU.

Online

#18 2018-03-04 12:26:00

mmd
Member
Registered: 2010-11-06
Posts: 1,395

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

geow wrote:
mmd wrote:

Welche query hat denn mit Overpass nicht funktioniert, oder war das nur ein intelligent guess?

Diese ist ab ab z8 ausgestiegen mit "Query run out of memory using about 2048 MB of RAM."

[date:"2018-02-23T00:00:00Z"];
(  node["tourism"="apartment"]({{bbox}});
  way["tourism"="apartment"]({{bbox}});
  );
// print results
out body;
>;
out skel qt;

Mit der offiziellen Version geht das leider nicht mit größeren Bounding Boxes (oder auch komplett ohne Bounding Box).

In meinem eigenen Branch habe ich einige Performance Optimierungen drin, die Roland allerdings noch nicht berücksichtigt hat. Damit klappt's dann mit ein paar Minuten Wartezeit und einem Speicherbedarf von ~300MB, global für alle tourism=apartment.

Folgende Query zeigt die Unterschiede zwischen 23.02.2018 und heute. So erkennt man auch die Nodes, die zwischenzeitlich gelöscht wurden und in welchem Changeset diese enthalten waren.

[adiff:"2018-02-23T00:00:00Z"][timeout:3600];
(  node["tourism"="apartment"];
  way["tourism"="apartment"];
  );
out meta;

Ergebnis: https://gist.githubusercontent.com/mmd- … 4d/bl3.xml (1,5MB groß)

Als lokale XML-Datei abgelegt kann man das Ergebnis auch auf die Achavi-Seite ziehen und sieht dort dann die gelöschten Apartments auf Menorca:

32000611tw.png

Last edited by mmd (2018-03-04 17:07:30)

Offline

#19 2018-03-05 11:48:26

ikonor
Member
Registered: 2010-11-08
Posts: 397
Website

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Neben Drag&Drop kann man solche "adiff" Ergebnisse in Achavi auch per "url" Parameter anzeigen:
https://overpass-api.de/achavi/?url=htt … 4d/bl3.xml

Last edited by ikonor (2018-03-05 11:52:44)

Offline

#20 2018-03-05 23:40:46

geow
Member
Registered: 2012-12-16
Posts: 665

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Danke @mmd und @ikonor für die query und die Achavi-Tricks. FeWos gibt's jetzt auch in Nepal...:)

Offline

#21 2018-03-06 11:18:33

mboeringa
Member
Registered: 2014-06-29
Posts: 287

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

Good I see this.

Please do NOT re-instate this data or revert this!

I am the one who was responsible for this removal, as this is a revert of a very bad import of apartment and hotel data on Menorca. This data had several defects:

- Clear undocumented import. All data added in one changeset, and all names written in capital letters, as coming from some agency or company database storing all data with capitals.
- No regard for existing data, duplications with existing features
- Clear projection issue, data did not fit real locations, with hotels and apartments even in the sea around Menorca.
- Data snapped to features it shouldn't be, like a hotel node snapped to a crossing of highway elements.

An OSM user noted this here on the forums, and asked for help, hence I stepped in and reverted this bad import after reviewing it.

Happy mapping!

Marco

Last edited by mboeringa (2018-03-11 12:41:17)

Offline

#22 2018-03-06 22:01:22

geow
Member
Registered: 2012-12-16
Posts: 665

Re: [Erledigt] 2000 Ferienwohnungen "tourism=apartment" entfernt?

mboeringa wrote:

Please do NOT re-instate this data or revert this! [...]
An OSM user noted this here on the forums, and asked for help, hence I stepped in and reverted this bad import after reviewing it.

Thanks Marco,  we wouldn't even dream of reverting your fix! smile

Offline

Board footer

Powered by FluxBB