OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2017-09-08 17:33:39

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Jakiś czas temu próbowałem wykorzystać dane OSM, a konkretnie linki do Wikipedii. Odkryłem że te tagi maja sporo problemów które czekają na naprawę.

Na przykład mamy sporo przypadków gdzie istnieje tag wikipedia:en=*, wikipedia:de=* a nie istnieje tag wikipedia. Temat już był trochę dyskutowany na https://forum.openstreetmap.org/viewtop … 69#p659869

Proponowałbym zamienić w zautomatyzowany sposób dodać tagi wikipedia tam gdzie

- jest tag wikipedia:en lub wikipedia:de lub wikipedia:jakiś_inny_język
- nie ma tagu wikipedia

dodać tag wikipedia, z zachowaniem następujących ograniczeń

- link będzie przetwarzany jeśli dla danego artykułu istnieje wpis w Wikidata (w ten sposób można ustalić czy istnieje wersja po Polsku)
- nowy tag wikipedia nie jest sprzeczny z tagiem wikidata (jeśli taki istnieje)
- jeśli to możliwe dodany zostaje artykuł po polsku, jeśli po polsku nie ma to po angielsku. Jeśli nie ma artykułu zarówno po polsku jak i angielsku może zostać wykorzystany inny język.
- nie będą przetwarzane błędne linki tj. takie które według wikidata są o zwierzętach, wydarzeniach, ludziach, powiedzeniach, stronach internetowych, serialach telewizyjnych

Program do automatycznej edycji
- zostałby przetestowany
- po stwierdzeniu że działa poprawnie edytowałby z konta https://www.openstreetmap.org/user/Mate … %20account
- w przypadku niepoprawnego działania naprawię szkody
- w każdej edycji będzie zmieniana grupa elementów, na obszarze mniej więcej województwa
- po każdej edycji czekałby minutę lub dłużej przed wykonaniem następnej
- działałby na terenie Polski
- dodawałby tag wikipedia bez modyfikacji lub usuwania innych tagów

Zachęcam do komentowania - zarówno jeśli ktoś uważa to za dobry jak i zły pomysł. Jeśli są z tym problemy to warto by o nich wiedzieć, niezależnie bczy będzie poprawiane to ręcznie czy automatycznie. A jeśli to dobry pomysł to też czekam na komentarze bo bez zgody innych edytujących nie będę wykonywał automatycznych edycji.

Last edited by Mateusz Konieczny (2017-09-14 00:17:24)

Offline

#2 2017-09-08 17:49:40

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,257
Website

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Mateusz Konieczny wrote:

- nie będą przetwarzane błędne linki tj. takie które według wikidata są o zwierzętach, wydarzeniach, ludziach, powiedzeniach, stronach internetowych, serialach telewizyjnych

Tu bym zaproponował jeden wyjątek. Mianowicie trafiłem parę razy na relację typu person, wiążącą wszystkie miejsca związane z daną osobą. Dla takiej relacji nie tylko należałoby jak najbardziej przetwarzać link do wikipedii, ale wręcz jest ona jedynie słusznym miejscem na umieszczenie linku do artykułu o tej osobie na wikipedii. Czyli przeszukałbym elementy relacji, zobaczył, czy jest link do artykułu w wikipedii o tej osobie, umieściłbym link w relacji, a pousuwał z elementów (tu uważać, bo element może zawierać też inny link do wikipedii, np. pomnik osoby może mieć własny artykuł).

Offline

#3 2017-09-08 19:38:34

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

rmikke wrote:
Mateusz Konieczny wrote:

- nie będą przetwarzane błędne linki tj. takie które według wikidata są o zwierzętach, wydarzeniach, ludziach, powiedzeniach, stronach internetowych, serialach telewizyjnych

Tu bym zaproponował jeden wyjątek. Mianowicie trafiłem parę razy na relację typu person, wiążącą wszystkie miejsca związane z daną osobą. Dla takiej relacji nie tylko należałoby jak najbardziej przetwarzać link do wikipedii, ale wręcz jest ona jedynie słusznym miejscem na umieszczenie linku do artykułu o tej osobie na wikipedii. Czyli przeszukałbym elementy relacji, zobaczył, czy jest link do artykułu w wikipedii o tej osobie, umieściłbym link w relacji, a pousuwał z elementów (tu uważać, bo element może zawierać też inny link do wikipedii, np. pomnik osoby może mieć własny artykuł).

Na razie relacje typu osoba pomijam (z kilku przyczyn, zaczynając od tego że wymagają specjalnej obsługi). Jeśli chcesz to mogę wsparcie dla nich dorzucić do pomysłów na przyszłość.

Na razie wolę poprawiać już znalezione błędy - w tym momencie poświęcanie energii na wykrywanie jeszcze większej ilości błędów nie poprawi jakości danych w OSM.

Ewentualne usuwanie z elementów nie byłoby na pewno robione automatycznie (choćby dlatego bo na ogół od usuwania jest lepsze przerobienie tagów na subject:wikipedia, subject:wikidata).

Last edited by Mateusz Konieczny (2017-09-08 19:39:42)

Offline

#4 2017-09-08 20:20:43

wmyrda
Member
Registered: 2014-07-07
Posts: 946

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Mateusz Konieczny wrote:

- każdy obiekt edytowany byłby w osobnej edycji

Czy to konieczne? Ostatnio było wielkie halo jak jeden strażak dodawał po jednym hydrancie. Ja tam myślę, że nie ma co dzielić na więcej niż każdy rodzaj błędu i województwo.

Mateusz Konieczny wrote:

subject:wikipedia, subject:wikidata

Tak przy okazji przyznam nie znałem wcześniej tych tagów a faktycznie są opisane na http://wiki.openstreetmap.org/wiki/Key:wikipedia

Last edited by wmyrda (2017-09-08 20:21:17)

Offline

#5 2017-09-08 20:23:51

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

wmyrda wrote:

Czy to konieczne? Ostatnio było wielkie halo jak jeden strażak dodawał po jednym hydrancie. Ja tam myślę, że nie ma co dzielić na więcej niż każdy rodzaj błędu i województwo.

Mi wszystko jedno. Ale słyszałem sporo narzekania na edycje z za dużym obszarem, natomiast nie słyszałem o narzekaniu na dzielenie na dużą ilość edycji.

Czyli jedna edycja na województwo będzie lepsze? Tu małe zastrzeżenie że mogą się w takiej edycji pojawić obiekty które tylko odrobinę o dane województwo zachaczają.

Last edited by Mateusz Konieczny (2017-09-08 20:25:00)

Offline

#6 2017-09-08 20:24:36

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,257
Website

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Mateusz Konieczny wrote:

Ewentualne usuwanie z elementów nie byłoby na pewno robione automatycznie (choćby dlatego bo na ogół od usuwania jest lepsze przerobienie tagów na subject:wikipedia, subject:wikidata).

I nikt mi o tych tagach wcześniej nie powiedział?
A wyłapałbyś wszystkie obiekty, które wg wikidata są osobami?

Offline

#7 2017-09-08 20:27:48

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

rmikke wrote:
Mateusz Konieczny wrote:

Ewentualne usuwanie z elementów nie byłoby na pewno robione automatycznie (choćby dlatego bo na ogół od usuwania jest lepsze przerobienie tagów na subject:wikipedia, subject:wikidata).

I nikt mi o tych tagach wcześniej nie powiedział?
A wyłapałbyś wszystkie obiekty, które wg wikidata są osobami?

Już są wyłapywane na https://matkoniecz.github.io/OSM-wikipe … olska.html (wyszukaj "article linked in wikipedia tag is about a human").

Zazwyczaj są to pomniki, czasem też groby.

Offline

#8 2017-09-09 06:39:46

wmyrda
Member
Registered: 2014-07-07
Posts: 946

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Mateusz Konieczny wrote:

Czyli jedna edycja na województwo będzie lepsze? Tu małe zastrzeżenie że mogą się w takiej edycji pojawić obiekty które tylko odrobinę o dane województwo zahaczają.

W sumie to w zależności od rodzaju błędów w województwie było by tych edycji od jednej do kilku. Jak napisałem myślałem o edycji per każdy rodzaj problemu. Pomysł ten oparłem na dwóch założeniach
- w grupach które są liczebnie największe jak "wikipedia page in unexpected language - pl was expected: " rozwiązanie jest na tyle proste i automatyczne, że nie widzę problemu z całkowitym tego zautomatyzowaniem i wtedy nie ma specjalnego znaczenia ile będzie tych edycji, więc nie ma sensu by mnożyć ich ilość.
- w razie czego gdyby trzeba jednak zerknąć wstecz na daną edycję to obszar województwa jest jeszcze do ogarnięcia ręcznego

Co do linków kierujących na osoby to bym się zastanowił czy cokolwiek ruszać. Tag ten jest tak mało popularny, że pytanie czy jakakolwiek aplikacja go używa. Gdyby dane miejsce miało 2, 3 czy 5 artykułów i był problem z tym który przypisać to te podziały mają sens. Gdy mamy miejsce upamiętnienia i nie jest ono na tyle znane by mieć swoją własną stronę na wiki, która pewnie też nigdy nie powstanie to nie jest takim złym pomysłem pozostawienie linku jako wikipedia.
Z drugiej strony dla krzyża smoleńskiego artykuł jest, ale jak by ktoś chciał poprawnie zlinkować do niego na podstronach 96 osób to też byłby problem.

Offline

#9 2017-09-09 07:08:42

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 2,359
Website

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Sprawa pokrewna - ktoś chce poprawiać przekierowania na artykuły, a najwięcej tego jest akurat w Polsce (588):

https://lists.openstreetmap.org/piperma … 78659.html

Offline

#10 2017-09-09 08:15:07

wmyrda
Member
Registered: 2014-07-07
Posts: 946

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

@kocio
Powolutku poprawiamy także z każdym dniem winno być mniej wink Wygląda na to, że przez następne kilka dni pogoda znowu nie pozwoli by za wiele zrobić w temacie, ale walczymy cool

Offline

#11 2017-09-09 09:17:13

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

kocio wrote:

Sprawa pokrewna - ktoś chce poprawiać przekierowania na artykuły, a najwięcej tego jest akurat w Polsce (588):

https://lists.openstreetmap.org/piperma … 78659.html

Koło 450 przekierowań zostało właśnie naprawionych w wyniku https://forum.openstreetmap.org/viewtopic.php?id=59649 a będą poprawiane następne.

Last edited by Mateusz Konieczny (2017-09-09 09:20:44)

Offline

#12 2017-09-14 00:16:05

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Jak ktoś uważa tą edycję za dobry pomysł to niech jednoznacznie to napisze (jest to jedna z dwóch potrzebnych rzeczy by te edycje uruchomić).

wmyrda wrote:

W sumie to w zależności od rodzaju błędów w województwie było by tych edycji od jednej do kilku. Jak napisałem myślałem o edycji per każdy rodzaj problemu.

OK, zmienię propozycję na "w każdej edycji będzie zmieniana grupa elementów, na obszarze mniej więcej województwa".

wmyrda wrote:

- w grupach które są liczebnie największe jak "wikipedia page in unexpected language - pl was expected: " rozwiązanie jest na tyle proste i automatyczne, że nie widzę problemu z całkowitym tego zautomatyzowaniem i wtedy nie ma specjalnego znaczenia ile będzie tych edycji, więc nie ma sensu by mnożyć ich ilość.

Co ciekawe te do automatycznego naprawiania się nie nadają - by nie zmienić też tych co tylko o granicę tylko dotykają (ale tym się zajmę, przy użyciu wspomagania technicznego spora część jest już poprawiona - idzie szybciej i z mniejszą ilością błędów niż przy użyciu normalnych edytorów).

wmyrda wrote:

Co do linków kierujących na osoby to bym się zastanowił czy cokolwiek ruszać. Tag ten jest tak mało popularny, że pytanie czy jakakolwiek aplikacja go używa. Gdyby dane miejsce miało 2, 3 czy 5 artykułów i był problem z tym który przypisać to te podziały mają sens. Gdy mamy miejsce upamiętnienia i nie jest ono na tyle znane by mieć swoją własną stronę na wiki, która pewnie też nigdy nie powstanie to nie jest takim złym pomysłem pozostawienie linku jako wikipedia.

To że nikt nie używa subject:wikipedia najwyraźniej oznacza że nikogo nie interesują przypadki że obiekt jest nieistotny i powiązany z istotną osobą. Ja używam z kolei tagu wikipedia i stąd moje zainteresowanie posprzątaniem błędnych wartości.

Jeśli coś nie ma pasującego artykułu to nie powinno mieć wprowadzającego w błąd linku.

Jak jest nieistotny pomnik na osiedlu to nie należy linkować wikipedia=pl:Jakaś Osoba, jak jest drzewo to link wikipedia=pl:Brzoza jest błędny a niespecjalnie interesujący kościół z linkowanie wikipedia=pl:Parafia Jakaśtam też jest błędne.

W tym momencie przetwarzanie linków do wikipedii/wikidanych wymaga specjalnego odrzucania błędnych połączeń, tak dużo ich mamy,

Last edited by Mateusz Konieczny (2017-09-14 00:17:02)

Offline

#13 2017-09-14 00:30:38

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 2,359
Website

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Mateusz Konieczny wrote:

Jak ktoś uważa tą edycję za dobry pomysł to niech jednoznacznie to napisze (jest to jedna z dwóch potrzebnych rzeczy by te edycje uruchomić).

Myślę, że to dobry pomysł. Sam tag wikipedia=* nie jest dla mnie tak ważny jak dla walidatorów, ale za to poprawki z uwzględnieniem Wikidata już tak. A czy jest jakiś powód, żeby nie dodawać przy okazji wikidata=* ?

Offline

#14 2017-09-14 07:49:05

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,257
Website

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Mateusz Konieczny wrote:

Jak ktoś uważa tą edycję za dobry pomysł to niech jednoznacznie to napisze (jest to jedna z dwóch potrzebnych rzeczy by te edycje uruchomić).

Piszę jednoznacznie: to był BARDZO dobry pomysł.

Offline

#15 2017-09-14 10:19:36

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

kocio wrote:
Mateusz Konieczny wrote:

Jak ktoś uważa tą edycję za dobry pomysł to niech jednoznacznie to napisze (jest to jedna z dwóch potrzebnych rzeczy by te edycje uruchomić).

Myślę, że to dobry pomysł. Sam tag wikipedia=* nie jest dla mnie tak ważny jak dla walidatorów, ale za to poprawki z uwzględnieniem Wikidata już tak. A czy jest jakiś powód, żeby nie dodawać przy okazji wikidata=* ?

W sumie nie ma, można od razu dodać (i nie będzie to bardziej skomplikowane niż robienie tego osobno).

Offline

#16 2017-09-15 08:32:15

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 1,092

Re: Propozycja automatycznej edycji - tagi typu wikipedia:en bez wikipedia

Zdecydowałem się na uniknięcie edycji tuż przed wyjazdem (w razie problemów nie miałbym możliwości poprawienia), planuję ją wykonać na przełomie września i października.

Na razie jest trochę problemów zgłoszonych na https://matkoniecz.github.io/OSM-wikipe … olska.html

Last edited by Mateusz Konieczny (2017-09-15 08:33:37)

Offline

Board footer

Powered by FluxBB