OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

Announcement

A fix has been applied to the login system for the forums - if you have trouble logging in please contact support@openstreetmap.org with both your forum username and your OpenStreetMap username so we can make sure your accounts are properly linked.

#1 2017-09-07 12:19:41

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 981

Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Jakiś czas temu próbowałem wykorzystać dane OSM, a konkretnie linki do Wikipedii. Odkryłem że te tagi maja sporo problemów które czekają na naprawę.

Na przykład mamy sporo tagów wikipedia które mają link do przekierowania zamiast bezpośrednio do artykułu.

Na przykład http://www.openstreetmap.org/way/298772661 ma [wikipedia=pl:Dwór Popielów w Ruszczy (Kraków)] zamiast [wikipedia=pl:Dwór Popielów w Ruszczy].*

W niektórych przypadkach poprawność takiej zmiany potwierdza dodany tag wikidata

Proponowałbym zamienić w zautomatyzowany sposób takie przypadki gdzie

- jest tag wikidata
- jest tag wikipedia
- tag wikipedia linkuje do przekierowania
- przekierowanie prowadzi do strony zgodnej z tagiem wikidata

Zmiana polegała by na edycji tagu wikipedia tak by kierował w to samo miejsce co kieruje teraz przekierowanie.

Program do automatycznej edycji
- zostałby przetestowany
- po stwierdzeniu że działa poprawnie edytowałby z konta https://www.openstreetmap.org/user/Mate … %20account
- w przypadku niepoprawnego działania naprawię szkody
- każdy obiekt edytowany byłby w osobnej edycji
- po każdej edycji czekałby minutę lub dłużej przed wykonaniem następnej
- działałby na terenie Polski

Przykłady planowanych edycji są na https://matkoniecz.github.io/OSM-wikipe … olska.html z opisem "wikidata and wikipedia tags link to a different objects, because wikipedia page points toward redirect that should be followed" (są tam też inne wykryte problemy dotyczące tagów wikipedia i wikidata),

*z http://wiki.openstreetmap.org/wiki/Key:wikipedia "avoid redirects, for example, link to de:Frashër and not to de:Frasher (which is a redirect)."

Zachęcam do komentowania - zarówno jeśli ktoś uważa to za dobry jak i zły pomysł. Jeśli są z tym problemy to warto by o nich wiedzieć, niezależnie bczy będzie poprawiane to ręcznie czy automatycznie. A jeśli to dobry pomysł to też czekam na komentarze bo bez zgody innych edytujących nie będę wykonywał automatycznych edycji.

Last edited by Mateusz Konieczny (2017-09-07 12:23:53)

Offline

#2 2017-09-07 16:57:10

wmyrda
Member
Registered: 2014-07-07
Posts: 891

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Mateusz Konieczny wrote:

Przykłady planowanych edycji są na https://matkoniecz.github.io/OSM-wikipe … olska.html

Przyznam nie zwróciłem na to wcześniej uwagi, a bardzo sprytnie błędy wyszukuje. Jak by się tak jeszcze dało zrobić tak by te wszystkie znalezione obiekty JOSM wiedział jak na raz pobrać to już by było super, gdyż łatwo by się je dało wtedy poprawić.

EDIT: A skąd aż tyle linków do nieistniejących artykułów? Pousuwane na wiki?

Last edited by wmyrda (2017-09-07 16:58:33)

Offline

#3 2017-09-07 17:35:43

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,170
Website

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Mateusz Konieczny wrote:

Proponowałbym zamienić w zautomatyzowany sposób takie przypadki gdzie

- jest tag wikidata
- jest tag wikipedia
- tag wikipedia linkuje do przekierowania
- przekierowanie prowadzi do strony zgodnej z tagiem wikidata

Zmiana polegała by na edycji tagu wikipedia tak by kierował w to samo miejsce co kieruje teraz przekierowanie.

Wygląda bezpiecznie, jestem za.

wmyrda wrote:

EDIT: A skąd aż tyle linków do nieistniejących artykułów? Pousuwane na wiki?

Pozmieniane tytuły najczęściej.

Offline

#4 2017-09-07 21:13:24

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 981

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

wmyrda wrote:

jak by się tak jeszcze dało zrobić tak by te wszystkie znalezione obiekty JOSM wiedział jak na raz pobrać to już by było super, gdyż łatwo by się je dało wtedy poprawić.

Czy wygenerowane overpass query do skopiowania by załadować obiekty z problemem danego typu byłoby OK czy masz na myśli inne rozwiązanie?

wmyrda wrote:

EDIT: A skąd aż tyle linków do nieistniejących artykułów? Pousuwane na wiki?

Część zmieniła nazwę + jakiś czas temu kasowali chyba "hasła" typu "XXX jest częścią miejscowości XYZ" bez jakichkolwiek innych informacji czy źródeł.

Offline

#5 2017-09-07 21:35:58

kocio
Administrator
From: Warszawa
Registered: 2013-09-04
Posts: 2,174
Website

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

O ile mi wiadomo obecnie Wikipedia ma politykę niekasowania nawet "popsutych" nazw - zostają jako odnośniki do "prawidłowej" nazwy.

Online

#6 2017-09-07 21:38:33

wmyrda
Member
Registered: 2014-07-07
Posts: 891

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Mateusz Konieczny wrote:

Czy wygenerowane overpass query do skopiowania by załadować obiekty z problemem danego typu byłoby OK czy masz na myśli inne rozwiązanie?

Jak najbardziej OK jeśli tylko się da. Pachnie wyższą szkołą jazdy wink

Offline

#7 2017-09-07 23:28:35

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 981

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

wmyrda wrote:
Mateusz Konieczny wrote:

Czy wygenerowane overpass query do skopiowania by załadować obiekty z problemem danego typu byłoby OK czy masz na myśli inne rozwiązanie?

Jak najbardziej OK jeśli tylko się da. Pachnie wyższą szkołą jazdy wink

Zrobione, na https://matkoniecz.github.io/OSM-wikipe … olska.html teraz na końcu każdej grupy jest overpass query które można wkleić w JOSMie by pobrać problematyczne obiekty z danym typem błędu (może wymagać wyczyszczenia cache przeglądarki).

A, gdyby błędów zabrakło lub były nieaktualne to dajcie znać - wygeneruję na nowo dla większego obszaru.

Last edited by Mateusz Konieczny (2017-09-08 00:00:15)

Offline

#8 2017-09-08 07:52:06

wmyrda
Member
Registered: 2014-07-07
Posts: 891

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Pierwszą grupę jaką pobrałem to z miejsca okazuje się, że dotyczy się ona wyłącznie dzielnic Zakopanego dla których ktoś pousuwał artykuły na wiki https://pl.wikipedia.org/wiki/Krzept%C3%B3wki o czym jakiś czas temu pisał rmikke. NIe przypominam sobie by wówczas ktokolwiek miał pomysł co z tym fantem zrobić. Teoretycznie skoro artykuły na wiki nie istnieją to pasuje je usunąć również z OSM zwłaszcza jak prowadzą do nieodpowiednich miejsc jak wspomniane Krzeptówki kierują do https://pl.wikipedia.org/wiki/Krzeptowski_Potok
What say You?

Offline

#9 2017-09-08 08:34:21

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 981

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

wmyrda wrote:

Pierwszą grupę jaką pobrałem to z miejsca okazuje się, że dotyczy się ona wyłącznie dzielnic Zakopanego dla których ktoś pousuwał artykuły na wiki https://pl.wikipedia.org/wiki/Krzept%C3%B3wki o czym jakiś czas temu pisał rmikke. NIe przypominam sobie by wówczas ktokolwiek miał pomysł co z tym fantem zrobić. Teoretycznie skoro artykuły na wiki nie istnieją to pasuje je usunąć również z OSM zwłaszcza jak prowadzą do nieodpowiednich miejsc jak wspomniane Krzeptówki kierują do https://pl.wikipedia.org/wiki/Krzeptowski_Potok
What say You?

Zerknąłem na to i takie http://www.openstreetmap.org/node/3009690700 jest w terycie ( http://eteryt.stat.gov.pl/eTeryt/rejest … st=default ).

Na początek zostawiłbym te zaimportowane z TERYTu do OSM i w takich zdejmę linki do Wikipedii które padły.

Krzeptówki linkują teraz do disambiga który ma czerwony link do Krzeptówek jako część miasta, więc też bym zostawił.

Nie wiem co zrobić z http://www.openstreetmap.org/node/2122992023 - dodane przez skasowanego, nie widzę w internecie sensownych źródeł. Może poszukać w przewodnikach po Zakopanym czy gdzieś wspominają podział miasta na osiedla/dzielnice/osady/jak to zwać? Albo zostawić notkę w nadziei że kiedyś miejscowy sprawdzi poprawność? Ale w terycie tego nie ma - pytanie czy kiedyś było...

Last edited by Mateusz Konieczny (2017-09-08 08:42:49)

Offline

#10 2017-09-08 09:13:01

wmyrda
Member
Registered: 2014-07-07
Posts: 891

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Druga grupę właśnie poprawiłem. W zasadzie poza jednym przypadkiem dopływu Dunajca, gdzie faktycznie należało się zastanowić czy nie zostawić tak jak jest wikipedia=sk:* a część rzeki faktycznie płynie przez Słowację to wszystkie inne przypadki gdzie mieliśmy winpedia=en:* (nie mylić z wikipedia:en=*) spokojnie mógłby je przerabiać automat, gdyż wszystkie wskazywały na prawidłowe linki w języku polskim.

Offline

#11 2017-09-14 07:47:43

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,170
Website

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Mateusz Konieczny wrote:

Zrobione, na https://matkoniecz.github.io/OSM-wikipe … olska.html teraz na końcu każdej grupy jest overpass query które można wkleić w JOSMie by pobrać problematyczne obiekty z danym typem błędu (może wymagać wyczyszczenia cache przeglądarki).

Zarąbiste, serio.

Z tym, że dla cieków wodnych prawdopodobnie najsensowniejszą pomocą byłyby:

  • link, otwierający bbox, obejmujący wszystkie odcinki waterway z tą samą wartością wikipedia=* (tymi, które teraz bot listuje)

  • zapytanie Overpassa, wyciągające wszystkie odcinki waterway w powyższym bboksie, do użytku w JOSM.

Na ogół jest bowiem tak, że tag wikipedia jest przypisany do losowo dobranej części odcinków cieku i relację trzeba budować po nazwach odcinków, a nie według tagu wikipedia. A do tego dość często zdarza się, że do relacji powinien należeć jeszcze jakiś odcinek, który nawet nie ma tagu name=*.

Czyli z reguły wybranie samych odcinków z tym samym wikidata=* nie ma większego sensu, jeśli chce się poprawnie zbudować relację, obejmującą cały ciek.

Offline

#12 2017-09-14 10:25:54

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 981

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

rmikke wrote:

link, otwierający bbox, obejmujący wszystkie odcinki waterway z tą samą wartością wikipedia=* (tymi, które teraz bot listuje)

Dodanie zapytanie uwzględniające też wikipedia=pl:nazwa rzeki powinno dać się zrobić.

A name=nazwa_rzeki by się przydało? Jak często mamy w Polsce rzeki o tej samej nazwie?

rmikke wrote:

zapytanie Overpassa, wyciągające wszystkie odcinki waterway w powyższym bboksie, do użytku w JOSM.

Jak to sie dla takiej Wisły zrobi to zapytanie zwróci do edycji rzeki i innych cieki wodne w całej Polsce (JOSM da radę ale będzie mocno lagować a dane specjalnie nie pomogą).
Dodatkowym problem jest to że dość trudno takiego bboxa zgadnąć (szukać wszystkich cieków wodnych w okolicy które mają tą samą nazwę i zrobić bbox który je obejmuje?).

Offline

#13 2017-09-14 11:24:37

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,170
Website

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Mateusz Konieczny wrote:

Dodanie zapytanie uwzględniające też wikipedia=pl:nazwa rzeki powinno dać się zrobić.

A name=nazwa_rzeki by się przydało? Jak często mamy w Polsce rzeki o tej samej nazwie?

Rzeki rzekami, ale strumieni o nazwie np. Struga jest trochę. Z mojego doświadczenia - rzadko jest tak, żeby po wybraniu według nazwy nie trzeba było nic dodać/wywalić. A już wikipedia=* są dodawane naprawdę do losowych odcinków.

Offline

#14 2017-09-14 12:38:00

Mateusz Konieczny
Member
Registered: 2013-09-22
Posts: 981

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Nie do końca mam pomysł jak to zapytanie powinno wyglądać. Czy dałbyś radę zrobić jedno ręcznie, dla dowolnej rzeki która na razie nie ma relacji waterway lub ma coś innego do poprawy?

Offline

#15 2017-09-14 13:47:59

rmikke
Moderator
From: Warszawa
Registered: 2014-11-14
Posts: 1,170
Website

Re: Propozycja automatycznej edycji - tagi wikipedia do przekierowań

Mateusz Konieczny wrote:

Nie do końca mam pomysł jak to zapytanie powinno wyglądać. Czy dałbyś radę zrobić jedno ręcznie, dla dowolnej rzeki która na razie nie ma relacji waterway lub ma coś innego do poprawy?

Chwilowo nie.

Byłem przekonany, że da się przerobić zbiór na bbox w overpassie, ale być może tylko mi się zdawało. Zapytałem, zobaczymy czy da się...

Znaczy, wypluć bbox na output się da, ale parametrem do out, a to się chyba nie da wykorzystać do późniejszego wyciągania czegoś z obszaru tego bboxa.

Offline

Board footer

Powered by FluxBB