wikipedia - validator

Mateusz Konieczny · 2017-07-27 13:39:18

z https://forum.openstreetmap.org/viewtop … 73#p656873

rmikke wrote:

Mateusz Konieczny wrote:
wmyrda wrote:
Ja przy tej okazji poproszę również o rozwinięcie narzędzi do pilnowania konkretnych danych
A konkretniej? Co to narzędzie miałoby robić? Może można to dodać do istniejących narzędzi.
Ja na przykład chciałbym:
bota wyłapującego obiekty z wikipedia=*, ale bez wikidata=* i automatycznie wstawiającego wikidata=*
bota sprawdzającego, czy link w wikidata do strony w języku wskazanym w wikipedia=* jest identyczny z linkiem w wikipedia=* i jeśli nie, to dodającego jakiś specyficzny tag np. wikifix:wikidata=<tu link do strony wskazywanej przez wikidata> (bo nie wiadomo, który link jest poprawny, podejmuję się przeglądania tego tagu)
bota sprawdzającego, czy wikipedia=* obiektów w granicach Polski wskazuje stronę w języku polskim, a jeśli nie, wstawiającego jakiś specyficzny tag np. wikifix:lang=<tu wyciągniety z wikidata link do polskiej strony Wikipedii lub w przypadku braku takowego - napis "check">. Bot powinien pomijać obiekty oznaczone np. wikifix:lang=ok, żeby można było oznaczać w ten sposób np. czeskie drogi zahaczające o Polskę.

rmikke wrote:

Tabelka najlepsza byłaby na osm wiki, ale docelowo, to osobiście wolałbym wstawianie tych tagów, ewentualnie osobną mapkę, ale taką, żeby były te linki wyciągane z wikidata. Wydaje mi się, że dopisywanie tagów typu wikifix (fixme zostawmy do ręcznie wpisywanych uwag) będzie najprostsze zarówno dla bota, jak i w późniejszej obsłudze (Overpass i hajda). O właśnie, dodatkowa zaleta specjalnego tagu to łatwość wyłapania go Overpassem. Oraz, Overpassa mogę w każdej chwili odświeżyć i widzieć, co już zrobiłem, a tabelkę musi odświeżyć bot. A ja nie zawsze będę widział w tabelce, które obiekty odwiedziłem poprzedniego dnia (wiem, to moja specyfika, ale to ja się podejmuję naprawiania tych baboli ).
Chodzi mi o takie zorganizowanie tych danych, żeby można było w krótkim czasie odwalić ręczną masówkę, stąd chcę, zeby w tagach były gotowe linki do sprawdzenia - wtedy naprawa sprowadza się w większości przypadków do paru kliknięć, ewntualnie ctrl-C, ctrl-V, wywalić tag wikifix, lub wpisać w niego "ok" i następny proszę.

Jako pierwszy etap uruchomiłem to co mam. Z tego co widzę to w Krakowie narzeka przede wszystkim na braki w WIkipedii (linki do atykułów bez koordynatów, czasem powodem są błędne linki na wiki - swego czasu poprawiałem wikipedia=* na operator:wikipedia=* i podobne - bieżącym przykładem jest http://www.openstreetmap.org/node/3667610297 ).

Jako pierwszy krok - czy zgłaszanie "missing coordinates at wiki:" jest dla ciebie interesujące?

Dane dla Krakowa są w tym momencie na https://wiki.openstreetmap.org/w/index. … ction=edit (tak, linkuję do trybu edycji - zawiere wikisyntax i normalne wyświetlanie strony głupieje)

"stąd chcę, zeby w tagach były gotowe linki do sprawdzenia" - powinno to być proste do zrobienia, może uda mi się przed wyjazdem na wakacje to wyprodukować.

Last edited by Mateusz Konieczny (2017-07-27 13:50:00)

Mateusz Konieczny · 2017-07-27 13:43:08

Co do znajdywania linków innych niż plwiki - widzę że jest przykład, wykryte zostało http://www.openstreetmap.org/node/31900341

rmikke · 2017-07-27 14:36:33

Mateusz Konieczny wrote:

Co do znajdywania linków innych niż plwiki - widzę że jest przykład, wykryte zostało http://www.openstreetmap.org/node/31900341

Ale chodzi o to, że jest polska strona? Popoprawiałem już.

Tak czy owak - wstępnie działa.

Brakujące koordynaty na Wikipedii zostawiłbym na później, to jest robota po stronie Wikipedii i może dałoby się to zrobotyzować, w sensie automagicznego dodawania do artykułów.

Linki do sekcji powinien wykrywać bot do niezgodności z wikidata I nie jestem zupełnie pewien, co z tym przypadkiem robić...

A jakbyś robił to w formie dodawania tagów, to dałbyś radę odpalić od razu dla całej Polski?

Mateusz Konieczny · 2017-07-27 16:58:13

rmikke wrote:

Brakujące koordynaty na Wikipedii zostawiłbym na później, to jest robota po stronie Wikipedii i może dałoby się to zrobotyzować, w sensie automagicznego dodawania do artykułów.

Bot nie rozpozna przypadków gdzie wikipedia=* jest wadliwym tagiem (była plaga linkowania tagiem wikipedia z klasztorów do nazw zakonów, widziałem przypadki typu wikipedia=pl:Brzoza na zwykłym drzewie).

Choć jako pierwszy krok można to podzielić na próbę określenia czy tag wikipedii jest błędny czy też problemem jest brak koordynatów w haśle. Widziałem gdzieś opis bota który by wstawiał wikidata i sam znajdował odpowiednie obiekty - może dałoby się ten kod wykorzystać.

rmikke wrote:

A jakbyś robił to w formie dodawania tagów, to dałbyś radę odpalić od razu dla całej Polski?

Ten kod który mam nie da rady (pobiera plik .osm i ładuje go w całości do pamięci), ale jak jest chętny do użycia wyników to mogę poprawić wydajność.

Last edited by Mateusz Konieczny (2017-07-27 16:59:17)

rmikke · 2017-07-27 22:25:33

Mateusz Konieczny wrote:

Ten kod który mam nie da rady (pobiera plik .osm i ładuje go w całości do pamięci), ale jak jest chętny do użycia wyników to mogę poprawić wydajność.

W sumie to zadna różnica, czy załaduje się do pamięci całą Polskę i obrobi, czy będzie się obrabiac po kolei województwa (powiaty, gminy, albo jakies okreslonego rozmiaru kafelki) - w całości czy po kawałku Polska będzie zrobiona.

Announcement

#1 2017-07-27 13:39:18

wikipedia - validator

#2 2017-07-27 13:43:08

Re: wikipedia - validator

#3 2017-07-27 14:36:33

Re: wikipedia - validator

#4 2017-07-27 16:58:13

Re: wikipedia - validator

#5 2017-07-27 22:25:33

Re: wikipedia - validator

Board footer