OpenStreetMap Forum

The Free Wiki World Map

You are not logged in.

#1 2014-07-27 17:14:09

Thundercel
Member
From: Vila Velha - ES - BRASIL
Registered: 2013-12-17
Posts: 16
Website

Inconsistências no mapa

Amigos,
se já existe outro processo que identifica inconsistências em dados na base OSM, me perdoem o desconhecimento.

Ainda pouco fui alertado por um amigo que existem muitos erros de roteamento no mapa do Brasil COCAR por nós compilado e disponibilizado e que poderíamos corrigir esses erros tendo como referência o disponibilizado no site  espanhol alternativaslibres, especificamente na página de downloads dele, em http://mapas.alternativaslibres.es/downloads.php

Nessa pagina o site disponibiliza diariamente mapas já compilados para grande parte dos continentes. Na tabela podem observar que na ultima coluna existe o titulo “Erros”. Acredito que quando da compilação eles instalaram algum validador que retorna informações de erros.

Fiz o download do arquivo de erros do mapa do Brasil e fiquei impressionado com a quantidade de erros apontada.  Até já andei corrigindo alguns erros, mas a quantidade de erros a corrigir é muito grande e se torna necessário que mais elementos se juntem nessa ação ou apontem para um método mais simples de identificação e correção.

São erros de fácil identificação e correção.

Vamos a um exemplo:

No arquivo compactado baixado tem nele, dentre outros, o arquivo Oneway_roads_BRA.TXT

Esse arquivo tem a relação de todas as singularidades encontradas no mapa quando da compilação.

Exemplo de uma delas ainda não corrigida por mim:

2014/07/26 09:10:53 WARNING (StyledConverter): 55137013.o5m: Oneway road 41891148 with tags [mkgmap:admin_level5=Região Metropolitana do Rio de Janeiro,mkgmap:admin_level3=Região Sudeste,name=Rua Maranhão,oneway=yes,mkgmap:street=Rua Maranhão,streettype:movedend=Maranhão, Rua,highway=residential,mkgmap:label:4=Maranhão, Rua,mkgmap:label:3=Maranhão, Rua,mkgmap:exit=Saída,surface=asphalt,mkgmap:admin_level2=BRA,mkgmap:country=BRA,mkgmap:label:1=Rua Maranhão,mkgmap:region=Região Metropolitana do Rio de Janeiro,mkgmap:admin_level4=Rio de Janeiro,mkgmap:city=Rio de Janeiro,mkgmap:admin_level8=Rio de Janeiro,mkgmap:admin_level7=Microrregião Rio de Janeiro] goes to nowhere at http://www.openstreetmap.org/?mlat=-22. … 23&zoom=17

Se formos ao link apontado ao final do texto do erro ( http://www.openstreetmap.org/?mlat=-22. … 23&zoom=17 ) imediatamente identificaremos que a Rua Maranhão foi configurada oneway, mas ela não tem saída.

Venho corrigindo os erros apontados e esse vou deixar sem corrigir, por enquanto, para vocês verem.


Marcio Marques Soares - Thundercel
Admin http://gpsinfo.com.br ! http://cocardl.com.br | http://maparadar.com

Offline

#2 2014-07-27 17:23:11

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Talvez se possa trabalhar com o seguinte fluxo:

  1. Uma consulta overpass retorna todos os objetos em um .osm

  2. O mapeador abre o arquivo no JOSM, seleciona tudo (os "novos", através de um busca) e adiciona à lista TODO (plugin)

  3. Para cada alvo na TODO, o mapeador seleciona a região, faz o download, efetua as correções, e envia para o servidor

Dê uma olhada nesta consulta: overpass-turbo.eu/s/4mi

Exemplo de como a API do overpass pode ser chamada: overpass-cmd.sh, linha 9

Update

Download mais fácil do que pelo overpass: /wiki/Help/Action/DownloadObject. Uma lista de IDs separados por vírgulas!

DownloadObjectDialog.png

Vou pegar todos os IDs pra vocês... atualizarei esta postagem.

Estou usando comandos assim:

awk '{ printf $8", " }' Oneway_roads_BRA.txt > Oneway_roads_BRA.ids ; sed -i 's/, $//' Oneway_roads_BRA.ids

Segue os arquivos de texto resultantes:

Eu inventei a extensão *.ids big_smile. É só um TXT.

Como são muitos objetos em cada arquivo (linha com lista de IDs), talvez o correto seja fracionar. Sugestões de tamanho?

1 ‒ Você pode usar flare-locator.sh para rapidamente ter uma Ajuda sobre o que pode estar acontecendo com o objeto:

$ ./flare-locator.sh 31588743
Incoming roundabout flare road points in wrong direction?
Outgoing roundabout flare road is not oneway?

2 ‒ Alguns outros erros, que acontecem menos, estão sendo desprezados e não constam nessa lista de IDs. Depois podemos voltar a eles.

3 ‒ Para experimentar, estou colocando como lista numerada numa página o relatório com links openstreetmap.org/* para locais com algum possível problema. Eu ainda poderei fazer filtros para listas *.ids utilizáveis com o JOSM e o plugin TODO dele.

Dica sobre como popular a lista TODO

Na função Buscar, quando for o caso, use a string de busca "type:way", opte por "substitui a seleção" e marque "Todos os Objetos". Depois que a busca for realizada, todos os objetos encontrados estarão selecionados. Então na lista TODO simplesmente clique o botão Adicionar.

Last edited by Alexandre Magno (2014-07-28 15:07:47)

Offline

#3 2014-07-27 19:23:34

erickdeoliveiraleal
Member
Registered: 2013-05-19
Posts: 32

Re: Inconsistências no mapa

Os erros mais importantes sao oneway, roundabout e talvez relations. Arcs são quase ignoráveis porque mostra muita coisa que não tem conserto, é só um aviso de checagem. Poderíamos dividir em conjuntos de 100. Poderia criar uma lista identificando se tal grupo de 100 já teria sido pego para consertar por alguém e identificar o "dono" deste grupo.

Offline

#4 2014-07-27 19:42:42

muralito
Member
Registered: 2012-09-04
Posts: 1,752

Re: Inconsistências no mapa

Offline

#5 2014-07-27 19:44:58

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

erickdeoliveiraleal, Arcs seria mesmo um caso complicador para o que estou fazendo, por comparar dois objetos.

Farei um divisor genérico. Mas hospedarei os grupos de 100 no Gist também, para não requerer que vocês executem Bash.

Penso que o controle que erickdeoliveiraleal propõe deve ser feito através de uma página no wiki. Por favor, alguém crie a página.

muralito, esse serviço faz os mesmos apontamentos? Não me detive em olhá-los. Quero terminar de simplificar os relatórios...

Update

Fiz o divisor, que agrupa por 99 IDs: pooler-of-99-ids.sh

Usa assim:

$ ./pooler-of-99-ids.sh Flares_BRA
$ ls Flares_BRA/
Flares_BRA-0.ids   Flares_BRA-12.ids  Flares_BRA-15.ids  Flares_BRA-1.ids  Flares_BRA-4.ids  Flares_BRA-7.ids
Flares_BRA-10.ids  Flares_BRA-13.ids  Flares_BRA-16.ids  Flares_BRA-2.ids  Flares_BRA-5.ids  Flares_BRA-8.ids
Flares_BRA-11.ids  Flares_BRA-14.ids  Flares_BRA-17.ids  Flares_BRA-3.ids  Flares_BRA-6.ids  Flares_BRA-9.ids

Mas eu vou colocar cada arquivo no Gist ou no GIthub, para dispensar essas execuções e poder linká-los no wiki.

Ou talvez... invés de tabela no wiki, issues num projeto Github! Daí pode ter checklists, e os envolvidos em cada grupo de 99 comunicar-se-iam numa issue dedicada. Vocês aproveitariam tal arrumação?

Gist inicial com arquivos inteiros e scripts: gist.github.com/alexandre-mbm/87deea7ca534a913a985

Last edited by Alexandre Magno (2014-07-28 15:54:12)

Offline

#6 2014-07-28 13:01:04

muralito
Member
Registered: 2012-09-04
Posts: 1,752

Re: Inconsistências no mapa

Alexandre Magno wrote:

muralito, esse serviço faz os mesmos apontamentos? Não me detive em olhá-los. Quero terminar de simplificar os relatórios...

No. Na visão "Routing" mostra os erros prováveis afetando ruteamiento.
* Mostra ruas próximas, mas não conectado.
* Mostra onde ilhas de tráfego não conectado com o resto do mapa.
* Mostra as ruas que são duplicados.

Disclaimer: Google Translator...

Exemplo: www.openstreetmap.org/node/2884302302 não está ligada à estrada.
¿A estrada é trunk_link 27,3 km de longo?

Last edited by muralito (2014-07-28 13:11:24)

Offline

#7 2014-07-28 15:14:47

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Eu terminei uma etapa inicial de geração de arquivos facilitadores.

Optei por duas listas HTML numeradas quando identifiquei que dentro dos relatórios havia casos complicadores (para mim). Infelizmente isso deixa de lado a possibilidade de se lançar mão de uma lista TODO dentro do JOSM. Mas são 500+250 ocorrências em HTML. Minha sugestão é que, a partir do mapa em openstreetmap.org/*, o mapeador acione o JOSM por Controle Remoto. Por enquanto.

Ontem, da tarde para noite, eu tive de ir fazer outras coisas, por isso deixei de atualizar aqui.

Como eu tinha dito antes, ainda pretendo disponibilizar as "listas com 99 IDs". Mudei de ideia novamente e farei no wiki, mantendo todo o resto nesse Gist e não num projeto Github. Principalmente porque ninguém respondeu à minha pergunta "se vocês aproveitariam tal arrumação".

Update

Estou criando WikiProject Brazil/Manutenção COCAR. Todos os arquivos (pools de 99 IDs) serão hiperligados na tabela. Por enquanto, estou fazendo isso manualmente, mas guardarei comandos para automatizar a geração de novas tabelas.

Essa nova página consta em WikiProject Brazil/Projetos.

Last edited by Alexandre Magno (2014-07-28 18:07:05)

Offline

#8 2014-07-28 19:44:15

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Terminei de fazer o que ninguém me pediu pra fazer. Ninguém me deve nada. Ninguém tem de usar algo. Eu fiz o que quis fazer.

Ref.: talk-br.

Last edited by Alexandre Magno (2014-07-29 00:23:36)

Offline

#9 2014-07-29 13:58:09

Thundercel
Member
From: Vila Velha - ES - BRASIL
Registered: 2013-12-17
Posts: 16
Website

Re: Inconsistências no mapa

Inicialmente deixo registrado meu respeito e admiração por aqueles que prontamente atenderam meu chamado e de alguma forma envidaram esforços para resolver o problema das inconsistências existentes no mapa.

Fui apresentado ainda pouco ao  http://tools.geofabrik.de que, em analise superficial, muita facilita o trabalho daqueles que querem corrigir os erros.

Confesso que não conhecia o OSM Inspector em http://tools.geofabrik.de/osmi/ e acabei editando e corrigindo alguns erros no mapa por ele indicados.

Alguém que tenha experiência com esse OSM Inspector poderia comentar algo mais a respeito?


Marcio Marques Soares - Thundercel
Admin http://gpsinfo.com.br ! http://cocardl.com.br | http://maparadar.com

Offline

#10 2014-07-29 18:21:38

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Talvez o OSM Inspector não seja um projeto de código fonte aberto, apesar dos arquivos HTML e JS estarem acessíveis ao usuário. Achei o perfil Geofabrik no Github com apenas dois projetos. Existem outros provedores de repositórios de código fonte. Não procurei neles. Se o projeto fosse aberto, talvez fosse conveniente integrar as novas capacidades de relatório conhecidas.

Last edited by Alexandre Magno (2014-07-29 18:22:39)

Offline

#11 2014-07-29 19:02:23

muralito
Member
Registered: 2012-09-04
Posts: 1,752

Re: Inconsistências no mapa

Offline

#12 2014-07-29 19:19:54

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Alguém sabe dizer se todos aqueles relatórios do COCAR-DL estão cobertos por uma ou outra das ferramentas referidas por muralito?

Last edited by Alexandre Magno (2014-07-29 19:20:22)

Offline

#13 2014-07-30 02:08:16

Thundercel
Member
From: Vila Velha - ES - BRASIL
Registered: 2013-12-17
Posts: 16
Website

Re: Inconsistências no mapa

Que relatório do COCAR DL? Como administrador do COCAR DL desconheço esse relatório.


Marcio Marques Soares - Thundercel
Admin http://gpsinfo.com.br ! http://cocardl.com.br | http://maparadar.com

Offline

#14 2014-07-30 02:47:10

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Thundercel wrote:

Que relatório do COCAR DL? Como administrador do COCAR DL desconheço esse relatório.

Expressei-me mal. Referi-me aos relatórios de mapas.alternativaslibres.es/errors_Brazil.zip.

Offline

#15 2014-07-30 04:20:55

Thundercel
Member
From: Vila Velha - ES - BRASIL
Registered: 2013-12-17
Posts: 16
Website

Re: Inconsistências no mapa

Não saberia lhe dizer se estão cobertos pelas ferramentas referidas no muralito, mas uma coisa experimentei, quando analisei mais de 300 erros reportados. Todos procediam.

Em nenhum momento identifiquei um erro ali reportado que não existia no mapa.

De qualquer forma já estamos trabalhando na correção dos erros e volto a citar que é um esforço grande e desnecessário se não fizerem alguma coisa nos validadores impedindo que erros semelhantes voltem a serem lançados no mapa.

Interessante que o OSM Inspector também reporta a maioria desses erros e não entendo porque os deixaram entrar.

Last edited by Thundercel (2014-07-30 04:22:16)


Marcio Marques Soares - Thundercel
Admin http://gpsinfo.com.br ! http://cocardl.com.br | http://maparadar.com

Offline

#16 2014-07-30 13:55:18

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Thundercel wrote:

Não saberia lhe dizer se estão cobertos pelas ferramentas referidas no muralito

Thundercel wrote:

Interessante que o OSM Inspector também reporta a maioria desses erros

Não entendi.

Você saberia dizer-nos o que está coberto e o que não está?

Offline

#17 2014-07-30 23:02:02

Thundercel
Member
From: Vila Velha - ES - BRASIL
Registered: 2013-12-17
Posts: 16
Website

Re: Inconsistências no mapa

Alexandre Magno wrote:

Não entendi.

Você saberia dizer-nos o que está coberto e o que não está?

Não entendi.

O que me importa é uma ferramenta que me mostre rapidamente e visualmente onde existe um erro.

Se o OSM Inspector aponta o erro, comprovo esse erro no mapa e corrijo, por enquanto isso ja me facilita.


Marcio Marques Soares - Thundercel
Admin http://gpsinfo.com.br ! http://cocardl.com.br | http://maparadar.com

Offline

#18 2014-07-30 23:45:56

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Thundercel wrote:

Não entendi.

Se OSM Inspector aponta os mesmos erros que são apontados por um dos relatórios do errors_Brazil.zip, então o OSM Inspector "cobre" aquele determinado relatório do errors_Brazil.zip. Em outras palavras, eu estou perguntando se você ou outra pessoa já sabe se o conteúdo de errors_Brazil.zip já existe nessas ferramentas que mostram rapidamente e visualmente onde existem os erros.

Last edited by Alexandre Magno (2014-07-30 23:46:50)

Offline

#19 2014-08-02 13:39:52

Thundercel
Member
From: Vila Velha - ES - BRASIL
Registered: 2013-12-17
Posts: 16
Website

Re: Inconsistências no mapa

São tantos erros apontados por ambos que não tenho resposta para essa sua pergunta.

Das centenas que verifiquei e corrigi, aqueles que verifiquei em ambos informativos eles eram comuns.

Agora, se existe algum tipo de erro que é coberto só por um deles não sabarei responder.

Last edited by Thundercel (2014-08-02 13:41:19)


Marcio Marques Soares - Thundercel
Admin http://gpsinfo.com.br ! http://cocardl.com.br | http://maparadar.com

Offline

#20 2014-08-06 16:22:03

Fernando Trebien
Member
From: Porto Alegre, Brazil
Registered: 2013-05-18
Posts: 866

Re: Inconsistências no mapa

Em tempo: em todas as páginas das cidades brasileiras no wiki (exemplo: Rio de Janeiro) existe um painel na direita com uma série de links interessantes, alguns deles para sistemas que fazem controle de qualidade. Lá já consta o OSM Inspector da Geofabrik.de e também consta o Keep Right (outro famoso de localização de inconsistências no mapa), além de outros. Sempre que eu descubro algo interessante, acrescento lá, e obviamente me disponho a acrescentar mais links se me sugerirem.

Ainda assim, nenhuma ferramenta é completa. Há erros que o validador do JOSM encontra que esses sistemas não encontram, e vice-versa. Se o objetivo é deixar o mapa livre de erros, o melhor é usar todos os sistemas. E os compiladores de mapas (ex.: mkgmap) podem achar mais alguns erros que outros validadores ainda não encontram.

Só tomem cuidado com os falsos positivos, nenhuma ferramenta é perfeita, nem mesmo os compiladores de mapas (aliás, estes costumam se ater a um subconjunto dos dados e por isso capturam menos erros). E cuidado com a diferença entre "aviso" e "erro": muitas dessas ferramentas reportam coisas que "podem estar erradas" (algumas de fato não estão) juntamente com coisas que "certamente estão erradas".

E eis aqui a lista completa de ferramentas de controle de qualidade disponíveis pro OSM. No painel das cidades eu coloquei só as mais famosas (pra não poluir demais o painel e não fazer as pessoas gastarem tempo com ferramentas que não são tão completas/práticas/úteis).

Last edited by Fernando Trebien (2014-08-06 17:12:09)

Offline

#21 2014-08-12 06:05:54

anor
Member
Registered: 2014-08-12
Posts: 1

Re: Inconsistências no mapa

Dos erros do site espanhol, no que ser refere ao Brasil, o arquivo Roundabouts_BRA, está ZERADO, os
500 erros que supostamente estavam ali,limpei.....:D

Offline

#22 2014-08-12 17:53:20

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Por uma questão de consistência, já que estava a meu alcance próximo, no wiki eu coloquei o seguinte:

No fórum, o usuário anor declarou ter resolvido esses casos. Não necessariamente ele usara o relatório no formato gerenciado por esta página. (12 de Agosto)

Diff

Last edited by Alexandre Magno (2014-08-12 18:01:02)

Offline

#23 2014-08-16 04:02:44

Bonix-Mapper
Member
Registered: 2014-07-22
Posts: 13

Re: Inconsistências no mapa

Estou tentando remover alguns erros que introduzi segundo o OSM Inspector.

Alguém saberia dizer quanto tempo, aproximadamente, leva para atualizar os alertas?

Faz mas de 1h que fiz a última tentativa de correção e o erro ainda não desapareceu.

Obrigado.

Offline

#24 2014-08-16 04:13:14

Alexandre Magno
Member
From: Natal (RN), Brazil
Registered: 2014-02-19
Posts: 616

Re: Inconsistências no mapa

Eu não sei, mas os extracts do geofabrik.de são feitos diariamente. Espere até depois de amanhã, pra ver. Quem sabe a base das ferramentas deles anda junto com aqueles extracts...

Last edited by Alexandre Magno (2014-08-16 04:15:46)

Offline

Board footer

Powered by FluxBB