Importação de aglomerados subnormais do IBGE (vilas e favelas)

O IBGE possui um cadastro do que ele chama de “aglomerados subnormais” (populações de renda extremamente baixa) que na grande maioria das vezes são vilas e favelas. O cadastro é disponibilizado aqui no formato KMZ: http://www.ibge.gov.br/home/estatistica/populacao/censo2010/aglomerados_subnormais/aglomerados_subnormais_tab_base_zip.shtm

Alguns contornos são antigos e outros foram mapeados deliberadamente acompanhando o contorno de ruas ao invés do contorno exato das vilas. Mesmo assim, os dados são um bom ponto de partida para aperfeiçoamento manual posterior. Em alguns lugares essa pode ser a única fonte de informação sobre as vilas e portanto é mais útil se estiver disponível na forma atual do que não estar disponível.

Esta base já foi importada:

Provavelmente será importada em outros lugares em breve, conforme surgir o interesse.

O processo pode ser semi-automatizado da seguinte forma:

  1. Abrir o arquivo .kmz no JOSM com o plug-in OpenData, simplificar polígonos (requer algum trabalho manual para simplificar os nós nas bordas compartilhadas por 2 polígonos) e salvar os dados num arquivo .osm

  2. Aplicar um script em Python (a ser disponibilizado) que faz algumas operações e correções necessárias:

  • passar a tag “name” das relações “multipolygon” de 1 membro para o seu membro (um polígono sem nome)
  • ajustar o nome acrescentando o prefixo “vila” onde for necessário (para diferenciar as áreas de outras residenciais, como por exemplo condomínios)
  • remover os nós independentes que servem apenas para rotular os polígonos (não são úteis)
  1. Abrir o arquivo .osm no JOSM e fazer algumas correções e melhorias manuais considerando a situação de cada caso, interpretando os dados:
  • multipolígonos com múltiplos membros (geralmente poucos, resultado do script quando há um buraco dentro do polígono onde há outra vila dentro): às vezes o buraco pode ser excluído, às vezes é necessário manter a relação, apenas removendo as demais tags do IBGE que não são necessárias
  • nós de rótulo que não foram removidos (resultado do script quando há mais de uma área com o mesmo nome): normalmente podem ser removidos, e quando os poligonos correspondentes são próximos, às vezes podem ser mesclados
  • aos polígonos e multipolígonos restantes (mas não aos nós), adicionar as tags “landuse=residential”, “souce=IBGE” e “fixme=Melhorar contorno.”
  • polígonos com nomes com números romanos (geralmente um estilo do IBGE que não é usada na prática): normalmente o número romano pode ser removido do nome, e quando os polígonos são próximos, às vezes podem ser mesclados
  • polígonos com nomes com “/” ou “ou” no nome (geralmente representam nomes alternativos): o nome após o separador deve ser passado para a tag “alt_name”
  • polígonos com “.” no nome (geralmente indicando abreviações): a abreviação normalmente precisa ser expandida se for uma palavra, ou formatada removendo os pontos se for um acrônimo
  • polígonos com “e” e “-”: deve-se ponderar se o que vem após o separador é nome alternativo (deve ir para a tag “alt_name”), se indica que duas vilas foram mescladas pelo IBGE no mesmo polígono (o segundo nome precisa do prefixo “vila” também para indicar isso, e o separador deve ser " - " ao invés de “e”), ou se é uma denominação interna do IBGE não usada na prática (pode ser removida do nome)
  • outras correções de nomes óbvias conforme parecer necessário
  1. Baixar um trecho do mapa do OSM para que o JOSM crie uma nova camada com o sistema de coordenadas correto

  2. Copiar os dados para a nova camada (isso faz o JOSM converter o sistema de coordenadas corretamente)

  3. Submeter (comentário sugerido: “Importação de aglomerados subnormais do IBGE.”)

Estou pensando em começar a fazer a importação. Primeiro terminaria o Rio Grande do Sul, e depois faria na seguinte ordem:

Roraima, Acre, Rondônia, Amapá, Amazonas, Pará, Tocantins, Mato Grosso, Mato Grosso do Sul, Goiás, Distrito Federal, Maranhão, Piauí, Ceará, Rio Grande do Norte, Paraíba, Pernambuco, Alagoas, Sergipe, Bahia, Santa Catarina, Paraná, Espírito Santo, São Paulo, Rio de Janeiro

A ordem segue mais ou menos as áreas com mais atividade no OSM, quando possível preferindo as regiões com menos dados a importar. Tenho a expectativa de ainda não encontrar vilas mapeadas nos primeiros estados da lista e de já encontrar algumas nos últimos.

Algumas explicações sobre as certas decisões tomadas, agora considerando o que está dito em http://wiki.openstreetmap.org/wiki/Import/Guidelines.

Primeiro, os IDs dos setores censitários chamados de aglomerados subnormais do IBGE não serão importados devido a este problema: “difficult to understand how to manage when modifying (e.g. splitting, merging) objects”. Acredito que não será necessário atualizar essa informação no futuro, pois ela muda muda pouco (como nomes de bairros). É razoável esperar que os colaboradores locais verão como as vilas estão mapeadas e atualizarão seus contornos e acrescentarão e removerão vilas conforme o necessário. No fim das contas, eu tenho a esperança de que essas áreas deixem de existir quando a situação econômica do país melhorar. :smiley:

Segundo, “how to handle conflation”. Em quase todos os lugares, não será necessário, pois é uma informação nova. Pelo menos na cidade do RJ, se for feito, será manualmente.

Terceiro, “plans for quality assurance”. Um alerta será deixado na tag “fixme” pedindo para os colaboradores locais melhorarem os contornos. Algumas operações já são feitas no momento da importação para eliminar problemas óbvios (por exemplo, a mescla de áreas adjacentes com o mesmo nome).

Por enquanto, foi criada uma entrada no wiki sobre esse assunto: http://wiki.openstreetmap.org/wiki/Import/Catalogue/Brazil_IBGE_Subnormal_Agglomerates

Em seguida vou escrever a versão em português e verificar onde mais é necessário adicionar links para essas páginas. Falta também criar um usuário e disponibilizar o script.

Fora que, se uma vila cresce demais, passa a ter mais de um setor censitário.

Aqui em BH há algumas vilas que “conurbaram” e deram origem a um aglomerado cuja referência é mais genérica ao grupo de favelas. Fiz um “place=suburb” para três aglomerados (Aglomerado da Serra, Aglomerado Morro das Pedras e Aglomerado Santa Lúcia) para eles. Ou seria melhor “place=locality”?

Acho que o melhor seria “place=neighbourhood”. Eu deixaria “place=suburb” para aquilo que realmente é chamado de “bairro” pela prefeitura, pela imprensa e pela população. Assim estaria mais próximo do mapeamento de bairros em outras cidades (brasileiras ou não). Se você já estiver usando “place=neighbourhood” para outra coisa, “place=locality” também serviria, por ser mais genérico. Por exemplo, algumas cidades são separadas em distritos, alguns optaram por usar “place=suburb” para os distritos e “place=neighbourhood” para os bairros; nesse caso acho que eu sugeriria usar “place=locality” para os aglomerados.

Só um detalhe: agora com a importação em BH, você não precisa criar nós com a tag “place”, basta ter os contornos com a tag “landuse=residential”. Eles já estão nomeados e o Mapnik já está mostrando os nomes deles. Claro, para os que não têm contornos ainda você pode continuar fazendo desta forma (com nós e tag “place”). Eu sugeriria acrescentar um “fixme” para que alguém substitua o nó por um polígono demarcando a região.

Perfeito. Vou usar então place=neighborhood.

Sim, é exatamente o que tenho feito! Em alguns casos já tinha criado as vilas como nós e agora estou removendo-os.

Em alguns casos onde a vila é dividida em I, II, III, etc e as partes não são juntas, eu estou fazendo a correta identificação das partes na revisão geral.

Hm eu acabei removendo esses números romanos, espero não ter ido na contramão do que você pretendia. Lembro de um caso particular onde só havia a parte III mas não havia I e II, e de uns três casos em que haviam as partes I e II e elas não podiam ser mescladas (apesar de próximas) porque entre elas havia casas num padrão bem ordenado e limpo (claramente não pertenciam aos setores). Mas nesses casos uma das partes sempre era bem pequena, algo que (imagino) tende a desaparecer logo (assumindo que a cidade continue na mesma trajetória de desenvolvimento). Se você achar útil, posso dar uma revisada nos casos em que havia números romanos e mandar uma lista pra ajudar a sua revisão.

Uma atualização: fiz um script para analisar os nomes dos aglomerados. Em todo o Brasil, as seguintes são as palavras mais comuns no início do nome: vila (10.56%), jardim (9.28%), morro (3.34%), parque (3.23%), rua (2.93%), núcleo (2.20%), santa (2.00%), são (1.99%), nova (1.70%), alto (1.30%), sem (1.17%), comunidade (1.06%), cidade (0.90%), bairro (0.73%), invasão (0.71%), loteamento (0.60%), avenida (0.60%), novo (0.59%), beira (0.51%), nossa (0.51%), do (0.51%), rio (0.49%), estrada (0.49%), campo (0.46%), ilha (0.46%), beco (0.46%), ressaca (0.43%), monte (0.41%), santo (0.39%), região (0.37%), conjunto (0.37%), baixa (0.37%), pantanal (0.36%), grota (0.33%), da (0.33%), boa (0.31%), cantinho (0.30%), joão (0.30%), travessa (0.30%), canal (0.29%), sítio (0.27%), fazenda (0.27%), lagoa (0.27%), baixada (0.27%), igarapé (0.26%), vale (0.26%), bacia (0.24%), chácara (0.23%), bom (0.23%), manoel (0.21%)

Decidi então que não será acrescentado “vila” nos nomes que começam com: vila, núcleo, comunidade, bairro, invasão, loteamento, região, conjunto

Conferi os nomes completos desses casos. Só achei casos excepcionais para “região” que exigirão ajustes manuais. Acho que ficará muito bom. Diferente do que foi feito em Minas Gerais, os que começam com “morro” receberão o prefixo “vila” para distinguir dos possíveis morros (picos) que costumam estar próximos das vilas com o mesmo nome.

Casos excepcionais não-previstos onde não foi acrescentado “vila” e os lugares onde foram mais encontrados: em frente a “ressaca” (Amapá), “baixada” (diversos), “igarapé” (Amazonas), “aglomerado” (vários), “agrovila” (Pará), “assentamento” (diversos), “ocupação” (Pará), “condomínio” (Distrito Federal), “expansão” (Distrito Federal)

Outras alterações importantes:

  • No Pará, “Bacia do -” virou “Vila de ” e recebeu uma observação na tag “fixme”
  • No Distrito Federal, os nomes de “áreas de interesse social” (ARIS) e de “áreas de interesse especial” (ARINE) foram removidos do nome principal por não serem usados pela população ou pela imprensa local
  • No centro de Vitória no Espírito Santo, “Região <número> -<número de subdivisão>” não pareceu útil; os poucos casos foram mudados para “Vila Sem Denominação” e uma observação foi colocada na tag “fixme” solicitando um nome local mais útil

O cadastro de alguns setores na Bahia é tão antigo que ainda usa a ortografia de 1945. Pela minha experiência em Porto Alegre, alguns contornos estão com uma defasagem de mais de 10 anos. De qualquer forma, deve bastar para que quem tem conhecimento local perceba e atualize.

Usuário para importação: ftrebienimports

Conjuntos já importados:

Acre: http://www.openstreetmap.org/browse/changeset/16745418
Alagoas: http://www.openstreetmap.org/browse/changeset/16746264
Amapá: http://www.openstreetmap.org/browse/changeset/16745477
Amazonas: http://www.openstreetmap.org/browse/changeset/16745516
Bahia: aguardando liberação
Ceará: http://www.openstreetmap.org/browse/changeset/16745986
Distrito Federal: http://www.openstreetmap.org/browse/changeset/16745767
Espírito Santo: http://www.openstreetmap.org/browse/changeset/16746366
Goiás: http://www.openstreetmap.org/browse/changeset/16745745
Maranhão: http://www.openstreetmap.org/browse/changeset/16745797
Mato Grosso: http://www.openstreetmap.org/browse/changeset/16745693
Mato Grosso do Sul: http://www.openstreetmap.org/browse/changeset/16745719
Minas Gerais: http://www.openstreetmap.org/browse/changeset/16464401
Pará: http://www.openstreetmap.org/browse/changeset/16745568
Paraíba: http://www.openstreetmap.org/browse/changeset/16746059
Paraná: http://www.openstreetmap.org/browse/changeset/16746325
Pernambuco: aguardando liberação
Piauí: http://www.openstreetmap.org/browse/changeset/16745954
Rio de Janeiro: aguardando liberação
Rio Grande do Norte: http://www.openstreetmap.org/browse/changeset/16746028
Rio Grande do Sul: aguardando liberação
Rondônia: http://www.openstreetmap.org/browse/changeset/16745452
Roraima: http://www.openstreetmap.org/browse/changeset/16745361
Santa Catarina: http://www.openstreetmap.org/browse/changeset/16746299
São Paulo: aguardando liberação
Sergipe: http://www.openstreetmap.org/browse/changeset/16746288
Tocantins: http://www.openstreetmap.org/browse/changeset/16745666