É possível retirar os ícones de um mapa e ficar só com o mapa-base, ou seja, com as ruas, edifícios, etc.?
O mapa do OSM é uma das formas de visualizar os dados.
Na página inicial existem quatro camadas disponíveis (Padrão, ciclístico, transporte público e humanitário). Abaixo seguem links com outros tipo de visualização:
https://www.mapbox.com/gallery/
Abraços, Linhares
Também, se você entende um pouquinho que seja de GIS, exemplo QGis, é possível lidar com os dados do OSM como sendo shapefiles.
Talvez se você detalhar melhor para que você quer talvez possamos dar uma resposta menos abstrata, caso ainda não esteja respondido.