Help: Tiles Usage Policy

!i! · 2011-10-27 11:10:22

First: Sorry that I have to post this, but I can't write Russian Might anybody please translate this, for the russian community?

As some might noted, during the past two weeks, some Apps had to been blocked by the Admins, because they grabbed to much map tiles http://www.openstreetmap.org/user/!i!/diary/15046
A few days ago, the admins created an updated statistics of HTTP Referes and HTTP User Agents, to show up, who creates the most traffic. http://grant.dev.openstreetmap.org/tmp/ … ek-10k.txt
At this point I tried to contact the most of this portals, but noted that a lots of them are RU or other countries far east. In that cases I run into troubles to get in contact with the people.

So here is my question: Might you please send the webmasters nice (realy no crude tone) letters, to make sure that they setup a own map server or that they change over to MapQuest?
Normaly in my mails I point out, that OSM has very limited resources and can't provide a similar reliabel services as Google Maps does. I show that the goal of OSM is to create a free map of the world (so collecting geodata) and not to host a ready to use map that can be used by companies or any other big web player. So we have to make sure, that the limited donated server resources are used for the main goal of the project and that the few volunteers that maintain this servers have to take care that our services run fine.

Would be nice to get any feedback (in English would be ok )
Matthias

Last edited by !i! (2011-10-27 11:41:38)

tefal · 2011-10-27 11:18:31

Кто нормально знает инглиш, переведите, пожалуйста. Только без гугла и ему подобных переводчиков

VikDD · 2011-10-27 11:28:20

В кратце:
-домен RU причислил к "дальнему востоку"
-просит выйти на веб-мастеров, которые начали активно пользовать ресурсы ОСМа напрямую, и разъяснить оным, что не плохо бы использовать свои собственные сервера (типа MapQuest?), а то нагрузка на ОСМ растёт очень быстро, а бабок как у Гугла для покупки серверов нет и не предвидится (проект получает деньги только с пожертвований).

Ilis · 2011-10-27 11:28:21

Мутко может.

liosha · 2011-10-27 11:34:03

Угу, всем busNN.ru придётся переходить на осмоснимки.

Sergey Astakhov · 2011-10-27 11:46:50

А потом их Котяра начнёт банить.
Надо им поднимать свои сервера, это не так сложно как кажется.

А на рамблеровских серверах тайловый сервер для России не поднять? Или там канал узкий?

Last edited by Sergey Astakhov (2011-10-27 11:49:11)

Vitalts · 2011-10-27 11:50:42

Столько интересных проектов на базе ОСМ в одном текстовике собралось

dkiselev · 2011-10-27 11:51:01

Как кто-то возможно знает, некоторые приложения были заблокированы так как часто и помногу запрашивали тайлы. http://www.openstreetmap.org/user/!i!/diary/15046 Пару дней назад, админы собрали статистику по сайтам что-бы посмотреть кто генерит больше всего трафика. (Криво вставленная ссылочка). Я попытался связаться с большинством из этих порталов, и обнаружил что многие из них в ру зоне либо в других восточных странах (тут мне не понятно что чувак имел в виду, может и Белорусь для него далеко на востоке ) По этой причине у меня возникли проблемы при общении с людьми (отвечающими за данные порталы).

Вопрос: может кто разослать админам сайтов вежливые (не, правда, вежливые, без наездов) письма, чтобы убедиться что они переключились на тайлы от MapQuest либо подняли свои картосервера. (Я так думаю что надо им инструкцию о том как это сделать заслать. прим. пер.) Обычно в своих письмах я обращаю внимание на ограниченность ресурсов которыми располагает ОСМ, и что ОСМ не может обеспечить столь надежный сервис как гугл мапс. Главная ценность ОСМ - создать бесплатную карту мира (тоесть собрать геоданные), а не хостить готовые карты для крупных игроков вэба. Поэтому нам важно чтобы небогато жертвемые проекту серверные мошьности использовались для основной цели проекта.

Преревод вольный.

Felis Pimeja · 2011-10-27 11:51:22

!i! wrote:

Сорри, что пишу вам тут на инглише. Но у меня проблемы с русским. Может кто-то переведёт?
Как многие могли заметить, в последние 2 недели многие приложения были заблокированы Админами потому, что запрашивали слишком много тайлов http://www.openstreetmap.org/user/!i!/diary/15046
Пару дней назад Админы собрали обновлённую статистику HTTP запросов и HTTP User Agents (думаю понятно, да?), чтобы показать, кто создаёт наибольшую нагрузку по трафику. http://grant.dev.openstreetmap.org/tmp/ … ek-10k.txt
После этого я попытался связаться с большинством из этих порталов, но заметил, что большая их часть относится к домену RU и прочим восточным государствам. В связи с этим у меня возникли некоторые проблемы (языковые вестимо).
Итак просьба: Не мог бы кто-нибудь из вас разослать вебмастерам этих доменов дружелюбные (серьёзно, без грубости) послания, чтобы убедиться, сто они наладили свои собственные тайловые сервера или переключились на MapQuest?
Обычно в своих письмах я указываю, что OSM ограничен в ресурсах и не может предоставлять сервис сравнимый по уровню с Google Maps. Я объясняю, что основная цель OSM - это составление бесплатной карты мира (посредством сбора геоданных) а не хостинг готовой к использованию карты, которой могли бы воспользоваться компании и другие крупные веб игроки. Поэтому мы должны быть уверены, что портал используется по прямому назначению а те добровольцы, что обслуживают сервера, могут обеспечить их нормальное функционирование.
Было бы неплохо получить от вас какой-нибудь отклик (по Английски было бы совсем здорово )
Matthias

Как-то так. Курсивом мои примечания.

Alexey Illarionov · 2011-10-27 12:21:42

58,78% -
13,4736% http://www.openstreetmap.org/
1,1136% http://wikimapia.org/
0,651794% http://wheelmap.org/
0,321725% http://mapcam.info/speedcam/
25.7% - остальные

С кем связываться то?

33708 http://localhost/
32318 http://localhost:3000/
28764 http://192.168.200.110/
28582 http://192.168.117.225/map1/?zoom=13&la … 8&layers=B
28183 http://192.168.2.105/public/gps/index.php

emj · 2011-10-27 12:24:22

Please don't do this! Ordinary users using a slippy map are not a problem.

There is a problem with apps mass downloading tiles from the servers; because of that the Tile usage policy was written, but nothing in there is applicable to ordinary slippy maps.

Last edited by emj (2011-10-27 12:35:34)

Alexey Illarionov · 2011-10-27 12:29:16

Хотя, maps.rosreestr.ru, maps.yandex.ru, wikimapia.org вполне могут себе позволить.

Пора mapnik к nginx'у начинать прикручивать, а-то они squid с apache для раздачи статики используют

Last edited by Alexey Illarionov (2011-10-27 12:34:37)

Zverik · 2011-10-27 12:38:09

!i!, do you suggest we stop advertising OSM for a map layer because it loads our servers? Isn't it the point of making maps — to see them being used by ordinary people? The numbers in the list you gave are far less then by mass-downloading apps, and I doubt they make a noticeable effect on server's performance.

upd: I've wrote about this on shtosm, you can read translated version.

Last edited by Zverik (2011-10-27 12:41:13)

emj · 2011-10-27 12:41:53

Zverik wrote:

!i!, do you suggest we stop advertising OSM for a map layer because it loads our servers? Isn't it the point of making maps — to see them being used by ordinary people? The numbers in the list you gave are far less then by mass-downloading apps, and I doubt they make a noticeable effect on server's performance.

According the Openstreetmap Admin team on IRC, there is no problem. They agree with Zverik, all sites are allowed to use osm.org tiles.

s-s-s · 2011-10-27 12:57:00

Они такие же как мы
Техническую проблему хотят решить административными методами
-------------------------------
They same as we
A technical problem want to solve by administrative methods

Last edited by s-s-s (2011-10-27 12:57:54)

Harry Wood · 2011-10-27 13:17:46

Yes the referrer list was published, but the intended message behind this, is not that these people are all villains. These are websites with very high number of users, all being shown OpenStreetMap tiles. At the moment we're taking a balanced view point on this kind of use. We love the fact that they're using OpenStreetMap, and we love the high user traffic. So on the whole we're happy for them to use our tile server, although we'll keep the situation under observation.

If they were to set up their own tile server instead of using OpenStreetMap data, that would of course be super-awesome, but we can understand that there are considerable technical barriers to doing so (let's work to make this easier) Using alternate providers is an easier option, but we (and web developers probably) would like to see more alternatives out there. Different styles etc.

We certainly don't want these web developers to turn around and say "fine I'll just use google maps". This is the danger, and it sounds like (due to a misunderstanding) you may have contacted them in way which might very well cause them to do that.

As mentioned, the real villains are mobile apps and scripts which do bulk downloading of tiles i.e. requesting thousands of tiles all at once. It's a popular idea for a map app, and unfortunately new apps like this keep popping up repeatedly. Often developers claim to be unaware of the Tile Usage Policy.

!i! · 2011-10-27 14:37:49

Sorry was my fault You are absolutly right, the normal map users aren't a real problem. So please don't write mails!

As Harry says, I don't want anybody not to use OSM but saw a problem with the high capacity users. So I tried to show the people that we doesn't have infinite resources. Currently most of them aggreed that they have not problem in using MQ or wanted to take a view on the rendering stack docu.

Sorry once again for stressing you...

Zverik · 2011-10-27 14:45:16

Never mind, you gave me an idea on how to reduce some of dependencies I'm working on it now.

vvoovv · 2011-10-27 18:28:00

!i!, emj, Harry Wood:
come to our forum more often!

!i! · 2011-10-27 20:39:30

In fact I would like to this, cause as Harry I'm interested in community building. But unfortunatly the language barrier is quite high And I'm not sure if it's not misunderstood as an interruption...

s-s-s · 2011-10-27 21:02:46

!i! wrote:

...But unfortunatly the language barrier is quite high And I'm not sure if it's not misunderstood as an interruption...

You are right.
Sometimes it is not clear that here is written in Russian:)

!i! · 2011-11-01 10:27:17

For everybody still interested in this topic:
http://blog.osmfoundation.org/2011/11/0 … ge-policy/
http://www.openstreetmap.org/user/!i!/diary/15190

GaM · 2011-11-01 11:47:21

Так что с этой "политикой" делать? может прокси на рамблере поднять?

s-s-s · 2011-11-01 11:49:13

!i! wrote:

For everybody still interested in this topic:
http://blog.osmfoundation.org/2011/11/0 … ge-policy/
http://www.openstreetmap.org/user/!i!/diary/15190

Reported to forum of SAS.Plane users.
http://sasgis.ru/forum/viewtopic.php?f=4&t=1753
---------------------------------------------
Перепостил на форуме пользователей SAS.Планета
http://sasgis.ru/forum/viewtopic.php?f=4&t=1753

Last edited by s-s-s (2011-11-01 12:03:45)

s-s-s · 2011-11-01 12:01:36

GaM wrote:

Так что с этой "политикой" делать? может прокси на рамблере поднять?

А где на рамблере скачиваются тайлы с openstreetmap?
Т так, по-взрослому, нужно свой рендер поднимать, имхо.
Или кешировать и раздавать только кеш.

Announcement

#1 2011-10-27 11:10:22

Help: Tiles Usage Policy

#2 2011-10-27 11:18:31

Re: Help: Tiles Usage Policy

#3 2011-10-27 11:28:20

Re: Help: Tiles Usage Policy

#4 2011-10-27 11:28:21

Re: Help: Tiles Usage Policy

#5 2011-10-27 11:34:03

Re: Help: Tiles Usage Policy

#6 2011-10-27 11:46:50

Re: Help: Tiles Usage Policy

#7 2011-10-27 11:50:42

Re: Help: Tiles Usage Policy

#8 2011-10-27 11:51:01

Re: Help: Tiles Usage Policy

#9 2011-10-27 11:51:22

Re: Help: Tiles Usage Policy

#10 2011-10-27 12:21:42

Re: Help: Tiles Usage Policy

#11 2011-10-27 12:24:22

Re: Help: Tiles Usage Policy

#12 2011-10-27 12:29:16

Re: Help: Tiles Usage Policy

#13 2011-10-27 12:38:09

Re: Help: Tiles Usage Policy

#14 2011-10-27 12:41:53

Re: Help: Tiles Usage Policy

#15 2011-10-27 12:57:00

Re: Help: Tiles Usage Policy

#16 2011-10-27 13:17:46

Re: Help: Tiles Usage Policy

#17 2011-10-27 14:37:49

Re: Help: Tiles Usage Policy

#18 2011-10-27 14:45:16

Re: Help: Tiles Usage Policy

#19 2011-10-27 18:28:00

Re: Help: Tiles Usage Policy

#20 2011-10-27 20:39:30

Re: Help: Tiles Usage Policy

#21 2011-10-27 21:02:46

Re: Help: Tiles Usage Policy

#22 2011-11-01 10:27:17

Re: Help: Tiles Usage Policy

#23 2011-11-01 11:47:21

Re: Help: Tiles Usage Policy

#24 2011-11-01 11:49:13

Re: Help: Tiles Usage Policy

#25 2011-11-01 12:01:36

Re: Help: Tiles Usage Policy

Board footer