Влад Шабанов указал на сабж на форуме Рамблера.
Честно говоря, не знал.
User-agent: StackRambler
Disallow: *partner=
и все урлы, в которых есть подстрока 'partner=' будут игнорироваться.
Это такая недокументированная фича Рамблера. До сих пор поддерживается и бережно переносится из одной версии робота в другую.
Upd: Кстати говоря - Яндекс тоже мог бы ввести у себя эту диррективу. Я думаю, что она оказалась бы весьма полезна для многих вебмастеров.
- Недокументированная фича Рамблера в robots.txt
-
mr_pasechnik
- January 30th, 2006
2006-01-30 03:22 pm (UTC)
2006-01-30 03:28 pm (UTC)
Если в поле User-Agent стоит название не их бота, то какой смысл им туда соваться?
2006-01-30 03:32 pm (UTC)
Хотя не факт, может быть такая схема как ты предложил и пройдет.
2006-01-30 03:55 pm (UTC)
Если робот найдет ошибки в robots.txt, он их просто проигнорирует. Иначе все roots.txt с яндексовской директивой Host: просто не выполнялись бы.