Привет сеошники, интересует такой вопрос - Есть некоторые интересные директивы, которые применяются в файле robots.txt, директива INDEX говорит роботу, что данную страницу можно индексировать, а директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Вопрос. Можно ли сделать так, чтобы робот индексировал саму страницу и текст с ключевыми словами на ней, но НЕ трогал и не смотрел вообще на туеву хучу временных ссылок на каталоги, которые требуют разместить чтобы объявление о сайте приняли в базу. Вот такой например конструкцией - User-agent: * Disallow: <META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW"> Корректно ли составлен файл?? Не будет граблей для поисковиков??
Нет, не правильно. Кури http://robotstxt.org.ru/ ; http://www.robotstxt.org/ А какая вообще ПС? Если гугль, то он пройдёт по всем ссылкам, а тебя даже не спросит. Если яндекс, то просто помести все ссылки в <noindex></noindex>
