Поднимал тему на Серче - народ не вкурсе оказался. Надеюсь на вас, пацаны =) Мне задали вопрос - как закрыть от индексации обратные ссылки. Robots и noindex не предлагать. Пример hххp://www.apelsin.travel/links/ в индексе. Разделы не в индексе. Каждая отдельно ссылка - в индексе: hххp://www.google.com/search?q=site%3Awww.apelsin.travel%2Flinks%2F&sourceid=navclient-ff&ie=UTF-8 Как так получается?
ну и формулировка... если вы имеете ввиду обратные ссылки для серых каталогов, то соотв. скрипты идут с оллсабом и др. покупным по или базами
Что бы беки не ранжировалиcь соотвественно для это <noindex>(яша,рама) или rel="nofolow"(google) обычно прописывают в линках, по идее бот не должен индексить страницы что Disalow:/path_to_link_page но опять же по идеии google может по различным своим сервисам мониторинга выцепить реферера, особенно если трафф через него прет не плохой и закинуть беки в свой индекс, все же разумней использовать <noindex> и rel="nofolow" в самих линках чем тупа Disalow страницу где находятся беки.
Как я писал выше: Так же не плохо было бы перед написанием ответа взглянуть на приведенный пример - он довольно интересен. Для тех кто внимательно прочитал первый пост - говорят, можно как-то через htaccess устроить такой фокус.
вчиталась. если я правильно понимаю, требуется организовать боту i- й уровень разрешить индексировать i+1 - запретить i+2 - разрешить индексацией управляет все же robots.txt а все ухищрения, которые можно сотворить (видела когда-то дискуссии на похожую тему, кажется на нулледе) в .htaccess будут больше походить на клоакинг, имхо
Выдача ПС одного результата а пользователю другого неважно будь то .htaccess или скрипт это и есть натуральный клоакинг, соответственно покапайте в этом направлении, но по моему robots.txt и ref=, <noindex> являться самым правильным и общепринятым решением, потому как с клоакингом и до бана или нехилой пессимизации сайта не далеко.
Вы все правильно поняли. Я вам в пример дал сайт. В роботс ничего такого там нет. Как и на страницах. Соответсвенно вопрос остается - как это сделано? Почему такая картина в индексе?
элементарно, используйте мета-теги <meta name="robots" content="noindex,nofollow" /> - запрещает индексацию и передачу ссылочного <meta name="robots" content="noindex,follow" /> - запрещает индексацию и разрешает передачу ссылочного <meta name="robots" content="index,nofollow" /> - разрешает индексацию изапрещает передачу ссылочного думаю ответил на ваш вопрос
lisa99, в условии имелся в виду ноуиндекс как тег, <noindex>неидексируемый участок</noindex> это же называется мета роботс
более того ТС не просто не компетентен, но и ввел всех в заблуждение. В примере, который он привел разделы есть в нидексе гугла: кеш http://209.85.135.132/search?q=cache:mL-oQa7a5MgJ:www.apelsin.travel/links/%3Fcategory%3Dcat12+"Визы,+паспорта"+site:http://www.apelsin.travel/links/&cd=1&hl=ru&ct=clnk и сама выдача http://www.google.com/search?hl=ru&newwindow=1&q="Визы,+паспорта"+site:http://www.apelsin.travel/links/&btnG=Поиск&lr= а способов закрытия от индекса всего несколько 1. noindex 2. robots 3. meta robots 4. отшибать ботов с помощью .htaccess или php обработчика 5. возвращать код ошибки или переноса (404, 301 и etc.) вопрос закрыт?)
Не закрыт. Приведенная ссылка hххp://www.google.com/search?q=%22%D0%92%D0%B8%D0%B7%D1%8B,+%D0%BF%D0%B0%D1%81%D0%BF%D0%BE%D1%80%D1%82%D0%B0%22+site:http://www.apelsin.travel/links/&hl=ru&lr=&newwindow=1&filter=0 Опять таки показывает СТРАНИЦЫ, но НЕ разделы. 4. отшибать ботов с помощью .htaccess каким образом? Все об этом говорят, но ни кто не может показать как.
Точной комманды не нашел, но если роботов немного, по IP: order deny,allow deny from all allow from 66.249.68.147 P.s. как диап лочить, не помню
webjema, блядь вы вообще слепы? первой позицией идет в выдаче линк на http://www.apelsin.travel/links/?category=cat12 это что? раздел, верно? если нет покажите что по вашему раздел.
webjema, я тебе дал страницу на кеш - кеш страницы существует? да значит страница в индексе, другого не дано (исключение - промежудочный период во время апдейта)
