Запрет индексации

Discussion in 'SЕО - тонкости, методы раскрутки' started by webjema, 12 Jul 2009.

  1. webjema

    webjema New Member

    Joined:
    23 May 2009
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    Поднимал тему на Серче - народ не вкурсе оказался.
    Надеюсь на вас, пацаны =)
    Мне задали вопрос - как закрыть от индексации обратные ссылки.
    Robots и noindex не предлагать.
    Пример
    hххp://www.apelsin.travel/links/ в индексе.
    Разделы не в индексе.
    Каждая отдельно ссылка - в индексе:
    hххp://www.google.com/search?q=site%3Awww.apelsin.travel%2Flinks%2F&sourceid=navclient-ff&ie=UTF-8

    Как так получается?
     
  2. lisa99

    lisa99 Banned

    Joined:
    15 Jul 2008
    Messages:
    359
    Likes Received:
    200
    Reputations:
    70
    ну и формулировка...
    если вы имеете ввиду обратные ссылки для серых каталогов, то соотв. скрипты идут с оллсабом и др. покупным по или базами
     
  3. webjema

    webjema New Member

    Joined:
    23 May 2009
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    Что конкретно не понятно в моем вопросе?
    Ваш ответ не в тему.
     
  4. PaCo

    PaCo Elder - Старейшина

    Joined:
    6 Feb 2008
    Messages:
    436
    Likes Received:
    138
    Reputations:
    25
    Что бы беки не ранжировалиcь соотвественно для это <noindex>(яша,рама) или rel="nofolow"(google) обычно прописывают в линках, по идее бот не должен индексить страницы что Disalow:/path_to_link_page но опять же по идеии google может по различным своим сервисам мониторинга выцепить реферера, особенно если трафф через него прет не плохой и закинуть беки в свой индекс, все же разумней использовать <noindex> и rel="nofolow" в самих линках чем тупа Disalow страницу где находятся беки.
     
  5. webjema

    webjema New Member

    Joined:
    23 May 2009
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    Как я писал выше:
    Так же не плохо было бы перед написанием ответа взглянуть на приведенный пример - он довольно интересен.

    Для тех кто внимательно прочитал первый пост - говорят, можно как-то через htaccess устроить такой фокус.
     
  6. lisa99

    lisa99 Banned

    Joined:
    15 Jul 2008
    Messages:
    359
    Likes Received:
    200
    Reputations:
    70
    вчиталась. если я правильно понимаю, требуется организовать
    боту

    i- й уровень разрешить индексировать
    i+1 - запретить
    i+2 - разрешить

    индексацией управляет все же robots.txt
    а все ухищрения, которые можно сотворить (видела когда-то дискуссии на похожую тему, кажется на нулледе) в .htaccess будут больше походить на клоакинг, имхо
     
  7. PaCo

    PaCo Elder - Старейшина

    Joined:
    6 Feb 2008
    Messages:
    436
    Likes Received:
    138
    Reputations:
    25
    Выдача ПС одного результата а пользователю другого неважно будь то .htaccess или скрипт это и есть натуральный клоакинг, соответственно покапайте в этом направлении, но по моему robots.txt и ref=, <noindex> являться самым правильным и общепринятым решением, потому как с клоакингом и до бана или нехилой пессимизации сайта не далеко.
     
    #7 PaCo, 12 Jul 2009
    Last edited: 12 Jul 2009
  8. webjema

    webjema New Member

    Joined:
    23 May 2009
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    Вы все правильно поняли.
    Я вам в пример дал сайт. В роботс ничего такого там нет. Как и на страницах.
    Соответсвенно вопрос остается - как это сделано? Почему такая картина в индексе?
     
  9. ZuS

    ZuS Elder - Старейшина

    Joined:
    15 Mar 2008
    Messages:
    93
    Likes Received:
    21
    Reputations:
    10
    элементарно, используйте мета-теги
    <meta name="robots" content="noindex,nofollow" /> - запрещает индексацию и передачу ссылочного
    <meta name="robots" content="noindex,follow" /> - запрещает индексацию и разрешает передачу ссылочного
    <meta name="robots" content="index,nofollow" /> - разрешает индексацию изапрещает передачу ссылочного

    думаю ответил на ваш вопрос
     
  10. lisa99

    lisa99 Banned

    Joined:
    15 Jul 2008
    Messages:
    359
    Likes Received:
    200
    Reputations:
    70
    не ответили.

    По условию в стартовом топике - noindex не используется.
     
    1 person likes this.
  11. ZuS

    ZuS Elder - Старейшина

    Joined:
    15 Mar 2008
    Messages:
    93
    Likes Received:
    21
    Reputations:
    10
    lisa99, в условии имелся в виду ноуиндекс как тег,
    <noindex>неидексируемый участок</noindex>

    это же называется мета роботс
     
  12. ZuS

    ZuS Elder - Старейшина

    Joined:
    15 Mar 2008
    Messages:
    93
    Likes Received:
    21
    Reputations:
    10
    более того ТС не просто не компетентен, но и ввел всех в заблуждение.
    В примере, который он привел разделы есть в нидексе гугла:
    кеш http://209.85.135.132/search?q=cache:mL-oQa7a5MgJ:www.apelsin.travel/links/%3Fcategory%3Dcat12+"Визы,+паспорта"+site:http://www.apelsin.travel/links/&cd=1&hl=ru&ct=clnk

    и сама выдача
    http://www.google.com/search?hl=ru&newwindow=1&q="Визы,+паспорта"+site:http://www.apelsin.travel/links/&btnG=Поиск&lr=


    а способов закрытия от индекса всего несколько
    1. noindex
    2. robots
    3. meta robots
    4. отшибать ботов с помощью .htaccess или php обработчика
    5. возвращать код ошибки или переноса (404, 301 и etc.)


    вопрос закрыт?)
     
  13. webjema

    webjema New Member

    Joined:
    23 May 2009
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    Не закрыт.
    Приведенная ссылка
    hххp://www.google.com/search?q=%22%D0%92%D0%B8%D0%B7%D1%8B,+%D0%BF%D0%B0%D1%81%D0%BF%D0%BE%D1%80%D1%82%D0%B0%22+site:http://www.apelsin.travel/links/&hl=ru&lr=&newwindow=1&filter=0

    Опять таки показывает СТРАНИЦЫ, но НЕ разделы.

    4. отшибать ботов с помощью .htaccess
    каким образом? Все об этом говорят, но ни кто не может показать как.
     
  14. W.K.

    W.K. New Member

    Joined:
    5 Oct 2008
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    Точной комманды не нашел, но если роботов немного, по IP:
    order deny,allow
    deny from all
    allow from 66.249.68.147
    P.s. как диап лочить, не помню
     
  15. ZuS

    ZuS Elder - Старейшина

    Joined:
    15 Mar 2008
    Messages:
    93
    Likes Received:
    21
    Reputations:
    10
    webjema, блядь вы вообще слепы?
    первой позицией идет в выдаче линк на http://www.apelsin.travel/links/?category=cat12
    это что? раздел, верно? если нет покажите что по вашему раздел.
     
  16. ZuS

    ZuS Elder - Старейшина

    Joined:
    15 Mar 2008
    Messages:
    93
    Likes Received:
    21
    Reputations:
    10
    закрываем от гугла


    ТС пользуйтесь поиском все обсосано по 20 тысяч раз.
     
  17. webjema

    webjema New Member

    Joined:
    23 May 2009
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    ZuS, спасибо за htaccess

    Всем:
    у кого-то так же есть в выдаче категория о которой говорит ZuS ?
     
  18. ZuS

    ZuS Elder - Старейшина

    Joined:
    15 Mar 2008
    Messages:
    93
    Likes Received:
    21
    Reputations:
    10
    webjema, я тебе дал страницу на кеш - кеш страницы существует? да
    значит страница в индексе, другого не дано (исключение - промежудочный период во время апдейта)
     
  19. struk666

    struk666 New Member

    Joined:
    11 May 2009
    Messages:
    20
    Likes Received:
    4
    Reputations:
    5
    забанят тебя товарищь ну или владельцы ссылок лицо подправят..одно из двух.. что лучше хз