Google упростил возможность исключения сайтов и отдельных веб-страниц из своей индексной базы. Для этого крупнейший поисковый портал представил специальную ссылку – «Удаление URL», расположенный во вкладке «Диагностика» в «Инструментах вебмастера», сообщил The Register. До сих пор удаление страниц из базы было возможно при помощи файла robots.txt, где перечислены адреса, запрещённые к индексированию, или при помощи мета-тегов в HTML-коде. «Деиндексация» позволит Google избежать судебных исков наподобие проигранного в Бельгии. Газетчики были недовольны тем, что Google отображает контент с их сайтов, сопровождая собственной рекламой. Поисковый гигант надеется выиграть апелляцию. Новая форма подачи страниц для индексирования упрощает связь с Googleplex для запроса на исключение отдельных страниц, директорий, сайтов целиком, а также сохранения страниц на сервере Google. Используя новую систему, посетители смогут запросить удаление из индексной базы не только своего, но и любого другого сайта, хотя, как пишет Google, «обычно мы не можем удалять результаты из индекса без согласия веб-мастера».cnews.ru
как раз в болталке тема по этому поводу, писал про роботс.тхт =) задолбаются всем веб-мастерам писать =))