Роботс у белого дома ! http://www.whitehouse.gov/robots.txt в общем около 2к запретов индексирования .. нигде такого не вилел .. хотя этого стоило ожидать .. // если глянуть на гугл то у него всего 130 запретов (ппц не знал раньше что гугл сам себе запрещает индексироватся ))
ну типо у всех есть свои сикреты от настырных гугло-ботов )) а в следствии и обычных юзеров .. // или просто бушу страшно - вот он и понаписал роботсов на 2к строчек это у него развился комплекс , боится от власти уходить (как путин он поступить не сможет) ..
большинство ссылок ведут на статьи в упрощенном виде /visit/india/text та же статья что и /visit/india/
