Неделю назад сделал сайт. Прогнал его по разным сайтам, добавил в поисковики и т.д. За все это время пользователей на сайте почти нет, а вот боты шастают не переставая. Список ботов за вчерашние сутки: Code: Voyager/1.0 Jakarta Commons-HttpClient/3.1 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) PycURL/7.18.2 LinkParser/2.0 Mozilla/5.0 (compatible; Butterfly/1.0; +http://labs.topsy.com/butterfly/) Gecko/2009032608 Firefox/3.0.8 Google-Site-Verification/1.0 Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; MSIE 6.0b; Windows NT 5.0) Gecko/2009011913 Firefox/3.0.6 TweetmemeBot Mozilla/5.0 (compatible; bot/1.0; twitterlinks.ru) Twitterbot/0.1 User-Agent: Aport-Catalog-Robot/2.0 PostRank/2.0 (postrank.com) Некоторых из этих ботов я раньше вообще не знал. Да и откуда они взяли ссылки на мой сайт, если он еще нигде не упоминался ?
Больше фалов лей,сделай оптимизацию.Боты могут лазить просто ,но надо по СВЧ подгонять и тогда мб появится. И вобще неделя о4 мало для сайта, апа 2 сайт полностью мб проиндексируется но не факт что хосты появятся ,в зовисемости от уника файлов.
Ну и что тебе эти боты сдались. На некоторых сайтах которые я часто посещаю, в какое бы время не зашел, стабильно будет висеть 2-3 бота.
