Боты посещающие сайт и их поведение.

такой темы нету, и хотелось бы посмотреть, кого какие боты посещают

Выкладываем здесь ботов в связке useragent, ip, referer, и другую информацию запроса о сканерах, парсерах и прочих незванных ботов, которые сканируют ваши сайты
адрес сайта своего можно не указывать или заменить его звёздочками ****.ru

это наиболее частые - за месяц почти каждый день заходят - хотя и забанены. и вообще ботам всё равно получается что их редиректят 301 редиректом что ошибку 404 410 отдавать - всё равно заходят на сайт - контент они не получают только заголовки и пустую страницу...
вот этот бот netbynet.ru ещу иногда с ip corbina.ru заходит! бывает подставляет реферер моего домена.
реферер маскирует как будто с яндекса - но запрос фейковый у яндекса таких не бывает да и по запросу сайта в url нету
почти у всех useragent человекоподобный и по ip боты не принадлежат кому то...

этот бот явно сканер директорий