Здравствуйте! В интернете столько всего написанного не могу понять какой robots.txt будет лучше для сайта на DLE Подскажите как правельно составить robots.txt для Яндекса и Гугла?
Смотрите, такой вариант будет правильным: User-agent: Yandex Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Host: ваш-сайт.ру User-agent: * Disallow: /backup/ Disallow: /user/ Disallow: /engine/ Disallow: /language/ Disallow: /upgrade/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://ваш-сайт.ру/sitemap.xml
и ещё такой вопрос: подскажите какие директории нужно индексировать а какие можно выкинуть с индексации
