Недавний апдейт тиц помог кучку молодых сайтов, у которых тиц нарастили при помощи прогонов по профилям. Решил попробовать создать базу для прогона, но столкнулся с одной неприятностью - как свести в одну базу всех доноров и не на создавать дублей? Допустим спарсил беки у одного сайта, отфильтровал их, убрал сайты с которых ссылки закрыты от поисковиков, спарсил ссылки второго сайта, с ним быть как? Ведь часть доноров полюбому пересечется, как их эффективнее всего филтровать? Если спросил что-то уже совсем запредельное и такие вещи не палят - извиняйте.
Во многом софте есть такие функции, но он обычно платный, если напишу сюда, сочтут за рекламу. Напишу тебе в лс. Вот еще подобная темка http://forum.antichat.ru/thread359701.html
