Написал на перле парсер выдачи Google, Ask.com и Yahoo! через сайт http://search.myway.com Какая-то буржуйская поисковая система. Скрипт многопоточный, очень быстрый. За полчаса работы напарсил 50к ссылок. никакого бана нет, не нужно никаких проксей и задержек между запросами. Умеет преобразовывать запрос к запросам вида: Это сделано для увеличения количества отпарсенных ссылок. Конфиг скрипта: Code: my $parse_ask = 1; #парсить ли Ask.com 1-да, 0-нет my $parse_google = 1; #парсить ли Google my $parse_yahoo = 1; #парсить ли Yahoo my $thr = 15; #количество потоков my $topdomains = 1; #использовать ли преобразование дорков @domains = ('ru','ua','com','net','org','biz', 'info','edu','gov','mil','uk','us','de','it','gr','pl','au','pl','su','fr'); #массив с доменами, которые добавляются к дорку dorks.txt - файл с дорками out.txt - файл для записи результатов Скачать: http://slil.ru/29437524 http://uploadbox.com/files/864738c4a2 http://depositfiles.com/files/tjciv0scg
А мне, пожалуй, нравится. Вот только похоже условие останова не работает, парсинг остановил вручную - полученный файл 4 метра, чищеный от дублей - метр. Посему хотелось бы - отсутствие полных дублей в принципе, и как опция - отсутствие дублей внутри одного домена.
http://slil.ru/29437524 http://uploadbox.com/files/864738c4a2 http://depositfiles.com/files/tjciv0scg[/QUOTE] пажалуста обнавите силки. СП
UP! Уважаемые,а есть-ли у кого апргред googleparcer? гугл изменил алгоритм и теперь ссылки стали карявые=( оооочень уж нужен! Самый удобный софт был для меня.. Если кто в теме,просьба отписать в ЛС
Недавно переписал это на Python. многопоточный удаляет дубликаты возможность подстановки ключевых слов к запросам работает с несколькими поисковыми системами возможность сортировать результаты по PR Реализовано в виде отдельного модуля. Подробное описание тут Скачать
напиши мне мануал как пользоваться. я скачал парсер как работает на Python ??? я установил Python. что дальше ?
