запустил скрипт пробно, если не рабочая прокся то матерится типа хрен тебе а не коннект, потом прописал в исходнике рабочий прокси и ссылку на файл...запустил - тупо мигает курсор на черном экране и ниче не пишет..ниче не должен писать?
Code: ''' Created on 08.01.2010 @author: Mak-Di ''' import urllib2 def getFromFile(fileName): fh = open(fileName, 'r') lines = fh.read() fh.close() return lines.split() for file in getFromFile('urllistfile'): for proxy in getFromFile('proxylistfile'): proxy = urllib2.ProxyHandler({"http":proxy}) opener = urllib2.build_opener(proxy) opener.addheaders = [('User-agent', 'Opera/9.64 (Windows NT 5.1; U; ru) Presto/2.1.1')] urllib2.install_opener(opener) try: urllib2.urlopen(file).read() print file + ' Done!' except Exception, info: print info print 'Fin' urllistfile - имя файла, в котором список линков proxylistfile - имя файла списка прокси в формате iport PS: Файлы должны находиться со скриптом в одном каталоге или указываем полный путь Fixed
Думаешь, что там дураки? Вариантов защиты валом, но нет ничего не возможного, попробуй вот эту версию Code: ''' Created on 08.01.2010 @author: Mak-Di ''' import urllib2 def getFromFile(fileName): fh = open(fileName, 'r') lines = fh.read() fh.close() return lines.split() for file in getFromFile('urllistfile'): for proxy in getFromFile('proxylistfile'): proxy = urllib2.ProxyHandler({"http":proxy}) opener = urllib2.build_opener(proxy) opener.addheaders = [('User-agent', 'Opera/9.64 (Windows NT 5.1; U; ru) Presto/2.1.1'), ('ACCEPT','text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5'), ('ACCEPT_ENCODING','gzip,deflate'), ('ACCEPT_CHARSET','ISO-8859-1,utf-8;q=0.7,*;q=0.7'), ('KEEP_ALIVE','300'), ('CACHE_CONTROL','max-age=0'), ('ACCEPT_LANGUAGE','ru,en;q=0.8,fa;q=0.5,en-us;q=0.3')] urllib2.install_opener(opener) try: urllib2.urlopen(file).read() print file + ' Done!' except Exception, info: print info print 'Fin'
ок, попробую.спасибо. Просто я когда руками в браузере прописываю прокси разные поочереди и качаю, то все прокатывает.. вот что нашел через wget и используя простой батник: Например требовалось скачивать, ежедневно, вот этот файлик -http://weather.bigmir.net/get_informer/?url=120x280/blue/ukraina/dnepropetrovsk.png, через проксю, вот какой батник получается: @echo off set http_proxy=192.168.5.55:8080 wget.exe -O dnepropetrovsk.png http://weather.bigmir.net/get_inform...ropetrovsk.png а теперь вопрос, как в батнике реализовать цикл этого действия, но чтобы прокся менялась сама и бралась из файла со списком прокси?
спасибо..качает, вот только блин не пойму почему не считает, если через браузер выставляю в настройках прокси то все нормал, а так нет...странно зы и 8) еще вопрос аж неудобно..как в этом батнике реализовать пропуск одного цикла путем нажатия какой-нибудь клавиши?что в цикле дописать?просто некоторые прокси просто ацки работают и качают со скоростьб 50 байт в секунду 8)
Надо посмотреть как в wget.exe прокси устанавливаются. По-моему никак. Опять же можно посмотреть команды wget.exe. Возможно там есть интересные команды.
да я посмотрел команды вгета, ниче интересного не нашел для выхода из этой ситуации..придется значит следить за закачкой и в случае чего останавливать, удалять этот прокси из списка и по новой запускать
Если есть лавэ подними ботнет и не парься ) В зевсе есть функция перейти ботам по URL и оттуда скачать любой файл вот тебе и реальные уники. а если по теме то все это через PHP реализовать намного проще чем с питоном...имхо
Это не проблема, можно и на php было написать, но суть не в этом. TC, была ли засчитана хотя бы одна скачка через срипт/wget? Браузер не считаем! PS: Обычно юзают куки, таймеры и т.д. Было бы неплохо, если посмотреть на проект, можно в ПМ
через wget так и не понял засчитывалось или нет..Если смотреть в стате то выросло пунктов на 5 хотя через вгет скачалось больше раз..вот и думай толи это не все прокси просто мой адрес замаскировали и мало так посчиталось..толи это юзеры качали просто..
