парсер проксей GooglePPbP

Discussion in 'Безопасность и Анонимность' started by phpdreamer, 1 Nov 2009.

  1. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    Написал скрипт, который парсит прокси из инета.

    вариант1
    даем ему файл со списком сайтов, где выкладывают прокси, срипт лазит по ним (с глубиной 1 ссылка) и собирает все прокси.
    Так можно базу сайта в 3000 проксей стянуть за секунды, а не копипастить и удалять лишнюю инфу для каждого айпишника...

    вариант2
    у нас нету никакого списка с сайтами и нам лень их искать в гугле.
    Тогда скрипт это делает за нас. Пробивает в гугле запрос ака proxy и берет первые 20000 страниц. Потом ходит по ним и собирает прокси как это описано в первом случае.
    Последний тест скрипта этим методом длился больше 2 часов и принес список в 22 993 не завершив свою работу до конца (я прервал чтоб не ждать дальше, так как больше проксей просто теоритически не может быть нужно - их же прочекать еще надо)

    Все настройки легко меняются в первых строках кода.
    Код хорошо прокомментирован.
    В архиве есть FAQ и схема работы, а также чекер проксей на PHP.

    вот скрин:
    [​IMG]

    настройки, как видно по скрину, выводятся в админку.
    ошибки обрабатываются, после завершения работы скрипта видим ссылку на файл с проксями.

    проверка повторов отсутствует
    так как большинство чекеров уберают повторы сами.

    Скачать версию 1.0
    http://d.lsass.us/4280
     
    3 people like this.
  2. CrazyStudentS_Mi}{

    CrazyStudentS_Mi}{ Elder - Старейшина

    Joined:
    4 Jul 2007
    Messages:
    424
    Likes Received:
    296
    Reputations:
    92
    делай фри приват сервис для античата :)
     
  3. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    ну разве что на вашем серваке xDD
     
  4. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    набросал на ходу...
    Если добавит в код строку
    PHP:
    foreach(array_unique(file($file_proxy)) as $numb=>$valuee)echo $valuee "<br>";
    после
    fclose($log);
    и после
    fclose($save);

    то после завершения работы скрипта уникальные прокси выведутся в браузер.


    на счет глубины поиска, какую хотите, такую и ставьте в настройках. глубина 5 - это минуты на две работы. Эта настойка означает не хождение по подкаталогам и ссылкам, а колличество обрабатываемых страниц из тех, которые найдет гугл. А по тем страницам углубляемся в подкаталоги только один раз. Этого достаточно с головой.

    чекер проксей от енота в архиве. Одновременно чекать и парсить сервак не выдержит ) так что потратьте часик на парсинг и потом хоть 2 суток чекайте.

    Я видел что продают, а я даю на халяву.
     
  5. Vlad3d

    Vlad3d Elder - Старейшина

    Joined:
    18 Jan 2008
    Messages:
    47
    Likes Received:
    54
    Reputations:
    -1
    не работает ((
     
  6. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    все работает

    для работы нужен пхп5 и включеная ф-я curl

    скопипасти ошибку которую возвращает сервер
     
  7. Vlad3d

    Vlad3d Elder - Старейшина

    Joined:
    18 Jan 2008
    Messages:
    47
    Likes Received:
    54
    Reputations:
    -1
    вообщем все как бы работает, жму допустим ок (тот который напротив собрать из google) и у меня через 5 сек пишет done, файл прокси1 пустой
     
  8. mailbrush

    mailbrush Well-Known Member

    Joined:
    24 Jun 2008
    Messages:
    1,997
    Likes Received:
    996
    Reputations:
    155
    chmod
     
  9. shell_c0de

    shell_c0de Hack All World

    Joined:
    7 Jul 2009
    Messages:
    1,176
    Likes Received:
    617
    Reputations:
    690
    Хорошая решение нудной работы [лови +]

    P.S реально добавь чекер проксей, но после парсинга листа а не одновременно.
    Работает идеально но дупликаты давольно много, + еще добавь сортировка по GeoIP)
     
    _________________________
  10. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    написал же, есть там чекер
    просто он другим файлом
     
  11. chesheer

    chesheer New Member

    Joined:
    5 Nov 2009
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    как раз скрипт пригодился. лови +
     
  12. BPOH

    BPOH New Member

    Joined:
    1 Oct 2012
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Ниукого не завалялось сие чудо или нечто похожее?