Aura SE Parser / Лучший парсер поисковиков

Discussion in 'SЕО - тонкости, методы раскрутки' started by Хозяин, 13 Feb 2008.

  1. Хозяин

    Хозяин Elder - Старейшина

    Joined:
    15 Mar 2006
    Messages:
    435
    Likes Received:
    404
    Reputations:
    110
    Для тех кто не в курсе что это:

    - парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц. количество результатов на странице для всех поисковых систем - 100.
    - многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока
    - прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси
    - вращение выдачи - буквы, цифры, дополнительные запросы, ALD (Any Level Domain, подстановка конструкции site:домен_любого_уровня в запросы Google)
    - принудительная задержка потоков (для парсинга без прокси)
    - postmortem-механизм - продолжение парсинга после ребута/выключения сервера
    - развернутая статистика - процент выполнения потоков, парсинга в целом, время парсинга
    - скачивание выдачи поисковых систем в gzip
    - макроподстановки в запросах
    - очистка мусора из выдачи
    - фильтрация результатов

    Требования к хосту:

    - UNIX-подобная операционная система
    - Perl 5.8.6 и выше, есть в поставке подавляющего большинства UNIX-подобных систем
    - Perl-модули: Byteloader, Compress::Zlib, Uncompress::Gunzip, CGI, CGI::Carp, POSIX, Fcntl, LWP::UserAgent

    (как вы видите, бесплатные - отпадают)

    Архив содержит отличный мануал, по установке и настройке. не вижу смысла его здесь копипастить.

    Скачать пароль antichat

    +

    Пак апдейтов

    +

    Мод для Yahoo

    Конкретный скрипт я заводил. Большинство возможных проблем, из-за отсутствия модулей перла
     
  2. fuckthesystem

    fuckthesystem Elder - Старейшина

    Joined:
    22 Aug 2007
    Messages:
    37
    Likes Received:
    6
    Reputations:
    0
    хост должен быть dedicated?
     
  3. Хозяин

    Хозяин Elder - Старейшина

    Joined:
    15 Mar 2006
    Messages:
    435
    Likes Received:
    404
    Reputations:
    110
    ДА нет, почему, и Vps и даже хостинг пойдет, тут по мощности смотри сам, главное конфигурация
     
  4. podkashey

    podkashey С крышкой по жизни!

    Joined:
    18 Jun 2005
    Messages:
    756
    Likes Received:
    351
    Reputations:
    353
    Это какая версия?
     
    1 person likes this.
  5. Underwit

    Underwit Banned

    Joined:
    6 Oct 2006
    Messages:
    191
    Likes Received:
    137
    Reputations:
    16
    Чем мощнее тем лучше ибо эта херь жрет дохуя ресов.
    P.S. Спам зло.
     
  6. 9822

    9822 Banned

    Joined:
    3 Aug 2005
    Messages:
    273
    Likes Received:
    29
    Reputations:
    8
    а на win xp можноже апаче натсроить и под win32 запускать не обязательно из unix?

    Мод для Yahoo - можно перезалить ?
     
  7. x-demon

    x-demon Elder - Старейшина

    Joined:
    10 Jun 2007
    Messages:
    315
    Likes Received:
    101
    Reputations:
    46
    Ты читать умеешь?
    Unix нужен!