[Софт, Win] MultiParser - Парсинг страниц по регулярным выражениям

Discussion in 'Soft - Windows' started by FRAPS, 3 Oct 2012.

  1. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    [​IMG]

    Что нового?


    MultiParser :: [3.0]
    [#] Веббраузер
    [#] Лог
    [#] Модификаторы теперь НЕЛЬЗЯ писать в RegExp, для них отдельное поле
    [+] Открыть, сохранить, создать — для настроек
    [+] Replace — замена, используя регулярные выражения
    [+] Save In file — сохранение всего в один файл [!]

    Скачать / Download



    =========

    [​IMG]
    Обновление [UPD] 31.08.2013 - MultiParser :: [v2.5]
    Что нового?
    - Изменен дизайн
    - Добавлены настройки (загрузка из файла) [Первый запуск лучше произвести от имени администратора]
    - Webbrowser
    - Готовые регулярные выражения
    - Теперь можно использовать модификаторы
    - Лог
    Модификаторы
    Модификатор /i - («регистро-независимый режим»).

    Модификатор /r - («русские диапазоны»).

    Модификатор /s - если установлен, то ‘.’ совпадает с любым символом.

    Модификатор /g, отключение приводит к тому, что все операторы работают в «не жадном» (non-greedy) режиме, т.е. когда ModifierG = False, то все ‘*’ работают как ‘*?’, все ‘+’ как ‘+?’ и т.д.

    Модификатор /m -воспринимать входной текст как многострочный. Если выключен, то метасимволы `^’ и `$’ «срабатывают» только в начале и конце входного текста.
    Если включен, то эти символы срабатывают также и в начале и в конце каждой строки входного текста.

    Пример использования — RegExp: ^(.*?)$/m-r
    *Включить M и выключить R

    *Нюансы в настройке RegExp:
    Если вы используете символ "/" в регулярном выражение, то лучше указать модификаторы, либо просто поставить "/" в конце.

    Скачать MultiParser 2.5:
    PHP:
    http://yadi.sk/d/rOpk31xy8WxtI
    =====================

    [​IMG]
    Обновление [UPD] 31.08.2013 - MultiParser :: [v2.5]
    Что нового?
    - Изменен дизайн
    - Добавлены настройки (загрузка из файла) [Первый запуск лучше произвести от имени администратора]
    - Webbrowser
    - Готовые регулярные выражения
    - Теперь можно использовать модификаторы
    - Лог
    Модификаторы
    Модификатор /i - («регистро-независимый режим»).

    Модификатор /r - («русские диапазоны»).

    Модификатор /s - если установлен, то ‘.’ совпадает с любым символом.

    Модификатор /g, отключение приводит к тому, что все операторы работают в «не жадном» (non-greedy) режиме, т.е. когда ModifierG = False, то все ‘*’ работают как ‘*?’, все ‘+’ как ‘+?’ и т.д.

    Модификатор /m -воспринимать входной текст как многострочный. Если выключен, то метасимволы `^’ и `$’ «срабатывают» только в начале и конце входного текста.
    Если включен, то эти символы срабатывают также и в начале и в конце каждой строки входного текста.

    Пример использования — RegExp: ^(.*?)$/m-r
    *Включить M и выключить R

    *Нюансы в настройке RegExp:
    Если вы используете символ "/" в регулярном выражение, то лучше указать модификаторы, либо просто поставить "/" в конце.

    Скачать MultiParser 2.5:
    http://yadi.sk/d/rOpk31xy8WxtI

    ==================

    [​IMG]

    Обновление [UPD] 12.03.2013 - MultiParser :: [v2.0]
    Полный функционал программы:

    Code:
    [+] Сохранение настроек
    [+] Многопоточность
    [+] Парсинг из Source нужного фрагмента (ссылки)
     - Ваша база в виде: URL:Pass. Заходим в "Основные настройки" и задаем поле "Сайт" примерно так: ^(.*?):(.*?)$, теперь указываем в Match: R[1] - готово, работает так, как нужно вам!
    [+] Юезр-Агенты
    [+] Referer
    [+] Прокси (Загрузка всех типов сразу, тестировал только HTTP)
    [+] Настройки для сайта
    -[+] Выбор стандартного протокола
    -[+] 3 типа кодировки: Автоматическая, UTF-8, windows-1251
    -[+] Таймаут
    -[+] Разрешение редиректа
    -[+] Разрешение использовать прокси
    -[+] Куки (Вписываются в одну строку, без "cookies:")
    -[+] Регулярные выражения, любое количество [+100500]
     -[+] preg_match_all
     -[+] Ссылка для парсинга (Автоматически добавляется в SOURCE, чтобы парсить от туда)
     -[+] Сохранение каждого регулярного выражения в отдельный файл
     -[+] Сохранение в файл, если:
     --[+] Находит в URL: (ваш текст)
     --[+] Не находит в URL: (ваш текст)
    
     --[+] Находит на сайте: (ваш текст)
     --[+] Не находит на сайте: (ваш текст)
    
     --[+] Находит в match: (ваш текст)
     --[+] Не находит в match: (ваш текст)
    [+] Редактор ссылок
     -[+] Генератор запросов для гугла (google parser)
     -[+] Генератор ссылок
    
    Скачать / Download

    =====================================
    Регулярные выражения:

    Парсер прокси:
    Code:
    RegExp: \d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,5}
    Match: r[0]
    preg_match_all=true (включить)
    

    Парсинг Е-маилов с паролями:
    Code:
    RegExp: [A-z0-9\.\-\_]+@[A-z0-9\.\-\_]{3,20}\.[A-z0-9\.\-\_]{2,10}(:|;)[A-z0-9\.\-\_]{3,20}
    Match: r[0]
    preg_match_all=true (включить)
    
    =====================================

    [​IMG]

    [​IMG]

    Обновление [UPD] 05.03.2013 - MultiParser :: [v2.0] Beta
    [=] Полностью переделал программу
    [+] Возможно вставить куки
    [+] Любое количество регулярных выражений
    [-] SSL
    [-] Proxy

    Скачать / Download

    =======

    [​IMG]

    Описание: Многопоточная универсальная программа для парсинга(копирования) информации с поддержкой регулярных выражений(регулярки)
    Функционал:
    • Регулярные выражения
    • Возможна индивидуальная настройка под каждый сайт
    • Многопоточность
    • Таймаут
    Пример URLs:

    Code:
    http://site.ru/
    {(.*?)|R[1]}site.ru/
    
    И так, чтобы настроить регулярные выражения под каждый сайт, пишем перед URL маленькую конструкцию, она выглядит таким образом: {Регулярка|Match}URL
    Если этой конструкции нет, то будет выполняться стандартная.

    В программе уже есть 2 примера. 1 - парсит прокси. 2 - Парсит майлы.


    Примеры настроек
    Парсинг тайтла страниц

    Code:
    Регулярка:<title>(.*?)</title>
    Match:R[1]
    
    Где R[1] - это (.*?)
    
    Парсер прокси

    Code:
    Регулярка:\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,5}
    Match:R[0]
    
    Парсер ссылок и их названия

    Code:
    Регулярка:<a href="(.*?)">(.*?)</a>
    Match:Ссылка:R[1] - R[2]
    
    В общем экспериментируйте! Описал, как смог. Удачного парсинга!

    Скачать / Download


    //Не используйте rar
     
    #1 FRAPS, 3 Oct 2012
    Last edited: 18 Dec 2013
    2 people like this.
  2. Adio

    Adio Elder - Старейшина

    Joined:
    23 May 2005
    Messages:
    1,646
    Likes Received:
    148
    Reputations:
    18
    Да такого софта полно :) и свой можно написать и серверный и какой хочеш... знаеш язык, писал бы что то неадектватно полезное %)
     
  3. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    ;) видимо я плохо гуглил. Что например написать?
     
    #3 FRAPS, 3 Oct 2012
    Last edited: 3 Oct 2012
  4. alfi

    alfi New Member

    Joined:
    4 Mar 2012
    Messages:
    22
    Likes Received:
    1
    Reputations:
    0
    Поддержка прокси была бы кстати. Что не получить бан на некоторых ресурсах.
     
  5. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    Спасибо, учту в следующей версии.
     
  6. marika

    marika Banned

    Joined:
    30 Jan 2012
    Messages:
    27
    Likes Received:
    0
    Reputations:
    0
    приделай прокси цены не будт
     
  7. po[w]er

    po[w]er Banned

    Joined:
    1 Oct 2012
    Messages:
    57
    Likes Received:
    0
    Reputations:
    0
    Определённо, софт будет без прокси лежать
     
  8. DarkMist

    DarkMist Elder - Старейшина

    Joined:
    20 Feb 2007
    Messages:
    201
    Likes Received:
    24
    Reputations:
    0
    а систему через проксик , что ни как?? :rolleyes:
     
  9. OcksyLight

    OcksyLight New Member

    Joined:
    8 Mar 2012
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    Товарищи! Киньте ссылку на похожую прогу, но обязательно с возможностью выбора кук.
     
  10. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    [​IMG]

    [​IMG]

    Обновление [UPD] 05.03.2013 - MultiParser :: [v2.0] Beta
    [=] Полностью переделал программу
    [+] Возможно вставить куки
    [+] Любое количество регулярных выражений
    [-] SSL
    [-] Proxy

    Прокси и SSL скоро "прикручу"!

    PHP:
    http://yadi.sk/d/p3gKo0oN34N6x
     
    #10 FRAPS, 5 Mar 2013
    Last edited: 5 Mar 2013
  11. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    [​IMG]

    Обновление [UPD] 12.03.2013 - MultiParser :: [v2.0]
    Полный функционал программы:

    Code:
    [+] Сохранение настроек
    [+] Многопоточность
    [+] Парсинг из Source нужного фрагмента (ссылки)
     - Ваша база в виде: URL:Pass. Заходим в "Основные настройки" и задаем поле "Сайт" примерно так: ^(.*?):(.*?)$, теперь указываем в Match: R[1] - готово, работает так, как нужно вам!
    [+] Юезр-Агенты
    [+] Referer
    [+] Прокси (Загрузка всех типов сразу, тестировал только HTTP)
    [+] Настройки для сайта
    -[+] Выбор стандартного протокола
    -[+] 3 типа кодировки: Автоматическая, UTF-8, windows-1251
    -[+] Таймаут
    -[+] Разрешение редиректа
    -[+] Разрешение использовать прокси
    -[+] Куки (Вписываются в одну строку, без "cookies:")
    -[+] Регулярные выражения, любое количество [+100500]
     -[+] preg_match_all
     -[+] Ссылка для парсинга (Автоматически добавляется в SOURCE, чтобы парсить от туда)
     -[+] Сохранение каждого регулярного выражения в отдельный файл
     -[+] Сохранение в файл, если:
     --[+] Находит в URL: (ваш текст)
     --[+] Не находит в URL: (ваш текст)
    
     --[+] Находит на сайте: (ваш текст)
     --[+] Не находит на сайте: (ваш текст)
    
     --[+] Находит в match: (ваш текст)
     --[+] Не находит в match: (ваш текст)
    [+] Редактор ссылок
     -[+] Генератор запросов для гугла (google parser)
     -[+] Генератор ссылок
    
    Скачать / Download

    =====================================
    Регулярные выражения:

    Парсер прокси:
    Code:
    RegExp: \d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,5}
    Match: r[0]
    preg_match_all=true (включить)
    

    Парсинг Е-маилов с паролями:
    Code:
    RegExp: [A-z0-9\.\-\_]+@[A-z0-9\.\-\_]{3,20}\.[A-z0-9\.\-\_]{2,10}(:|;)[A-z0-9\.\-\_]{3,20}
    Match: r[0]
    preg_match_all=true (включить)
    
    =====================================
     
  12. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    [​IMG]
    Обновление [UPD] 31.08.2013 - MultiParser :: [v2.5]
    Что нового?
    - Изменен дизайн
    - Добавлены настройки (загрузка из файла) [Первый запуск лучше произвести от имени администратора]
    - Webbrowser
    - Готовые регулярные выражения
    - Теперь можно использовать модификаторы
    - Лог
    Модификаторы
    Модификатор /i - («регистро-независимый режим»).

    Модификатор /r - («русские диапазоны»).

    Модификатор /s - если установлен, то ‘.’ совпадает с любым символом.

    Модификатор /g, отключение приводит к тому, что все операторы работают в «не жадном» (non-greedy) режиме, т.е. когда ModifierG = False, то все ‘*’ работают как ‘*?’, все ‘+’ как ‘+?’ и т.д.

    Модификатор /m -воспринимать входной текст как многострочный. Если выключен, то метасимволы `^’ и `$’ «срабатывают» только в начале и конце входного текста.
    Если включен, то эти символы срабатывают также и в начале и в конце каждой строки входного текста.

    Пример использования — RegExp: ^(.*?)$/m-r
    *Включить M и выключить R

    *Нюансы в настройке RegExp:
    Если вы используете символ "/" в регулярном выражение, то лучше указать модификаторы, либо просто поставить "/" в конце.

    Скачать MultiParser 2.5:
    PHP:
    http://yadi.sk/d/rOpk31xy8WxtI
     
    #12 FRAPS, 31 Aug 2013
    Last edited: 31 Aug 2013
  13. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    http://www.youtube.com/watch?v=O8z7V8oU1bM

    Добавил видео.
     
  14. FRAPS

    FRAPS New Member

    Joined:
    19 Jul 2012
    Messages:
    10
    Likes Received:
    4
    Reputations:
    1
    [​IMG]

    Что нового?


    MultiParser :: [3.0]
    [#] Веббраузер
    [#] Лог
    [#] Модификаторы теперь НЕЛЬЗЯ писать в RegExp, для них отдельное поле
    [+] Открыть, сохранить, создать — для настроек
    [+] Replace — замена, используя регулярные выражения
    [+] Save In file — сохранение всего в один файл [!]

    Скачать / Download