Regular Web Parser [VB.NET] SOURCE

Discussion in 'С/С++, C#, Rust, Swift, Go, Java, Perl, Ruby' started by z0mbyak, 12 Aug 2010.

  1. z0mbyak

    z0mbyak Active Member

    Joined:
    10 Apr 2010
    Messages:
    537
    Likes Received:
    200
    Reputations:
    293
    Доброго времени суток, уважаемые форумчане!

    Вот мой новый Open-Source релиз! Regular Web Parser!

    [​IMG]


    [+] Парсит любые сайты по их исходным кодам
    [+] Умеет искать ссылки на сайте и парсить содержимое на других страницах (глубина вложений)
    [+] Автоматически подставляет регулярки для парсинга прокси и e-mail’ов
    [+] Может парсить по Вашим регуляркам
    [+] Open-Source

    [-] Работает как есть (в один поток), но это я думаю поправимо, так как Open-Source
    [-] Мало тестировал, но этот минус тоже скоро уйдет

    Ссылка на скачивание http://slil.ru/29557336

    Пароль: forum.antichat.ru
     
    1 person likes this.
  2. CodeSender:)

    CodeSender:) Elder - Старейшина

    Joined:
    29 Jul 2010
    Messages:
    245
    Likes Received:
    115
    Reputations:
    23
    Ещё не качал но есть вопрос: а парсить сайты которые выдают данные через JScript умеет?Например есть сайт с прокси, и порты к прокси приписываются с использованием JScript'a.

    P.S Сам сайт spys.ru
     
  3. z0mbyak

    z0mbyak Active Member

    Joined:
    10 Apr 2010
    Messages:
    537
    Likes Received:
    200
    Reputations:
    293
    Именно этот умеет...на остальных не проверял:)
     
    1 person likes this.
  4. CodeSender:)

    CodeSender:) Elder - Старейшина

    Joined:
    29 Jul 2010
    Messages:
    245
    Likes Received:
    115
    Reputations:
    23
    Скачал посмотрел.В целом исходники порадовали, но советовал бы юзать почаще StringBuilder и string.Empty .Так же неплохо было бы перебрать регулярки, все без исключения.Молодец, плюсую.
     
  5. z0mbyak

    z0mbyak Active Member

    Joined:
    10 Apr 2010
    Messages:
    537
    Likes Received:
    200
    Reputations:
    293
    А что не так с регулярками? Думал, что хоть это работает как надо:)

    Дело в том, что я от vb6 еще никак не отучусь...поэтому и код кривоват, в вб этого не было...
    Вот http://slil.ru/29557331 пароль такой же.
     
    #5 z0mbyak, 12 Aug 2010
    Last edited: 12 Aug 2010
  6. HIMIKAT

    HIMIKAT Elder - Старейшина

    Joined:
    12 Jan 2007
    Messages:
    2,707
    Likes Received:
    581
    Reputations:
    403
    Затестировал я значит. Берем адрес где у нас лежат прокси, пусть это будет [http://spys.ru/socks/]. Указываем адрес в софте. Как видим там 8 страниц с проксиками, включая нулевую, допустим глубина вложений укажем 6. В параметре Что парсим? галочку ставим напротив Proxy. Нажимаем начать парсинг, начинается парсинг страниц, но как я понял не со страницы [http://spys.ru/socks/], а походу дела с начальной [http://spys.ru/]. Скрин прилагается:
    [​IMG]

    Это получается он не может парсить с конкретно заданного адреса.
     
  7. Lancer2404

    Lancer2404 New Member

    Joined:
    3 Nov 2010
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    Пожалуйста перезалейте кто нибудь исходник и саму прогу.Очень нужно.
     
  8. Dr!nk

    Dr!nk New Member

    Joined:
    27 Oct 2010
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    да плюсую нужная вещь
     
  9. slonce

    slonce Banned

    Joined:
    23 Aug 2011
    Messages:
    63
    Likes Received:
    31
    Reputations:
    5
    перезалейте реал надо!
     
  10. ХАМнаМИЛЛИОН

    Joined:
    31 Mar 2011
    Messages:
    19
    Likes Received:
    1
    Reputations:
    0
    теме ~2 года.