Парсинг google/yandex

Discussion in 'PHP' started by guest3297, 15 Dec 2007.

  1. guest3297

    guest3297 Banned

    Joined:
    27 Jun 2006
    Messages:
    1,246
    Likes Received:
    639
    Reputations:
    817
    Нужен скрипт на php выполняющий такие действий.

    Зашел на сайт пропарсил index на содежание слова
    Code:
    875934875983775398475398759387458973
    Если нету данного текста сделал гет запрос на http://ya.ru/ и записал полученное в файл ya.ru.txt

    Далее пропарсил второй сайт (index) на текст
    Code:
    4098029840203498023498230489029348
    и если текта нету делал бы запрос на http://google.com и записал полученное в файл google.com.txt
     
  2. NOmeR1

    NOmeR1 Everybody lies

    Joined:
    2 Jun 2006
    Messages:
    1,068
    Likes Received:
    783
    Reputations:
    213
    PHP:
    <?
    $site1 'сайт #1';
    $site2 'сайт #2';
    $zapros1 '875934875983775398475398759387458973';
    $zapros2 '4098029840203498023498230489029348';
    if( 
    substr_count(file_get_contents($site1), $zapros1) < )
    {
         
    $handle fopen('ya.ru.txt''w');
         
    fwrite($handlefile_get_contents('http://ya.ru'));
         
    fclose($handle);
    }
    if( 
    substr_count(file_get_contents($site2), $zapros2) < )
    {
         
    $handle fopen('google.com.txt''w');
         
    fwrite($handlefile_get_contents('http://google.com'));
         
    fclose($handle);
    }
    ?>
    Так? Я лично не понял что собственно надо =)
     
    1 person likes this.
  3. AkyHa_MaTaTa

    AkyHa_MaTaTa Elder - Старейшина

    Joined:
    19 Mar 2007
    Messages:
    557
    Likes Received:
    306
    Reputations:
    27
    Если реально ya.ru и google.com то скорее так:
    file_get_contents("http://www.ya.ru/yandsearch?text=$zapros1);
    file_get_contents("http://www.google.com/search?hl=ru&q=$zapros2");
     
  4. Sn@k3

    Sn@k3 Elder - Старейшина

    Joined:
    13 Apr 2006
    Messages:
    1,000
    Likes Received:
    438
    Reputations:
    90
    хм, он просил в теле страницы найти совпадения, а не найти в поиске =\
     
  5. banned

    banned Banned

    Joined:
    20 Nov 2006
    Messages:
    3,324
    Likes Received:
    1,193
    Reputations:
    252
    Sn@k3, а что по втойму file_get_contents делает? =\
     
  6. ENFIX

    ENFIX Elder - Старейшина

    Joined:
    6 Jun 2006
    Messages:
    175
    Likes Received:
    122
    Reputations:
    75
    Isis, ты не понял, скрипт записывает не результат поиска, а сам html исходник поисковика
     
  7. DWORD

    DWORD Elder - Старейшина

    Joined:
    24 Jul 2007
    Messages:
    129
    Likes Received:
    70
    Reputations:
    -36
    1) Читаем RFC:
    "The absoluteURI form is only allowed when the request is being made to a proxy ...". Ваше счастье, если google сделал защиту от "дурака" в ущерб стандарту.
    2) Что-то не слышно про ограничения на query, его нужно urlencode'ить в уме? Может быть тогда проще посылать запрос телнетом? :)

    Как там говорится-то: Ыыыыы.
     
    #7 DWORD, 16 Dec 2007
    Last edited: 16 Dec 2007
    2 people like this.
  8. k1b0rg

    k1b0rg Тут может быть ваша реклама.

    Joined:
    30 Jul 2005
    Messages:
    1,182
    Likes Received:
    399
    Reputations:
    479
    Непонял зачем перезаписывать файл в каждой итерации цикла?