Нужен php grabber

Discussion in 'PHP' started by Ali_MiX, 19 Jan 2008.

  1. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    Доброго времени суток.
    У меня такая ботва, короче нужен скрипт на php, который грабит новости по rss или с сайта со всем что там есть, а потом заносит это всё в субд.
    Кто знает, а лучше где ещё и достать можно, отписывайтесь.
     
  2. mr.The

    mr.The Elder - Старейшина

    Joined:
    30 Apr 2007
    Messages:
    1,080
    Likes Received:
    456
    Reputations:
    38
    ну таких полно.... гугл в руки
    юзай сокеты и регулярные выражения..
     
  3. Oarsman

    Oarsman New Member

    Joined:
    10 Jan 2008
    Messages:
    7
    Likes Received:
    2
    Reputations:
    0
    как-то поннится на джумле(cms Joomla) юзал NewsGrabber , правда варезный кажись и возни было много -и потом хост накрылся...)))
     
  4. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    я про это слышал даж скрипт был, потом что то удалил
     
  5. Jes

    Jes Elder - Старейшина

    Joined:
    16 Apr 2007
    Messages:
    370
    Likes Received:
    391
    Reputations:
    34
    да можно обычный fopen ...

    я пхп так по наслышке ... что-то вроде

    $handle = fopen("$url", "r");
    while (!feof($handle)) {
    $buffer = fgets($handle, 4096);
    $PageData = "$PageData$buffer"; # или $PageData.$buffer
    }

    и парсь $PageData...
     
  6. Macro

    Macro Elder - Старейшина

    Joined:
    11 Nov 2006
    Messages:
    552
    Likes Received:
    298
    Reputations:
    207
    Ali_MiX, тут все зависит от сайта, с которого ты будешь новости воровать, а именно, от его скриптов и их настройки. Почти в каждом случае может возникнуть необходимость писать другой граббер.

    Jes, гораздо проще

    $text=file_get_contents('http://site.ru/news/');
     
  7. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    нужно что то не 1 файл php был а что то типа NewsGrabber
    Система короче целая
    потом прикрутить всё это к dle
     
  8. Oarsman

    Oarsman New Member

    Joined:
    10 Jan 2008
    Messages:
    7
    Likes Received:
    2
    Reputations:
    0
    но в итоге я понял, что воровать чужой контент неинтересно, да и посковики это не любят(для seo минус большой вообщем).Вот и изучаю php)))
     
  9. dafaceR28

    dafaceR28 New Member

    Joined:
    16 Dec 2007
    Messages:
    4
    Likes Received:
    0
    Reputations:
    0
    А понт копировать сайты ?
    Тогда будет не интересно, все сайты зеркальные с одними и теми же новостями.
    Разве трудно написать чтото свое ?
    Или лень?
    Вы лентяи мало того что используете чужие Cms, так вы еще и хотите чтоб вам написали грабер (а потом еще прикрутили к Cms) чтоб дома сидеть на диване а там все само работает, и получать за это $$$ (вот народ пошол)
    ИМХО таким как ты помогать не стоит, может сам пальцем по шевелишь немного
     
  10. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    1. Я так понял ты сильно умный, я дополнительной инфы не давал, что то типа зеркальные не зеркальные, тебя это не должно волновать. прикручивать я тоже не просил.
    2. Я не лентяй.
    3. Не знаешь что ответить - молчи.
     
  11. Oarsman

    Oarsman New Member

    Joined:
    10 Jan 2008
    Messages:
    7
    Likes Received:
    2
    Reputations:
    0
    да, вот тебе ссылочка , откуда можно скачать грабберы... :)
    Если поставишь, скинь ссылку на проект, посмотрим :)
     
  12. Underwit

    Underwit Banned

    Joined:
    6 Oct 2006
    Messages:
    191
    Likes Received:
    137
    Reputations:
    16
    Вырезать из страницы статью целиком тяжело. Можно просто найти Rss каналы в которых
    статья показываеться полностью и граббить её. Для этого можно воспользоваться расширением Pear, там есть класс для работы с Rss и Xml.
    А вот уникальности статье (новости) можно придать с помощью синонимайзера.
     
  13. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    задумка в том что бы сливать новости, а не всё что там.
    Хотя и статью слить целиком бы ло бы неплохо.
    ИМХО вот проект www.mix-portal.info ещё всё делается
     
    #13 Ali_MiX, 19 Jan 2008
    Last edited: 19 Jan 2008
  14. Jes

    Jes Elder - Старейшина

    Joined:
    16 Apr 2007
    Messages:
    370
    Likes Received:
    391
    Reputations:
    34
    1 person likes this.
  15. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
  16. dafaceR28

    dafaceR28 New Member

    Joined:
    16 Dec 2007
    Messages:
    4
    Likes Received:
    0
    Reputations:
    0
    плагиатор ;)
     
  17. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    >Новичок
    тут ты нее прав
     
  18. D0S

    D0S Elder - Старейшина

    Joined:
    6 Jan 2007
    Messages:
    44
    Likes Received:
    7
    Reputations:
    0
    да было бы неплохо грабить по {short-story}{full-story}, ток хз как это реализовать, голову сломаешь нах :eek:
     
  19. iron-viper

    iron-viper Elder - Старейшина

    Joined:
    13 Nov 2007
    Messages:
    167
    Likes Received:
    45
    Reputations:
    3
    Для DLE есть грабер. Это довольно не плохой разработанный модуль, который встраивается в админку и ты с ним работаешь как с нормальным блоком. Вот можешь почитать __hxxp://4dle.ru/2006/10/28/print:page,1,rss_grabber_2_2.html

    Его продают. Но так как нам всегда хочется халявы, то конечно же есть ломаные хаки. Например я качал на этом сайте Сайт
    , но на момент написания вот этой месаги, сайт лежал на лопатках. Там через поиск найди или в разделах, не помню уже .

    Если же все таки не найдешь пиши в сообщение выложу куда нить его.

    Вообще этот грабер хороший но он немного подгружет базу и для его работы нужен хостинг с поддержкой сокетов и "iconv" . Без первого работать не будет, без второго будет если подправить код. Но криво работать будет.

    Всем спасибо за внимание. Сори если что не так.
     
    #19 iron-viper, 20 Jan 2008
    Last edited: 20 Jan 2008
    2 people like this.
  20. Ali_MiX

    Ali_MiX Elder - Старейшина

    Joined:
    8 Oct 2006
    Messages:
    377
    Likes Received:
    67
    Reputations:
    -2
    Спасиб)