anti curl PHP - защита

Discussion in 'PHP' started by Adio, 17 Oct 2012.

Page 1 of 2
  1. Adio

    Adio Elder - Старейшина

    Joined:
    23 May 2005
    Messages:
    1,646
    Likes Received:
    148
    Reputations:
    18
    Вообщем ситуация такая,
    Кто то с моего сайта, тупо парсит контент,
    Как это можно предотвратить ?
    Лимитами запросов, или еще как, посоветуйте.
    Дело не в том что они воруют а в том что у меня сайт тормозит :mad:
     
    #1 Adio, 17 Oct 2012
  2. tipahead

    tipahead Banned

    Joined:
    25 Aug 2012
    Messages:
    13
    Likes Received:
    2
    Reputations:
    0
    если поцону больше 16, то никак
     
    #2 tipahead, 17 Oct 2012
  3. Zed0x

    Zed0x Member

    Joined:
    4 Jun 2012
    Messages:
    114
    Likes Received:
    29
    Reputations:
    23
    проверяй user-agent, бань по IP, или самый "кульный" вариант:
    Code:
    <body oncopy="return false">
    100% защиты от парсинга нет, но так его станет меньше.
     
    #3 Zed0x, 17 Oct 2012
  4. Adio

    Adio Elder - Старейшина

    Joined:
    23 May 2005
    Messages:
    1,646
    Likes Received:
    148
    Reputations:
    18
    Дело не в парсинге а то что этим парсинго нагинают мой обычный серв - а переезжать я щас не планирую хотя давно пора, так вот, нужно что то от массовых запросов
     
    #4 Adio, 17 Oct 2012
  5. Zed0x

    Zed0x Member

    Joined:
    4 Jun 2012
    Messages:
    114
    Likes Received:
    29
    Reputations:
    23
    я очень сомневаюсь, что это парсинг так сильно напрягает хоста...
     
    #5 Zed0x, 17 Oct 2012
  6. Adio

    Adio Elder - Старейшина

    Joined:
    23 May 2005
    Messages:
    1,646
    Likes Received:
    148
    Reputations:
    18
    :mad: Я думаю что так и есть. Вообщем я нашел решение, это сессияя и минуты - вообщем защищает от авторефрешов и массовой навигации по ссылкам, т.е быстрого переключение.
     
    #6 Adio, 17 Oct 2012
  7. b3

    b3 Banned

    Joined:
    5 Dec 2004
    Messages:
    2,174
    Likes Received:
    1,157
    Reputations:
    202
    А я думаю нужно логи посмотреть по нагрузке.
     
    #7 b3, 19 Oct 2012
  8. kolia

    kolia Elder - Старейшина

    Joined:
    11 Oct 2012
    Messages:
    291
    Likes Received:
    398
    Reputations:
    16
    Поисковые роботы атакуют тебя. Блокируй по user-agent
     
    #8 kolia, 19 Jan 2013
  9. |qbz|

    |qbz| Banned

    Joined:
    25 Dec 2009
    Messages:
    385
    Likes Received:
    169
    Reputations:
    65
    Сегодня меня античат просто бесит. То в болталке сборище школьников вместе с пионер-вожатой яро спорят о том, какой фавикон нужен народу, то вот тут, в разделе о пхп, всякие умные люди пишут на вопрос "как защититься от парсинга курлом" ответы, которые не то, что даже совсем не подходят, дак они еще даже и не кроссбраузерные.
    Скажи мне, дорогой Zed0x, каким макаром можно вот этим событием на яваскрипт избавится от парсинга курлом? Ты думаешь курлу не пофиг на яваскрипт? Или ты думаешь, что парсер если встретит в тексте страницы эту строчку, то сразу перестанет работать?
    Неужели? Ну тогда скажи мне в чем разница между парсингом и просто посещением страницы? Никакой разницы, по-сути, нет. Парсер также грузит страницы => также грузит сервак запросами. Только если вот людей там прийдет 1-2 касарика в день, то парсер может скушать без проблем 10к страничек за меньше, чем минуту.

    Ничего против тебя конкретно, Zed0x, я не имею, просто вроде был не школофорум, а теперь здесь такое гребанное болото, что противно читать.

    По теме - адио, посмотри ип с которых парсят и забань. Только скорее всего не перестанут парсить, поставят проксик и все. Лучше зашифруй контент яваскриптом и сделай в теле страницы обработчик, который его расшифровывает. Только это, конечно, погубит сам контент с точки зрения СЕО. Ну можешь еще попробовать выдавать не шифрованный контент если юзер-агент будет поискового бота, а всем остальным - шифрованный.
     
    #9 |qbz|, 20 Jan 2013
    Last edited: 20 Jan 2013
    1 person likes this.
  10. mailbrush

    mailbrush Well-Known Member

    Joined:
    24 Jun 2008
    Messages:
    1,997
    Likes Received:
    996
    Reputations:
    155
    Снимет ли это нагрузку на сервер - спорный вопрос.

    Клоакинг - плохая затея, все ПС, заметив его, вышвырнут сайт с индекса.
     
    #10 mailbrush, 20 Jan 2013
  11. |qbz|

    |qbz| Banned

    Joined:
    25 Dec 2009
    Messages:
    385
    Likes Received:
    169
    Reputations:
    65
    Ну думаю если парсер не справится с js - то конечно снимет.
    Насчет СЕО я не знаток если честно, так что вполне возможно, что мой совет не корректный.
     
    #11 |qbz|, 20 Jan 2013
  12. barnaki

    barnaki Elder - Старейшина

    Joined:
    2 Nov 2008
    Messages:
    676
    Likes Received:
    135
    Reputations:
    4
    я как то писал робота для одного сайта. так вот они там так и не нашли как защитится от курла. да и я не знаю. можно максимально усложнить задачу парсеру. они там юзают js который геренрит че нить и потом на след странице проверяет,капчи,refererы. и в результате им будет сложнее. но не более. при современных технологиях думаю защиты нет.
     
    #12 barnaki, 20 Jan 2013
  13. easywind

    easywind New Member

    Joined:
    13 Jan 2013
    Messages:
    17
    Likes Received:
    0
    Reputations:
    0
    Для курла подделать юзер-агент, реферер и кукесы делать нефиг. Капчи для софта типа хуманэулятор и хеннопостер тоже семечки. Единственный вариант наверно не давать создавать множество соединеий. Но это (а также бан по айпи) обходится очень просто используя прокси.
     
    #13 easywind, 28 Jan 2013
  14. Doom123

    Doom123 Elder - Старейшина

    Joined:
    11 Nov 2006
    Messages:
    749
    Likes Received:
    244
    Reputations:
    22
    Все намного проще, и это уже сделано на Pinterest.com . Ктонибудь пытался писать под эту социалку бот? =)

    Так вот, я пытался и угробил два дня, а ответ нашел в инете...
    Дело в том что при логине это социалка выдает очень больше время жизни кука.
    Браузеры справляются с этой задачей и читают куку как положено, а курл сохроняет время жизни куки отрицательным числом , что означает что кука не действительна..

    Дальше сами =)
     
    #14 Doom123, 29 Jan 2013
  15. easywind

    easywind New Member

    Joined:
    13 Jan 2013
    Messages:
    17
    Likes Received:
    0
    Reputations:
    0
    Хуманэмулятор и зеннопостер используют встроенный броузер ИЕ так что думаю для них это не проблема :)
     
    #15 easywind, 29 Jan 2013
  16. Doom123

    Doom123 Elder - Старейшина

    Joined:
    11 Nov 2006
    Messages:
    749
    Likes Received:
    244
    Reputations:
    22
    Если парсят сайт то это скорее всего с сервера ... А если с сервака скорее всего там нету ИЕ :)
     
    #16 Doom123, 29 Jan 2013
  17. |qbz|

    |qbz| Banned

    Joined:
    25 Dec 2009
    Messages:
    385
    Likes Received:
    169
    Reputations:
    65
    А что если я сделаю CURLOPT_HEADER, 1 и буду парсить заголовки на предмет Set-Cookie? Тогда я буду самым крутым? :)
     
    #17 |qbz|, 31 Jan 2013
  18. Doom123

    Doom123 Elder - Старейшина

    Joined:
    11 Nov 2006
    Messages:
    749
    Likes Received:
    244
    Reputations:
    22
    Да .. Это я и делал на данной соц сети .. но никто парится не будет т.к это хрен заметишь ... куки есть , куки шлются .. а не работает =)

    Для такой большой соц сети и то еле как нашёлся человек который разобрался =)
     
    #18 Doom123, 31 Jan 2013
  19. Apeckou

    Apeckou Elder - Старейшина

    Joined:
    23 Jan 2007
    Messages:
    143
    Likes Received:
    11
    Reputations:
    0
    что за бредятина, сайту пи*дык настанет не только для ПС, но и для юзеров у которых глючный/отключенный яваскрипт или какой-нить безумный ИЕ.

    И от нагрузки это не спасет, как досили так и будут досить, только еще хуже станет, т.к. контент будет ШИФРОВАТЬСЯ перед всем этим = еб*ническое увеличение нагрузки.

    Я бы озадачился настройкой Apache/Nginx + IPTABLES (если линух)
    Если нгинкса нет - запоминаем в сессию (БД?) количество загрузок страниц конкретнным юзером (айпишником если БД) за минуту(!!), если их больше 20, например, делаем в самом начале страницы echo("давай до свидания");die;
     
    #19 Apeckou, 2 Feb 2013
  20. Apeckou

    Apeckou Elder - Старейшина

    Joined:
    23 Jan 2007
    Messages:
    143
    Likes Received:
    11
    Reputations:
    0
    зы если парсят с сервера - идешь на сайт хостера (и его и своего заодно), пишешь абузу с логами, серв отрубают через 2 часа и афтар долго думает, стоит ли еще раз это делать
    если сервер угнанный - все равно пишешь, и пусть пробивают по логам, с какого ип авторизовывались на этом серве, тада автору не только за ддос но еще и за угон уши открутят
     
    #20 Apeckou, 2 Feb 2013
(You must log in or sign up to post here.)
Page 1 of 2
Loading...
Similar Threads - anti curl защита
  1. GAiN

    PHP. Защита от мультивыбора

    GAiN, 17 Mar 2023, in forum: PHP
    Replies:
    3
    Views:
    7,573
    b3
    27 Mar 2023
Language
English (US)
    ANTICHAT ™ © 2001-2027 Antichat Kft.