Господа, подскажите плс. что нибудь из агрегаторов IP прокси списков и прочего шлака. Задача максимально отселить с сайта гостей пришедщих через тор, публичные прокси и иже с ними...
У всех серверов ТОР специфический хостнейм, что-то типа server100500.tor.org, вот еще список IP http://proxy.org/tor.shtml
Да это понятно и списков проксей по инету много и приватных... Но наверняка уже что то давно написано на эту тему, что бы самому все не парсить... В идеале модуль под энжинэкс, апач или под айпитэйблс...
C6H5CH3, определение проксика делают с помощью php/JavaScript/JAVA/ActiveX восновном через поиск заголовков типа: HTTP_X_FORWARDED_FOR, HTTP_FORWARDED_FOR, HTTP_X_FORWARDED и тп. Но это не даст хороших результатов потому, что половина юзеров пользуется корпаративным прокси. И будет много ложных срабатываний. На мой взгляд лучше юзать скрипт который будет блочить общедоступные прокси, если такуж этого хочется) Например так: Code: ipset -X ipset -N drop_ip iphash for i in `links -dump http://proxy.org/tor.shtml | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' | sort`; do ipset -A drop_ip $i done iptables -A INPUT -m set --set drop_ip src -j DROP можно добавить сюда парсинг самых известных списков прокси. Ещё можно включить в скрипт сайта проверку через RBL add: немного времени появилось)) вот 812 уникальных ипов проксиков =))) Code: (( links -dump http://proxy.org/tor.shtml | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' ) && (curl -s -d "sto=%CF%EE%EA%E0%E7%E0%F2%FC+200" http://spys.ru/proxies/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' ) && ( links -dump http://hideme.ru/proxy-list/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' ) && ( curl -s http://www.samair.ru/proxy/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' ) && ( curl -s http://proxy-list.co.uk/servers.html | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' ) ) | sort | uniq
За ответ в любом случае огромное спасибо. Но это все же детали написания собственной системы. Я же вначале хотел посмотреть на то, что уже написано и используется. Наверняка есть множество подобных систем. Вот о них я и спрашиваю. То есть ситема фильтрации посетителей на основе собственных правил и анализа публичных прокси...
ну модули под apache, nginx или iptables врятли существуют, по крайней мере ни разу не слышал... а скриптов граберов proxy в инете полно было.. только обязательно читай сорцы прежде чем юзать ну награбишь ты пару тысяч прокси, ну задропаешь, в инете еще сотни тысяч останутся. Это будет не так уж и эффективно =\ Предложение: Можно ограничить посещяемость сервера только странами СНГ. Плюс чекаешь прокси только СНГ, их будет намного меньше, и дропаешь.
Да это все понятно. Если делать самому, то придется чекать на потоке каждый день и зодня в день... И еще много нюансов всплывает с самописным модулем, потому и хотелось бы найти вначле что то готовое. А вот с отсечением по геоайпи, не вариант. Во первых на сайте много иностранцев, а во вторых сам по себе шаг не правильный.
Блокировать прокси как таковые тоже не правильный шаг, да и анонимные и соксы вы врятли поймаете. Определить на 100% анонимный прокси нельзя, иначе бы смысла в них небыло) Остается только грабить ипы с популярных списков или покупать... Нужно написать bash скрипт, который будет грабить прокси и обнавлять drop_ip (в примере выше).. Поставить в крон на каждые два часа и всё.. несколько сотен килобайт трафика каждые два часа роли не сыграют
