Предлагаю Вашему вниманию DLE Grabber написанный на PHP. DLE порталы очень популярны в рунете, отсюда и актуальность данной темы. ------------------------------------------------------------------------- Особенности скрипта: Скрипт полностью автономен и самодостаточен. Он легко устанавливается, имеет простой интуитивный интерфейс. Универсальность. Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте. Гибкость - два режима работы. >>Классический режим: В этом режиме дистрибутив граббера копируется в директорию Вашего сайта. Все что нужно - указать его драйвер. Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте. >>Пакетный режим: Суть режима заключается в разделении процесса получения новостей от их добавления. Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer), скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает. Преимущества данного режима: Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг; Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен, а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP. Функциональность. Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям; Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице; Возможность ограничения количества одновременных запросов с указанием интервала для паузы;* Возможность добавления "случайных" дат при размещении новостей на Вашем сайте; Возможность проверки новости на уникальность перед добавлением; Возможность поэтапного добавления новостей на Ваш сайт; Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов); Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова; Возможность цензурирования новостей; Возможность "чистки" HTML-кода новости; Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов); * - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой. Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта. (на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden). Оптимизация. Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. По желанию, мы также можем оптимизировать скрипт персонально для Вас. Надеждый механизм работы. Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей. Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы, а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить. Расширяемость. С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и расположены в отдельных библиотеках, что позволит оптимизировать или расширить функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения собственных модулей по обработке контента. Безопасность. Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту. Данную функцию можно включить и выключить в любой момент. Выгодные условия. Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney. При покупке вы получаете: Полный дистрибутив скрипта с открытым исходным кодом и документацией; Драйвера для следующих движков: DLE, IPB, SMF, WordPress, phpBB 3.0.x; Несколько модулей, включая модуль загрузки новостных картинок на Ваш сайт; Отсутствие ограничений по времени использования; Отсутствие привязок (к домену/IP/....); Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца; Бесплатную услугу по написанию драйвера под Вашу CMS (сайт) в течении двух суток с момента покупки; Итого По любым вопросам вы можете обращаться по ICQ: 494-897-304. Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию, где вы можете протестировать его на сайтах, которые Вам интересны. Пишите! -------------------------------------------------------------------------
Нельзя. Этот скрипт писал я и только недавно стал его продавать. Вряд ли, он уже успел появится в паблике. К тому же, он часто обновляется, - появляются новые функции.
эх... скоро появится ще куча говноВарезников с зеркальным контентом и эти люди еще будут пытаться вырваться на первые страницы =( п.с. ТС однозначно + но по функциональности не увидел ничего нового (из того что уже лежит в паблике и на халяву)
Странные ассоциации, как дле - так варезники)) По поводу функциональности - весьма сомневаюсь. Дайте ссылку хотя бы на один граббер, который хэширует результаты и может использовать контент на нескольких CMS.
я бы дал но сейчас влом искать но точно помню что ссылка проскакивала на 4dle К сожалению , но это статистика Вообщем не обращай на меня внимания, я болтун
Не знаю, я пересмотрел много public грабберов, но ничего близкого по функционалу не нашел. Я тоже =)) --------------------------------------------------------------------------------------------------------------- Появилась новая версия. Добавлены новые компоненты: - online-синонимизатор (с поддержкой неограниченного количества баз) - редактор новостей (в визуальном RTE-редакторе или на уровне HTML-кода)
Итак, сегодня выпущен финальный релиз новой версии. В ней большое количество изменений, отмечу только ряд инноваций: - Добавлена возможность размещения новостей от случайного автора из списка; - Добавлена поддержка мета-keywords и meta-description; заполнение этих полей возможно в трех режимах: а) получение непосредственно с сайта-источника; б) с помощью автоматической системы получения ключевых слов через анализ контента; в) по собственным шаблонам; - Добавлен универсальный драйвер удаленного импорта новостей для сайтов, на которых нельзя разместить свой сторонний php код (например, ucoz); По умолчанию, в качестве примера, драйвер настроен на ucoz. - Добавлена возможность пропуска всех дополнительных шагов (просмотра списка новостей, подтверждение добавления) в автоматическом режиме; - А также множество других функций; Также... для моих клиентов я подготовил подарок... В дистрибутив новой версии скрипта входит скрипт, позволяющий поставить граббер на CRON. Данный инструмент закрыт Zend Guard и работает по лицензионным ключам, для получения которых обратитесь ко мне в ICQ. Для каждого клиента доступно до 5 ключей на различные копии вашего граббера, расположенные на разных доменах.
Акция! При покупке скрипта до 10-ого февраля - 10 ключей для крона в подарок! Также, в настоящее время ведется разработка новой версии.
В данный момент идет разработка новой версии. Напомню, что обновления в течении 6 месяцев - бесплатные! Текущая цена - 35 вмз.
Рад сообщить о выходе новой версии. Цена на скрипт составляет 35 wmz. За дополнительную плату могу адаптировать скрипт для парсинга любого сайта. - Добавлена возможность перевода новостей на другие языки; - Добавлена система профайлов для возможности использования различной конфигурации при парсинге различных источников; - Добавлена система контроля добавляемых новостей по белому и черному списках; - Добавлена поддержка парсинга (или генерация) облака тегов; - Множество различных улучшений и инноваций, обеспечивающий мощный инструмент SEO-специалистам по редактированию новостей;
По просьбе клиентов описываю дополнительные услуги: - написание драйвера для импорта контента на любой сайт (от 10 wmz) - написание ядра для экспорта (парсинга) контента с любого типа сайта (от 10 wmz) - продление технической поддержки на месяц (15 wmz) - Продажа дополнительных ключей для крона (0,5 wmz за ключ)
Сегодня выпущено обещанное обновление скрипта. Текущая версия - 6.4 R1 Краткий лог изменений: - Добавлена возможность фильтрации добавляемых новостей по их авторам на сайте-источнике; - Исправлены проблемы совместимости скрипта с DLE 8.5; - Исправлены проблемы с сервисами Google Translate; - Добавлены новые модификаторы ссылок для SEO-оптимизации новостей; - Добавлен собственный инструмент для кодирования ссылок по уникальному алгоритму для защиты собственных новостей от копирования; - Добавлена возможность загрузки картинок на хостинги изображений imageshack и Radikal; - Добавлена функция обновления новостей, ранее размещенных на сайте (замена новостей); - Улучшен алгоритм чтения DLE сайтов; - И многое другое... Стоимость скрипта составляет 35 wmz или эквивалент в рублях. Для клиентов предоставляются дополнительные платные услуги по расширению функционала граббера. Обновления для клиентов в течении 6 месяцев - бесплатно.
Отпуск закончился. В настоящее время я собираю идеи для новой версии граббера, а также продаю текущую Стоимость скрипта - 35 вмз. Чтобы ознакомиться с демо версией - напишите мне в ICQ.