У меня такой вопрос ко всем кто в теме: На сколько актуальны парсеры контента на сегодняшний день, не те парсеры типа CD, которые парсят конкретныве сайты по конкретным привязкам, а имеено автоматы, которым задаешь ключи и они сами находят релевантные статьи? Дело в том, что имеется у меня один проект, который парсит автоматом тонны контента в сутки (порядка гигабайта) непосредственно по ключам. Контент на выходе - чистые статьи от заголовка до последнего абзаца. Программа в продаже, кто заинтересуется, скину ссылку на оф. топик. Сейчас думаю что лучше: направить проект в сторону того, что добавить алгоритмы смешивания контента, добавление картинок и видео по ключам а так же постинг в любые CMS. Т.е. чтобы система была такая: указал ключи, указал куда постить нажал кнопку и у тебя сайты наполняются контентом с картинками видео, можно и комментарии при желании тематические прикрутить. И никаких лишних настроек! Второй вариант: перекинуть проект на другой рынок, где он очень даже нужен. Вопрос: Оно нужно на сегодняшний день кому-то из Вас (дорвейщики, сателитчики и т.п.)? С учетом того, что на выходе можно будет получать не ГС какие-то а сайты с абсолютно структурированным, читаемым и тематическим контентом. И это на полном автомате без необходимости самостоятельно искать доноров и к ним привязываться.
Имеешь в виду, что логика устарела для текущих требований ПС или наоборот еще актуальна? Дело в том, что некоторые из моих клиентов вполне успешно используя кучу стороннего софта делают живучие ДДР по данной схеме. Я лично ее не испытывал, но сделать автомат для такой схемы не проблема. Но ПС то злые стали. Вот я и спрашиваю: стоит ли заморачиваться?
Ответа нет - стоит или не стоит алгоритмы очинь крутые и не кто их палить не будет а на счет контента да хоть мииллионы контента ты будеш делать - забанять все за раз и все в времечко ушло твое драгоценное пока ты бьеш куалдой о камень что бы добыть золото сам теряеш силы в итоге мы стоновимся очень старыми сидя особенно на этом форуме перебирая клавиши в поисках алгоритмов научных исследований парсеров и хрумеров ну и всяких там сикретных корпорация в ввиде разделов которые просто думают что там есть что то сикретное на самом деле ничего сикретного в парсерах нету так как парсеры это уже устарелый вид спама к примеру я спаслю с помощью микроволновой печи
можно чуть подробнее? на какой другой рынок? первый вариант мне кажется вполне может успешно использоваться в умелых руках (в плане продвижения) хотя с другой стороны ваш продукт уже вполне неплох, но не совершенен постеры уже имеются хорошие и еще лучше, они не добывают контент они только его публикуют и делают это превосходно я к тому что бы ваша софтина так же была превосходна во всех планах: добавляйте новые источники, добавьте функционала в область обработки полученного контента и тд над вторым мне кажется можно долго и много работать и много чего придумать не надо делать универсальное дерьмо, которое будет работать с горем пополам лучше совершенствуйте свой продукт, он неплох всегда есть куда расти)
Да, я с удовольствием предоставлю Вам лицензию. Пара развернутых отзывов на Античате мне были бы очень кстати. Если есть еще желающие, я готов предоставить еще 2 лицензии за отзывы. Скачать демоверсию можно по следующей ссылке . За кодами активации стучите в ЛС. Если продукт окажется интересным, я создам официальный топик по своему продукту и отзывы можно будет оставить там. Данная тема сделана не с целью рекламы, а для обсуждения поставленного вопроса, поэтому специально ссылок не даю на проект, кому интересно - по ссылке на скачивание демки разберется))
Внимание, всем, кто предложил поучаствовать в предложенном выше бесплатном тестировании в ЛС были разосланы коды активации. Все остальные могут скачать демоверсию и ознакомиться с обговариваемой в топике программой. Список юзеров, которые получили бесплатные коды активации: - PROJEKTOR77 - magazzz - PHARMATSEFT Просьба проверить личку, активировать программу в ближайшее время и протестировать, после чего оставить свое мнение в данной теме и чуть позже я выложу тему на официальный топик, который создам, где можно будет оставить более подробный отзыв.
Только сегодня обнаружил код. Ок. Счас буду тестировать. Постараюсь отзыв написать как можно быстрее.
Потестил не один раз в боевых условиях) Очень доволен инструментом Теперь текст вообще не проблема, в любых количествах Понравилось следующее: - перво наперво это простота использования (вбил список кеев, указал сколько надо текста, нажал пуск и вуаля чистый текст парсится в файлик, очень полезно для доров) - описание функций (возле многих настроек имеется иконочка с знаком вопроса, при наведении на который описывается подробно данная функция, очень полезная штука когда прогу открыл впервой) - гибкость (можно вбить урл и регулярку для любого поисковика, очень важный момент) а так же можно настроить шаблон для сохранения контента, так же много настроек сохранения текста: можно в один файл или по файлу на ключевик, тоже полезная фича для доров так же есть различные фильтры (для адалта полезно) и много всяких фич которые иногда просто незаменимы вобщем это простой и гибкий парсер текста, плюс ко всему многопоточный и с проксями) для доров самое то! есть у меня ContentDownloader давно и я им собственно пользовался, но теперь заброшу его на полку поскольку я делаю доры и возиться с настройками очень обламывает хотя CD вообще другого разряда инструмент, но мне давно нужен был именно такой парсер Благодарю X-Software за предоставленный инструмент, буду пользоваться постоянно.
ссылка на официальную тему Офтопик запостил, вот ссылка: http://forum.antichat.ru/thread406964.html. Просьба тех, кто тестит, продублировать отзывы в данной теме. Три лицензии я предоставил, к сожалению пока что больше не планирую давать за отзывы. Если хотите протестировать - в приведенной теме есть ссылка на демоверсию, она вполне позволяет протестировать функционал.
Вообщем погонял я прогу. Не знаю что писать, но вроде все ок. Запустил, ввел ключики, Прога напарсила текстов, отсортировала. Разбила на блоки метатеги и контент. А там дальше как хотите и куда хотите. Ну т.е. сделала свое дело, быстро и удобно вроде. Если кому нужно, то очень даже рекомендую
Итак мой отзыв. 1.Несложное меню программы, которое состоит из главного меню и панели инструментов. С лёгкостью разберётся любой человек. 2.Программа собирает тематический текстовый контент с любых поисковиков, для наполнения сайтов, сателлитов, дорвеев. Можно добавлять урлы любых поисковых систем с которых желаете парсить контент. Контент можно сохранить в виде одного файла или каждую статью в отдельный файлик или все статьи по одному ключевику в отдельный файл. Парсер многопоточный. 3.Минимальные системные требования. Единственное условие - обязательная установка .NET Framework 4.0 и выше. Неплохим плюсом будет высокая тактовая частота процессора и хорошая ширина канала, что позволит значительно увеличить производительность программы. 4.Нстройки парсера можно предварительно протестировать в тестере настроек и посмотреть результаты парсинга на страницах без сохранения контента. 5.Суперская фича - шаблон вывода текста! Настраиваем свои шаблоны под нужные нам программы экспорта контента с помощью маркеров: {KEYWORD} - выводит кейворд по которому были отпарсены статьи. [articles] - указывает начало блока статей. Весь текст шаблона до этого маркера будет указан в файле один раз. {TITLE} - заголовок страницы-донора (значение из тега <title>...</title>). {KEYWORDS} - кейворды страницы-донора (значение из метатегов). {DESCRIPTION} - описание кейворды страницы-донора (значение из метатегов). {CONTENT} - тело статьию. {SOURCE} - ссылка источник. [/articles] - указывает конец блока статей. Весь текст шаблона после этого маркера будет указан в файле один раз. 6.Постобработка в менеджере обработки временного контента с возможностью редактирования, если указан ручной способ проверки. 7.Постобработка с возможностью редактирования контента в конечном формате. 8.Конвертация контента в любой формат. 9.Возможность работать с прокси(встроенный тестер работоспособности прокси) и сервисом авоматического распознавания капчи http://antigate.com(указав ключ). 10.Имеется возможность настроить свои фильтры чтобы отфильтровать контент во время парсинга. Можно создавать свои регулярные выражения и соответственно задавать действия для них. Например, парсить или удалять абзацы или статью целиком с признаками соответствия регулярному выражению. Или удалять само включение, которое вы укажете. 11.Всплывающие функциональные подсказки при наведении курсора на иконку со знаком вопроса. Очень помогает, если забыли, за что отвечает тот, или иной параметр. 12.Мне как дорвейщику очень понравился инструмент для сбора текстовки. Рекомендую. Ну, а сателлитчикам, вообще незаменимая вещь! Автору X-Parser-Light большое спасибо за предоставленную лицензию! Побольше бы таких продуктов.
