1.2.1794 - поддержка Cloudflare Turnstile, множество исправлений во встроенных парсерах Улучшения Добавлен парсер для разгадывания каптч Cloudflare Util::Turnstile В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса captchas.io В Rank::CMS добавлена возможность выводить $response В Cloudflare::Radar добавлена возможность выводить raw data Исправления в связи с изменениями в выдаче Исправлена работа с каптчами в парсерах Яндекс Исправлена работа SE::Google::TrustCheck для мобильной выдачи Исправлена работа с каптчами в парсерах Ahrefs Исправлен парсинг сниппетов в SE::Seznam Исправлен парсинг related keywords в SE::Baidu и SE::Bing Исправлен парсинг totalcount в SE::Yahoo Исправлена работа Check::RosKomNadzor при выборе одного из доменов SE::Google, SE::Yandex, SE::Google::Images, SE::Google::ByImage, SE::Bing::Translator, Cloudflare::Radar, Shop::Amazon, Shop::eBay, SE:ogpile::Images Исправления Исправлена работа SE::Yandex::ByImage с запросами, содержащими символы кириллицы
Обновление пресетов в Каталоге примеров A-Parser Парсинг Авито Парсер площадки объявлении Авито. Исправлена работа в связи с изменениями на источнике Парсер prom.ua Парсер маркетплейса prom.ua. Позволяет собирать данные из объявлений, включая имена продавцов и номера телефонов. Исправлен проход по пагинации и сбор данных со страниц объявлений Парсер отзывов Wildberries Reviews Парсер отзывов Wildberries Reviews. Сбор отзывов по товарам с wildberries.ru в csv таблицу Исправлена работа парсера Парсинг ресурса Booking.com Парсинг ресурса Booking.com, получение результатов поиска квартир и отелей на сайте. Поправлены регулярные выражения Добавлена возможность задавать нужную валюту Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram Парсер, который позволяет проверять изменения на разных страницах и получать уведомления в Telegram Парсер переписан на JS APIv2 Добавлена возможность проверять значения в заголовках Парсинг объявлений из olx.ua/olx.pl Парсер международной площадки объявлений OLX. Позволяет собирать данные из объявлений, включая цены, имена авторов, телефоны, адреса и т.д. Реализована автономность в работе с доменными зонами Адаптация к изменениям на источнике (включая восстановление возможности сбора телефонов) Еще больше различных парсеров и пресетов в нашем Каталоге! Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
Кейсы с использованием A-Parser от Ant-Team.ru Представляем вашему вниманию несколько кейсов от Ant-Team.ru в которых был использован A-Parser. Что влияет на позиции сайта в Google? Кейс по работе с PBN: растем в 3 раза по трафику и на 345% по позициям Статья посвящена опыту продвижения сайта в поисковой системе Google работая с PBN (Private Blog Network). В статье представлена детальная инструкция, рассмотрены трудозатраты и показаны скриншоты по позициям и трафику. Также пошагово описан подход к работе со ссылками, показано как собиралась сетка PBN и какие результаты это принесло. Понятно, что они пишут в большей степени клиентские кейсы, где технической стороне уделяется не так много внимания. Но всё, что они сделали, основано на А-Парсере. Все дропы, которые они собирают, проверяют и агрегируют у себя в базе для последующей обработки, они получают с помощью нашего парсера. Рекомендуем ознакомиться со статьей и понять, каких результатов можно достичь, используя A-Parser. ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов Еще один интересный кейс, но уже не по аукционникам, а по реальным дропам, которые можно найти с помощью A-Parser. Здесь описывается опыт работы с PBN и приводятся советы по использованию этого инструмента для создания качественных обратных ссылок на сайт. Также рассказывается о том, как автор использовал подклейку доменов для улучшения авторитета своего сайта и приводятся советы по выбору подходящих доменов. Кроме того приведены примеры использования A-Parser для автоматизации поиска доменов. А-Parser собирает все внешние ссылки с указанного домена и используется для массовой проверки доступности доменов и получения информации о них. В статье, как обычно, минимум технической информации, но они активно отвечают на вопросы в комментариях. Если интересно, то спрашивайте, как искать подобные дропы и что для этого нужно. А зачем вообще это делать? Ответ очевиден: взять топ Гугла за 35 дней способен не каждый. Если вы занимаетесь продвижением сайтов и хотите узнать больше о PBN и подклейке доменов, мы рекомендуем вам прочитать данную статью.
Курс по PBN от Ant-Team.ru Ребята из Ant-Team.ru запустили курс по PBN Курс полностью основан на A-Parser и разбит на две части: проф. и стандартная. В профессиональной версии все процессы парсинга полностью автоматизированы и не требуют каких-либо доработок, вплоть до дашбордов с дропами и статистикой по ним. В стандартной версии Ant-Team научат вас настраивать A-Parser и парсить дропы в ручном режиме. Набор на курс продлится до 30 марта, но начать обучение можно уже сегодня. Программа и регистрация по ссылке: https://pbn-course.ru/
1.2.1848 - 2 новых парсера, множество улучшений и исправлений во встроенных парсерах Улучшения Добавлены новые парсеры: SE::YouTube::Video - позволяет парсить данные о видео на Youtube (включая субтитры) Rank::BingAnalytics - парсер данных из аналитики Bing в боковой панели Edge В связи с неактуальностью удалены следующие парсеры: Rank::Alexa, Rank::Alexa::API, SE::MailRu, SE::MailRu:: Position Исправлен парсинг вопросов-ответов (PAA) в SE::Google Улучшена обработка 404-го кода ответа в Rank::KeysSo В Rank::Ahrefs::KeywordDifficulty в переменные добавлен shortage В Util::Turnstile добавлен провайдер CapSolver Во всех парсерах Ahrefs добавлена опция Turnstile pass proxy, подробнее здесь В парсерах Bukvarix добавлена возможность использовать свой API ключ, дополнительная информация здесь В Maps::Google добавлена возможность получать ссылку на "Я владелец компании" В SE::Google::KeywordPlanner добавлена возможность парсить тренды поисковых объёмов, дополнительная информация здесь Обновлен список языков в DeepL::Translator В Social::Instagram:: Profile добавлена возможность парсить с авторизацией Улучшено определение наличия кеша в SE::Google::Cache В Net::Whois добавлен новый метод обработки результатов для некоторых доменных зон Продолжается миграция встроенных парсеров на JS APIv2, в этом релизе переписано 10 парсеров Исправления в связи с изменениями в выдаче Исправлена работа SE::Yandex::Register через Chrome, дополнительная информация здесь В SE::Google не собирались результаты при типе News, также исправлено получение $totalcount при отсутствии результатов Исправлена работа SE::Yandex:: Position при выборе Search sites from (rstr=) В Shop::Yandex::Market исправлен парсинг цен Исправлены и адаптирован к изменениям на источниках: SE::Google, SE::Yandex::SQI, Rank::KeysSo, Cloudflare::Radar, SE::Quora, SE::Yandex::Translate, Shop::AliExpress, SE::Startpage, Rank::Ahrefs Исправления Исправлено зависание задания во время повторного запуска Исправлена ошибка с отправкой сообщения о неверно разгаданной каптчи в Util::AntiGate В CoinMarketCap::LastPrice был пустой $data Rank::Ahrefs::KeywordGenerator не переходил к решению каптчи при определенном формате результата Исправлена ошибка в SE::Yandex:: Direct::Frequency, из-за которой при использовании аккаунтов все запросы были неудачные Исправлен SEO:: Ping Исправлено декодирование сущностей в Rank::MOZ JS парсеры: исправлен this.utils.urlFromHTML(), не все сущности корректно декодировались Артур Корсаков запускает мастер-группу по Техническому SEO Курс состоит из 3х частей: Блок 1 Технический аудит сайта, Исследование кода Яндекса, Скрытие ссылок от различных сервисов, Клоакинг для серых ниш. Блок 2 Парсинг структуры конкурентов, Работа с Chat GPT, Работа с релевантностью. Блок 3 Настройка программы A-Parser, Создание собственных пресетов, Парсинг тематических дропов с ссылками из Википедии, Работа с ссылочным профилем. Тем, кто присоединится до пятницы, 31 марта (включительно), получат доступ до июля к эксклюзивной бета-версии закрытого инструмента ГАР (Гибридный анализ релевантности). В которую уже входят следующие функции: Анализ на основе формулы SWBM25 (хитрый BM25 в скользящем окне), Рекомендации по микроразметке, Семантические Коконы. Старт планируется 3 апреля! Подробности по ссылке: https://vk.com/@-213214163-master-gruppa-po-tehnicheskomu-seo-2023 Чтобы присоединиться нужно написать лично Артуру по любому из контактов: https://artur2k.ru/about/
Обновленные пресеты в каталоге A-Parser Обновление пресетов в Каталоге примеров A-Parser Парсинг поиска ВК Сбор результатов поиска в социальной сети Вконтакте. Добавлен Check content Адаптация к изменениям на источнике Получение списка пользователей, которые поставили у заданного объекта отметку «Нравится» в VK Парсер для парсинга списка пользователей, которые лайкнули пост во Вконтакте. Переделан в JS парсер Адаптация к изменениям на источнике Поддержка фото и видео Поддержка API: вместо куки remixstid теперь следует использовать ваш ключ доступа (access_token) Мелкие правки Подсказки pornhub Парсер подсказок сайта для взрослых pornhub.com Переделан в JS парсер Адаптация к изменениям на источнике Парсер Яндекс Кью Парсер для сервиса Яндекс Кью, позволяющий собрать списки вопросов и ответов к ним Добавлен парсинг страницы ответов Адаптация к изменениям на источнике Рефакторинг JS::Chrome::ScreenshotsMaker Парсер для создания скриншотов сайтов с использованием puppeteer(Chrome) Поддержка pdf формата (возможность сохранять страницы в PDF) Фильтрация по множеству признаков Пример фильтрации страниц по большому количеству признаков Парсер переписан на JS APIv2 Исправлен баг с дублированием сигнатур Еще больше различных парсеров и пресетов в нашем Каталоге! Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
Сборник рецептов #54: Google Shopping, Циан и парсер новостей с автоматическим переводом 54-й сборник рецептов, в котором представлены парсер Google Shopping, парсер базы недвижимости Циан и парсер новостей с автоматическим переводом контента на указанный язык. Google Products Парсер товаров по ключевым словам из выдачи Google Shopping Парсер Циан Парсер результатов поиска (с возможностью задать любые фильтры) на cian.ru Парсер новостей inshorts.com с переводом контента Парсер новостей inshorts.com с переводом контента через переводчик Deepl Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники рецептов
1.2.1886 - обновление компонентов, новые возможности в работе с аккаунтами Яндекса, фиксы парсеров Улучшения Обновление NodeJS до 18.15, Puppeteer до версии 19.11.0 и Chrome до 112-й версии Добавлен обход CloudFlare в Net::HTTP при Engine = Chrome Добавлены новые возможности в работе с аккаунтами Яндекса: SE::Yandex::Register теперь сохраняет использованный прокси и ответ на секретный вопрос SE::Yandex::WordStat использует для логина сохраненный прокси и умеет при необходимости отвечать на секретный вопрос В SE::Yandex добавлена возможность указывать id региона в обход существующего списка Улучшена работа Net:NS, добавлена совместимость с некоторыми серверами Улучшен парсинг анкоров беклинков в Rank::Ahrefs Исправления в связи с изменениями в выдаче SE::Google - адаптация к изменениям в верстке Исправлена работа с каптчами в SE::Yandex и SE::Yandex::WordStat Исправлена работа Shop::Yandex::Market при запросах в виде ссылки Исправлен парсинг фото в Shop::Wildberries:roductInfo Исправлена ошибка при обработке каптчи в SE::Yandex::ByImage SE::Yandex, SE::Bing, SE::Seznam, SE::Baidu, SE::Google::Images, Rank::KeysSo, Rank::MajesticSEO, Rank::Ahrefs::KeywordDifficulty, Maps::Yandex, Shop::Wildberries:roductInfo, SE::Yandex::ByImage Исправления Исправлено использование переменных из Конструктора запросов в Начальном тексте Исправлена работа Net::Whois с доменами зоны .it, а также исправлено определение незарегистрированных доменов В SE::Yandex::WordStat исправлена ошибка, из-за которой парсер повторно не авторизовался
Обновленные пресеты в каталоге A-Parser Обновление пресетов в Каталоге примеров A-Parser Парсинг данных о Youtube канале Парсер собирающий информацию со страницы о канале, кроме email который виден после авторизации. Так же собирает email из описания канала. Добавлено: парсинг ника канала, который начинается на @, кол-во видео Парсер Google Places Получение результатов поиска на Google Places Переписан на TypeScript Адаптация к изменениям на источнике Парсинг Авито Парсинг объявлений на avito.ru Запрос для получения номера теперь отправляется только в том случае, если в формате результата задан вывод номера Анализ ключевых слов на seranking.com Парсер для анализа ключевых слов с помощью сервиса seranking.com Переписан на TypeScript Добавлена поддержка разгадывания капчи - опция Util::ReCaptcha2 preset. Разгадывание капчи теперь обязательно Добавлена опция Currency с значением по умолчанию EUR Полностью переработаны собираемые результаты, они немного отличаются от предыдущих и их стало больше Парсинг пользователей из группы ВК Парсинг всех пользователей из любой группы Вконтакте через API Адаптация к изменениям на источнике Еще больше различных парсеров и пресетов в нашем Каталоге! Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
Сборник рецептов #55: сокращатель ссылок и парсер сервиса статистики и аналитики HypeStat 55-й сборник рецептов, в котором представлены парсер для сокращения ссылок с возможностью выбрать из 6-ти сервисов сокращения и парсер HypeStat - бесплатного сервиса статистики и аналитики. Сокращатель ссылок Данный парсер позволяет массово сокращать ссылки. На данный момент поддерживается 6 сервисов сокращения, можно выбрать любой из них, а также присутствует режим случайного выбора. Парсер HypeStat HypeStat - это бесплатный сервис статистики и аналитики, где вы можете найти информацию о каждом веб-сайте. Данный парсер собирает следующие данные: Technologies Summary, Traffic Summary, Traffic Sources, Competitive Data (SEMrush), Reputation Ratings (MyWot.com), DNS Lookup, Whois Lookup. Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники рецептов
