A-Parser - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Discussion in 'Услуги, Покупка и Продажа в SEO' started by A-Parser Sup, 10 Aug 2012.

  1. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries

    [​IMG]

    Улучшения
    • Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
    • NodeJS обновлен до 16.15.0
    • В [​IMG] SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
    • В парсере [​IMG] Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
    • В [​IMG] Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
    • В [​IMG] SE::YouTube добавлен сбор количества подписчиков канала
    • В [​IMG] SE::Google::Trends добавлен сбор id тем для related topics
    • В парсере [​IMG] Shop::Wildberries:: ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
    • Добавлен парсер подсказок Wildberries: [​IMG] Shop::Wildberries::Suggest
    • В [​IMG] Shop::Wildberries:: ProductInfo добавлен сбор дополнительных данных
    • В [​IMG] SE::Google::Images добавлены новые типы в Usage rights
    • Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
    • В [​IMG] Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
    • Улучшена работа с Chromium из JavaScript парсеров
    • В [​IMG] Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена ошибка в Shop::Wildberries:: ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
    • Исправлена загрузка каптч в SE::Yandex::Images
    • Устранена утечка памяти в парсере DeepL::Translator, а также другие ошибки
    • Исправлена работа проксичекера с socks5 IPv6 прокси
    • Исправлена работа опции Don't verify TLS certs в некоторых случаях
    • Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
    • Исправлено зависание Тестового парсинга при редактировании кода парсеров
    • Исправлен проход по редиректам в HTML::LinkExtractor
    • Исправлен выбор домена в SE::Yahoo
    • Исправлена заспамленость лога ошибками при использовании Maps::Yandex
    • Исправлен сбор результатов $records в Net:: DNS
    • Исправлена ошибка когда не находилась следующая страница опцией Check next page

    [​IMG] [​IMG]
     
  2. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    XEvil 5.0: лучший в мире софт для решения капч. СКИДКИ!

    Рады представить вам разработку нашего партнёра:
    XEvil 5.0 - известную во всём мире программу для решения большинства существующих капч, самую быструю и точную по сравнению с аналогами.

    Программа полностью совместима с A-Parser, прекрасно справляется с капчами Yandex, Rambler, Google, BING и тысячами других.

    [​IMG]

    • Решение свыше 12.000 типов капч, в том числе ReCaptcha v.2 и v.3, Yandex, Google, Microsoft (Bing), SolveMedia, BicoinFaucet, Gosuslugi и множества других.
      Подготавливаемый к релизу XEvil 6.0 также будет поддерживать решение hCaptcha, ReCaptcha Enterprize и FunCaptcha.
    • никаких лимитов на число распознаваний и число потоков! можете решать хоть миллионы капч в день, это ничего не будет стоить - достаточно лишь один раз купить лицензию (она пожизненная)
    • гибкий API, совместимость с сотнями программ (A-Parser, GSA, XRumer, ZennoPoster, BAS, FaucetCollector, Key Collector и др.),
      в комплекте также идет браузерный плагин XEvil Solver Plugin
    • оперативные доработки по пожеланиям клиентов, дообучение новым капчам
    • простой и понятный интерфейс, разберется даже школьник!
    Всем нашим клиентам мы предлагаем набор купонов,
    дающих скидку 60% на покупку любой лицензии XRumer + XEvil:
    при покупке лицензии Стандарт вы экономите более 7000 рублей (купоны действуют до 15-го июня):

    APXEVIL-60-220616-ga5zoamjuon9jb5y
    APXEVIL-60-220616-ga5zoamjuoy8kx4k
    APXEVIL-60-220616-ga5zoamjuoun97t4


    За дополнительными купонами вы можете обратиться в техническую поддержку A-Parser

    Официальный сайт программы:
    http://botmasterru.com/

    Спасибо за внимание!

    [​IMG] [​IMG]
     
  3. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Сборник рецептов #50: скриншоты выдачи Google и подсказки Авито

    50-й сборник рецептов, в который вошли парсер для создания скриншотов выдачи встроенного парсера (на примере Google) и парсер подсказок Avito.

    Скриншоты выдачи Google

    Демонстрация способа создания скриншотов страниц, получаемых другими парсерами.
    Для примера используется парсер Google. В результате формируется файл со списком спаршенных ссылок и файл со списком созданных скриншотов. Скриншоты складываются в отдельную папку. По аналогии можно делать скриншоты выдачи, получаемой другими парсерами.

    [​IMG]

    Подсказки Авито

    Парсер для сбора подсказок на Авито с возможностью указать локацию и парсингом в глубину.

    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  4. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Курс «Специалист по дропам и PBN», используя A-Parser (+включает лицензию)

    [​IMG]

    Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

    Старт - 27 июня.

    Что это за обучение?
    Николай научит и покажет на реальных кейсах и примерах:
    • какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
    • как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
    • как строить PBN, что с ними делать дальше и как на них зарабатывать
    • как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

    Для кого это обучение?
    • Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения PBN, понимать процесс и контролировать качество работы.
    • Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток. Или кто хочет строить сетки под свои проекты. Для тех, кто ищет новые методы линкбилдинга.
    • Для тех, кто хочет с нуля освоить в новом году новую профессию. И стать специалистом в денежной сфере — PBN.

    Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

    Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

    Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
    И на FB странице Николая - Facebook
     
  5. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих

    [​IMG]

    Улучшения
    • Добавлен новый парсер [​IMG] CoinMarketCap::LastPrice
    • Парсер [​IMG] SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
    • Парсеры [​IMG] SE::Yandex::WordStat, [​IMG] SE::Yandex::WordStat::ByDate и [​IMG] SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
    • [​IMG] HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы [​IMG] HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
    • Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
    • Увеличено максимальное кол-во страниц в [​IMG] SE::Google до 100
    • Добавлен сбор даты со сниппета в парсерах Google
    • В парсере [​IMG] SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
    • В парсере [​IMG] Shop::Wildberries:: ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
    • В парсере [​IMG] SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
    • В [​IMG] SE:: DuckDuckGo добавлено опцию Use HTTP/2
    • [​IMG] Net::HTTP: добавлена опция Ban Proxy Code RegEx
    • Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
    • Добавлена опция needResults для this.parser.request
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
    • Исправлена ошибка в опции Follow common redirects
    • Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

    [​IMG] [​IMG]
     
  6. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

    51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

    Парсер BuiltWith.com. История IP-адресов и взаимосвязи

    Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
    Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.

    [​IMG]

    Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети

    При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.

    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  7. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям

    [​IMG]

    Улучшения
    • В [​IMG] SE::Google добавлен парсинг People also ask
    • В [​IMG] Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
    • Реализована защита от gzip bomb
    • В [​IMG] SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
    • Улучшена работа с сессиями в [​IMG] SE::Yandex::WordStat
    • Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
    • Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
    • JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
    • JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
    • В [​IMG] SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
    • [​IMG] HTML::TextExtractor - оптимизирована скорость обработки
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с зависанием [​IMG] HTML::TextExtractor::LangDetect на некоторых запросах
    • Исправлена работа методов tools.task.* в JS API v2
    • Исправлена ошибка кодировки в Net::HTTP
    • Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
    • Исправлена ошибка со сбором title в Shop::Wildberries:: ProductInfo в некоторых случаях
    • В Shop::Wildberries:: ProductsList исправлен парсинг тегов
    • Исправлена работа SE::Bing::Translator в некоторых случаях
    • Исправлена некорректная инициализация Node на лицензии Enterprise
    • В SE::Bing - исправлена ошибка с выводом $pages

    [​IMG] [​IMG]
     
  8. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Как использовать A-Parser для крауд-маркетинга


    Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

    Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

    В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

    Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.


    Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: https://t.me/seoantteam
     
  9. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Автоматизация в SEO: как заменить отдел джунов парсером?

    Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"

    [​IMG]

    В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:
    • Что такое парсер
    • Сколько стоит джун в SEO
    • Проблемы в SEO
    • Автоматизация рутинных задач
    • Кластеризация
    • Мониторинг позиций
    • Комбинируем пресеты для решения любых задач
    • Тех. анализ и мониторинг
    и другие решения с помощью A-Parser

     
  10. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

    52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

    Универсальный чекер e-mail

    Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.

    [​IMG]

    Парсер отзывов Wildberries Reviews

    Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.

    [​IMG]

    Сбор двойных ссылок одного сайта из Google выдачи

    Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.

    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  11. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)

    [​IMG]

    Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

    Старт - 26 сентября.

    Что это за обучение?
    Практический курс, после которого вы научитесь и узнаете:

    — какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
    — как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
    — как строить PBN, что с ними делать дальше и как на них зарабатывать
    — как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

    Для кого это обучение?
    — Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
    — Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

    Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

    Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

    Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
    И на FB странице Николая - https://www.facebook.com/nkodiy/posts/5305252276258938

    [​IMG]
     
  12. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах

    [​IMG]

    Улучшения
    • Добавлен парсер позиций DuckDuckGo: [​IMG] SE:: DuckDuckGo:: Position
    • Добавлен парсер Яндекс Балабоба: [​IMG] SE::Yandex::Balaboba
    • Реализована работа с XEvil через API Antigate v2
    • Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в [​IMG] SE::Google
    • Обновлен список доменов в [​IMG] SE::Yandex
    • В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в [​IMG] SE::Yandex убран параметр Links per page
    • В [​IMG] HTML::LinkExtractor и [​IMG] Check::BackLink добавлен сбор <a> тега
    • В [​IMG] Shop::AliExpress добавлена поддержка сессий
    • В [​IMG] HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
    • В парсере [​IMG] DeepL::Translator актуализирован список языков
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен выбор региона в SE::Yandex
    • Исправлена обработка url с кириллицей в PAA SE::Google
    • Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
    • Исправлена ошибка логина в парсере SE::Yandex:: Direct
    • В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
    • SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
    • Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
    • Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
    • Исправлена доступность fs.constants

    [​IMG] [​IMG]
     
  13. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

    Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

    Обзор вариантов вывода результатов в JSON виде

    Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.

    [​IMG]

    Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)

    В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
    В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.

    [​IMG]

    Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами

    Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
    Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
    Кейсы по применению нашего парсера Google и его описание:
    https://a-parser.com/docs/parsers/se-google

    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG] [​IMG]
     
  14. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

    53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

    Парсинг популярных запросов за сутки Google Trends

    Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.

    [​IMG]

    Парсер yep.com

    Простой пресет для парсинга поисковой системы yep.com.

    [​IMG]

    Yandex - проверка на содержание доменов в выдаче

    Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.

    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  15. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок

    [​IMG]

    Улучшения

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлено лишнее использование сессии на последней попытке в [​IMG] SE::Google
    • Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
    • Исправлена ошибка в [​IMG] Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
    • Исправлен баг в [​IMG] SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
    • Исправлена проблема в [​IMG] Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
    • В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
    • Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

    [​IMG] [​IMG]
     
  16. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Обновленные пресеты в каталоге A-Parser

    Парсинг базы фильмов из IMDB
    Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

    Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
    Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

    Парсер профиля YouTube
    Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

    Парсинг istio.com
    Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

    Оценка страниц с использованием Lighthouse
    Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

    Еще больше различных парсеров и пресетов в нашем Каталоге!
    Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

    [​IMG] [​IMG]
     
  17. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Видео урок: Сбор форм комментариев с помощью A-Parser

    Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.



    Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

    Плейлист со всеми видео уроками от DIM STUDIO

    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG] [​IMG]
     
  18. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Обновленные пресеты в каталоге A-Parser ч.2

    Обновление пресетов в Каталоге примеров A-Parser часть 2

    Парсинг количества трафика на сайтах
    Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

    Сохранение в результатах TOP-3 Google
    Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

    Парсер Яндекс Кью
    Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

    JS::MailValidator
    Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


    Еще больше различных парсеров и пресетов в нашем Каталоге!
    Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

    [​IMG]

    [​IMG]
     
  19. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок

    [​IMG]

    Улучшения
    • Добавлены новые парсеры:
      • [​IMG] Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
      • [​IMG] Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
      • [​IMG] SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
    • Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
    • Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
    • JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify
    Исправления в связи с изменениями в выдаче
    • Исправлен парсинг PAA в [​IMG] SE::Google
    • В [​IMG] SE::Google::Cache исправлена ошибка, из-за которой отсутствовали результаты по некоторым запросам
    • Исправлен [​IMG] GooglePlay::Apps, изменен набор собираемых данных
    • Исправлена работа [​IMG] Net::Whois с доменной зоной .fr
    • В [​IMG] SE::Yandex::SQI убраны переменные $user_choice и $popular, т.к. эти данные больше не отдаются
    • [​IMG] Check::RosKomNadzor, [​IMG] Shop::Wildberries:: ProductsList, [​IMG] Shop::Wildberries:: ProductInfo, [​IMG] Rank::Ahrefs, [​IMG] Rank::Ahrefs::KeywordDifficulty, [​IMG] SE::Google::Images, [​IMG] Rank::MajesticSEO
    Исправления
    • В [​IMG] SE::Yandex исправлена ошибка с определением бана на мобильной верстке
    • В [​IMG] SE::Google::Translate теперь headless включен по-умолчанию
    • Исправлена проблема с русскоязычными именами файлов в функции "Запустить по завершению"
    Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
    График работы поддержки на праздники

    [​IMG]

    [​IMG]
     
  20. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

    Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера [​IMG] Check::BackLink



    Плейлист со всеми видео уроками от DIM STUDIO

    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG]

    [​IMG]