Кто-нибудь может подсказать, как получить количество страниц в индексе Yandex и Google? Вроде в Yandex можно использовать XML-лимиты, но не всегда они есть в наличии. Есть какой-нибудь способ спарсить в лоб точное значение количества страниц в индексе? У Google есть некий публичный json-овский API (под рукой ща ссылки на него нет), но там данные совсем не совпадают с теми, которые показывает Google на странице с результатами поиска.
Для твоего сайта? Можно юзать статистику из https://webmaster.yandex.ua/ https://www.google.com/analytics/web/ Ну или пaрсить по дорку site:мой_сайт)) !!! Можно под каждый сайт пилить `пользовательский поиск гугл для сайта`Вот у пользовательского JSON имеется
Кк по мне лучше всего парсить эти данные из разных источников ротируя их. Из одного парсить не вариант ибо рано или поздно тебя забанят а если парсить будешь и десятка таких сервисов сможешь дольше жить.
Повторюсь, создаешь пользовательский поиск гугл, вбиваешь туда нужный сайт, можно несколько, и юзаешь его, выдача будет только для выбранных сайтов ну и плюс там JSON имеется, таким образом можно дорки по конкретным сайтам искать))
