Программа или сервис для парсинга выдачи по своему сайту

Discussion in 'ПО для Web разработчика' started by coryphaeus, 19 Sep 2017.

  1. coryphaeus

    coryphaeus Member

    Joined:
    15 Mar 2017
    Messages:
    34
    Likes Received:
    10
    Reputations:
    0
    Ну собстенно сабж. Когда вводишь в поисковую строку site:свойсайт - ПС выдает все ссылки которые у нее есть. На одном сайте у меня много неработающих ссылок которые я хотел бы почистить. Слишком много чтобы вручную копировать их из поисковика. Может есть какая то порга для автоматизации сего дела. С меня дружба, любовь))
     
  2. boroda22

    boroda22 Member

    Joined:
    16 Sep 2017
    Messages:
    27
    Likes Received:
    6
    Reputations:
    0
    Чем web-мастер поисковика плох ? Отображает внутренние и внешние ссылки.
     
  3. coryphaeus

    coryphaeus Member

    Joined:
    15 Mar 2017
    Messages:
    34
    Likes Received:
    10
    Reputations:
    0
    Да он по моему там не все отображает
     
  4. coryphaeus

    coryphaeus Member

    Joined:
    15 Mar 2017
    Messages:
    34
    Likes Received:
    10
    Reputations:
    0
    И еще вопрос в догонку. Опять же, нужен сервис который бы список урлов прогнал по роботс.тхт - проверил бы какие заблочены а какие нет.
     
  5. Brokers

    Brokers New Member

    Joined:
    26 Nov 2017
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    А для чего вообще парсят сайты?