Как скачать с сайта из определенного каталога

Discussion in 'Песочница' started by Forserer, 9 Sep 2015.

  1. Forserer

    Forserer New Member

    Joined:
    16 Aug 2015
    Messages:
    58
    Likes Received:
    2
    Reputations:
    0
    Добрый день, возможно название темы звучит глупо, суть объясню лучше.
    Значит есть некий сайт, в нем есть фото каталог, путь до файлов такого вида

    http://САЙТ/contents/albums/main/размер фото/1234/1234/123456.jpg
    и собственно вопрос как быстро просканировать и скачать все картинки? Где цифры вида 1234 они постоянно разные но обычно идут в порядке возрастания, например 0/312/4326.jpeg
    Пробовал через загрузчик сайтов, по маске, просто задавал маску в данной ссылке и он методом перебора уже находил и скачивал, но это нереально долго сами понимаете, возможно есть какой то более быстрый метод?
     
  2. user6334

    user6334 Member

    Joined:
    29 Jun 2015
    Messages:
    296
    Likes Received:
    17
    Reputations:
    12
    Если не ошибаюсь, то указанный вами путь - виртуальный, со всеми вытекающими отсюда последствиями. И вообще не понятно, чем вам парсинг не нравиться?
     
  3. Forserer

    Forserer New Member

    Joined:
    16 Aug 2015
    Messages:
    58
    Likes Received:
    2
    Reputations:
    0
    Не совсем понял про "виртуальный" как применить парсинг в данной ситуации?
     
  4. user6334

    user6334 Member

    Joined:
    29 Jun 2015
    Messages:
    296
    Likes Received:
    17
    Reputations:
    12
    Виртуальный значит его веб-сервер так задает. Вы уже применили парасинг, только с помощью тулзы
     
  5. d3q

    d3q New Member

    Joined:
    6 Sep 2015
    Messages:
    7
    Likes Received:
    3
    Reputations:
    0
    Можно попытаться выявить закономерность в названии файлов. Если её нет, и просмотр директории не доступен, то только полным перебором, собственно, как Вы уже и пытались.
     
  6. waik

    waik Elder - Старейшина

    Joined:
    2 Nov 2008
    Messages:
    405
    Likes Received:
    163
    Reputations:
    12
    ссылку скинь в ЛС. Скачаю.
     
  7. grimnir

    grimnir Members of Antichat

    Joined:
    23 Apr 2012
    Messages:
    1,114
    Likes Received:
    830
    Reputations:
    231
    Залить шелл и скачать все сразу быстро бесплатно и без СМС
     
    _________________________
  8. user6334

    user6334 Member

    Joined:
    29 Jun 2015
    Messages:
    296
    Likes Received:
    17
    Reputations:
    12
    Кстати, фото могут быть не в каталоге, а в базе, либо вообще погружаться с другого ресурса
     
  9. Forserer

    Forserer New Member

    Joined:
    16 Aug 2015
    Messages:
    58
    Likes Received:
    2
    Reputations:
    0
    Фото в базе, каталога как такового нет, единственный вариант видимо сливать через какой нибудь загрузчик сайтов, предварительно настроив на скачку только изображений и только определенного размера, но это весьма долгое занятие, всем спасибо за советы, будем дальше колдовать :)
     
  10. sbermonstr

    sbermonstr Member

    Joined:
    10 Sep 2015
    Messages:
    2
    Likes Received:
    5
    Reputations:
    0
    в рунете дофига полезных загрузчиков, просто нужно открыть гугль
     
    Xelo likes this.
  11. Forserer

    Forserer New Member

    Joined:
    16 Aug 2015
    Messages:
    58
    Likes Received:
    2
    Reputations:
    0
    В Рунете вообще всего дофига, проблема в качестве всего этого софта, очень проблематично найти под свои нужды необходимую программку, приходится перебирать кучу софта пока найдешь что то подходящее, на данный момент нашел не плохой загрузчик сайтов, при должной настройке вроде находит и скачивает нужно, но весьма долго(количество потоков менял самособой)
     
  12. user6334

    user6334 Member

    Joined:
    29 Jun 2015
    Messages:
    296
    Likes Received:
    17
    Reputations:
    12
    Ну, я бы ничего искать на вашем месте не стал, а написал бы сам небольшой скриптик, ничего сложного в этом не вижу
     
Loading...
Similar Threads - скачать сайта определенного
  1. zase
    Replies:
    1
    Views:
    3,541
  2. Shadows_God
    Replies:
    14
    Views:
    8,041