Скачать все фото с сайта

Discussion in 'Болталка' started by Ivan_vk, 6 Feb 2013.

  1. Ivan_vk

    Ivan_vk New Member

    Joined:
    9 Oct 2012
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Приветствую всех!

    Очень нужна помощь! :)
    Описание проблемы - для интернет-магазина нужны фотографии товара в высоком качестве + в разном ракурсе и цветах каждый товар. Товара достаточно много > 10к.
    Соответственно фото будет как минимум в 2-3 раза больше.

    Есть интернет-магазин, где представлен такой товар, тех же брендов и все фотографии необходимые имеются. Но делится они естественно не хотят.

    Вопрос - как можно решить эту проблему? Есть ли спец софт который сможет это все качественно выполнить? Возможно есть кто-то кто зарабатывает такой работой?

    (Варианты "договориться с сайтом" и т.п. не предлагать :) )


    P.S. я уверне, что многие сталкивались с такой проблемой и есть рациональное решение.

    HELP!!! HELP!!! HELP!!! HELP!!!
    :confused:
     
    #1 Ivan_vk, 6 Feb 2013
    Last edited: 6 Feb 2013
  2. kas1732_

    kas1732_ New Member

    Joined:
    5 Nov 2008
    Messages:
    11
    Likes Received:
    1
    Reputations:
    0
    Как вариант HTTrack! Ну или TeleportPro, offline explorer и т.д...
     
  3. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    1. Скачай весь сайт к себе на хост: wget -r -P /home/username/site/ http://site.ru/
    2. Затем удали все кроме картинок из этой папки.

    Удачи.
     
  4. taraska

    taraska New Member

    Joined:
    1 Feb 2013
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Могу спарсить в личку напиши, я тебе написал нет ответа((
     
  5. Ivan_vk

    Ivan_vk New Member

    Joined:
    9 Oct 2012
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    спасибо!
     
  6. Ivan_vk

    Ivan_vk New Member

    Joined:
    9 Oct 2012
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    наверно покажусь безнадежным новичком, но можно подробнее как именно скачать себе весь сайт на хост и т.д.

    Заранее спасибо)
     
  7. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    1. Открыть консоль.
    2. Выполнить команду:

    $ wget -r -P ~/site/ http://site.ru/

    , где:

    site - директория, которую нужно предварительно создать командой mkdir ~/site

    http://site.ru - адрес сайта, который вы хотите скачать к себе на хост

    3. Ждать пока скачается сайт, если он большой, то это будет не быстро...
     
  8. WendM

    WendM Member

    Joined:
    29 Jan 2012
    Messages:
    44
    Likes Received:
    7
    Reputations:
    3
    ахаха))) у него по-любому Win.
    ТС, могу написать тебе софт который все скачает да еще и на твой сайт загрузит. Если что ICQ 602479786
     
  9. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    Виртуальные машины никто не отменял.
     
  10. assmaday

    assmaday New Member

    Joined:
    3 Feb 2013
    Messages:
    13
    Likes Received:
    1
    Reputations:
    0
    Тупо картинки - teleport pro))))
    Или парсер написать за денежку))
     
  11. NekoKoneko

    NekoKoneko Elder - Старейшина

    Joined:
    29 Oct 2010
    Messages:
    175
    Likes Received:
    141
    Reputations:
    20
    вгет есть и под винду, как я помню.
    Магазины сейчас ставят ватермарки на фотки товара. От них как собираешься избавляться?
    И еще вопрос - как ты 30-50к фоток заливать будешь? У меня есть пяток галерей с 50-100к картинок, теггирует\преобразует\заливает самописный робот все, иначе там всю жизнь будешь картинки загружать да подписывать. Беда даже в заполнении категорий тегов в роботе, потому что их 300-500, на каждую надо 30-70 тегов! Но в магазине робота не запустишь, он постит черти-как, СДЛом там не пахнет. Или у тебя есть сотня обезьянок, которая за еду будет усердно неделю заливать пикчи? (в сторону гелбору\данбору не смотрим, он наполняется пользователями, которых тысячи там)
     
  12. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    Никак. Вопрос был не в этом.
    Не очень понял к чему ты это написал. Если человеку нужно скачать с сайта все картинки, значит он понимает о каком количестве он говорит. И также понимает как он их потом будет разбирать.
     
  13. NekoKoneko

    NekoKoneko Elder - Старейшина

    Joined:
    29 Oct 2010
    Messages:
    175
    Likes Received:
    141
    Reputations:
    20
    Угуу, это будет следующим вопросом в этой теме =) потому что либо нужен специальный парсер, написанный под конкретный сайт, либо ручной разбор. Второе малореально при таком количестве. Потому и написал, передирать вгетом толку мало.
     
  14. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    Согласен, гемора потом будет очень много.

    Но пусть вариант и не очень красивый, зато рабочий и простой. Других рабочих вариантов я пока в теме не видел...
     
  15. FunOfGun

    FunOfGun Elder - Старейшина

    Joined:
    5 Sep 2012
    Messages:
    388
    Likes Received:
    72
    Reputations:
    124
    Почему в теме до сих пор не предложили питон/перл/свой вариант и регулярки?
     
  16. azeka

    azeka New Member

    Joined:
    5 Jan 2012
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Привет, отпишите пожалуйста в аську 395330364, возможно смогу помочь.
     
  17. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    Что это даст? Если на сервере с рандомными названиями лежат картинки.
     
  18. FunOfGun

    FunOfGun Elder - Старейшина

    Joined:
    5 Sep 2012
    Messages:
    388
    Likes Received:
    72
    Reputations:
    124
    Там не просто так упомянуты регулярки ;)
     
  19. NekoKoneko

    NekoKoneko Elder - Старейшина

    Joined:
    29 Oct 2010
    Messages:
    175
    Likes Received:
    141
    Reputations:
    20
    Вконтакте они тоже раномные, что не мешает мне их оттуда парсить, рандомить и заливать на свои сайты. Нужен полноценный парсер под такое дело. Чтобы выдирал картинки вместе с разобранной страничкой товара и запихивал в базу, на выходе получая папку пикч и таблицу, к которой эти пикчи привязаны. Иначе смысла затея не имеет, даже 10к картинок вручную не разобрать за приемлемый срок.

    Он будет стремиться к бесконечности. Если не секрет, кинь ссылку в личку на место, откуда ты хочешь передрать базу - может что из моего софта подойдет...
     
  20. RoksHD

    RoksHD New Member

    Joined:
    28 May 2012
    Messages:
    36
    Likes Received:
    3
    Reputations:
    2
    Так не я хотел передрать базу, а товарищ, который создал тему.