Скачать .onion сайт

Discussion in 'Linux, Freebsd, *nix' started by FX214, 25 Dec 2018.

  1. FX214

    FX214 New Member

    Joined:
    25 Dec 2018
    Messages:
    5
    Likes Received:
    1
    Reputations:
    0
    Приветствую всех!

    Помогите скачать онион сайт.
    Знаниями IT особо не блистаю, поэтому обратился сюда.
    Звучит вроде бы все просто, в интернете полно статей, но руководствуясь ими результат не вышел:confused:


    Что было сделано?
    Установлены с репозитория Debian программы wget и httrack.
    Для httrack:
    $ httrack www.site.com -P localhost:9150
    Mirror launched on Tue, 25 Dec 2018 00:30:30 by HTTrack Website Copier/3.48-20 [XR&CO'2014]
    mirroring http://.onion with the wizard help..
    Done..onion/ (0 bytes) - -4
    Thanks for using HTTrack!
    Перебирал разные вариации команд для wget и httrackкоторые которые находил на просторе интернета, но увы.
    Далее пробовал запустить через torify, polipo, privoxy... без результата
    Если правильно понял, то проблема только в преобразовании трафика. Либо заглушка стоит (но до этого этапа судя по всему не дошел)
    Буду признателен за советы:)
     
  2. Bandapanda

    Bandapanda New Member

    Joined:
    29 Mar 2014
    Messages:
    5
    Likes Received:
    1
    Reputations:
    0
    На заглушку можно проверить так - если просто сохранить страницы браузером, то сохраняется нормально?
     
    FX214 likes this.
  3. Spinus

    Spinus Level 8

    Joined:
    23 Sep 2018
    Messages:
    499
    Likes Received:
    2,926
    Reputations:
    12
    Раньше под винду был Teleport VLX или pro для скачивания сайта. Не знаю сейчас он актуален или нет?
     
    FX214 likes this.
  4. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,106
    Likes Received:
    8,474
    Reputations:
    25
    Ох сомнения меня терзают когда люди скачивают сайты с onion и кажется мне что для вещдоков чему я бы не желал способствовать. Ну да ладно.
    Во-первых можно попробовать юзать какой-нибудь tor2web (что очевидно) - но это конечно криво.

    Во-вторых не знаю как там с качалкой, а вот wget вроде не сильно жаждет ломиться в неизвестную для него сеть. Для решения этого недоразумения можно попробовать torsocks.
    Не факт что сработает ибо х/з. Теоретически вроде должно.

    sudo apt-get install torsocks
    usewithtor wget URL

    Соответственно если качалка юзает wget - может быть у нее есть соответствующий конфиг где можно исправить команду эту. Но для начала надо потестить ручками.

    UPD: в-третьих Егорыч сообщал что если кто-то не знает куда постить вопрос - пусть постит его в песочницу. Сей вопрос будет перенаправлен доброжелательными (перед празднеками) модераторами куда следует :)
     
    FX214 and user100 like this.
  5. FX214

    FX214 New Member

    Joined:
    25 Dec 2018
    Messages:
    5
    Likes Received:
    1
    Reputations:
    0
    Да, сохраняется отлично:)
    От винды решил отказывается, но как вариант обращу внимание

    Сайт в открытом доступе (особой разницы между тор и обычным интернетом не наблюдаю, любой кто пожелает получить доступ - получит). Целый сайт в вещдок? ...Не интересуюсь этими темами, но звучит сомнительно.
    Выкачать хочу исключительно для личного пользования. В архив так сказать

    При попытке зайти через onion.cab или onion.to соединение не устанавливается. От сюда и появилась мысль о заглушке.

    Вот что вышло:
    ~$ torsocks wget https://sitename.onion
    --2018-12-25 23:35:15-- https://sitename.onion
    Распознаётся sitename.onion (sitename.onion)… 127.42.42.0
    Подключение к sitename.onion (sitename.onion)|127.42.42.0|:443... [Дек 25 23:35:17] ERROR torsocks[16486]: Connection refused to Tor SOCKS (in socks5_recv_connect_reply() at socks5.c:532)


    Извиняюсь, не так часто тут бываю:)
     
  6. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,106
    Likes Received:
    8,474
    Reputations:
    25
    А сам тор запущен ? В конфиге /etc/tor/torsocks.conf еще порт прописан, может он не стандартный ?
     
    FX214 likes this.
  7. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,106
    Likes Received:
    8,474
    Reputations:
    25
    Ну я какбэ щас попробовал - вроде все ок.

    upload_2018-12-26_1-53-59.png
    (замазал чисто для порядка... )

    Сайты с onion есессно тянет. Проверь конфиги еще раз.
     
    #7 DartPhoenix, 26 Dec 2018
    Last edited: 26 Dec 2018
    FX214 likes this.
  8. FX214

    FX214 New Member

    Joined:
    25 Dec 2018
    Messages:
    5
    Likes Received:
    1
    Reputations:
    0
    Как понимаю достаточно, что бы тор браузер был открыт.
    Какой еще порт должен быть?
    Конфиг выглядит так:
    # This is the configuration for libtorsocks (transparent socks) for use
    # with tor, which is providing a socks server on port 9050 by default.
    #
    # Lines beginning with # and blank lines are ignored
    # Much more documentation than provided in these comments can be found in
    #
    # torsocks.conf(5), torsocks(1) and torsocks(8) manpages.

    # Default Tor address and port. By default, Tor will listen on localhost for
    # any SOCKS connection and relay the traffic on the Tor network.
    TorAddress 127.0.0.1
    TorPort 9050

    # Tor hidden sites do not have real IP addresses. This specifies what range of
    # IP addresses will be handed to the application as "cookies" for .onion names.
    # Of course, you should pick a block of addresses which you aren't going to
    # ever need to actually connect to. This is similar to the MapAddress feature
    # of the main tor daemon.
    OnionAddrRange 127.42.42.0/24

    # SOCKS5 Username and Password. This is used to isolate the torsocks connection
    # circuit from other streams in Tor. Use with option IsolateSOCKSAuth (on by
    # default) in tor(1). TORSOCKS_USERNAME and TORSOCKS_PASSWORD environment
    # variable overrides these options.
    #SOCKS5Username <username>
    #SOCKS5Password <password>

    # Set Torsocks to accept inbound connections. If set to 1, listen() and
    # accept() will be allowed to be used with non localhost address. (Default: 0)
    #AllowInbound 1

    Ради интереса тоже попробовал ввести строки с пикчи и все получилось аналогично. Значит работает:confused:
    Делово в моем делитантстве

    UPD. Теперь выдает ошибку:

    ~$ torsocks wget http://site.onion
    Ошибка в URL прокси ftp://http/ // localhost: 8118: Должен быть HTTP.
     
    #8 FX214, 26 Dec 2018
    Last edited: 26 Dec 2018
  9. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,106
    Likes Received:
    8,474
    Reputations:
    25
    EDIT: Оу. Пардон не дочитал. Ну тогда все ок :)
     
    FX214 likes this.
  10. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,106
    Likes Received:
    8,474
    Reputations:
    25
    Попроси перенести тему куда-нибудь к Ляликсоидам.
     
  11. FX214

    FX214 New Member

    Joined:
    25 Dec 2018
    Messages:
    5
    Likes Received:
    1
    Reputations:
    0
    Это похоже на первую часть марлезонского балет:
    Не подскажите как это победить?

    Хорошо, порошу
     
  12. DartPhoenix

    DartPhoenix Elder - Старейшина

    Joined:
    15 Sep 2013
    Messages:
    1,106
    Likes Received:
    8,474
    Reputations:
    25
    Неа. Я не матерый Линуксоид :)
    Поэтому и предлагаю тему перенести или там поднять ее. В этот раздел не все заглядывают...
     
  13. FX214

    FX214 New Member

    Joined:
    25 Dec 2018
    Messages:
    5
    Likes Received:
    1
    Reputations:
    0
    В любом случае, благодарю, что откликнулись;)
     
    DartPhoenix likes this.
  14. archivarix

    archivarix New Member

    Joined:
    16 Aug 2017
    Messages:
    10
    Likes Received:
    1
    Reputations:
    0
    Теперь с помощью Archivarix можно скачать .onion сайты. Просто введите адрес .onion сайта в поле "домен" https://ru.archivarix.com/website-downloader-cms-converter/ и сайт будет качаться из сети Tor так же как и обычный.