На всякий случай: как создать локальные копии важных сайтов

На фоне многочисленных блокировок сетевых площадок и слухов о возможном отключении России от мирового интернета невольно задумываешься о сохранении доступа к веб-ресурсам с полезной и ценной информацией. Приводим несколько способов решения данной задачи

За последние несколько дней Рунет кардинально изменился. Некоторые сайты стали недоступны для российских пользователей, некоторые просто закрылись. Что будет происходить дальше, сколько будет стоить доступ в Сеть и будет ли интернет функционировать в привычном виде, мы не знаем. Зато можем посоветовать ряд программ и онлайновых сервисов, позволяющих загрузить содержимое практически любого веб-ресурса к себе на компьютер с целью сохранить доступ к тому или иному представляющему интерес контенту.


Источник изображения: Mohamed Hassan / pixabay.com

HTTrack Website Copier. Древний (последний релиз состоялся аж в 2017 году), но до сих пор исправно функционирующий инструмент для создания как полных копий выбранных сайтов с сохранением структуры каталогов, так и отдельных веб-страниц. Предусмотрены возможности выбора глубины прохода по сайту, возобновления прерванных закачек, исключения скачивания файлов по типу и ограничения скорости передачи данных. Также программа позволяет корректировать параметр User-Agent и мимикрировать под различные браузеры, что может быть востребовано при работе с веб-площадками, «заточенными» под конкретный интернет-обозреватель. Распространяется HTTrack Website Copier бесплатно, имеются версии для Windows, Linux и Android.


Offline Explorer. Коммерческий продукт с ленточным интерфейсом в стиле Microsoft Office и внушительным набором функций для скачивания сайтов. Благодаря регулярным обновлениям и встроенному браузерному движку на базе Chromium поддерживает все современные веб-стандарты. По заверениям разработчиков, умеет копировать контент из YouTube, а также социальных сетей Twitter, Facebook, Instagram и прочих. Приложение может обрабатывать файлы JavaScript и Java-апплеты, отправлять POST-запросы на сервер, моделировать чтение страниц человеком, фильтровать скачиваемый контент, взаимодействовать с защищёнными паролем интернет-площадками и скачивать данные в соответствии с заданным пользователем расписанием. Offline Explorer является коммерческим продуктом, и из-за приостановки работы платёжных систем MasterCard и Visa в России приобрести его в настоящий момент не представляется возможным. Положение спасает наличие пробной версии программы, в которой установлен лимит на количество загружаемых файлов (максимум 2 тысячи) и заблокированы средства экспорта данных в различные форматы. Поддерживаются только устройства под управлением Windows.


Inspyder Web2Disk. Распространяемый по модели Shareware продукт, которым можно пользоваться бесплатно, мирясь с двумя несущественными ограничениями: отсутствием планировщика задач и возможностью одновременного скачивания только двух сайтов. Программа умеет переходить по ссылкам в файлах JavaScript, XML и PDF, работать с веб-формами, исключать из загрузки определённого формата страницы и объекты, а также взаимодействовать с сайтами с учётом объёма загружаемой информации, глубины прохода и других параметров. Доступна корректировка User-Agent под разные браузеры, в том числе мобильные. Дистрибутив продукта представлен только для операционных систем Windows.


WebCopier. Коммерческая утилита, всеми возможностями которой можно пользоваться в течение 7 дней, коих с головой хватит для переноса на диск ПК любых сайтов. По функциональной начинке представляет собой нечто среднее между упомянутыми выше Offline Explorer и Web2Disk. Можно настраивать фильтры для файловых расширений, регулировать скорость скачивания контента, управлять глубиной обхода ссылок, ограничивать размер загружаемых объектов и конфигурировать прочие параметры. Из особенностей отметим возможность экспорта скопированных данных в форматы ZIP, MHT и CHM, а также наличие дистрибутива не только для Windows, но и для macOS.


Website Ripper Copier. Ещё одна обладающая схожими функциями программа для скачивания сайтов целиком. Стоит денег, но благодаря исключительной щедрости разработчиков 30 дней пользоваться приложением можно бесплатно без каких-либо функциональных ограничений. Удобная особенность Website Ripper Copier — возможность следить за процессом загрузки страниц, при этом выкачка сайта может выполняться в несколько потоков (их количество можно задать в настройках программы). Поддерживаются фильтры, скачивание по расписанию и прочие стандартные функции. Интерфейс продукта немного запутан и требует привыкания. Только для Windows.


Website Copier Online и Website Downloader Online. Онлайновые сервисы для загрузки сайтов на диск компьютера. Первый позволяет бесплатно скачивать 50 страниц первого уровня, второй — контент объёмом до 20 Мбайт. Немного, но для копирования небольших и структурно несложных сайтов — визиток для бизнеса, лендингов, веб-страниц с различного рода инструкциями и документацией — вполне сгодятся. В случае с Website Copier Online для выкачивания контента достаточно только указать URL ресурса, Website Downloader Online более совершенен и позволяет не только скачивать сайты целиком, но и отдельно копировать файлы выбранного типа, будь то документы, изображения, видео- или аудиофайлы.


FireDM. Свободно распространяемая утилита, которая позволяет скачивать видео с популярных медиасервисов и служит отличным дополнением для всех перечисленных в обзоре программных решений. В основу FireDM положены проверенные временем Open Source-компоненты youtube-dl и libcurl. Приложение поддерживает многопоточную обработку файлов, умеет выцеплять аудиодорожки и субтитры из роликов, оснащено модулем автоматического обновления, а также допускает гибкое конфигурирование в соответствии с предпочтениями пользователя. Утилита не требует установки и может использоваться как в Windows, так и в среде Linux. Рекомендуем.


Создание локальных копий важных сайтов не такая простая задача, как кажется на первый взгляд.

Во-первых, следует понимать, что многие современные веб-ресурсы немыслимы без динамического контента и поддержки технологий HTML5. В тех же социальных сетях, к примеру, всё завязано на действия пользователя и подгрузку данных в зависимости от конкретной ситуации. Именно по этой причине многие из упомянутых выше продуктов не могут справиться с копированием контента из Facebook, VK и прочих сервисов. Единственное исключение — Offline Explorer, но он стоит серьёзных денег ($200 в редакции Pro) и приобрести его в нынешних реалиях довольно сложно.

Во-вторых, при копировании сайтов не следует увлекаться возможностями скачивания файлов в несколько потоков. Торопиться в этом деле не нужно, и для предотвращения блокировок со стороны веб-сервера следует филигранно подходить к настройкам количества устанавливаемых соединений при выкачивании данных.

Ну и наконец, в-третьих, при использовании приведённого в публикации программного обеспечения всегда важно чтить копирайт и не забывать об авторских правах на скачиваемый из глобальной сети контент.

Источник https://3dnews.ru/1061506/na-vsyakiy-sluchay-kopii-saytov