Утилита wget#

Описание#

wget служит для неинтерактивной загрузки файлов из Интернета. Поддерживает протоколы HTTP, HTTPS и FTP, а также получение через HTTP-прокси.

wget может работать в фоновом режиме, пока пользователь не вошел в систему. Это позволяет осуществить поиск информации и отключиться от системы, пока wget будет выполнять работу, что полезно при передаче большого количества данных.

Утилита может переходить по ссылкам на страницах HTML, XHTML и CSS и создавать локальные версии удаленных веб-сайтов, полностью воссоздавая структуру каталогов («рекурсивная загрузка»). При этом wget соблюдает Robot Exclusion Standard (/robots.txt). Может преобразовать ссылки в загруженных HTML-файлах в локальные файлы для просмотра в автономном режиме.

wget способствует обеспечению устойчивости при медленных или нестабильных сетевых соединениях. Если загрузка завершается неудачно из-за проблем с сетью, попытки будут повторяться до тех пор, пока не будет получен весь файл. Если сервер поддерживает повторную загрузку, ему будет дано указание продолжить загрузку с того места, где она остановилась.

Синтаксис утилиты:

wget <options> <URL>

Где:

<options> - опции;
<URL> - адрес ресурса в сети Интернет.

Опции#

Часто используемые опции утилиты представлены в таблице ниже.

Опции `wget`#
Опция	Описание
`-с`, `--continue`	Продолжить ранее прерванную загрузку
`-nc`, `--no-clobber`	Запрет на сохранение нескольких копий файла. Если файл загружается в один и тот же каталог более одного раза, поведение `wget` может быть разным в зависимости от настроенных параметров. В некоторых случаях локальный файл будет заблокирован или перезаписан при повторной загрузке. В других он будет сохранен. При запуске без опций `-N`, `-nc`, `-r` или `-p` повторная загрузка файла в тот же каталог приведет к сохранению исходной копии файла, а второй копии будет присвоено имя `file.1`. Если этот файл будет загружен еще раз, третья копия будет называться `file.2`, и так далее. (То же самое происходит и с `-nd`, даже если действуют `-r` или `-p`). При указании `-nc` `wget` откажется загружать новые копии файла. При запуске утилиты с `-r` или `-p`, но без `-N`, `-nd` или `-nc`, повторная загрузка файла приведет к тому, что новая копия перезапишет старую. `-nc` приводит к сохранению исходной версии и игнорированию всех новых копий на сервере. При запуске `wget` с `-N` (с или без `-r`/`-p`) решение о том, загружать или нет новую копию файла, зависит от локальной и удаленной временной метки и размера файла. `-nc` не может быть указана одновременно с `-N`. Обратите внимание: если указана опция `-nc`, файлы с суффиксами `.html` или `.htm` будут загружаться с локального диска и анализироваться аналогично полученным из Интернета
`-N`, `--timestamping`	Включение временных меток
`-O`, `--output-document`	Указать файл, в который будут сохранены полученные данные
`-r`, `--recursive`	Включение рекурсивного извлечения
`-p`, `--page-requisites`	Загрузка всех файлов, которые необходимы для корректного отображения HTML-страницы и на которые даны ссылки. Например: встроенные изображения, звуки и таблицы стилей
`-Q`, `--quota`	Задать максимальный размер загрузки
`-nd`, `--no-directories`	Запрет на создание иерархии каталогов при рекурсивном извлечении. Если опция включена, все файлы будут сохранены в текущем каталоге без сбоев
`-S`, `--server-response`	Вывод заголовков, отправленных HTTP-серверами, и ответов, отправленных FTP-серверами
`-d`, `--debug`	Включение вывода отладки - различной информации, важной для разработчиков, если утилита не работает должным образом. Работает, если `wget` скомпилирована с поддержкой отладки
`-o <logfile>`, `--output-file=<logfile>`	Запись всех сообщений в файл журнала

Пример использования#

Чтобы скачать файл по ссылке example/URL/download/file и записать сообщения о ходе выполнения в журнал /path/to/output/logfile, используйте команду:

wget -o /path/to/output/logfile example/URL/download/file

Дополнительная информация#

Дополнительную информацию можно получить, выполнив команду:

man wget

Или:

wget --help