Wget команди: примери. Конзола за изтегляне на файлове от мрежата Wget

Изглежда, че в един свят, в който половината от населението на планетата активно използва компютри и е свикнал със стилни графични интерфейси и богати възможности за това, няма място за текстови приложения. Преди около 20 години компютърният интерфейс беше страшен черен панел, който не показва нищо друго освен набор от бели символи и всички контроли бяха извършени за сметка на текстови команди. Изненадващо, но колко грозни са тези програми, те са също толкова функционални и надеждни.

Какво е Wget?

Wget (наричан още GNU Wget Linux) е конзолно, неинтерактивно приложение за работа с файлове и уеб страници. По същество това е програма за изтегляне на файлове от интернет, която е различна от липсата на графичен интерфейс и редица функции в управлението, нетипични за по-модерни решения.


Програмата е разработена от хърватския инженер Хрвозх Никшич, а сега разработката е подкрепена от Джузепе Скривано и общността на Linux. Първата колекция от услуги (тогава все още наречена GetURL) беше въведена през януари 1996 г. Програмата е написана на езика за програмиране CI и е издадена под лиценза GNU. Първоначално инструментът беше пуснат на платформата на Linux. С течение на времето тази програма е преведена на много езици и е пренесена на всички популярни платформи, включително Wget за Windows 7 (и по-късно), Wget за MacOS и така нататък.
Тази програма не е интерактивна и следователно всеки процес, стартиран в рамките на неговите способности, не може да бъде приетконтрол, те могат да бъдат управлявани чрез обръщане към контролите на самата операционна система.


Въпреки че модерните браузъри обикновено имат вграден мениджър за изтегляне, те въпреки това са предназначени за интерактивно взаимодействие, така че ръчната работа става трудна. Wget, напротив, позволява да се автоматизират редица процеси. Например, възможно е предварително да подготвите текстов документ със списък от уеб страници, който ви позволява да изтеглите няколко файла и страници наведнъж.

Основните функции на програмата

Но на първо място е програма за изтегляне на файлове, която предполага очевидността на основната му функция. Wget може да изтегли всякакъв материал от интернет, независимо дали става дума за документи, изпълними файлове или цели уеб страници в HTML формат (според различни протоколи). Файловете могат да се изтеглят от директории чрез FTP протокол.
Клиентът може да извършва рекурсивни файлове автоматично чрез преглеждане на връзки в даден уебсайт (или няколко уебсайта), като същевременно възстановява първоначалната структура на уеб страницата. Възможно е да преглеждате изтеглените сайтове без достъп до мрежата (по подразбиране се зарежда като адреси за онлайн сърфиране). Първоначално Wget адаптиран към бавни и нестабилни видове връзки, така че неговата важна характеристика е възможността за възстановяване на неуспешно изтегляне на файлове (това е възможно, ако сървърът поддържа RANGE заглавия). Wget също може да следи състоянието на сървърите (тяхната наличност) за презареждане и надграждане (Wgetпроверява заглавията на файловете и поддържа най-новата версия) на файлове и уеб страници.
Програмата има и редица характеристики, които са общи за така наречените инструменти за паяци, които изследват различни уебсайтове и сървъри за наличието на определени файлове в тях.

Поддържани платформи

Wget Linux стана основа за този продукт. Както бе споменато по-горе, полезността първо е работила само на Linux, но бързо придоби популярност и е адаптирана към други системи. Например, можете да намерите версията на Wget за Windows 7 и по-модерна операционна система, а има и чертеж с графичен интерфейс. Що се отнася до Linux, там програмата често се шие в дистрибуцията. Терминали в някои Linux компилации първо поддържат Wget команди. Ubuntu, Fedora, openSUSE и други потребителски дистрибуции работят с програма, наречена box-office. Тогава нека погледнем програмата по-подробно.

Wget-команди: списък на основните параметри

Основният списък с команди включва:
  • -V - позволява да разберете коя версия на приложението се използва в момента;
  • -h - показва най-пълния списък от команди за работа с приложението;
  • -b - позволява да преведете програмата във фонов режим;
  • Списък с настройки на съобщенията

    Командите Wget ви позволяват напълно да контролирате информацията на дисплея. Ето техния списък:
  • -o logfile - създава лог файл, в който е написан целият процес на програмата;
  • - регистрационен файл - ви позволява да добавите съществуващ лог файл, вместо да създавате нов;
  • -d - показва необходимата информация за разработчиците и дебъгера (помага за разрешаванепроблеми и грешки в работата на клиента);
  • -q - забранява показването на съобщения;
  • -v - тази опция е разрешена по подразбиране, предоставя подробен отчет за всички процеси, протичащи в програмата (в реално време);
  • -nv - значително намалява информацията, получена от потребителя в съобщенията. Остават само най-необходимите данни и съобщения за грешки;
  • -i файл (с път към файл) - командата ви позволява да сканирате файл, като изберете връзка от него и изпълните изтегляне; можете да използвате файлове с различни формати, включително HTML, но ако използвате тази команда, не трябва да указвате пътя до файла в командния ред;
  • -f - провокира програмата да чете HTML файла; Когато използвате тази команда за работа с локален HTML документ, може да възникне грешка, за да го избегнете, достатъчно е да посочите в документа.
  • Списък на опциите за зареждане

    Основни команди за изтегляне на файлове от помощ Wget. Това е основният им набор:
  • --bind-address = ADDRESS - Тази команда ви позволява да прехвърляте свързващи данни към АДРЕС на локалната машина. Когато използвате TCP /IP връзка, командата се изисква да посочи IP адреса (ако има няколко).
  • -t номер (посочете номер) - позволява на потребителя да избере броя на повторенията за изтегляне. За да избегнете повтаряне, трябва да посочите стойност нула.
  • -nc - Тази команда ви позволява да върнете предишното състояние на изтегления файл в случай на повреда в мрежата и изтеглянето е прекъснато. Ако неизползвайте една от командите за презареждане (-N, -nc, -r), след което Wget ще създаде копие от него и ще започне отново да изтегля. Опцията -r ви позволява да замените съществуващите файлове.
  • - as - също помага за презареждане на файла в случай на загуба на връзка (и когато Wget е спрял независими опити за възстановяване на връзката). Достатъчно е да зададете тази команда, преди да се свържете с файла. Ако директорията има подобен файл, Wget ще го идентифицира и автоматично ще реши да го презареди. Командата може да бъде използвана само на сървъри, които имат поддръжка за заглавие RANGE.
  • - напредък - ви позволява да изберете вида на показване на хода на изтеглянето. Можете да зададете -progress = bar или progress = dot.
  • - spider - замества командата, за да зареди файла, за да провери неговата наличност на сървъра;
  • -w (в секунди) - Определя времето за прекъсване между изтеглянията.
  • -q (посочено от килобайти или мегабайта) - ви позволява да коригирате ясно размера на изтеглените данни и да ограничите прекомерните обеми. Въпреки това, си струва да се отбележи, че един файл ще бъде изтеглен независимо от квотите (т.е. с един файл, тази опция няма да работи, което не би било трудно).
  • Списъкът на HTTP параметри

  • --http-user = и-http-passwd = - ви позволява да укажете потребителско име и парола за оторизация в уеб ресурса, от който ще бъдат изтеглени файловете.
  • -C = on /off - позволява ви да активирате или деактивирате кеширани данни на сървърната страна.
  • - кутии = включване /изключване - същото като за кеш, само за бисквитки. Позволява ви да поставите на пауза или да възобновите необходимия обмен на бисквиткисървър за статистически посещения. По подразбиране опцията е активирана, но бисквитките не се съхраняват на твърдия диск.
  • ​​
  • --save-cookies - ви позволява да запазвате бисквитки (само нови данни).
  • --proxy-user и -proxy-passwd - ви позволява да укажете потребителско име и парола за упълномощаване на прокси сървъра (ако е приложимо).
  • Списък на FTP параметри

    Разширени опции за работа с Wget. FTP команди:
  • -nr - забранява временните файлове от директорията .listing, които се създават спонтанно при работа с FTP;
  • -g on /off - позволява да използвате специалните символи на помощните програми в FTP директории;
  • - passive-ftp - Тази команда може да се използва в присъствието на защитна стена за активиране на пасивен режим FTP (когато потребителят е отговорен за установяване на връзка със сървъра).
  • Wget-команди: примери за използване

    Най-простият и тривиален пример за работа с програмата, разбира се, е изтеглянето на файлове. За да тествате командите Wget, можете да започнете с прост, да намерите връзка към файл в мрежата и да въведете връзката към /terminal: Wget * конзолата, показвайки точната и пълна пътека към файла *. За да продължите да изтегляте файла, използвайте връзката: Wget -c *, указваща точния и пълен път към файла *.
    Ако има планиран списък с връзки към файлове и документи, можете да използвате командата Wget -i filelist.txt. Що се отнася до изтеглянето на уеб страници, това е малко по-сложно, но броят на възможностите е значително увеличен. За да не въвеждате параметри отново всеки път, когато се появинеобходимостта да изтеглите уеб сайт, можете да създавате скриптове или да предписвате всички настройки на файла .wgetrc. За да запишете уеб страница като връзка (ще бъде трудно да я отворите на локална машина), можете да използвате командата Wget -m *, за да посочите точната и пълна пътека към файла *. Можете да използвате командата Wget -r-10 -k *, за да посочите точния и пълен път към файла * за същата страница, която да може да се види без да се свързвате с интернет. Грешка в командата Wget формат не е намерена може да означава всяка грешка и неправилен параметър.

    Свързани публикации