Cómo instalar y usar el comando Wget algunos ejemplos en Linux

Introducción

GNU Wget es una utilidad de línea de comandos para descargar archivos de la Web. Con Wget, puede descargar archivos usando los protocolos HTTP, HTTPS y FTP. Wget ofrece una serie de opciones que le permiten descargar varios archivos, reanudar las descargas, acelerar el ancho de banda, descargas recursivas, descargas en segundo plano, duplicar un sitio web y mucho más.

En este tutorial, le mostraremos cómo usar el comando Wget a través de ejemplos prácticos y explicaciones detalladas de las opciones de Wget más comunes.

Instalar Wget

Actualmente, el paquete wget está preinstalado en la mayoría de las distribuciones de Linux.

Para verificar si el paquete Wget está instalado en su sistema, abra su consola, escriba wget y presione Enter. Si tiene wget instalado, el sistema imprimirá wget: missing URL ; de lo contrario, imprimirá el wget command not found.

Si wget no está instalado, puede instalarlo fácilmente usando el administrador de paquetes de su distribución.

Instalación de wget en Ubuntu y Debian

sudo apt update

sudo apt install wget

Instalación de wget en CentOS y Fedora

sudo yum install wget

Sintaxis del comando wget

Antes de entrar en cómo usar el wget, comencemos mirando la sintaxis básica.

Las expresiones del wget tienen la siguiente forma:

wget [options] [url]

• opciones: las options Wget.
• url: URL del archivo o directorio que desea descargar o sincronizar.

Cómo descargar un archivo con Wget

En su forma más simple, cuando se usa sin ninguna opción, wget descargará el recurso especificado en la URL en el directorio actual.

En el siguiente ejemplo, estamos descargando el archivo tar del kernel de Linux:

wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz

Wget comienza resolviendo la dirección IP del dominio, luego se conecta al servidor remoto e inicia la transferencia.

Durante la descarga, Wget muestra la barra de progreso junto con el nombre del archivo, el tamaño del archivo, la velocidad de descarga y el tiempo estimado para completar la descarga. Una vez que se completa la descarga, puede encontrar el archivo descargado en su directorio de trabajo actual.

Para deshabilitar la salida de Wget, use la opción -q

Si el archivo ya existe, Wget agregará .N (número) al final del nombre del archivo.

Use Wget para guardar el archivo descargado con un nombre diferente

Para guardar el archivo descargado con un nombre diferente, pase la -O seguida del nombre elegido:

wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zip

El comando anterior guardará el último archivo zip hugo de GitHub como latest-hugo.zip lugar de su nombre original.

Use Wget para descargar un archivo a un directorio específico

De forma predeterminada, Wget guardará el archivo descargado en el directorio de trabajo actual. Para guardar el archivo en una ubicación específica, use la opción -P

wget -P /mnt/iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

Con el comando anterior le estamos diciendo a Wget que guarde el archivo iso de CentOS 7 en el /mnt/iso.

Cómo limitar la velocidad de descarga con Wget

Para limitar la velocidad de descarga, use la opción --limit-rate De forma predeterminada, la velocidad se mide en bytes /segundo. Agregue k para kilobyte, m para megabyte g para gigabyte.

El siguiente comando descargará el binario Go y limitará la velocidad de descarga a 1 MB:

wget --limit-rate=1m https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

Esta opción es útil cuando no desea que wget consuma todo el ancho de banda disponible.

Cómo reanudar una descarga con Wget

Puede reanudar una descarga usando la opción -c Esto es útil si la conexión se interrumpe mientras se descarga un archivo grande y en lugar de iniciar la descarga desde cero, puede continuar con el anterior.

En el siguiente ejemplo reanudamos la descarga del archivo iso de Ubuntu 18.04:

wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso

Si el servidor remoto no admite la reanudación de descargas, Wget iniciará la descarga desde el principio y sobrescribirá el archivo existente.

Cómo descargar en segundo plano con Wget

Para descargar en segundo plano, use la opción -b En el siguiente ejemplo, estamos descargando el archivo iso de OpenSuse en segundo plano:

wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso

De forma predeterminada, la salida se redirige al wget-log en el directorio actual. Para ver el estado de la descarga, use el comando tail

tail -f wget-log

Cómo modificar Wget User-Agent de Wget

A veces, al descargar un archivo, el servidor remoto se puede configurar para bloquear Wget User-Agent. En situaciones como esta, use la -U para emular un navegador diferente.

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/

El comando anterior emulará Firefox 60 solicitando la página de wget-forbidden.com

Cómo descargar varios archivos con Wget

Si desea descargar varios archivos al mismo tiempo, use la -i seguida de la ruta a un archivo local o externo que contenga una lista de URL para descargar. Cada URL debe estar en una línea separada.

En el siguiente ejemplo, estamos descargando los archivos ISO de Arch Linux, Debian y Fedora con las URL especificadas en el archivo linux-distros.txt

wget -i linux-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
 https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
 https://download.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso

Si especifica - como nombre de archivo, las URL se leerán desde la entrada estándar.

Utilice Wget para descargar FTP

Para descargar un archivo de un servidor FTP protegido con contraseña, especifique su nombre de usuario y contraseña como se muestra a continuación:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Utilice Wget para crear un sitio web espejo

Para reflejar un sitio web con Wget, use la opción -m Esto creará una copia local completa del sitio web siguiendo y descargando todos los enlaces internos y recursos del sitio web (JavaScript, CSS, imágenes).

wget -m https://example.com

Si desea utilizar el sitio web descargado para la navegación local, deberá pasar algunos argumentos adicionales al comando anterior.

wget -m -k -p https://example.com

-k opción -k permitirá a Wget convertir enlaces en documentos descargados para que sean adecuados para la visualización local. La -p le dirá a wget que descargue todos los archivos que necesita para mostrar la página HTML.

Cómo omitir la verificación de certificados con Wget

Si desea descargar un archivo a través de HTTPS desde un host con un certificado SSL no válido, use la --no-check-certificate:

wget --no-check-certificate https://domain-with-invalid-ss.com

Cómo descargar salida estándar con Wget

En el siguiente ejemplo, Wget -q opción -q) y enviará la última versión de WordPress a stdout ( -O - ) y la reenviará a la tar que extraerá el archivo al /var/www.

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

Conclusión

Con Wget, puede descargar varios archivos, reanudar descargas parciales, duplicar sitios web y combinar las opciones de Wget según sus necesidades.

Para obtener más información sobre Wget, visite la página del manual de GNU wget.