Introduzione
wget offre un gran numero di funzioni avanzate che possono essere utilizzate per personalizzare e automatizzare il processo di download. Di seguito sono riportati alcuni esempi.
Leggere gli URL da un file
Se avete un file che contiene gli URL che volete scaricare, potete utilizzare l'opzione -i:
wget -i fileSe specificate '-' come nome del file, gli URL saranno letti dall'input standard.
Creare una copia mirror di un sito web
Per creare una copia mirror di un sito web profonda cinque livelli, con la stessa struttura di directory dell'originale, con un solo tentativo per documento, salvando il log delle attività in gnulog, potete usare il comando:
wget -r https://www.gnu.org/ -o gnulogPotete anche convertire i link nei file scaricati per puntare ai file locali, in modo da poter visualizzare i documenti offline:
wget --convert-links -r https://www.gnu.org/ -o gnulogQuesti comandi scaricano il sito web "www.gnu.org" e salvano il log delle attività in un file chiamato "gnulog".
Scaricare una pagina HTML con tutte le sue risorse
Per scaricare solo una pagina HTML, ma assicurandovi che tutti gli elementi necessari per la visualizzazione della pagina, come le immagini inline e i fogli di stile esterni, vengano scaricati, potete utilizzare l'opzione -p e --convert-links:
wget -p --convert-links http://www.example.com/dir/page.htmlQuesto comando salverà la pagina HTML a www.example.com/dir/page.html, e le immagini, i fogli di stile, ecc., da qualche parte sotto www.example.com/, a seconda di dove si trovavano sul server remoto.
Se non volete avere tutte quelle directory del server casuale, basta salvare tutti quei file sotto una sottodirectory download/ della directory corrente:
wget -p --convert-links -nH -nd -Pdownload http://www.example.com/dir/page.htmlQuesto comando salverà la pagina HTML e tutte le sue risorse in una sottodirectory chiamata "download" della directory corrente.
Mostrare gli header del server
Per recuperare l'index.html di www.lycos.com, mostrando gli header originali del server, potete utilizzare l'opzione -S:
wget -S http://www.lycos.comSe volete salvare gli header del server con il file, forse per un post-processing, potete utilizzare l'opzione --save-headers:
wget --save-headers http://www.lycos.com/Questo comando salverà gli header del server nel file index.html.
Scaricare i primi due livelli di un sito FTP
Per scaricare i primi due livelli di wuarchive.wustl.edu, salvandoli in /tmp, potete utilizzare le opzioni -r, -l2 e-P/tmp:
wget -r -l2 -P/tmp ftp://wuarchive.wustl.eduQuesto comando scaricherà i primi due livelli di wuarchive.wustl.edu e li salverà in /tmp.
Scaricare tutti i file GIF da una directory
Se volete scaricare tutti i file GIF da una directory su un server HTTP, potete utilizzare le opzioni -r, -l1, --no-parent e -A.gif:
wget -r -l1 --no-parent -A.gif http://www.example.com/dirQuesto comando scaricherà tutti i file GIF dalla directory specificata sul server HTTP.
Riprendere i download interrotti senza sovrascrivere i file esistenti
Se il vostro download viene interrotto, e non volete sovrascrivere i file già presenti, potete utilizzare l'opzione -nc:
wget -nc -r https://www.gnu.orgQuesto comando riprenderà il download dal punto in cui è stato interrotto, senza sovrascrivere i file già presenti.
Codificare il proprio nome utente e password per HTTP o FTP
Se volete codificare il vostro nome utente e password per HTTP o FTP, potete utilizzare la seguente sintassi:
wget ftp://hniksic:[email protected]/.emacsQuesto comando scaricherà il file .emacs dal server FTP specificato, utilizzando il nome utente "hniksic" e la password "mypassword".
Inviare i documenti scaricati all'output standard
Se volete che i documenti scaricati vengano inviati all'output standard invece che ai file, potete utilizzare l'opzione -O:
wget -O - http://jagor.srce.hr/ http://www.srce.hrQuesto comando scaricherà i documenti dai siti web specificati e li invierà all'output standard invece di salvarli come file1.
Limitare la velocità di download
Se volete limitare la velocità di download per evitare di sovraccaricare la vostra connessione, potete utilizzare l'opzione --limit-rate. Ad esempio, per limitare la velocità di download a 200k, potete usare:
wget --limit-rate=200k http://example.comQuesto comando scaricherà il file dal sito web specificato a una velocità massima di 200 kilobytes al secondo.
Scaricare file da un elenco di URL
Se avete una lista di URL da cui volete scaricare file, potete utilizzare l'opzione -i con un file che contiene tutti gli URL. Ad esempio:
wget -i urls.txtQuesto comando scaricherà tutti i file dagli URL elencati nel file "urls.txt".
Scaricare file in background
Se volete che wget scarichi i file in background, potete utilizzare l'opzione -b. Ad esempio:
wget -b http://example.comQuesto comando farà iniziare il download del file in background, permettendovi di continuare a utilizzare il terminale per altri comandi.
Scaricare file solo se non sono già presenti localmente
Se volete scaricare solo i file che non sono già presenti localmente, potete utilizzare l'opzione -N. Ad esempio:
wget -N http://example.comQuesto comando scaricherà il file solo se non è già presente localmente o se la versione locale è più vecchia di quella sul server.
Conclusione
Questi sono solo alcuni degli usi avanzati di wget. L'utility è estremamente versatile e può essere utilizzata in molti modi diversi per automatizzare e personalizzare i vostri download. Consultate la pagina man di wget o la sua documentazione online per ulteriori informazioni.
