Comment utiliser la commande Wget sous Linux

1. Vérifier si wget est installé ou non
2. Syntaxe de la commande wget
3. Télécharger le fichier avec wget
4. Enregistrer le fichier téléchargé à l’aide de la commande wget avec un nom de fichier personnalisé
5. Sauvegarder le fichier téléchargé en utilisant wget dans un répertoire spécifique
6. Spécifier la vitesse de téléchargement en utilisant wget
7. Reprendre le téléchargement en utilisant wget
8. Télécharger des fichiers en arrière-plan en utilisant wget
9. Changez le User-Agent du wget de la wget
10. Télécharger plusieurs fichiers simultanément en utilisant wget
11. Télécharger des fichiers à l’aide de la commande wget via FTP
12. Créer une copie du site web en utilisant wget
13. Sauter la vérification du certificat lors de l’utilisation de Wget

Nous pouvons utiliser la commande wget sous Linux pour télécharger des fichiers depuis l’Internet en utilisant les protocoles HTTP, HTTPS et FTP avec diverses options telles que le téléchargement de plusieurs fichiers à la fois, le téléchargement en arrière-plan, la limitation de la bande passante, et bien plus encore.

Vérifier si wget est installé ou non

Nous pouvons vérifier si le wget est installé ou non dans notre système en entrant simplement la commande wget dans notre terminal.

Si wget est installé dans notre système, nous obtenons une sortie en tant que:

wget: missing URL
Usage: wget [OPTION]... [URL]...

Try 'wget --help' for more options.

Si wget n’est pas installé dans notre système, nous obtenons une sortie sous la forme

Command 'wget' not found, but can be installed with:

sudo snap install wget

Si wget n’est pas installé dans notre système, nous pouvons l’installer en utilisant les commandes suivantes:

Installer wget pour Ubuntu et Debian

sudo apt install wget

Installer wget pour CentOS et Fedora

sudo yum install wget

Syntaxe de la commande wget

wget [options] [url]

Les options sont diverses options disponibles pour personnaliser le processus de téléchargement et URL désigne l’URL à partir de laquelle le fichier doit être téléchargé ou synchronisé.

Télécharger le fichier avec wget

Pour télécharger un fichier à l’aide de la commande wget, il suffit de spécifier l’URL du fichier après wget.

wget https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

Production:

--2020-09-28 19:29:15--  https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg
Resolving bloximages.newyork1.vip.townnews.com (bloximages.newyork1.vip.townnews.com)... 104.18.130.43, 104.18.131.43
Connecting to bloximages.newyork1.vip.townnews.com (bloximages.newyork1.vip.townnews.com)|104.18.130.43|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 33241 (32K) [image/jpeg]
Saving to: '5ca13d8453042.image.jpg'

5ca13d8453042.image 100%[===================>]  32.46K  --.-KB/s    in 0.003s  

2020-09-28 19:29:15 (11.1 MB/s) - '5ca13d8453042.image.jpg' saved [33241/33241]

Il télécharge le fichier image à l’URL donnée et enregistre ensuite le fichier téléchargé dans notre répertoire de travail actuel.

La commande résout d’abord l’adresse IP de l’URL, puis lance le téléchargement. Nous pouvons également voir la barre de progression du téléchargement dans le terminal.

Si nous ne voulons voir aucune sortie dans le terminal, nous pouvons utiliser l’option -q avec la commande wget.

Enregistrer le fichier téléchargé à l’aide de la commande wget avec un nom de fichier personnalisé

Par défaut, le nom du fichier téléchargé est le même que sur le web. Si nous voulons enregistrer le fichier avec un nom de fichier différent, nous pouvons spécifier le nom de fichier après le drapeau -O.

wget -O linux.jpg https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

Le fichier téléchargé est alors enregistré dans notre répertoire de travail actuel sous le nom de fichier linux.jpg.

Sauvegarder le fichier téléchargé en utilisant wget dans un répertoire spécifique

Par défaut, tous les fichiers téléchargés sont enregistrés dans le répertoire de travail actuel. Pour sauvegarder les fichiers téléchargés dans un répertoire spécifique, nous utilisons l’option -P suivie de l’emplacement du répertoire où le fichier téléchargé doit être sauvegardé.

wget -P Downloads/Linux_Images https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

Cela permet de sauvegarder l’image téléchargée dans le répertoire Linux_Images à l’intérieur du répertoire Downloads.

Spécifier la vitesse de téléchargement en utilisant wget

Si nous ne voulons pas utiliser toute la bande passante disponible pour le téléchargement de fichiers à l’aide de wget, nous pouvons utiliser l’option --limit-rate pour restreindre le taux de téléchargement des fichiers.

wget -P --limit-rate=5m https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

Cette option limite le taux de téléchargement à 5mb.

Reprendre le téléchargement en utilisant wget

Si notre connexion Internet disparaît soudainement au milieu du téléchargement d’un gros fichier, le recharger depuis le début serait une tâche fastidieuse. Dans ce cas, nous pouvons reprendre le téléchargement en utilisant l’option -c.

wget -c https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

Dans certains cas, le serveur peut ne pas prendre en charge la reprise des téléchargements, et dans ce cas, le téléchargement recommence depuis le début.

Télécharger des fichiers en arrière-plan en utilisant wget

Pour télécharger des fichiers en arrière-plan en utilisant wget, nous ajoutons l’option -b à la commande.

wget -b https://releases.ubuntu.com/20.04/ubuntu-20.04.1-desktop-amd64.iso

Elle téléchargera le fichier image Ubuntu 20.04 en arrière-plan.

Pour surveiller l’état du téléchargement du fichier, nous utilisons la commande suivante:

tail -f wget-log

Changez le User-Agent du wget de la wget

Dans certains cas, le serveur peut bloquer l’agent utilisateur wget. Dans de tels cas, nous pouvons émuler un navigateur différent en utilisant l’option -U.

get --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0" <url>

Dans ce cas, Mozilla 68 demandera le fichier à partir de l’option <url>.

Télécharger plusieurs fichiers simultanément en utilisant wget

Pour télécharger plusieurs fichiers à l’aide de wget, nous créons un .txt qui liste les URL de chaque fichier à télécharger sur une ligne séparée. Nous utilisons ensuite la commande wget avec l’option -i suivie du chemin d’accès du fichier contenant les URL.

wget -i files.txt

Cela permettra de télécharger tous les fichiers à partir des URLs spécifiées dans le fichier files.txt.

Télécharger des fichiers à l’aide de la commande wget via FTP

Pour télécharger des fichiers en utilisant la commande wget via FTP, nous spécifions le nom d’utilisateur en utilisant l’option --ftp-user et le mot de passe en utilisant l’option --ftp-password.

wget --ftp-user=username --ftp-password=password <url>

Il télécharge le fichier à partir de l’URL spécifiée en utilisant le protocole FTP.

Créer une copie du site web en utilisant wget

Pour créer une copie d’un site web à l’aide de wget, nous utilisons l’option -m suivie de l’URL dont la copie doit être effectuée.

wget -m https://abc.com

Cela permettra de créer une copie de abc.com en téléchargeant tous les liens internes et les fichiers statiques nécessaires au rendu du site.

Si nous souhaitons faire fonctionner le site web téléchargé, nous devons également ajouter les options -k et -p.

wget -m -k -p https://abc.com

Sauter la vérification du certificat lors de l’utilisation de Wget

Parfois, nous devons télécharger un fichier de l’hôte sans certificat SSL valide en utilisant le protocole HTTPS. Dans ce cas, nous utilisons l’option --no-check-certificate pour sauter les vérifications de certificat.

wget --no-check-certificate <url>