Obtenir du HTML avec des requêtes HTTP en Python

HTTP ou Hypertext Transfer Protocol est le fondement d’Internet ou du World Wide Web (WWW). Il s’agit essentiellement d’un protocole de couche application destiné à transférer des données de serveurs Web vers des navigateurs Web tels que Chrome, Firefox et Brave. Les requêtes HTTP sont envoyées à des adresses Web ou URL uniques pour récupérer les ressources requises et les documents hypermédias tels que HTML (Hypertext Markup Language). Une URL ou Uniform Resource Locator est une adresse Web unique utilisée pour localiser du contenu sur Internet. Le contenu ciblé peut être des fichiers HTML et des fichiers texte, des images, des audios, des vidéos, des fichiers zip et des exécutables.

Dans ce guide, nous allons apprendre comment récupérer du HTML sur une URL à l’aide de requêtes HTTP à l’aide de Python.

Envoyer des requêtes HTTP avec le module requests en Python

Le requests est un package Python qui nous permet d’envoyer des requêtes HTTP sur Internet. Nous pouvons utiliser ce module pour envoyer des requêtes HTTP à une URL et récupérer du HTML et d’autres détails essentiels. Le module requests possède une méthode get() qui envoie une requête GET à l’URL spécifiée et renvoie un objet de type requests.Response. Nous utiliserons cette méthode et la réponse renvoyée pour obtenir du contenu HTML. Reportez-vous au code suivant pour le programme Python.

import requests

r = requests.get("https://www.google.com")
print("Status Code:", r.status_code)
print("URL:", r.url)
print("HTML:\n", r.text)

Production :

Status Code: 200
URL: https://www.google.com/
HTML:
...

Dans le code ci-dessus, nous avons d’abord fait une requête GET à https://www.google.com, et la réponse renvoyée a été stockée dans la variable r. L’attribut text dans la réponse renvoie le contenu HTML. La sortie n’affiche pas le contenu HTML, mais ... car il était trop gros pour une meilleure lisibilité de l’article.