Obtenir une page Web en Python

1. Utiliser le paquet urllib pour obtenir une page Web en Python
2. Utilisez le package requests pour obtenir une page Web en Python

En Python, nous pouvons créer des connexions et lire des données sur le Web. Nous pouvons télécharger des fichiers sur le Web et lire des pages Web entières.

Ce tutoriel montre comment obtenir une page Web en Python.

Utiliser le paquet urllib pour obtenir une page Web en Python

Ce package est utilisé pour récupérer des pages Web et gérer les opérations liées aux URL en Python. On peut utiliser la fonction urllib.request.urlopen() pour récupérer une page web en utilisant son URL.

Le module urllib.request ouvre l’URL donnée et retourne un objet. Cet objet a différents attributs comme header, status, et plus encore. Nous pouvons lire la page web en utilisant la fonction read() avec cet objet. Elle retournera le contenu complet de la page Web.

Voir l’exemple suivant.

import urllib.request

page = urllib.request.urlopen("http://www.python.org")
print(page.read())

Ces derniers temps, de nouvelles versions du package urllib sont apparues. Tout d’abord, nous avons le paquet urllib2, construit comme une version expérimentale de urllib avec des fonctionnalités plus récentes et améliorées. Il peut également accepter l’objet Requests du package requests. Le urlencode() est absent du package urllib2.

Le package urllib3 a également été introduit et est un package tiers, contrairement aux deux versions précédentes. Le package requests décrit ci-dessous utilise les fonctionnalités de ce package en interne.

Utilisez le package requests pour obtenir une page Web en Python

La bibliothèque requests est simple à utiliser et fournit de nombreuses fonctionnalités liées à HTTP. Nous pouvons utiliser la fonction requests.get() pour récupérer une page Web et renvoyer un objet Response.

Cet objet possède également plusieurs attributs comme status_code, content, etc. Nous pouvons utiliser l’attribut content pour renvoyer le contenu de la page Web donnée.

Par example,

import requests

response = requests.get("http://www.python.org")
print(response.status_code)
print(response.content)

La bibliothèque requests vise à fournir une API simple à utiliser et a un moyen plus pratique de gérer les erreurs. De plus, il décode automatiquement la réponse récupérée en Unicode.