Python でリクエストの最大再試行回数を設定する

keep_alive を無効にする

セッションの keep_alive 機能を無効にすることができます。 次のコードは、その方法を説明しています。

request_session = requests.session()
# disable keep_alive
request_session.keep_alive = False
request_session.get(your_url)

タイムアウト を使用する

サーバーが過負荷、ビジー、または場所から遠く離れている場合、これが同じエラーが発生する理由になる可能性があります. これを避けるために、応答時間を増やすことができます。

サーバーからの POST リクエストと GET リクエストの両方で実行できます。 たとえば、次のコードを見てください。

import requests

# the time in seconds in this example is increasing time by 5
req = requests.get(your_url, timeout=5)
req = requests.post(your_url, timeout=5)

timeout パラメータでタプルを使用することもできます。 最初のパラメーターはビルド時間を増加させ、2 番目のパラメーターは応答時間を増加させます。 コード例を以下に示します。

req = requests.get(your_url, timeout=(3, 6))

backoff_factor (遅延/スリープ) を設定します

backoff_factor は、ネットワーク接続を最初に設定するためにリクエストで使用される urllib3 引数です。

backoff_factor を設定して、各試行の試行回数とスリープ時間を増やすこともできます。

このエラーの発生を回避します。 これにより、コードの一部を停止し、サーバーの応答を受信するまで待機させます。

次の例は、backoff_factor がサービス リクエストに失敗するたびにサービス リクエストを遅らせる方法を示しています。

# you can set a backoff factor means delay/sleep time in each retry
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

# initailize the request session
request_session = requests.Session()
# initailizing retry object
# you can increase the number of total retires and sleep time of each retry
retries = Retry(total=3, backoff_factor=1)
adapter = HTTPAdapter(max_retries=retry)
request_session.mount("http://", adapter)
request_session.get(your_url)

urllib3 ドキュメント によると、backoff_factor は、ライブラリが再試行間のスリープ間隔を決定するために使用する基本値です。

たとえば、接続試行が失敗するたびに、urllib3 は {backoff_factor} * (2 (合計再試行回数 - 1)) 秒間スリープします。

たとえば、backoff_factor が 0.01 に設定されている場合、sleep() は 0.0s、0.2s、0.4s、… 再試行の間にスリープします。 バックオフはデフォルトでは非アクティブです (0 に設定)。

返されたステータス コードが 500、502、503、または 504 の場合、さらに再試行が要求されます。 再試行をさらに細かく制御するために、再試行を変更できます。