Implémenter la fonction ReLU en Python

1. la Fonction ReLU
2. Implémenter la fonction ReLU en Python

Ce tutoriel discutera de la fonction Relu et comment l’implémenter en Python.

la Fonction ReLU

La fonction Relu est fondamentale pour le Machine Learning et est essentielle lors de l’utilisation du Deep Learning.

Le terme ReLU est un acronyme pour Rectified Linear Unit et fonctionne comme une fonction d’activation dans le cas des réseaux de neurones artificiels, qui sont la base du Deep Learning. Python, étant l’un des langages de programmation appropriés pour implémenter à la fois des algorithmes d’apprentissage automatique et d’apprentissage profond, a une portée d’utilisation de la fonction ReLU.

En termes mathématiques simples, la fonction ReLU peut être définie comme suit :

f(x) = max(0,x)

Cette fonction est linéaire concernant x et peut mettre à zéro toutes les valeurs négatives.

Implémenter la fonction ReLU en Python

Pour implémenter la fonction ReLU en Python, nous pouvons définir une nouvelle fonction et utiliser la bibliothèque NumPy.

La bibliothèque NumPy permet de gérer les matrices et les tableaux en Python, car ceux-ci ne peuvent pas être directement implémentés dans ce langage de programmation. La fonction maximum() de la bibliothèque NumPy peut être utilisée dans notre nouvelle définition de fonction pour créer une fonction ReLU.

Le code suivant implémente la fonction ReLU en Python.

import numpy as np


def relu1(a):
    return np.maximum(0, a)


print(relu1(-3))

Le code ci-dessus fournit la sortie suivante :

0

Dans le code ci-dessus, nous traitons un seul entier. Cependant, la fonction ReLU que nous avons créée peut facilement fonctionner sur tout ce qui va d’un seul entier à des tableaux NumPy et des objets similaires.

Lorsque cette fonction reçoit un nombre en entrée, la sortie sera toujours un nombre. La même règle est suivie lorsque nous passons un tableau à cette fonction.

Le type d’objet saisi sera toujours le type d’objet renvoyé en sortie.

Chose intéressante, lorsqu’il s’agit de tableaux, nous pouvons utiliser la bibliothèque plotly et même créer des graphiques pour décrire l’action de la fonction ReLU sur des tableaux et des objets similaires.

Pour mieux expliquer le fonctionnement de la fonction ReLU, nous allons maintenant prendre un exemple de tableau simple et réaliser la tâche à accomplir. De plus, nous allons également représenter un graphique et voir l’action en direct de la fonction ReLU sur ce tableau.

Le code suivant utilise la fonction ReLU sur un tableau en Python.

import numpy as np
import plotly.express as px


def relu1(a):
    return np.maximum(0, a)


x1 = np.linspace(start=-5, stop=5, num=26)
print(x1)
x2 = relu1(x1)
print(x2)
px.line(x=x1, y=x2)

Le code ci-dessus fournit la sortie suivante :