Comme son nom l'indique, la rétropropagation est un algorithme ce retour propage les erreurs des nœuds de sortie aux nœuds d'entrée. Par conséquent, on parle simplement de «propagation vers l'arrière des erreurs». Cette approche a été développée à partir de l'analyse d'un cerveau humain. La reconnaissance vocale, la reconnaissance de caractères, la vérification de signature, la reconnaissance de visage humain sont quelques-unes des applications intéressantes des réseaux de neurones. Les réseaux de neurones passent par un apprentissage supervisé, le vecteur d'entrée traversant le réseau produit un vecteur de sortie. Ce vecteur de sortie est vérifié par rapport à la sortie souhaitée. Si le résultat ne correspond pas au vecteur de sortie, un rapport d’erreurs est généré. Sur la base du rapport d'erreur, les poids sont ajustés pour obtenir le résultat souhaité.
Qu'est-ce qu'un réseau neuronal artificiel?
Une Réseau neuronal artificiel utilise une règle d'apprentissage supervisé pour devenir efficace et puissant. Les informations contenues dans les réseaux de neurones circulent de deux manières différentes. Principalement, lorsque le modèle est en cours de formation ou d'apprentissage et lorsque le modèle fonctionne normalement - soit pour des tests, soit pour effectuer une tâche quelconque. Des informations sous différentes formes sont introduites dans le modèle via des neurones d'entrée, déclenchant plusieurs couches de neurones cachés et atteignant les neurones de sortie, ce que l'on appelle un réseau à réaction.
Comme tous les neurones ne se déclenchent pas en même temps, les neurones qui reçoivent les entrées de la gauche sont multipliés par les poids lorsqu'ils traversent des couches cachées. Maintenant, additionnez toutes les entrées de chaque neurone et lorsque la somme dépasse un certain seuil, les neurones qui étaient restés silencieux se déclenchent et se connectent.
La façon dont le réseau de neurones artificiels apprend, c'est qu'il apprend de ce qu'il a fait de mal et fait le bien, et c'est ce qu'on appelle la rétroaction. Les réseaux de neurones artificiels utilisent la rétroaction pour apprendre ce qui est bien et ce qui est mal.
Qu'est-ce que la rétropropagation?
Définition: La rétropropagation est un mécanisme essentiel par lequel les réseaux de neurones sont formés. Il s'agit d'un mécanisme utilisé pour affiner les poids d'un réseau de neurones (autrement appelé modèle dans cet article) en ce qui concerne le taux d'erreur produit dans l'itération précédente. C'est similaire à un messager indiquant au modèle si le réseau a commis une erreur ou non dès qu'il l'a prédit.
backpropagation-neural-network
La rétropropagation dans les réseaux de neurones concerne la transmission d'informations et reliant ces informations à l'erreur générée par le modèle lors d'une estimation. Cette méthode vise à réduire l'erreur, autrement appelée fonction de perte.
Fonctionnement de la rétropropagation - Algorithme simple
La rétropropagation dans l'apprentissage profond est une approche standard pour la formation de réseaux de neurones artificiels. La façon dont cela fonctionne est que - Au départ, lorsqu'un réseau de neurones est conçu, des valeurs aléatoires sont attribuées sous forme de poids. L'utilisateur n'est pas sûr que les valeurs de poids attribuées soient correctes ou adaptées au modèle. Par conséquent, le modèle génère la valeur qui est différente de la sortie réelle ou attendue, qui est une valeur d'erreur.
Pour obtenir la sortie appropriée avec une erreur minimale, le modèle doit être formé sur un ensemble de données ou des paramètres pertinents et surveiller sa progression à chaque fois qu'il prédit. Le réseau neuronal a une relation avec l'erreur, ainsi, chaque fois que les paramètres changent, l'erreur change également. La rétropropagation utilise une technique connue sous le nom de règle delta ou de descente de gradient pour modifier les paramètres du modèle.
Le diagramme ci-dessus montre le fonctionnement de la rétropropagation et son fonctionnement est donné ci-dessous.
- «X» à la portée des entrées à partir du chemin préconnecté
- «W», les poids réels sont utilisés pour modéliser l’entrée. Les valeurs de W sont attribuées aléatoirement
- La sortie de chaque neurone est calculée par propagation de transmission - la couche d'entrée, la couche cachée et la couche de sortie.
- L'erreur est calculée aux sorties à l'aide de l'équation Propagation en arrière à nouveau à travers les couches de sortie et cachées, les poids sont ajustés pour réduire l'erreur.
Propagez à nouveau vers l'avant pour calculer la sortie et l'erreur. Si l'erreur est minimisée, ce processus se termine, ou bien se propage vers l'arrière et ajuste les valeurs de poids.
Ce processus se répète jusqu'à ce que l'erreur soit réduite au minimum et que la sortie souhaitée soit obtenue.
Pourquoi avons-nous besoin d'une rétropropagation?
Il s'agit d'un mécanisme utilisé pour entraîner le réseau neuronal lié à l'ensemble de données particulier. Certains avantages de la rétropropagation sommes
- Il est simple, rapide et facile à programmer
- Seuls les nombres de l'entrée sont réglés et aucun autre paramètre
- Pas besoin d'avoir des connaissances préalables sur le réseau
- C'est flexible
- Une approche standard et fonctionne efficacement
- Il ne nécessite pas que l'utilisateur apprenne des fonctions spéciales
Types de réseau de rétropropagation
Il existe deux types de réseaux de rétropropagation. Il est classé comme ci-dessous:
Rétropropagation statique
La rétropropagation statique est un type de réseau qui vise à produire un mappage d'une entrée statique pour une sortie statique. Ces types de réseaux sont capables de résoudre des problèmes de classification statique tels que la reconnaissance optique de caractères (OCR).
Rétropropagation récurrente
La rétropropagation récurrente est un autre type de réseau utilisé dans l'apprentissage en virgule fixe. Les activations en rétropropagation récurrente sont avancées jusqu'à ce qu'elle atteigne une valeur fixe. Suite à cela, une erreur est calculée et propagée vers l'arrière. UNE Logiciel , NeuroSolutions a la capacité d'effectuer la rétropropagation récurrente.
Les principales différences: La rétropropagation statique offre un mappage immédiat, tandis que le mappage d'une rétropropagation récurrente n'est pas immédiate.
Inconvénients de la rétropropagation
Les inconvénients de la rétropropagation sont:
- La rétropropagation peut être sensible aux données bruyantes et aux irrégularités
- Les performances de ceci dépendent fortement des données d'entrée
- Nécessite un temps de formation excessif
- La nécessité d'une méthode matricielle pour la rétropropagation au lieu d'un mini-lot
Applications de la rétropropagation
Les applications sont
- Le réseau neuronal est formé pour énoncer chaque lettre d'un mot et d'une phrase
- Il est utilisé dans le domaine de reconnaissance de la parole
- Il est utilisé dans le domaine de la reconnaissance des caractères et des visages
FAQ
1). Pourquoi avons-nous besoin d'une rétropropagation dans les réseaux de neurones?
Il s'agit d'un mécanisme utilisé pour entraîner le réseau neuronal lié à l'ensemble de données particulier
2). Quel est l'objectif de l'algorithme de rétropropagation?
L'objectif de cet algorithme est de créer un mécanisme d'apprentissage pour les réseaux de neurones afin de garantir que le réseau est formé pour mapper les entrées vers leurs sorties appropriées.
3). Quel est le taux d'apprentissage dans les réseaux de neurones?
Le taux d'apprentissage est défini dans le cadre de l'optimisation et de la minimisation de la fonction de perte d'un réseau de neurones. Il fait référence à la vitesse à laquelle un réseau neuronal peut apprendre de nouvelles données en remplaçant les anciennes données.
4). Le réseau de neurones est-il un algorithme?
Oui. Les réseaux de neurones sont une série d'algorithmes ou de règles d'apprentissage conçus pour identifier les modèles.
5). Quelle est la fonction d'activation dans un réseau neuronal?
La fonction d'activation d'un réseau neuronal décide si le neurone doit être activé / déclenché ou non en fonction de la somme totale.
Dans cet article, le concept de rétropropagation des réseaux de neurones est expliqué en utilisant un langage simple pour un lecteur à comprendre. Dans cette méthode, les réseaux de neurones sont formés à partir des erreurs générées pour devenir autonomes et gérer des situations complexes. Les réseaux de neurones ont la capacité d'apprendre avec précision avec un exemple.
