Programmer un réseau de neurones [Résolu/Fermé]

Salut,
Je ne me souviens pas avoir déjà entendu parler d'apprentissage zéro mémoire, c'est d'autant plus bizarre que si ton réseau "apprend" qqch, c'est qu'il a une mémoire. Et cette mémoire, c'est simplement les poids des connexions.

Les algorithmes d'apprentissage, pour un perceptron multi-couches, sont tous basés (à ma connaissance) sur la loi de Hebb, qui exprime le fait que 2 neurones qui travaillent ensemble voient leur liaison se renforcer. Ils sont également tous équivalents à un algorithme de descente de gradient (si tu as fait de la physique, ça doit te parler).
Et si tu veux plus d'informations, l'algorithme type s'appelle tout simplement algo de rétropropagation du gradient, ensuite, il en existe des variantes...
Tout ça doit se trouver sur internet.

J'espère que ça t'aidera,
Franky*

salut franky c'est sympa de ta part de vouloir nous aider
on a crée moi et mon pote ce compte pour te contacter et si on ne reussi pas dans la programattion nous sommes dans la merde c'est un TP noté et nous blocquons sur l'algorithme d'apprentissage
le prof ve la methode de descente du gradient

en effet je dois programmer un reseau de neurones
j'ai 4 neurones d'entrées
(1 couche cachée : 3 neuronnes)
1 neurone de sortie (qui prend les valeurs soit 0 soit 1)
il nous faut programmer l'algorithme d'apprentissage (méthode de la descente du gradient) on doit faire cela sur maple ou C++ .
si tu as des exemples peut tu nous les envoyés ou si tu as la solution merci de bienvouloir nous aider
Car le but c'est de tracer la courbe d'erreur en fonction du nombre de neurone de la couche cachée
on atteind impatiament ta réponse
merci

Salut,

J'espère pouvoir encore vous aider, mais ce n'est pas mon domaine, et j'oublie progressivement comment ça marche.

Déjà, il doit y avoir pas mal de réponses à vos questions dans les autres messages de ce post.

Ensuite, je sais que ça ne rentre pas dans le cadre de votre projet, mais si vous avez accès à Matlab, la toolbox réseaux de neurones est très bien faite (et permettrait de répondre facilement à la question de l'influence du nb de neurones de la couche cachée sur l'erreur).

Sinon, je peux déjà vous donner la réponse (quelle que soit la fonction à approximer) : l'erreur va diminuer progressivement (meilleure capacité d'apprentissage), puis réaugmenter rappidement (sur-apprentissage).

Pour finir, je ne vois pas trop comment vous aider pour la descente de gradient : il doit surement y avoir plein de cours sur internet (

http://fr.wikipedia.org/wiki/R%C3%A9tropropagation

par exemple), donc je pourrais plutôt vous aider pour des détails, mais pas pour expliquer toute la méthode !
En deux mots, la descente de gradient consiste à toujours suivre la pente maximale, entre le résultat voulu et l'endroit où on se trouve, mais elle a un ENORME défaut : elle reste coincée dans les minima locaux ! (voir à ce sujet le "recuit simulé").

Bon courage !

Bonjour,
je suis étudiante et la je fais un stage sur les réseaux de neurone.
on me demande de faire des réseaux de neurone en matlab mais ils n'ont pas la toolbox donc je fais avec BNT une librairie de matlab en libre service.
le probleme c'est que je ne sais pas m'en servir.
je sais que j'ai 2 entrées ,4 cachés,1 sortie.
je suis l'algorithme de retropropagation en feedforward.pourrais tu m'aider?
merci beaucoup
ps : que signifie le terme boite noire.
merci d'avance

Salut,

Là, je ne vais vraiment pas pouvoir t'aider : ce n'est plus du tout mon domaine (en plus, pas trop de temps...)
Tout ce que je peux dire, c'est que sans toolbox, ça ne me parait pas trop faisable...

Par contre, pour la boite noire, ça veut simplement dire un système (ici, le réseau) qui possède des entrées et des sorties, mais dont on ne connait pas l'architecture interne (ou du moins, on ne peut pas la modifier). Autrement dit, c'est comme si tu te retrouvait devant une boite fermée : la seule manière de l'étudier, c'est de faire des expériences en lui fournissant des valeurs d'entrée et en observant le résultat.
A là limite, tu ne sais même pas que c'est un réseau de neurones, ça pourrait être n'importe quel système qui a le même comportement.

Bon courage,
François

slt,
je travaille sur le meme sujet que vous ;modelisation et commande du ph par reseaux de neurones
pour matlab je vous conseille de voir le guide de matlab v6 neural network

salut dj, je me suis mis aussi en tete de faire un petit reseau delire , as tu utiliser le v8 de la version 2.4? les patch sont optimiser, contacte moi je te dirait comment l'installer et plus si tu veu... LOL :o*)


UN NEURONE PENSANT VAUT MIEUX QU'UN RESEAU SOUS IPV6.....

G

Bonjour je suis en train de developper mon projet fin d'etudes j'ai fini la partie de l'etat de l'art et je passe maintenent à la partie programmtion Matlab d'un algorithme d'apprentissage pour un modele connexionniste
j'ai besoin vraiment de votre aide et un enorme merci d'avance

Salut Francky.J'ai demandé une aide sur les réseaux de neurones mais depuis la personne pour me repondre.La question se trouve dans la rubrique programmer réseaux de neurones.Mon nom d'utilisateur est snipermod84 alors si tu peux m'aider merci de bien vouloir me le faire parvenir.vraiment très urgent

Bonjour,

Ca fait longtemps que je n'ai pas participé à cette discussion, mais je peux effectivement bien répondre à cette question :

Ce que tu appelles algorithmes d'optimisation combinatoire, c'est ce que j'appelle métaheuristiques, mais c'est pareil.
Par principe, ce ne sont pas des algorithmes qui permettent de résoudre des problèmes précis, mais seulement des outils qui permettent de trouver des optima (locaux) parmi des paramètre. On peut considérer qu'elles sont toutes équivalentes (certaines sont plus adaptées pour certains problèmes, mais en théorie, toutes convergent vers l'optimum global).

Il y a de fortes chances que ces outils puissent être utilisés dans la reconnaissance (de caractère, de mots, ou autres), mais pas comme algorithme de reconnaissance en tant que tel ! Seulement comme optimisation d'autre algorithmes.

La solution "classique" pour la reconnaissance est l'approche connexionniste (donc les RN), et elle donne donc en général de bon résultats, meilleurs que d'autres approches moins étudiées.

Cependant, dans le cas particulier de la reconnaissance vocale ou de phrases (ce que tu appelles reconnaissance de mots ?), une autre approche est très utilisée : les modèles stochastiques (ce qui veut dire avec un processus aléatoire).
Donc si c'est ça que tu veux faire, il vaudrait mieux te renseigner sur les réseaux Bayésiens (ils sont utilisés par les moteurs de recherche), et surtout sur les modèles de Markov cachés (HMM: hidden Markov model). Il s'agit d'outils très malins, et pas trop difficile à comprendre (à condition d'avoir un bon cours, mais je n'en ai pas à proposer...).

Si c'est ce que tu veux faire, je te conseille donc de chercher des cours sur la reconnaissance vocale, en faisant attention à la partie algorithmique qui utilise cette approche stochastique.

J'espère que ça t'aidera !

François

Salut,


Je viens de voir ton tuto et sa m interesserai bien de programmer un reseau de neurone pour la reconnaissance de caractere mais je sais pas par ou commencer.J ai essayer de trouver de la doc sur google mais pas evident(quel algo ??).
Je souhaite utilisé c++builder ou vb pour le faire/
Apparamment tu à l air de t y connaitre si sa ne te genrai pas de me donner un coup de pousse SVp

je te remercie d avance

Tu parle de la reconnaissance de parole par réseau de neurone c'est effectivement mon thème de recherche. Je suis entrain de développer un programm sous MATLAB pour la reconnaissance de mots . Mais je ne sais pas de quoi il est constitué le patron d'entrée de mon réseau. A tu une idée?? Merci quand meme.

Salut,

J'ai pas très bien compris ta question... Il me semble quand même que l'utilisation de réseaux de neurones pour la reconnaissance de la parole n'est plus très utilisée parce que décevante.
C'est pour ça que je parlais des réseaux bayésiens !
Mais dans tous les cas, il faut traiter tes données : tu ne peux pas faire de la reconnaissance vocale avec un signal de pression (donc ce que renvoit un micro), il faut d'abord découper le signal en fenêtres, calculer les fréquences de base, séparer la parle du bruit, etc. C'est un gros boulot !

Salut franky,
J'ai bien réussi à programmer un réseau de neurones de type MLP capable de reconnaître de 10 mots isolés et j'ai pu trouver des bons résultats (taux de reconnaissance = 93% avec 41 mn d'apprentissage ) mais je voudrais comparer ces performances en utilisant d'autres types de réseaux (RBF et Elman). Avez vous une idée.
Merci infiniment.

Merci bien pour ta réponse!

Je souhaite trouver un moyen pour faire de la reconnaissance de forme pour un robot (e=m6).
Il utilisera une caméra et devra reconaitre si oui ou non une quille est présente à l'image (au choix: l'image est centrée sur la quille suposée grâce à un laser puis l'image est analysée par le réseau de neurones afin de confirmer, ou bien dès qu'une quille est détectée, le réseau envoi les coordonnées de l'objet)

voilà tout!

Eh ben dis-donc !
T'as les moyens, si tu peux t'offrir un laser pour la coupe E=M6 ! ;-)
T'es dans quelle équipe ? Une école ?

En tous cas, t'embêtes pas, si tu décide d'utiliser un RN pour la reconnaissance, tu n'auras pas assez de puissance ou de temps (calcul !) pour utiliser un laser... Et inversement !

Mais l'idée du RN est très intéressante dans ce cas : l'apprentissage peut être aussi long que tu veux, mais une fois que ton réseau est entraîné, il est relativement rapide.

La première solution qui me vient en tête pour ton problème s'appelle la rétinotopie (toujours si tu veux chercher de la doc) : ça consiste en une carte de reconnaissance type Kohonen (j'explique après), mais l'entrée n'est pas la même pour tous les neurones -> c'est très utile si ta caméra te renvoie beaucoup de pixels, alors que tu veux gagner du temps en n'ayant que "peu" de neurones.
Une seule autre solution concurrente (pour moi ! Mais à vérifier...) : tu peux toujours utiliser une carte de Kohonen, mais avec un très gros prétraitement des données, bien bourrin pour gagner du temps de calcul ensuite.
A la réflexion, c'est même la 2ème solution la meilleure (ne serait-ce que parce que tu n'auras pas le temps d'étudier la première...)
Donc demande-toi ce qui différencie (à tes yeux, mais de manière facilement implémentable !) une quille de tout ce que voit le robot sinon, et traite chaque image de manière à laisser apparaitre cette différence.

Le but est de passer d'une image de (au pif) 300*300 pixels de ta caméra à une image 8*8 par exemple, sans perte d'information capitale (déjà, c'est pas gagné !)

Ensuite, Kohonen :
Commence par rechercher tout ce que tu peux sur "les cartes auto-organisatrices", parce que le cours serait un peu long ici ! Si tu as encore des questions après, je pourrai t'aider.
Ce qu'il faut savoir en gros : le principe de kohonen est une façon d'organiser une carte de neurones (plane dans ton cas) de manière à ce que chacun s'active plus que les autres lorsqu'une certaine configuration se présente, et surtout que 2 neurones proches sur la carte aient des configurations d'activation privilégiées (prototypes) proches !
Mais ce n'est qu'un principe, et il ne faut surtout pas tenter de le programmer tel quel ! En fait, il existe des algorithmes très simples qui simulent cette organisation, et c'est ça qui nous intéresse.

L'énorme intérêt pour toi de cette méthode, c'est qu'elle est "auto-organisatrice", c'est-à-dire qu'elle ne correspond pas à un apprentissage supervisé. Donc tu n'auras pas besoin de développer tout un jeu d'entraînement, mais seulement de présenter au réseau des données (pré-traitées comme expliqué avant), et de le laisser s'organiser.

Ce que tu vas obtenir, c'est une carte de neurones (Ex. 8*8 comme avant, peut-être plus), dans laquelle chaque neurone correspondra à une position de la quille (n'oublies pas de présenter des exemples où il n'y a pas de quille !). Comme tu n'auras pas supervisé l'apprentissage, tu auras toutes les chances que ce soit un réseau "à droite" (selon ton implémentation) qui s'active lorsque la quille est à gauche de l'image, mais quitte à tourner l'image dans tous les sens, les neurones s'activeront exactement suivant la position de la quille sur l'image !

D'où une petite réflexion : si les quilles sont au niveau du sol et que ta caméra ne monte pas ni ne descend, tu n'as pas besoin de créer une carte en 2 dimension, mais seulement 1 ! Et au lieu d'avoir 64 neurones, tu pourras te contenter d'en prendre 8, ou plutôt une quinzaine pour avoir un minimum de précision (sans oublier le cas absence de quille !!!).

Une fois que tu sais quel neurone s'active dans quel cas, ça devient très simple de diriger ton robot.

Par contre, 2 problèmes pour cette méthode :
Elle permet d'obtenir la direction d'une quille mais pas ses coordonnées ! Plutôt que de compliquer l'algo, on peut imaginer que tu places la caméra très haut et "regardant vers le bas" (ou l'inverse !), et on se retrouve avec le pb de la carte en 2 dimensions (par exemple si ton prétraitement fait ressortir la base des quilles, le réseau pourra "replacer" cette base dans l'image).
Pb 2 : si toute une équipe compte sur toi pour faire une méthode de reconnaissance correcte, en temps limité, c'est très chaud, alors fait en sorte qu'une autre méthode de secours soit développée en parallèle.

Je te laisse encore me tenir au courant,

A+

Eléctions : Bush filled his SOUl with HOpe

salut,
Svp j'ai besoin de votre aide, je suis entrain de préparer mon projet fin d'etude sur la reconnaissance des visages, et j'utilise normalment le reseau de kohonen, mais j'arriv pas à programer ce reseau(sur c++ builder6) .
j'attend votre réponse(il me reste pas bq de temps)
merci d'avance.

Bonjour,
Je cherche a programmer un reseau de type perceptron a 3 couches pour la reconnaissance de formes. Je souheite le faire sur matlab, avec une couches de neurones d'entrée, une couche cachée et un neurone de sortie. Mon but "premier" est de réaliser l'apprentissage afin que mon réseau puisse reconnaitre des sinusoides de phases et fréquneces aleatoires.Puis on verra pour faire plus compliqué si ca marche!! Je me suis pas mal renseignée sur l'apprentissage par retropagation du gradient mais je coince un peu au niveau de matlab...c'est pas mon fort. Pourriez vous m'aider à coder l'apprentissage, j'ai cru comprendre en lisant les discussions que vous en connaissiez pas mal dans ce domaine.
Merci de votre réponse

De rien :-)

Tiens-moi au courant de l'avancement...

Et puis si y'a un problème inattendu, ou si tu veux des conseils, pareil ;-)

Eléctions : Bush filled his SOUl with HOpe