Programmer un réseau de neurones

slr Franky,
avant tout, je te remercier pour tes remarques pertinentes et qui doivent etre prises en compte par les visiteurs (les utilisateurs des RN bien sur). sincèrement CHAPEAU, j'aime bien ta méthode de cummuniquer avec les gens, c'ets tres pédagogique.
je ne sais pas par koi commencer ! voilà en fait je travail sur les réseaux de neurones ( je suis débutant), je ne suis pas un informaticien mais ça touche a mon domaine (l'ingineering). mon travail consiste a exploiter cet outil math performant a l'ingenierie (mécanique). Bref, j'utilise les MLP, le thème de mon projet était un peu spécifique, je devais utiliser les réseaux dynamiques, parceque le processus que je dois modeliser (supervision en ligne) est un processus dynamique et completement aléatoires meme si on sait a peu pres l'allure générale de ce process. au fil du temps j'ai decouvert que 99% des travaux qui ont été fait dans ce domaines utilisent les MLP vu leurs simplicité et les résultats tres satisfaisants qu'ils donnent. alors j'ai opté pour ce type de réseau MLP + rétropropagation du gradient avec momentum . en plus des avantges cités de ce type dans ce domaine, j'ai trouvé pas mal de livres et d'articles qui qualifie ce réseau (MLP+Rétro+Momentum) comme étant un réseau dynamique, en se basant sur le fait que ce paramètre (Momentum) prends en compte l'influence de l'état précedent su l'état actuel du réseau. ce que je veux savoir Franky en premier lieu: est ce c'est vrai ???
j'ai commencé de faire de la prog en utilisant Matlab, j'ai eu des résultats. ça s'amiliore d'un jr a l'autre. ma stratégie est la suivante: j'utilise un MLP de trois couches ( couche d'entrée, cachée et de sortie), j'ai 6 entrées (vecteurs) et une seule sortie, j'ai fait varier le nbre de neurones dans la couche cachée ( de 1 a25) avec un taux d'apprentissage egale à 0.3 et un momentum égale à 0.5 ( choisi d'une manière arbitraire) afin de faire une optimisation sur l'architecture en faisant plusieurs essais pour chaque architecture( 5 essais pour différents valeurs de poids) ensuite je fais des tests pour prendre l'architecture qui donne un taux de réussite le plus élevé dans la base de test. une fois l'architecture est choisie, j'ai fait varire les deux paramètres (taux et momentum) avec un pas de 0.1 chacun, l'intevale pour chaque parmaètre étant de [0.1,0.9] ce qui fait donc 9*9=81 possibilités. ces derniers essais je les fait pour des valeurx de poids (initiaux) fixes, ie ceux qui me donnaient un taux de réussite élevé au début (optimisation de l'architecture). est ce que ça pose un problème si j'utilise les mêmes poids d'initialisation pour faire une optimisation sur ces facteurs ? ou bien je change la matrice de poids d'initialisation au fure et a mesure ?
autres alternatives: je pense a etudier l'influence du rapport taille de la base d'appr sur la taille de la base de tsts et voir l'impact ( appremment c'est un problème d'Overffiting comme tu l'as dit aupparevent). concernat ce phénomène c'ets la taille de la base d'appr qui l'engendre ou bien le nbre d'itération est l'erreur imposée (performance du réseau)?
j'espère bien que je n'étais LOURD a travers ce message, et j'espère bien trouver des réponses pour les questions que viens de poser. je compte sur toi Franky ainsi que toi Xavier j'apprecie bcp ce que tu donnes pour les utilisateurs de ce Forum ( au moins pour moi).
bne continuation.
l'amoureux de la progrmmation beautchou

Salut Beautchou,

Merci pour le compliment :-)
Je dois remettre qqch au point : je ne suis pas un spécialiste des réseaus de neurones ! Mais alors pas du tout ! Je suis presque désolé de voir que tu as tellement écrit, alors que je ne comprends pas la moitié de ce que tu écris...

Je vais faire de mon mieux pour répondre :

Quand tu parles de processus aléatoire, je pense d'abord à un MDP (processus de décision markovien) qu'à un MLP ! Si tu n'étais pas déjà si avancé sur les réseaux de neurones, je t'aurais conseillé d'aller chercher dans cette voie...

Je ne sais plus exactement ce qu'est le momentum, mais il me semble simplement que ça signifie que chaque valeur d'entrée passe successivement dans chaque point d'entrée, autrement dit, la couche d'entrée, de taille n, contient les n dernières valeurs du jeu de données. Donc si c'est ça, ça prend bien en compte tous les états précédents au temps t (jusqu'à t-n). De toutes façons, si j'ai appris ça, c'est dans l'aide de matlab...

Ensuite, tu as l'air de bien te débrouiller avec tes expériences.
Je ne suis pas sûr de comprendre ta question : tu te demandes s'il faut que tu changes les valeurs initiales pour chaque expérience, ou s'il faut que tu gardes les mêmes pour pouvoir comparer ces xp, c'est bien ça ?
Si c'est le cas, la seule réponse que je peux te donner, c'est de vérifier si les valeurs initiales influent sur le résultat : il faut dans ce cas faire plusieurs xp avec les mêmes paramètres mais en changeant les valeurs initiales (on appelle ça une réplication, dans la méthode expériementale).

Pour finir, à propos des bases d'entrainement et de test, j'ai trouvé un site avec une thèse complète très bien expliquée : tu n'est pas obligé de tout lire bien sûr, mais le début me sembles très intéressant !

http://www.becoz.org/these/memoirehtml/ch06.html

J'espère que tu t'en sortiras avec ça...

slt Franky,
Merci pour la réponse et dsl pour le retard.
Bon, a propos du momentum voilà la relation qui l'utilise pour l'adaptation des poids et des biais:
w(nouv)=w(ancien)+Δw
avec :
Δw(I)=α*(ΔE/Δw)+ηΔw(I-1).
α: taux d'apprentissage.
le cofacteur de α est la dérivée de l'erreur (E=O(sortie)-T(cible)) par rapport aux poids wij.
η: momentum.
donc tu remarques que variations des poids de l'itération (I) sont calculés en prenant compte les variations de poids de l'itération (I-1) c'est a dire l'étape précédente.
d'aprés ce que j'ai trouvé, ce terme de momentum pemet de compenser les problèmes rencontrés avec un taux d'apprentissage élevé ou petit ( sacanht qu'avec un taux d'app élevé engendre une perte en pércision et un petit taux d'app donne naissancea des oscillations parasites).
en tout moi je travaille avec et je vois son influence disons positve sur le réseau. a vrai dire c'est cassement de tate avec tous ces facteurs c'ets un peu défficile de trouver le réseau qyui convient pour une application donée.
j'ai limité la precision (goal) a 0.0025 et le nbre d'itérations a 20000 afin déviter le pb de sur-apprentissage (même avec une erreur de 0.002 j'ai eu des résultats mais ça me coute trop en terme de temps vu le nombre élevé d'experience).
au tyotal j'ai 57 exemples j'ai choisi 44 pour l'apprentissage et 13 pour le teste en premier lieu.
je commence a voir l'inluence du taux d'appr et du momentum sur la fiablité et le taux de réussite du réseau, apres je tenterai de voir l'inluence de la taille des deux ensembles (appr et test), ensuite l'inluence des pids initiaux et des fontions de transfert...il me reste du boulot !!!
qu'en dis tu ?
j'attends tjs des critiques avec gd coeur,je t'informerai s'il y aura du nouveau.
bne suite.
1-de donner un aspect dynamique au processus d'apprentissage en introduisant l'inluence des étapes précédentes sur les étapes actuelles.
2-d'éviter de tomber sur un minimum local (local minima) et de trouver tjs un minimum global.
3-ce facteur variant entre 0 et 1 permet

slt Franky,
(je ne sais ce que s'est arrivé a mon message le voilà je lui ai redonné sa première version)
Merci pour la réponse et dsl pour le retard.
Bon, a propos du momentum voilà la relation qui l'utilise pour l'adaptation des poids et des biais:
w(nouv)=w(ancien)+Δw
avec :
Δw(I)=α*(ΔE/Δw)+ηΔw(I-1).
α: taux d'apprentissage.
le cofacteur de α est la dérivée de l'erreur (E=O(sortie)-T(cible)) par rapport aux poids wij.
η: momentum.
donc tu remarques que variations des poids de l'itération (I) sont calculés en prenant compte les variations de poids de l'itération (I-1) c'est a dire l'étape précédente.
d'aprés ce que j'ai trouvé, ce terme de momentum pemet de :

1-de donner un aspect dynamique au processus d'apprentissage en introduisant l'inluence des étapes précédentes sur les étapes actuelles.
2-d'éviter de tomber sur un minimum local (local minima) et de trouver tjs un minimum global.
3-ce facteur variant entre 0 et 1 permet de compenser les problèmes rencontrés avec un taux d'apprentissage élevé ou petit ( sachant qu'avec un taux d'app élevé engendre une perte en pércision et un petit taux d'app donne naissance a des oscillations parasites).
en tout cas moi je travaille avec et je vois son influence disons positve sur le réseau. a vrai dire c'est un cassement de tête avec tous ces facteurs c'est un peu défficile de trouver le réseau qui convient pour une application donée.
j'ai limité la precision (goal) a 0.0025 et le nbre d'itérations a 20000 afin déviter le pb de sur-apprentissage (même avec une erreur de 0.002 j'ai eu des résultats mais ça me coute trop en terme de temps vu le nombre élevé d'experience).
au tyotal j'ai 57 exemples j'ai choisi 44 pour l'apprentissage et 13 pour le teste en premier lieu.
je commence a voir l'inluence du taux d'appr et du momentum sur la fiablité et le taux de réussite du réseau, apres je tenterai de voir l'inluence de la taille des deux ensembles (appr et test), ensuite l'inluence des pids initiaux et des fontions de transfert...il me reste du boulot !!!
qu'en dis tu ?
j'attends tjs des critiques avec gd coeur,je t'informerai s'il y aura du nouveau.
bne suite.