Page 1 Apprentissage (I) Mirta B. Gordon Laboratoire Leibniz-IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS : modèles, concepts méthodes Page 2 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I2 plan cest quoi ? différents types dapprentissage algorithmes dapprentissage les réseaux de neurones –le perceptron –réseaux plus complexes théorie de lapprentissage Page 3 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I3 cest quoi ? apprendre est sadapter à lenvironnement à partir de lexpérience schéma : –on a des stimuli ou entrées –il faut donner une réponse adéquate, ou sortie entrées-sorties : –à partir de notre perception visuelle reconnaître un visage –à partir de descripteurs dune situation prendre une décision –à partir de descripteurs de données les classer « apprendre » à partir de données empiriques Page 4 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I4 trois types dapprentissage supervisé : –on a un ensemble dexemples (couples entrée-sortie) –on doit apprendre à donner la sortie correcte à de nouvelles entrées non-supervisé : –on a un ensemble de données (entrées sans la sortie correspondante) –on doit trouver des régularités permettant de les classer (clusters) par renforcement –on a des entrées décrivant une situation –on reçoit une punition si la sortie quon donne nest pas adéquate Page 5 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I5 algorithmes dapprentissage heuristiques (recettes) pour chaque type dapprentissage apprendre problème inverse, mal posé pas de solution unique différents algorithmes : chacun a sa performance critères : –vitesse de convergence temps dapprentissage en fonction du nombre dexemples –capacité de généralisation évolution de la qualité de la solution en fonction du nombre dexemples Page 6 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I6 apprentissage supervisé classification ou discrimination : attribuer une classe à une donnée, à partir des traits décrivant cette donnée exemples de tâches de discrimination : le diagnostic médical la reconnaissance de caractères manuscrits la décision dacheter une action à partir des données du marché financier Page 7 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I7 formalisation information contenue dans un ensemble dapprentissage L M = { (x ) } 1 M –M vecteurs de dimension N : x =(x 1, x 2, …, x N ) ( =1,2,…,M) –et leurs classes : « apprendre » à donner de bonnes réponses (x) à de nouveaux vecteurs x deux phases : –apprendre classe +1 classe -1 x1x1 x2x2 classe? - généraliser Page 8 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I8 classifieur élémentaire : le perceptron dinspiration biologique : « neurone » élémentaire surface discriminante linéaire : stabilité dun exemple : –distance à la surface discriminante avec signe – si mal classé x1x1 x2x2 xNxN xixi w1w1 wNwN =sgn(w.x) input : output : w Page 9 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I9 algorithme du perceptron on initialise les poids du perceptron on parcourt les exemples –si la sortie donnée par le perceptron est incorrecte, on modifie les poids –jusquà convergence convergence assurée seulement si les exemples sont linéairement séparables si les exemples sont linéairement séparables : infinité de solutions Page 10 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I10 apprendre les poids dun perceptron par minimisation dune fonction de coût –les poids qui classent al les exemples ont un coût élevé coûts « ad-hoc » –pénalisant les stabilités négatives rappel : w Page 11 mars
[email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I11 exemples non séparables linéairement problème : –lalgorithme du perceptron ne converge pas –les autres algorithmes convergent mais souvent vers des solutions « non intéressantes » (poids des exemples moins bien classés) deux solutions : classique : réseaux en couches « moderne » : Support Vector Machines Page 12 fin premier cours