Pays : France
Langue(s) : français
Auteur(s) : COLLINS Anne
Date de soutenance : 2010
Thèse délivrée par : Université Pierre et Marie Curie-Paris 6
Section(s) CNU : section 16 : Psychologie, psychologie clinique, psychologie sociale
Discipline(s) : neurosciences
Sous la direction de : Étienne KOECHLIN
« Le contrôle cognitif (CC) est la capacité à réagir à des stimuli en fonction du contexte présent, d’indices passés, de nos buts internes. Le CC et l’apprentissage entretiennent des liens profonds et réciproques : si le CC requiert que nous ayons appris un répertoire de comportements et leur valeur dans différentes conditions, l’apprentissage de ce répertoire nécessite du CC, pour différentes décisions de haut niveau. Le CC et l’apprentissage sont donc indissociablement liés dans la flexibilité qui caractérise la fonction exécutive préfrontale humaine. Cependant, ce lien est actuellement mal compris et peu de travaux de psychologie cognitive ou de modélisation intègrent ces deux aspects et tentent de rendre compte de leur interaction. Nous proposons une théorie mathématique reposant sur l’apprentissage par renforcement et l’inférence bayésienne, qui intègre l’apprentissage de répertoires de comportements (task-sets) dans un milieu incertain et le CC avec ou sans information contextuelle. Cette théorie permet de faire des prédictions spécifiques que nous avons validées par deux expériences comportementales, au détriment d’autres modèles existants. Elle rend compte des différences qualitatives de stratégies observées. Notre théorie caractérise de façon intrinsèque les notions essentielles de comportement par défaut, de switch et d’exploration, et fait émerger naturellement un contrôle du compromis exploitation–exploration. Les résultats empiriques valident les prédictions et confirment les hypothèses du modèle. Il pourra être utilisé pour étudier en IRMf les rôles fonctionnels de régions du cortex préfrontal, des ganglions de la base, et de la dopamine et la noradrénaline. »
Abstract
Learning and cognitive control : a computational theory of human prefrontal executive function
« Cognitive control enables appropriate action selection according to stimuli, but also present context or past cues, while taking our internal goals into account. Cognitive control and learning are profoundly and reciprocally linked. On one side, cognitive control requires that a repertoire of behaviors be learnt, as well as their values in different conditions, for appropriate use. On the other side, cognitive control is needed for learning of a repertoire of behaviors, notably to regulate the exploration-exploitation trade-off, but also to generalize, decide to switch, infer a structure in a problem, etc. . ..Thus, cognitive control and learning are strongly linked in the flexibility that characterizes human prefrontal executive function. However, this link is presently poorly understood and few psychological or cognitive neuroscience studies include both aspects. Moreover, existing computational models of learning and decision do not account for their interaction. In this PhD thesis, we propose a mathematical theory combining reinforcement learning and Bayesian inference mechanisms. This model includes learning of repertoires of behaviors (task-sets) in an uncertain environment as well as cognitive control (task-switching) in presence or absence of contextual information. This model makes specific predictions that we tested in two behavioral experiments. They validate the predictions of the theory against other existing models. Moreover, the theory proposes an explanatory factor for qualitative differences in exploratory strategies that we observed across individuals. The proposed theory intrinsically characterizes essential notions such as default behavior, switch and exploration. It allows for the natural emergence of a control mechanism of the exploitationexploration trade-off, as well as its weighing factor. Lastly, empirical results validate the predictions and confirm the hypotheses of the model. The model may be used in functional imaging studies to understand computations executed in the brain, with prefrontal cortex, basal ganglia and neurotransmitters such as dopamine and norepinephrine as main points of interest »
Apprentissage et contrôle cognitif : une théorie computationnelle de la fonction exécutive préfontale humaine
Auteur(s) : COLLINS Anne
Date de soutenance : 2010
Thèse délivrée par : Université Pierre et Marie Curie-Paris 6
Section(s) CNU : section 16 : Psychologie, psychologie clinique, psychologie sociale
Discipline(s) : neurosciences
Sous la direction de : Étienne KOECHLIN
« Le contrôle cognitif (CC) est la capacité à réagir à des stimuli en fonction du contexte présent, d’indices passés, de nos buts internes. Le CC et l’apprentissage entretiennent des liens profonds et réciproques : si le CC requiert que nous ayons appris un répertoire de comportements et leur valeur dans différentes conditions, l’apprentissage de ce répertoire nécessite du CC, pour différentes décisions de haut niveau. Le CC et l’apprentissage sont donc indissociablement liés dans la flexibilité qui caractérise la fonction exécutive préfrontale humaine. Cependant, ce lien est actuellement mal compris et peu de travaux de psychologie cognitive ou de modélisation intègrent ces deux aspects et tentent de rendre compte de leur interaction. Nous proposons une théorie mathématique reposant sur l’apprentissage par renforcement et l’inférence bayésienne, qui intègre l’apprentissage de répertoires de comportements (task-sets) dans un milieu incertain et le CC avec ou sans information contextuelle. Cette théorie permet de faire des prédictions spécifiques que nous avons validées par deux expériences comportementales, au détriment d’autres modèles existants. Elle rend compte des différences qualitatives de stratégies observées. Notre théorie caractérise de façon intrinsèque les notions essentielles de comportement par défaut, de switch et d’exploration, et fait émerger naturellement un contrôle du compromis exploitation–exploration. Les résultats empiriques valident les prédictions et confirment les hypothèses du modèle. Il pourra être utilisé pour étudier en IRMf les rôles fonctionnels de régions du cortex préfrontal, des ganglions de la base, et de la dopamine et la noradrénaline. »
Abstract
Learning and cognitive control : a computational theory of human prefrontal executive function
« Cognitive control enables appropriate action selection according to stimuli, but also present context or past cues, while taking our internal goals into account. Cognitive control and learning are profoundly and reciprocally linked. On one side, cognitive control requires that a repertoire of behaviors be learnt, as well as their values in different conditions, for appropriate use. On the other side, cognitive control is needed for learning of a repertoire of behaviors, notably to regulate the exploration-exploitation trade-off, but also to generalize, decide to switch, infer a structure in a problem, etc. . ..Thus, cognitive control and learning are strongly linked in the flexibility that characterizes human prefrontal executive function. However, this link is presently poorly understood and few psychological or cognitive neuroscience studies include both aspects. Moreover, existing computational models of learning and decision do not account for their interaction. In this PhD thesis, we propose a mathematical theory combining reinforcement learning and Bayesian inference mechanisms. This model includes learning of repertoires of behaviors (task-sets) in an uncertain environment as well as cognitive control (task-switching) in presence or absence of contextual information. This model makes specific predictions that we tested in two behavioral experiments. They validate the predictions of the theory against other existing models. Moreover, the theory proposes an explanatory factor for qualitative differences in exploratory strategies that we observed across individuals. The proposed theory intrinsically characterizes essential notions such as default behavior, switch and exploration. It allows for the natural emergence of a control mechanism of the exploitationexploration trade-off, as well as its weighing factor. Lastly, empirical results validate the predictions and confirm the hypotheses of the model. The model may be used in functional imaging studies to understand computations executed in the brain, with prefrontal cortex, basal ganglia and neurotransmitters such as dopamine and norepinephrine as main points of interest »
