Étude en Cours : Évaluation de la Capacité des Modèles de Langage à Simuler le Discours de Patients lors de Thérapies: Impact du Fine-Tuning et du Conditionnement
Résumé
Le développement rapide des modèles de langue ouvre des portes à la recherche en modèle de dialogue. Cependant, évaluer la capacité de ces modèles à produire des réponses naturelles et cohérentes reste un défi majeur. Dans cette étude en cours, nous explorons l'effet du fine-tuning et du conditionnement sur les performances de réponse de Mistral, un modèle de langue de pointe et opensource, dans le contexte spécifique des thérapies délivrées par le biais d'agents virtuels. Nous développons un agent capable de mener des entretiens motivationnels contrôlés, en utilisant un patient virtuel pour évaluer l'efficacité de notre approche thérapeutique. Nous nous appuyons sur le corpus HOPE pour modéliser le comportement du patient virtuel, en utilisant Mistral7B instruct pour générer des réponses naturelles. Dans ce cadre, nous planifions de mener en premier lieu un pré-test pour déterminer la modalité la plus appropriée pour la collecte des données, soit texte ou audio, car les phrases générérées sont destinées à être délivrées à l'oral. Ce pré-test sera suivi d'une étude principale où les participants évalueront les réponses générées par Mistral dans différentes conditions. Ces travaux contribueront à améliorer notre compréhension de la capacité des modèles de langage à simuler le discours humain dans des contextes thérapeutiques, et fourniront des indices précieux pour le développement futur de tels systèmes.
• Human-centered computing → User studies.
Domaines
Informatique [cs]Origine | Fichiers produits par l'(les) auteur(s) |
---|