Dans le Loiret, un programme de prévention a produit des effets supérieurs à ceux mesurés en Europe sur le même programme, avec le même contenu et les mêmes séances. La différence tenait à la façon dont il avait été déployé. C’est le résultat le plus dérangeant de la recherche sur l’atelier soft skills : deux animations identiques sur le papier ne produisent pas les mêmes effets. Ce qui les sépare est documenté, mesuré, et rarement regardé au moment de concevoir une intervention.
Sommaire
- Le même programme, deux résultats différents
- SAFE : les quatre critères qui distinguent un atelier qui produit un effet
- Les trois critères qui ne portent pas du tout sur le contenu
- Ce que devient un programme quand la mise en œuvre dérape
- Ce qu’un atelier isolé peut faire, et ce qu’il ne peut pas
- Ce que tout cela exige de celui qui anime
- Cinq questions à se poser avant de proposer un atelier
Le même programme, deux résultats différents
Le programme Unplugged, de prévention des addictions au collège, a été évalué dans le Loiret en 2016-2017 par Santé publique France pour la Mildeca, mission interministérielle de lutte contre les drogues et les conduites addictives. Résultat : un effet protecteur sur le tabac, le cannabis et les ivresses, supérieur à celui mesuré par l’évaluation européenne d’origine [1].
L’évaluation portait sur 66 classes de 12 collèges, soit 1 091 élèves de la 6e à la 4e, dont 491 participants et 600 dans le groupe témoin. Le programme y était porté par l’Apléat, association orléanaise d’écoute et d’accueil en addictologie. Le contenu, lui, était celui d’Unplugged, identique à ce qui avait été testé ailleurs en Europe.
Deux chiffres expliquent l’écart, et aucun ne parle de pédagogie ni de contenu. Dans le Loiret, 83 % des classes ont reçu l’intégralité du programme, contre 56 % dans l’évaluation européenne, et 94 % des élèves ciblés ont été atteints, contre 78 %. Le rapport en tire lui-même la conclusion, avec la prudence qui convient : la taille des effets supérieure est « sans doute due à une meilleure fidélité de la mise en œuvre du programme dans le Loiret » [1].
Cette phrase est une hypothèse d’évaluateurs, pas une démonstration causale. Elle rejoint pourtant ce que la recherche internationale établit depuis quinze ans. Quand un atelier ne produit pas ce qu’on en attendait, le premier réflexe consiste à revoir le contenu. Les données invitent à regarder ailleurs.
SAFE : les quatre critères qui distinguent un atelier qui produit un effet
La recherche a fini par isoler ce qui sépare les interventions efficaces des autres. Quatre caractéristiques, regroupées sous l’acronyme SAFE, reviennent dans toutes les synthèses : l’intervention est Séquencée, elle repose sur une pédagogie Active, elle est Focalisée sur un petit nombre de compétences, et elle les enseigne de façon Explicite.
Ces quatre critères viennent des travaux de Joseph Durlak et de son équipe, publiés en 2011 dans la revue Child Development [2]. Séquencé signifie que les activités s’enchaînent selon une progression construite, pas qu’elles se juxtaposent. Actif, que les participants s’exercent réellement au lieu d’écouter quelqu’un décrire la compétence. Focalisé, qu’une partie du dispositif est consacrée au développement d’une compétence personnelle ou sociale. Explicite, que l’atelier nomme la compétence visée plutôt que de viser le développement personnel en général.
Santé publique France a repris ce cadre dans sa synthèse sur les caractéristiques des interventions efficaces, signée Béatrice Lamboy et publiée en janvier 2022 [3]. Les compétences psychosociales, ou CPS, sont le nom que la santé publique donne à ce que les entreprises appellent soft skills, un double vocabulaire que nous avons détaillé dans notre article sur soft skills et compétences psychosociales. Le critère SAFE y figure comme premier des huit facteurs d’efficacité retenus.
Le quatrième critère est celui que les ateliers ratent le plus souvent. Beaucoup d’animations traitent d’une compétence sans jamais la nommer, en espérant que l’expérience suffise. Les données disent le contraire.
Les trois critères qui ne portent pas du tout sur le contenu
La liste de Santé publique France compte huit facteurs d’efficacité. Cinq concernent l’intervention : le format SAFE, des contenus fondés sur les données probantes, des ateliers intensifs inscrits dans la durée, des supports formels, une pédagogie positive et expérientielle. Les trois derniers ne parlent plus du tout de ce qu’on fait pendant l’atelier [3].
Ces trois-là sont l’implantation de bonne qualité, les pratiques informelles au quotidien et un environnement éducatif soutenant. Autrement dit : le programme est-il délivré comme prévu, les adultes autour reprennent-ils ces compétences en dehors des séances, et le contexte encourage-t-il ce qu’on vient d’enseigner.
Pour quiconque conçoit ou anime un atelier, la conséquence est directe. Trois des huit leviers d’efficacité se jouent avant votre arrivée et après votre départ. Un atelier irréprochable dans une structure qui n’en fera rien produira moins d’effet qu’un atelier moyen dans une structure qui prolonge le sujet. C’est là que doit porter la négociation avec le commanditaire.
C’est aussi ce qui explique que la question du format revienne si souvent quand le groupe est grand et le temps compté, un sujet abordé à propos du format fresque pour un grand groupe.
Ce que devient un programme quand la mise en œuvre dérape
Les chiffres sur ce point sont nets. La méta-analyse de Durlak et de son équipe porte sur 213 programmes et 270 034 élèves, de la maternelle au lycée. Les auteurs y comparent les programmes ayant rencontré des problèmes de mise en œuvre et les autres. L’écart ne se joue pas à la marge [2].
Les programmes sans problème de mise en œuvre obtiennent des effets significatifs sur les six catégories de résultats mesurées, avec une taille d’effet de 0,86 sur les compétences socio-émotionnelles, contre 0,57 pour l’ensemble des programmes de la méta-analyse. Ceux qui ont rencontré des problèmes n’obtiennent d’effet significatif que sur deux catégories, les attitudes et les problèmes de conduite. Sur les compétences elles-mêmes, sur les comportements prosociaux, sur la détresse émotionnelle et sur la réussite scolaire, l’effet disparaît.
Une précision utile pour lire ces nombres : une taille d’effet exprime l’écart entre le groupe qui a suivi le programme et le groupe témoin, en écarts-types. En sciences de l’éducation, on considère 0,20 comme un petit effet et 0,80 comme un grand effet. Passer de 0,86 à un résultat non significatif revient à perdre le bénéfice entier de l’intervention.
La synthèse la plus récente confirme le mécanisme sur une base bien plus large. Publiée en 2023 dans Child Development par l’équipe de Christina Cipriano, avec Joseph Durlak parmi les auteurs, elle rassemble 424 études menées dans 53 pays, portant sur 252 interventions et 575 361 élèves. Elle conclut que les caractéristiques du programme et de sa mise en œuvre modèrent les effets obtenus [4].
Ce qu’un atelier isolé peut faire, et ce qu’il ne peut pas
Un atelier de quelques heures ne développe pas durablement une compétence psychosociale. Aucune donnée disponible ne le permet. Le critère d’intensité et de durée figure explicitement parmi les huit facteurs d’efficacité retenus par Santé publique France, et les programmes évalués comme efficaces se déploient sur plusieurs séances [3].
Les formats des programmes validés le montrent. La Mildeca rappelle qu’Unplugged tient en douze séances, dont neuf d’activités et trois d’apports d’information [5]. D’autres dispositifs reposent sur des activités régulières intégrées à la classe toute une année. Personne, dans cette littérature, ne prétend obtenir un effet mesurable en une matinée.
Cela ne rend pas l’atelier court inutile, à condition de savoir ce qu’on lui demande. Il peut nommer les compétences, ce qui remplit le critère explicite. Il peut faire vivre une expérience qui donne envie de continuer, ou mettre une équipe d’accord sur un vocabulaire commun avant un travail plus long.
Ce qu’il ne peut pas faire, c’est tenir lieu de dispositif. Un atelier vendu comme une réponse suffisante coche la case et referme le sujet. La position honnête consiste à annoncer ce qu’il produit, et ce qu’il faudrait ajouter pour espérer un effet documenté.
Ce que tout cela exige de celui qui anime
Le premier travail de l’animateur se fait avant l’atelier, dans la conversation avec le commanditaire. C’est là que se décident la durée, le nombre de séances et ce qui se passera après, donc trois des huit facteurs d’efficacité. Un animateur qui accepte ces conditions sans les discuter accepte aussi le résultat qu’elles produiront.
Le deuxième travail porte sur la fidélité. L’évaluation du Loiret relève d’ailleurs, malgré ses bons résultats, que certaines séances ont pu s’éloigner du programme d’origine et de ses ingrédients actifs, en étant surchargées d’activités [1]. Ajouter du contenu à une séance qui fonctionne est une tentation permanente en animation. Le respect de la séquence prévue fait partie de ce qui produit l’effet.
Le troisième porte sur la formation de ceux qui délivrent. Le cas du Loiret est instructif jusque dans ses défauts : la formation initiale de l’équipe en 2013 n’avait pas pu être menée complètement, la partie pratique ayant sauté à cause de l’absence imprévue d’un formateur, et une formation de deux jours a été ajoutée ensuite pour les enseignants [1]. La question revient constamment dans le champ scolaire, comme nous l’avons vu à propos de la formation des enseignants aux CPS.
Rien de tout cela ne relève du talent d’animation. Ce sont des conditions de production, et elles se négocient.
Cinq questions à se poser avant de proposer un atelier
Les huit facteurs d’efficacité se traduisent en cinq questions concrètes, à poser au commanditaire avant de s’engager. Elles ne garantissent aucun résultat. Elles permettent de savoir dans quelles conditions on va travailler, et surtout ce qu’on peut honnêtement annoncer sur ce que l’atelier produira.
Quelles compétences précises l’atelier vise-t-il, et seront-elles nommées aux participants ? Combien de temps de pratique effective auront-ils, comparé au temps passé à écouter ? Qu’est-ce qui est prévu avant et après la séance, et par qui ? Les adultes qui entourent les participants sont-ils au courant, et que feront-ils du sujet ensuite ? Enfin, qu’attend réellement le commanditaire : un effet mesurable, une sensibilisation, ou une case à cocher dans un plan ?
Cette dernière question est la plus utile et la moins posée. Une demande de sensibilisation est parfaitement légitime, à condition d’être nommée comme telle par les deux parties. Le malentendu s’installe quand un atelier commandé pour sensibiliser est jugé plus tard sur un changement de comportement qu’il n’a jamais eu les moyens de produire.
Poser ces cinq questions déplace la conversation avec le commanditaire, de la durée de la prestation vers les conditions qui la rendent utile. Certains refuseront d’y entrer, et mieux vaut l’apprendre avant de s’engager qu’au moment du bilan.
Conclusion
La recherche sur les compétences psychosociales dit une chose que le marché de la formation entend mal : le contenu d’un atelier explique une partie seulement de ce qu’il produit. La séquence, la durée, la fidélité au format prévu et ce que fait l’entourage pèsent au moins autant. C’est une bonne nouvelle pour qui anime, parce que ces éléments-là se discutent et se construisent. Encore faut-il les mettre sur la table avant la première séance.
Caroline Prat
FAQ
Que veut dire SAFE pour un atelier soft skills ?
Séquencé, Actif, Focalisé, Explicite. L’intervention suit une progression construite, fait pratiquer les participants, consacre une partie du dispositif à une compétence personnelle ou sociale, et nomme explicitement la compétence visée plutôt que de viser un développement général.
Un atelier de trois heures peut-il développer une compétence ?
Non, et aucune donnée disponible ne le prétend. Les programmes évalués comme efficaces se déploient sur plusieurs séances. Un atelier court peut nommer les compétences, faire vivre une expérience et créer un vocabulaire commun, ce qui reste utile à condition de l’annoncer.
Qu’est-ce qu’une taille d’effet ?
Une mesure de l’écart entre le groupe qui a suivi le programme et le groupe témoin, exprimée en écarts-types. En sciences de l’éducation, on considère généralement 0,20 comme un petit effet et 0,80 comme un grand effet.
Faut-il suivre un programme à la lettre ?
La fidélité au format prévu fait partie de ce qui produit l’effet, notamment la séquence des activités. L’adaptation au public reste nécessaire, mais ajouter des activités à une séance ou en supprimer une modifie ce qui a été évalué.
Sources
- Santé publique France, Résultats de l’évaluation du programme « Unplugged » dans le Loiret, projet porté par l’Apléat (Orléans), évalué en 2016-2017 à la demande de la Mildeca : 66 classes, 12 collèges, 1 091 élèves de la 6e à la 4e (France).
- Joseph A. Durlak, Roger P. Weissberg, Allison B. Dymnicki, Rebecca D. Taylor et Kriston B. Schellinger, The Impact of Enhancing Students’ Social and Emotional Learning: A Meta-Analysis of School-Based Universal Interventions, Child Development, 2011 : 213 programmes, 270 034 élèves de la maternelle au lycée (international).
- Béatrice Lamboy, Caractéristiques des interventions compétences psychosociales efficaces, Santé publique France, 18 janvier 2022 (France).
- Christina Cipriano, Michael J. Strambler, Lauren H. Naples, Cheyeon Ha, Megan Kirk, Miranda Wood et al., The state of evidence for social and emotional learning: A contemporary meta-analysis of universal school-based SEL interventions, Child Development, 2023 : 424 études, 53 pays, 252 interventions, 575 361 élèves, littérature de 2008 à 2020 (international).
- Mildeca, L’essentiel sur… Le renforcement des compétences psychosociales : pour une prévention efficace à l’école, 17 septembre 2024, mis à jour le 28 novembre 2024 (France).
