Pour toute organisation, la capacité à démontrer l’incidence de ses initiatives – aux bailleurs de fonds, aux membres du conseil d’administration et aux autres parties prenantes – est cruciale. Il est important de démontrer la valeur d’une organisation, d’un projet ou d’un service pour obtenir un soutien financier, engager les parties prenantes et atteindre les objectifs de l’organisation (Fedorciow, 2012). Au sein du système sportif canadien, les administrateurs sportifs sont de plus en plus souvent amenés à concevoir et à évaluer des initiatives (p. ex. de nouvelles ressources, de nouveaux programmes et de nouvelles politiques) de manière à déterminer si les bonnes personnes les connaissent, si elles fonctionnent et si elles sont utilisées de manière appropriée – tout en faisant progresser la mission et les objectifs de l’organisation (Lawrason et coll., 2020).
Le cadre RE-AIM (Glasgow, Voigt et Boles, 1999) est un outil qui donne un aperçu des processus et des résultats qui contribuent aux effets à long terme d’une initiative. Afin d’aider les administrateurs sportifs à élaborer un plan d’évaluation pour évaluer l’incidence des initiatives nouvelles ou en cours, le présent article présente le cadre et fournit deux exemples « réels » de la façon dont il a été utilisé pour évaluer les effets d’initiatives dans le secteur du sport canadien.
Le cadre RE-AIM
Le cadre RE-AIM a été initialement développé pour évaluer les interventions de santé publique, telles que les programmes d’activité physique communautaires (p. ex. Estabrooks, Bradshaw, Dzewaltowski et Smith-Ray, 2008). Plus récemment, il a attiré l’attention des chercheurs dans le domaine du sport parce qu’il offre une approche systématique pour la saisie et l’organisation des renseignements nécessaires pour évaluer l’incidence d’une initiative à plusieurs niveaux du système sportif.
Pour qu’une initiative ait un effet, elle doit être mise en œuvre et soutenue de manière à produire les résultats souhaités pour sa population cible à long terme (Glasgow et coll., 1999). RE-AIM est un acronyme anglais qui représente les cinq éléments clés de l’incidence d’une initiative : la portée, l’efficacité, l’adoption, la mise en œuvre et le maintien. En tant qu’administrateur sportif, la prise en compte de ces cinq éléments peut servir comme point de départ pour savoir QUOI évaluer lors de l’évaluation de l’incidence d’une initiative.
| Élément du cadre RE-AIM | Définition | Exemple |
| Portée | Le nombre, la proportion et la représentativité des personnes de la population cible qui participent à l’initiative, la reçoivent ou sont touchées par elle. | Le nombre d’administrateurs d’ONS qui se sont inscrits à un atelier sur la politique en matière de commotions cérébrales, et le pourcentage de tous les ONS représentés. |
| Efficacité | Les résultats positifs et négatifs qui découlent de l’initiative. | Les participants à un webinaire sur la communication effectuent un sondage d’opinion avant et après le webinaire afin d’évaluer l’évolution de leur niveau de confiance lorsqu’ils s’engagent dans la communication avec les parties prenantes. |
| Adoption | Le nombre, la proportion et la représentativité des cadres et du personnel éventuels qui participent à l’initiative. | Le nombre total et le pourcentage de toutes les organisations sportives communautaires (dans un sport particulier) qui ont élaboré des plans de DLTA sur la base des conseils de leur ONS. |
| Mise en œuvre | Le coût et la mesure dans laquelle l’initiative a été réalisée comme prévu. | Le nombre d’ateliers prévus par rapport au nombre réel d’ateliers organisés dans le cadre d’une stratégie régionale d’engagement des entraîneurs. |
| Maintien | La mesure dans laquelle l’initiative est maintenue dans le temps, ce qui comprend une évaluation des résultats des participants et de la prestation de l’organisation au-delà de six mois. | Un sondage annuel envoyé aux participants actuels et passés d’un programme de sport au service du développement pour évaluer la participation et les résultats du programme au fil du temps. |
Développer un plan d’évaluation en utilisant le cadre RE-AIM
Bien que les éléments du cadre RE-AIM offrent un outil pour identifier ce que vous devez examiner pour évaluer l’incidence d’une initiative, votre plan d’évaluation RE-AIM doit également prendre en compte QUI vous devez engager dans l’évaluation (p. ex. quels acteurs et/ou niveaux du système sportif sont impliqués ou touchés par votre initiative) et COMMENT l’évaluation sera menée (p. ex. quelle est la capacité de votre organisation à évaluer? Quelles informations / données existent ou quelles données devez-vous générer?).
QUI? RE-AIM est un outil pratique pour le système sportif en raison de sa capacité à intégrer l’évaluation à plusieurs niveaux d’administration et groupes de parties prenantes (Evans, McGuckin, Gainforth, Bruner et Côté, 2015; Finch et Donaldson, 2010; Lawrason et coll., 2020) — athlètes, parents, entraîneurs, administrateurs municipaux, organisations sportives nationales et internationales. Par exemple, si une organisation sportive nationale souhaite évaluer l’incidence d’une nouvelle politique d’égalité des sexes qui toucherait le personnel d’encadrement des clubs et des équipes à tous les niveaux du sport, l’évaluation devrait probablement inclure l’équipe nationale, les équipes provinciales/territoriales et les clubs ou équipes de sport communautaire. Par ailleurs, si un club de sport communautaire est intéressé par l’évaluation de son nouveau programme pour les jeunes, il est nécessaire de connaître le point de vue des participants au programme, de leurs parents et de leurs entraîneurs.
COMMENT? Une autre considération importante est la mesure dans laquelle une organisation peut exploiter les données existantes pour orienter la conception et l’évaluation d’une initiative (p. ex. les informations relatives à l’inscription, les formulaires de rétroaction, l’analyse des médias sociaux), et si de nouvelles données doivent être recueillies ou non (Evans et coll., 2015). La capacité d’évaluation peut être limitée par un certain nombre de facteurs, notamment la disponibilité et l’expertise des partenaires et du personnel, le temps et les ressources financières (p. ex. Millar et Doherty, 2018). C’est pourquoi l’accès aux données existantes peut être l’option la plus pragmatique pour certaines organisations (Lawrason et coll., 2020).
Ce qui suit sont deux exemples de la façon dont le cadre RE-AIM a été utilisé pour évaluer deux initiatives : (1) l’initiative Sport pur du Centre canadien pour l’éthique dans le sport (CCES), et (2) les lignes directrices de Ringuette Canada pour la structuration de la ringuette pour enfants. Sachant que la capacité est une considération importante pour de nombreuses organisations sportives, ces deux exemples ont été choisis, en partie, en raison de leur différence dans la manière dont l’évaluation a été menée.
L’exploitation des données existantes : une évaluation RE-AIM de Sport pur
Le CCES est un organisme de bienfaisance enregistré et un organisme de services multisports qui gère l’initiative Sport pur par l’entremise de truesportpur.ca afin de promouvoir le sport axé sur les valeurs pour les Canadiens et les Canadiennes. Sport pur s’appuie sur son site web comme principal mécanisme de prestation pour atteindre son objectif de promotion du sport fondé sur des valeurs, qui est conceptualisé par sept principes pour une participation sportive positive (voir https://truesportpur.ca/fr/principes-sport-pur). Les Canadiens et Canadiennes intéressés à la promotion du sport positif peuvent s’inscrire gratuitement à titre de membre de Sport pur par l’entremise de divers types d’inscriptions (p. ex. collectivités, équipes, citoyens), ce qui leur donne accès à des ressources et à des mises à jour par courriel.
Pour évaluer l’incidence du site web par l’entremise duquel Sport pur est administré, le personnel de Sport pur a travaillé en collaboration avec un groupe de chercheurs de l’Université Queen’s. La décision d’utiliser le cadre RE-AIM était fondée sur deux facteurs principaux : (1) RE-AIM peut être adapté pour évaluer de multiples résultats pour l’utilisateur final (p. ex. athlète, entraîneur, administrateur; Finch et Donaldson, 2010), et (2) les éléments du cadre RE-AIM permettent aux administrateurs de comprendre comment et où intervenir dans l’initiative pour améliorer les résultats pour l’utilisateur final. Il convient de noter qu’une description détaillée de ce projet est publiée dans le Journal of Sport Psychology in Action (voir Lawrason et coll., 2020).
La première étape de l’évaluation a consisté en un examen complet du site web de Sport pur afin de mettre en correspondance les objectifs de l’initiative Sport pur avec les éléments de RE-AIM. Les types de données qui étaient soit accessibles au public (p. ex. les statistiques sur la population canadienne), soit recueillis à l’interne (p. ex. le nombre de visiteurs du site web Sport pur) ont ensuite été identifiés. Grâce à des discussions entre le personnel de Sport pur et l’équipe de recherche, un modèle a été élaboré pour catégoriser et analyser les données existantes relatives aux éléments de RE-AIM. Sur la base des données disponibles, il a été décidé d’axer l’évaluation de l’incidence sur la portée et l’adoption, car les données disponibles étaient insuffisantes pour les éléments d’efficacité, de mise en œuvre et de maintien.
Plusieurs indicateurs de portée étaient disponibles, basés principalement sur l’analyse des sites web. Ceux-ci comprenaient le nombre et les caractéristiques démographiques (p. ex. l’âge, le sexe) des visiteurs du site web de Sport pur, ainsi que le type et le nombre de ressources téléchargées à partir du site web. L’analyse du site web était également la principale source de données sur l’adoption, qui comprenait le nombre total de membres de Sport pur au Canada. L’adoption a également été ventilée en fonction du type de membre (p. ex. citoyen, organisme, installation, communauté) et de l’emplacement géographique (c.-à-d. province ou territoire). Dans la mesure du possible, les statistiques sur la population canadienne ont été utilisées pour calculer les indicateurs de portée et d’adoption en proportion de la population cible plus large (p. ex. le nombre de membres de Sport pur en proportion de tous les membres possibles dans la population canadienne).
Conclusion : Le fait que les données n’aient été facilement disponibles que pour les indicateurs de portée et d’adoption montre que si les données existantes peuvent être exploitées pour les évaluations, il est probable qu’il y ait des lacunes. Cependant, il est important de se concentrer sur ces lacunes pour pouvoir commencer si des opportunités (et des ressources) de collecte de nouvelles données se présentent.
Recueillir de nouvelles données : une évaluation RE-AIM des jeux de ringuette pour enfants sur petite surface
En 2019, Ringuette Canada a introduit des lignes directrices pour structurer son nouveau programme de ringuette pour enfants. Ces lignes directrices recommandent de passer à des jeux sur petite surface – comme la demi-glace ou la glace croisée – pour les enfants des stades de développement « S’amuser en s’entraînant » et « Apprendre à s’entraîner » hâtifs (p. ex. enfants moins de 10 ans). Bien que les résultats d’autres sports suggèrent que les jeux sur petite surface offrent des avantages pour le développement des joueurs (p. ex. Aguiar, Botelho, Lago, Maças, et Sampaio, 2012; USA Hockey, 2019), les lignes directrices ont été rejetées par certains membres de la communauté de la ringuette.
Grâce au financement d’une subvention de jumelage chercheurs-praticiens du SIRC et d’une subvention d’engagement partenarial du CRSH, Ringuette Canada s’est associé à des chercheurs de l’Université York et de l’Université Queen’s pour évaluer l’incidence des lignes directrices et la pratique des jeux sur petite surface au niveau provincial, communautaire et des participants. 
L’objectif de cette recherche est de fournir les premières preuves spécifiques à la ringuette des avantages des jeux sur petite surface, tout en évaluant l’adoption des nouvelles lignes directrices de Ringuette Canada dans tout le Canada. Le cadre RE-AIM a été choisi pour ce projet parce qu’il fournit une évaluation complète des indicateurs d’effet liés aux processus et aux résultats à de multiples niveaux du système sportif. Ceci permettra de mettre à jour le contenu et la diffusion des lignes directrices à l’avenir en s’appuyant sur des données probantes.
Les phases 1 et 2 de l’évaluation ont ciblé les niveaux provincial et communautaire. Au cours de la phase 1, les directeurs techniques de toutes les associations provinciales de ringuette ont été interrogés. Au cours de la phase 2, les administrateurs des associations communautaires de ringuette du Canada ont été invités à répondre à un sondage en ligne. Bien que différentes méthodes aient été utilisées pour recueillir les données, les questions posées dans les entretiens et les sondages correspondaient au même ensemble d’indicateurs RE-AIM. Voici quelques exemples de questions :
- Portée : Connaissez-vous la recommandation de Ringuette Canada selon laquelle tous les matchs des joueurs inscrits à des programmes de ringuette pour enfants doivent être joués sur une zone qui ne dépasse pas la moitié de la surface de la glace?
- Efficacité : Pensez-vous que c’est une bonne idée pour les enfants de jouer sur une petite surface? Selon vous, quels sont certains des avantages des jeux sur petite surface?
- Adoption : Votre association a-t-elle mis en place une politique officielle pour guider la mise en œuvre des jeux sur petite surface? Veuillez identifier tout document ou ressource (p. ex. un plan stratégique) de votre association qui traite des jeux sur petite surface.
- Mise en œuvre : Veuillez décrire comment, le cas échéant, les jeux sur petite surface ont été mis en œuvre dans votre organisation (p. ex. taille de la surface de la glace, équipement utilisé, âge ou niveau de compétence des joueurs, modifications des règles). Au cours de la saison 2019-2020, quelle proportion environ du total des matchs joués dans le cadre du programme de ringuette pour enfants au sein de votre association l’ont été sur des surfaces de glace qui ne dépassaient pas la moitié de la glace?
- Maintien : Votre organisation prévoit-elle de commencer ou de continuer à appuyer la recommandation de Ringuette Canada selon laquelle tous les matchs des joueurs des programmes de ringuette pour enfants doivent être joués sur une zone qui n’excède pas la moitié de la surface de la glace?
Alors que les phases 1 et 2 sont terminées, la phase 3 est actuellement en attente en raison de la pandémie de la COVID-19. La phase 3 permettra d’évaluer l’efficacité des jeux sur petite surface en ce qui concerne le développement physique (p. ex. les passes, les tirs, le patinage) et psychosocial (p. ex. le plaisir, la qualité des interactions avec les pairs) des joueurs. Pour ce faire, les jeux de deux échantillons appariés de participants à la ringuette pour enfants – un groupe jouant à des jeux sur petite surface et un groupe jouant à des jeux sur pleine glace – seront enregistrés sur vidéo, analysés et comparés sur le plan des mesures du développement des joueurs.
Conclusion : La collecte de données provenant de sources multiples contribue à améliorer la qualité de l’ensemble de données et permet de mieux comprendre les domaines où il y a alignement ou déconnexion par rapport aux points de vue des parties prenantes. Les nouvelles données permettent également d’adapter et d’élargir une évaluation en fonction des besoins et des objectifs de l’organisation. Le compromis est que la collecte de nouvelles données nécessite souvent du temps et des ressources (humaines, financières, etc.). Néanmoins, il existe un certain nombre d’outils simples et faciles à utiliser pour aider à collecter des données significatives – comme des sondages en ligne, des formulaires de rétroaction, des logiciels interactifs (p. ex., Mentimeter), et des vérifications en personne ou par téléphone auprès des membres du personnel ou des parties prenantes concernées. Les partenariats entre chercheurs et praticiens peuvent permettre de tirer parti de ressources, de compétences et d’expertise qui profitent à toutes les parties concernées.
Conseils pour la mise en œuvre du cadre RE-AIM
RE-AIM fournit un cadre complet pour comprendre les avantages, les défis et les complexités de la mise en œuvre de programmes, de politiques et d’autres initiatives dans le contexte du « monde réel » du système sportif canadien. Il fournit également un outil utile pour la conception et l’évaluation d’initiatives ayant des répercussions. Néanmoins, pour qu’une évaluation RE-AIM puisse produire des données significatives et percutantes, une planification et une réflexion minutieuses sont nécessaires. Pour augmenter les chances de réussite d’une évaluation, il convient de se poser les questions suivantes avant de commencer :
- Pour chaque élément du cadre RE-AIM, quelles sont les données les plus importantes? En d’autres termes, quelles données aideront à démontrer la valeur de l’initiative aux bailleurs de fonds, aux membres du conseil d’administration ou aux autres parties prenantes?
- Ces données existent-elles déjà, ou faudra-t-il en recueillir de nouvelles?
- Comment de nouvelles données peuvent-elles être recueillies compte tenu des ressources internes disponibles? Quelles ressources externes (p. ex. technologie, financement) sont nécessaires pour recueillir de nouvelles données?
- Des experts (p. ex. des chercheurs) sont-ils nécessaires pour concevoir ou exécuter une partie de cette évaluation?
Répondre à ces questions contribuera à une évaluation bien conçue qui démontre l’incidence des initiatives organisationnelles, tout en recueillant des informations précieuses pour les plans et les améliorations futurs.