Le modèle Wraparound
Leçons tirées pour la mise en œuvre des évaluations
Table des matières
Introduction
La Stratégie nationale de prévention du crime (SNPC) de Sécurité publique Canada (SP) finance la mise en œuvre et les évaluations d'impact de certains projets de prévention du crime. Ces évaluations d'impact sont réalisées par des évaluateurs externes, tiers, qui sont engagés par les administrateurs de projet. Pour les projets qui choisissent de réaliser une évaluation d'impact, le financement est fourni pour ce travail via l'accord de subvention et de contribution du projet. Les résultats et les leçons tirés de ces évaluations de projet sont souvent synthétisés et partagés avec les parties prenantes afin de développer la base de connaissances sur ce qui fonctionne en matière de prévention du crime au Canada.
Le modèle Wraparound
Le modèle Wraparound est un modèle de gestion des soins intensifs pour les jeunes ayant des conditions émotionnelles, comportementales et/ou de santé mentale graves ou complexes, dont les besoins n'ont pas été suffisamment pris en charge par les services disponibles lorsqu'ils sont utilisés de manière indépendanteNote de bas de page 1. Au lieu de laisser les jeunes et leurs familles gérer seuls plusieurs prestataires de services, le modèle Wraparound offre une approche coordonnée des besoins des jeunes, de leur famille et des autres parties impliquées (par exemple, conseiller de tribunal, enseignant, travailleur social, médecin, réseaux de soutien, etc.).
Bien que les principes et les phases du Wraparound doivent rester centraux et cohérents, le programme n'est pas standardisé. La mise en œuvre peut être adaptée pour refléter les contextes locaux, les ressources disponibles et les besoins spécifiques des participants ou de la communauté.
Ce produit présente les leçons tirés de 11 évaluations d'impact de projets Wraparound financés par la SNPC entre 2008 et 2019.
Méthodologie
Le contenu des évaluations d'impact a été codé thématiquement à l'aide du logiciel d'analyse qualitative, MAXQDA, pour identifier les principaux défis et recommandations d'évaluationNote de bas de page 2 :
Résultats — Principaux défis liés à l'évaluation
Défis méthodologiques
Défis liés à la méthodologie de l'évaluation (mentionnés dans 8 des 11 évaluations).
- Des conceptions, indicateurs, questions ou outils d’évaluation inappropriés ont été les défis les plus fréquemment cités (mentionnées dans 7 évaluations).
ExemplesNote de bas de page 3 :
- « ... un modèle [d'évaluation] conventionnel de type pré-post ne fonctionne pas bien avec la population de jeunes vulnérables servie par [le projet]. Une telle mesure « ponctuelle » ne reflète pas la nature fluctuante de la vie des jeunes ».
- « ...nos guides d'entretien et nos sondages contenaient des questions sur les armes à feu, les gangs et les formes extrêmes de comportement délinquant. Toutefois, le programme […] avait de la difficulté à recruter et à retenir des jeunes à risque plus élevé (p. ex., ceux qui sont impliqués dans des gangs, des crimes graves, etc.). »
Recommandations :
Les évaluations ont proposé des stratégies pour aider à atténuer ces défis :
- Envisager l'utilisation d'approches émergentes pour les évaluations (p. ex., l'évaluation développementale);
- Intégrer la collecte de données à la planification et à la mise en œuvre du projet;
- Tenir compte de l'Analyse comparative entre les sexes plus (ACS+) et des compétences culturelles lors de la planification de l'évaluation;
- Identifier les groupes de comparaison dès le début.
Défis liés aux données
Défis liés à la collecte et à l'accessibilité des données (mentionnés dans 7 des 11 évaluations).
- Les incohérences dans la collecte des données ont été le défis le plus fréquemment cité (mentionné dans 6 évaluations).
Exemples :
- « Les animateurs jeunesse [personnel du projet] ont déclaré que lorsque les jeunes savent qu'ils approchent de la fin du programme, ils cessent de communiquer avec l'animateur jeunesse parce qu'ils pensent qu'ils estiment ne plus avoir besoin de soutien. Il est donc difficile (voire impossible) pour les animateurs de collecter des données sur la fin du programme. »
- « Malgré d'excellentes relations de travail et des protocoles de partage d'informations, les données de la police étaient incohérentes et n'ont été fournies que pour une minorité de jeunes du projet. De nombreuses données étaient manquantes et les périodes sur lesquelles les comportements délinquants étaient rapportés variaient considérablement. »
Recommandations :
Les évaluations ont proposé des stratégies pour aider à atténuer ces défis :
- Utiliser des échantillons de grande taille;
- Offrir une formation adéquate en matière d'évaluation au personnel et aux partenaires du projet;
- Utiliser des méthodes mixtes, des sources multiples et la triangulation;
- Investir des ressources pour établir des relations de confiance entre les jeunes et les collecteurs de données;
- Définir les ententes de partenariat et de partage de l'information dès le début du projet;
- Élaborer des outils de collecte de données qui soient faciles, clairs et accessibles.
Défis liés à la collaboration
Défis liés à la collaboration entre les parties prenantes (p. ex., le personnel du projet, les évaluateurs et les partenaires; mentionnés dans 4 des 11 évaluations).
- La méfiance à l'égard de l'évaluation a été le défi le plus fréquemment cité (mentionné dans 3 projets).
Exemples :
- « ...... il s'est avéré très difficile de convaincre les participants de donner leur nom et leur signature sur un formulaire officiel en raison d'un manque général de confiance envers les évaluateurs et d'une méfiance quant à la façon dont leurs données seraient utilisées. »
- « Le fait de travailler dans le cadre d'un paradigme positiviste des sciences sociales a créé une atmosphère culturellement non sécuritaire, tant pour l'équipe d'évaluation que pour le personnel [du projet]. La nature académique de la conception de l'évaluation n'était pas alignée avec la recherche communautaire, ce qui a donné l'impression que nous étions des « chercheurs hélicoptères ». »
Recommandations :
Les évaluations ont proposé des stratégies pour aider à atténuer ces défis :
- Faciliter les communications régulières entre le personnel d'évaluation, le personnel du projet, les participants et les partenaires;
- Favoriser une relation de travail positive entre le personnel chargé de l'évaluation et le personnel chargé du projet;
- Faire en sorte que les mêmes membres du personnel d'évaluation rencontrent les mêmes participants, dans la mesure du possible;
- Augmenter le temps consacré à l'établissement de relations avec la communauté avant la collecte des données.
Défis liés au personnel du projet
Défis liés au personnel du projet (p. ex., surcharge de travail du personnel, rotation du personnel; mentionnés dans 4 des 11 évaluations) :
- La surcharge du personnel a été le défi le plus fréquemment cité (mentionné dans 3 évaluations).
Exemples :
- « ... le personnel de première ligne continue de mentionner combien le processus de collecte des données d'évaluation a été lourd et difficile, parfois au détriment de la prestation des services. »
- « ... l'évaluation peut imposer un fardeau considérable au personnel du programme lorsque l'évaluateur a un accès limité aux participants du programme ou à l'information les concernant. »
Recommandations :
Les évaluations ont proposé des stratégies pour aider à atténuer ces défis :
- Fixer des exigences réalistes en matière de collecte et de gestion des données de la part du personnel du projet;
- Embaucher des personnes qui seront spécifiquement responsables de la collecte et de la gestion des données;
- Fournir un soutien administratif suffisant pour aider le personnel du projet à recueillir et à gérer les données;
- Développer des outils de collecte de données qui n'exigent pas trop de ressources de la part du personnel du projet.
Défis liés aux ressources
Défis liés aux ressources d'évaluation (p. ex. temps et budget; mentionné dans 4 des 11 évaluations).
Exemples :
- « En fin de compte, l'équipe [du projet] a seulement pu fournir à l'équipe d'évaluation des données détaillées limitées sur les progrès et les résultats des participants. Aucun des [projets] ne disposait de personnel de soutien administratif pour aider les animateurs du programme Wraparound… »
- « En raison de contraintes budgétaires, les jeunes n'ont bénéficié que d'un seul entretien de suivi à six mois. Il est peu probable que cela soit suffisant pour démontrer des changements d'attitude. »
Recommandations :
Les évaluations ont proposé des stratégies pour aider à atténuer ces défis :
- Fournir au personnel du projet des directives et des ressources suffisantes pour assurer une collecte appropriée des données;
- Tenir compte des échéanciers du projet lors de la conception de l'évaluation;
- Effectuer une évaluation de l'évaluabilité avant d'évaluer un projet;
- Envisager d'utiliser des approches d'évaluation plus émergentes et moins exigeantes en ressources, lorsque cela est nécessaire;
- Intégrer les méthodes de collecte de données dans les activités du projet.
- Date de modification :
