Annexe 02 : Solutionnaire des quiz et des études de cas

Karine Lachapelle supervise depuis deux ans une ligne d’aide à l’intention des étudiants et des étudiantes du Collège Lakeside qui sont aux prises avec des problématiques de santé mentale ou de dépendance, ou qui traversent un état de crise. Cinq (5) personnes occupent tour à tour le rôle d’intervenant au téléphone. La ligne d’aide fonctionne constamment au-delà de sa capacité maximum et les intervenants ne peuvent répondre à la demande. En raison de la charge de travail, on observe un roulement de personnel élevé. Karine voudrait que la ligne d’aide soit offerte 24 heures par jour et elle souhaite engager plus de personnel. Elle décide de procéder à une évaluation afin de collecter des données qui donneront du poids à sa demande d’augmentation de financement.

Il n’est pas évident de réajuster sa propre charge de travail, mais Karine est prête à coordonner elle-même l’évaluation, étant donné que personne d’autre n’est en mesure de le faire. Elle n’a accès qu’à un budget limité étant donné que le financement de la ligne d’aide suffit à peine à la faire fonctionner. Quoi qu’il en soit, les différentes parties prenantes ont le service à coeur et sont prêtes à soutenir la démarche.

Karine détermine qu’elle veut évaluer les éléments suivants :

1. À quel point le modèle de prestation de service fonctionne bien.
2. À quel point la ligne d’aide a réussi à offrir un service de soutien en santé mentale et des interventions de crise de qualité.
3. Si la ligne d’aide a servi à des étudiants et à des étudiantes de tous horizons, notamment les personnes de la communauté LGBTQ et celles qui appartiennent à diverses communautés culturelles ou ethniques ou qui ont des handicaps.

Questions :

À quelles limites Karine fait-elle face par rapport à sa démarche d’évaluation ?

Karine fait face à des limites de budget et de temps. Les questions d’évaluation qu’elle a déterminées touchent à la fois les processus et les résultats; y répondre efficacement exigera du temps et des ressources. Étant donné la charge de travail et le roulement du personnel, il est possible qu’elle ne puisse compter sur aucun membre de son équipe pour réaliser les tâches liées à l’évaluation, et elle risque de s’épuiser si elle essaie d’en faire trop toute seule.

De quelle façon Karine peut-elle se préparer pour l’évaluation ?

La première étape serait de vérifier sa disponibilité opérationnelle en faisant la liste de ce qui est déjà en place et de ce qu’elle doit prévoir pour que son évaluation porte ses fruits. Elle peut aussi faire appel aux différentes parties prenantes de son service et déterminer si elle pourrait leur confier certaines tâches. Elle peut également entrer en contact avec des personnes du campus qui s’y connaissent en évaluation ou, si c’est possible, faire une demande de financement particulière.

Comment pourrait-elle prioriser ses besoins ?

Étant donné la charge de travail et le roulement du personnel, Karine devrait d’abord se concentrer sur la mobilisation de sources de soutien pour procéder à l’évaluation. Si elle devait prioriser certaines questions d’évaluation, les deux premières seraient à privilégier, car en déterminant l’efficacité de la ligne d’aide, elle pourra étayer son argumentation en faveur d’une augmentation de son financement. Cela pourrait, dans un deuxième temps, lui permettre de cibler diverses tranches de la population étudiante pour s’assurer que la ligne d’aide dessert aussi les étudiants et étudiantes issus de la communauté LGBT, de différentes communautés culturelles ou qui ont des handicaps.

Érica travaille comme animatrice en santé mentale au Centre de santé et de mieux-être étudiant sur le campus du Collège Mapleleaf. Au cours des trois dernières années, elle a organisé des séances de formation visant à reconnaître les signes avant-coureurs d’une problématique de dépendance chez la population étudiante. Cette formation s’adresse aux intervenants, au personnel clinique, aux gestionnaires et aux étudiants et étudiantes impliqués au sein d’associations étudiantes.

Erica souhaite évaluer l’efficacité de cette formation, qui est offerte deux fois par année. Elle a passé énormément de temps (en plus de sa charge de travail habituelle) à rédiger un questionnaire et à le transmettre aux 54 personnes qui ont déjà suivi la formation. Elle a reçu 48 questionnaires remplis et s’est sentie passablement dépassée. Elle est donc allée voir sa superviseure pour lui demander la permission d’engager quelqu’un pour l’aider à analyser les données. Mais la superviseure, passablement surprise, étant donné qu’elle n’était pas au courant de la démarche d’Erica, lui a répondu qu’elle n’avait pas de budget pour cela. Près de six mois plus tard, aucune analyse des réponses au questionnaire n’a été faite et aucune mesure concrète n’en a découlé. Les personnes qui ont répondu au questionnaire n’en ont plus jamais entendu parler.

Questions :

Quels facteurs présents dans ce scénario ont entravé la démarche d’évaluation d’Erica ?

Érica aurait dû commencer par dire à sa superviseure ou à son équipe qu’elle souhaitait faire une évaluation afin qu’elles puissent déterminer ensemble comment procéder. Le fait de n’avoir pas vérifié la disponibilité opérationnelle de son équipe risque de compromettre toute démarche d’évaluation éventuelle.

Selon vous, quel pourrait être l’impact de ses actions sur les évaluations qui pourraient éventuellement être mises en place ?

Le fait qu’elle n’ait pas parlé de sa démarche à sa superviseure pourrait créer des tensions entre elle et son équipe, en particulier en ce qui a trait à toute éventuelle forme d’évaluation. Karine risque de vivre du ressentiment de n’avoir pas pu procéder à l’analyse de ses données, ou de regretter de n’avoir pas suivi les étapes nécessaires à la bonne réalisation de la démarche. Sa superviseure pourrait se sentir mise à l’écart des décisions prises par Karine et coupée des initiatives de celle-ci pour rejoindre les parties prenantes. Les questions d’évaluation de Karine pourraient ne pas refléter les buts du programme, étant donné qu’elle n’a pas consulté son équipe. S’il n’y a aucun suivi ni aucune suite, les personnes qui ont participé au sondage risquent de vivre de la confusion et de penser qu’elles ont perdu leur temps. En conséquence, elles seront vraisemblablement peu motivées à participer à d’autres évaluations.

Qu’aurait-elle pu faire différemment ?

Érica aurait dû commencer par consulter son équipe afin de vérifier collectivement leur disponibilité opérationnelle à réaliser toutes les étapes d’une évaluation (planification, évaluation, analyse et communication des résultats).

Ruby occupe depuis plus de cinq ans un poste d’animatrice en santé mentale au Bureau des services à la vie étudiante de l’Université Waverly. Dans le cadre de son travail, elle coordonne une foire annuelle sur la santé mentale et organise des conférences pour sensibiliser la population étudiante, le personnel administratif et le corps professoral aux problématiques liées à la santé mentale et aux dépendances. Chaque année, elle collabore avec des organismes situés ou non sur le campus, par exemple des centres de santé communautaires, des cliniques, l’Association canadienne pour la santé mentale et les services d’aide psychologique à l’intention de la population étudiante, les invitant à participer à l’événement en présentant une conférence ou en tenant un kiosque. Voici les buts de ces activités :

1. Réduire la stigmatisation liée aux problématiques de santé mentale et de dépendance sur le campus en offrant un espace favorisant le dialogue, l’ouverture et l’apprentissage.
2. Augmenter les connaissances sur la santé mentale de la clientèle étudiante, par exemple sur les signes permettant de reconnaître la dépression ou les façons de composer avec l’anxiété ou d’offrir du soutien à une personne qui vit une problématique de santé mentale.
3. Diriger la clientèle étudiante vers les services dont elle a besoin, sur le campus ou à l’extérieur, pour l’aider à les utiliser.

Ce sera cette année la cinquième édition de cette foire annuelle et Ruby veut en faire l’évaluation pour vérifier si ses buts sont atteints. Grâce aux bilans des années précédentes, elle sait que 360 étudiants, étudiantes et membres du personnel ont participé à l’événement depuis cinq ans et, grâce aux formulaires de rétroaction qui ont été remplis chaque année, que 70 % de ces personnes ont appris quelque chose de nouveau au sujet de la santé mentale. En faisant ses invitations pour tenir un kiosque ou présenter une conférence, elle a noué des partenariats avec 23 organismes, ce qui a augmenté de 40 % la liste des services vers lesquels diriger la clientèle étudiante qui consulte le Bureau des services à la vie en raison d’une problématique de santé mentale. Au cours des cinq dernières années, le Bureau a aussi noté une augmentation du nombre d’étudiants et d’étudiantes qui utilisent son service de soutien par les pairs, qui sont dirigés vers des services externes et qui s’engagent comme bénévoles ou soutiennent le travail pour la santé mentale sur le campus.

Voici quelques questions relatives aux produits et aux résultats qui pourraient être utiles à Ruby pour son évaluation. À l’aide des renseignements fournis précédemment, imaginez les réponses que Ruby pourrait y apporter.

Produits :

• Combien d’événements ont-ils eu lieu ?
  5 événements sur 5 ans
• Combien y a-t-il eu de participants au fil des ans ?
  360 étudiants, étudiantes et membres du personnel de l’université
• Combien de liens de collaboration ont découlé de l’événement ?
  23 liens de collaboration

Résultats :

• Quelle influence la foire sur la santé mentale a-t-elle eue sur l’utilisation des services du Bureau des services à la vie étudiante par la population étudiante ?
  Nous savons que l’utilisation des services a connu une augmentation grâce aux renseignements sur les rendez-vous avec le service de soutien par les pairs, au nombre de personnes dirigées vers d’autres services et au nombre de bénévoles, mais nous avons besoin de plus d’information pour déterminer si d’autres facteurs ont contribué à cette augmentation de l’utilisation.
• Quelle influence les nouveaux liens de collaboration ont-ils eue sur l’utilisation des services par la population étudiante ?
  Nous savons que la liste des organismes vers lesquels les étudiants peuvent être dirigés pour recevoir des services a connu une augmentation de 40 %, mais il faudrait avoir plus de renseignements pour déterminer l’impact de cette augmentation sur l’utilisation des services par la clientèle étudiante.
• La foire sur la santé mentale a-t-elle modifié la perception qu’a la population étudiante de la santé mentale ?
  L’augmentation du nombre d’étudiants et d’étudiantes impliquées dans la communauté qui veulent appuyer le travail de promotion de la santé mentale permet de déduire que l’événement a entraîné des changements de perception, mais encore une fois, il nous faudrait plus de renseignements avant de déterminer qu’il s’agit d’un résultat de l’événement.

Quelles autres questions concernant les produits et les résultats Ruby pourrait-elle se poser ?

• Combien de formulaires de rétroaction remplis par les participants ont-ils été recueillis au fil des années ? PRODUIT
• Au cours des années, y a-t-il eu une augmentation de la participation à l’événement ? PRODUIT
• Des ententes de collaboration ont-elles été conclues ? PRODUIT
• La foire annuelle a-t-elle eu un effet sur la stigmatisation liée à la santé mentale sur le campus ? – RÉSULTAT
• Quels autres impacts la foire annuelle pourrait-elle avoir eus sur le campus (sur la population étudiante, le personnel et les autres parties prenantes) ? RÉSULTAT

Jonathan est psychothérapeute spécialisé en dépendance chez les jeunes. Il travaille depuis peu au Bureau d’aide psychologique aux étudiants et aux étudiantes du Collège des Prairies. Les six (6) premiers mois de son contrat, il n’a reçu en consultation que deux (2) étudiants par semaine, en moyenne. Malgré les efforts du Bureau pour faire connaître ce service, peu de personnes l’utilisent, et elles sont rares à persévérer pour l’ensemble de la démarche thérapeutique.

Les données quantitatives semblent indiquer que ce n’est pas d’un psychothérapeute que l’équipe a besoin. Jonathan décide d’évaluer la situation en organisant trois groupes de discussion (focus group) regroupant tout un éventail d’étudiants et d’étudiantes. Il adopte cette méthode de collecte de données qualitatives afin de mieux comprendre l’expérience de la population étudiante.

Grâce à ces groupes de discussion, le Bureau d’aide psychologique apprend que de nombreux étudiants et étudiantes aimeraient faire appel aux services de Jonathan, mais qu’ils ont trop peur d’être vus en train de prendre un rendez-vous avec lui, car ils craignent la stigmatisation liée au fait d’utiliser des services en santé mentale, surtout dans un petit établissement rural comme le Collège des Prairies. Le fait d’avoir utilisé à la fois des données quantitatives et des données qualitatives permet ainsi à Jonathan et son service de comprendre non seulement ce qui se passe, mais pourquoi les choses sont ainsi.

Selon vous…

Quels autres types de données quantitatives ou qualitatives Jonathan aurait pu vouloir recueillir ?

Des données quantitatives :

• Combien d’étudiants et d’étudiantes ont été dirigés vers des psychothérapeutes externes ?
• Combien d’étudiants et d’étudiantes utilisent les autres services du Bureau d’aide psychologique — y a-t-il une tendance de faible utilisation des services offerts ?

Des données qualitatives :

• Que pourrait faire le Bureau d’aide psychologique pour que les étudiants soient à l’aise d’utiliser les services de psychothérapie sur le campus ?
• Quelles activités permettraient d’ébranler la stigmatisation liée à la santé mentale sur le campus ? De quelle façon pourrait-on impliquer des membres engagés de la communauté étudiante dans l’organisation ou la promotion de ces activités ?
• Quelles autres mesures pourrait prendre le Bureau d’aide psychologique pour rester au fait des impressions de la population étudiante au sujet de ses services ?
  Il pourrait rendre disponibles des formulaires de rétroaction dans ses locaux et également sur son site Web. Il pourrait aussi entreprendre une démarche d’évaluation continue en organisant des groupes de discussion de suivi.

Lee étudie et s’implique à l’Université Coolwaters. Il organise différentes activités de conscientisation sociale sur le campus en collaboration avec les Services à la vie étudiante. Après s’être renseigné sur la dépendance à l’alcool et sur la santé mentale chez la population étudiante, il a organisé un séminaire d’une journée comprenant deux ateliers et une conférence, qui seront donnés par des invités du centre de désintoxication local.

Lee prépare un sondage à l’intention des participants. Voici ses buts d’évaluation : (1) déterminer à quel point le séminaire aura été utile aux étudiants et aux étudiantes qui auront participé; (2) déterminer si les étudiants et les étudiantes aimeraient qu’il y ait davantage d’activités du genre sur le campus. Il a rédigé les questions suivantes :

1. L’information suivante est celle qui m’a été le plus utile :
   ☐ Les signes avant-coureurs des problématiques de santé mentale et de dépendance
   ☐ Les renseignements sur les services offerts dans la région
   ☐ Comment parler de la dépendance
2. Quel est votre niveau de satisfaction par rapport aux personnes qui ont animé l’atelier 1 et l’atelier 2 ?
   Insatisfait(e)         Plutôt satisfait(e)         Satisfait             Très satisfait(e)
3. Veuillez indiquer trois (3) choses que vous avez apprises aujourd’hui :

                                                           
                                                           
                                                           

• Ce séminaire a-t-il modifié votre façon de voir la dépendance à l’alcool ou les autres formes de dépendance ?

Selon vous…

Est-ce que toutes ces questions sont bien formulées ? Lesquelles pourraient être améliorées et comment ?

Les questions pourraient offrir plus de choix de réponses, y compris l’option « Autre ».
La question b devrait être séparée en deux questions distinctes afin qu’il soit possible de donner son avis sur les ateliers 1 et 2 séparément.

Quels autres types de renseignements Lee devrait-il inclure dans ce sondage ?

Lee devrait ajouter un préambule, les coordonnées pour joindre le Centre à la vie étudiante en cas de questions, des instructions pour remplir le sondage, une note au sujet de la confidentialité et des précisions sur l’utilisation des renseignements fournis (qui s’en servira et de quelle manière).

Quels autres types de questions pourrait-il poser pour atteindre ses buts ?

Étant donné ses buts d’évaluation, Lee devrait ajouter une question vérifiant si les étudiants et les étudiantes voudraient qu’il y ait plus d’événements du genre sur le campus. Comme il y aura également une conférence, il devrait ajouter une question sur la satisfaction par rapport à celle-ci. Il pourrait aussi ajouter des questions démographiques pour connaître les caractéristiques des participants et participantes à l’événement. Par exemple, demander le sexe ou le genre des répondants pourrait permettre de constater que 70 % des participants étaient du genre masculin, ce qui pourrait encourager le Centre à la vie étudiante prendre des moyens pour faire en sorte que les événements futurs soient plus inclusifs pour les femmes.

Onye étudie au Collège de Threerivers et se passionne pour la santé mentale des femmes sur le campus. Elle fait également du bénévolat hors campus à la clinique de santé des femmes Maya et est à l’origine d’une collaboration entre celle-ci et le Bureau de la sécurité du collège pour produire une affiche faisant la promotion de la santé mentale chez les femmes.

Officiellement menée par le Bureau de la sécurité du collège, cette campagne visait à mettre en lumière le stress que vivent plus particulièrement les femmes, notamment en lien avec le harcèlement sexuel et les problématiques liées à l’estime de soi et à l’image corporelle. Onye a participé à l’élaboration de la campagne et à sa promotion au sein des différents groupes, résidences et clubs sociaux étudiants.

Un an plus tard, le Bureau de la sécurité procède à une évaluation qui se penche tant sur les processus que sur les résultats. La responsable de l’évaluation a demandé à Onye de l’aider pour la collecte de données, étant donné qu’elle a été partie prenante de cette campagne. Le Bureau de la sécurité souhaite recueillir des données pour répondre aux questions d’évaluation suivantes :

1. Comment les étudiantes ont-elles réagi à l’affiche ? Le message correspondait-il à leur réalité ?
2. L’affiche a-t-elle suscité des dialogues sur la santé mentale des femmes, le harcèlement sexuel ou d’autres problématiques vécues sur le campus plus particulièrement par les femmes ?
3. L’affiche a-t-elle sensibilisé les gens aux problématiques vécues sur le campus par les étudiantes et à leur impact sur leur santé mentale ?
4. La collaboration entre la clinique de santé des femmes Maya et le Bureau de la sécurité du collège pour cette campagne d’affichage a-t-elle été efficace et constructive ?
5. Quel effet cette campagne d’affiches a-t-elle eu sur la population étudiante en général, tous genres confondus ?

Onye et la responsable de l’évaluation ont déterminé qu’il leur faudrait des données à la fois quantitatives et qualitatives pour répondre à ces questions.

Selon vous…

Quels outils de collecte de données Onye devrait-elle utiliser ?

Des données à la fois quantitatives et qualitatives sont nécessaires pour répondre aux questions d’évaluation d’Onye; conséquemment, une combinaison de sondage et de groupe de discussion pourrait convenir à sa situation.

Devrait-elle utiliser différents outils pour différents groupes de personnes ou différents buts ? Préciser.

• Pour collecter des données sur les partenariats, Onye peut utiliser un sondage en ligne auprès des personnes qui travaillent dans les deux organismes et des étudiants et étudiantes qui ont comme elle été impliqués dans les campagnes de sensibilisation, s’il y a lieu.
• Les données sur l’impact de la compagne sur la population étudiante pourraient être recueillies lors de groupes de discussion. Il faudrait prévoir des groupes de femmes seulement pour connaître l’impact sur elles et pour savoir si le message de la campagne correspondait à leur réalité.
• Un groupe de discussion regroupant uniquement des étudiants masculins pourrait aussi être organisé afin de déterminer si la campagne a modifié leur compréhension de l’impact sur les étudiantes de certains enjeux, notamment ceux relatifs à leur sécurité. Il serait utile d’explorer avec eux quel rôle ils pourraient jouer pour que le campus soit un environnement plus sécuritaire et plus encourageant.