- Introduction
- Présentation de la trousse en 5 questions
- 1.0 QU’EST-CE QUE L’ÉVALUATION ?
- 2.0 La Planification de l’évaluation
- 3.0 Procéder à l’évaluation
- 3.1 Comprendre les enjeux éthiques de la collecte de données
- 3.2 Concevoir et utiliser les outils de collecte de données
- 3.2.1 Utiliser des questionnaires existants
- 3.2.2 Créer un sondage (l’anatomie d’un questionnaire)
- 3.2.3 Rédiger les questions de sondage
- 3.2.3.1 Parlons maintenant de la cueillette de données !
- 3.2.4 Les entrevues et les groupes de discussion
- 3.2.5 Organiser et mener une entrevue ou un groupe de discussion
- 3.3 Analyser et interpréter les données
- 3.4 En résumé…
- 4.0 Communiquer les résultats et apprendre
- 1.0 QU’EST-CE QUE L’ÉVALUATION ?
- Liste de ressources
- Ressources de nos partenaires
- Bibliographie et références
- Annexe 01 : Glossaire
- Annexe 02 : Solutionnaire des quiz et des études de cas
- Annexe 03 : Feuilles de travail et gabarits
Home Trousse d’outils d’évaluation 2.0 La Planification de l’évaluation 2.2 Établir un plan d’évaluation 2.2.6 Établir la méthodologie de collecte de données
2.2.6 Établir la méthodologie de collecte de données
Quand vous avez en main les buts et les questions d’évaluation, il est temps de planifier une autre partie importante de la démarche : la méthodologie.
Il s’agit de déterminer quelles données recueillir ainsi que quand et comment le faire. Votre méthodologie découle directement de votre modèle logique et de vos questions d’évaluation. Voyons maintenant quelques notions de base concernant les données, qui seront suivies d’une liste des méthodes habituelles de collecte de données. Un exemple de plan de collecte de données est présenté dans la feuille de travail #4.
Le mot « donnée » renvoie simplement à un renseignement. Les données peuvent être quantitatives ou qualitatives.
Les données quantitatives
Les données quantitatives sont des renseignements objectifs qui peuvent être mesurés numériquement. Si elles permettent de comprendre certaines choses, elles expliquent rarement pourquoi les valeurs numériques augmentent, diminuent ou restent les mêmes.
Voici des exemples de données quantitatives :
- Résultats obtenus à des tests standardisés;
- Réponses sur une échelle de 1 à 5;
- Pourcentage des jours ouvrables par mois pendant lesquels un pair aidant est disponible pour offrir un service de soutien;
- Nombre de jours d’attente avant de recevoir un service;
- Nombre de recommandations vers un service qui aboutissent à une utilisation du service recommandé;
- Nombre de personnes utilisatrices qui publient un commentaire au sujet d’une application de sécurité contre le harcèlement sexuel.
Les données qualitatives
Les données qualitatives sont subjectives, descriptives et contextuelles. Elles rapportent pourquoi un changement s’est produit à la suite d’une action ou d’une activité. Avec des données qualitatives, on cherche à expliquer pourquoi les étudiants et les étudiantes utilisent ou non un service, quelle a été leur expérience du service ou comment les choses se sont déroulées pour eux après avoir reçu celui-ci. Les questions ouvertes d’une recherche qualitative permettent aux participants de faire part de leurs réflexions, ce qui peut mener à des révélations inattendues.
Voici des exemples de données qualitatives :
- Des suggestions d’amélioration du service;
- Les façons dont les étudiants et les étudiantes ont mis en pratique de nouvelles informations;
- Les perceptions de la clientèle utilisatrice du service, et leur évolution au fil du temps;
- Les difficultés rencontrées par les étudiants et les étudiantes et comment elles ont été surmontées;
- La description d’une séquence d’événements.
Parlons maintenant de la cueillette de données !
Il existe plusieurs façons de recueillir des données. Voici les plus courantes :
Méthode | Description | Avantages | Désavantages |
Sondage | Un questionnaire soumis à un groupe d’individus, que ce soit en personne, au téléphone ou sur le Web. |
|
|
Groupe de discussion (focus group) | Une discussion structurée avec les parties prenantes (par exemple, les utilisateurs du service ou les partenaires) animée par un animateur ou une animatrice |
|
|
Consultation des données du service | Consultation des données notées dans le registre des services et des données administratives liées à la prestation des services. |
|
|
Entrevue en profondeur | Entretien individuel structuré ou semi-structuré lors duquel un intervieweur guide une discussion en profondeur sur un sujet particulier |
|
|
Comme on l’a mentionné à la section 1.2, certaines approches d’évaluation intègrent des méthodes de collecte de données à teneur artistique ou créative qui font appel à la photographie, à la narration d’histoires ou au dessin. L’art peut être un moyen hors de l’ordinaire et puissant de rejoindre les membres de la communauté étudiante et de leur permettre d’exprimer leurs idées et leurs expériences.
Pour décider de la méthode à utiliser dans votre cas, posez-vous les questions suivantes (la section 3.2 présentera les différentes étapes à suivre pour mettre en place votre collecte selon les méthodes énumérées précédemment) :
- De combien de temps disposez-vous pour concevoir vos outils de collecte de données ? Pour recruter les participants ? Pour coordonner les groupes ou les activités d’évaluation ? Pour analyser les données ?
- Pouvez-vous rejoindre un nombre suffisant de participants pour la méthode que vous souhaitez utiliser ?
- Qui va coordonner la conception des outils de collecte de données ?
- À quelles ressources technologiques avez-vous accès (par exemple, plateforme Web de sondage, logiciel d’analyse de données) ?
Ressources supplémentaires
Étude de cas 04
Jonathan est psychothérapeute spécialisé en dépendance chez les jeunes. Il travaille depuis peu au Bureau d’aide psychologique aux étudiants et aux étudiantes du Collège des Prairies. Les six (6) premiers mois de son contrat, il n’a reçu en consultation que deux (2) étudiants par semaine, en moyenne. Malgré les efforts du Bureau pour faire connaître ce service, peu de personnes l’utilisent, et elles sont rares à persévérer pour l’ensemble de la démarche thérapeutique.
Les données quantitatives semblent indiquer que ce n’est pas d’un psychothérapeute que l’équipe a besoin. Jonathan décide d’évaluer la situation en organisant trois groupes de discussion (focus group) regroupant tout un éventail d’étudiants et d’étudiantes. Il adopte cette méthode de collecte de données qualitatives afin de mieux comprendre l’expérience de la population étudiante.
Grâce à ces groupes de discussion, le Bureau d’aide psychologique apprend que de nombreux étudiants et étudiantes aimeraient faire appel aux services de Jonathan, mais qu’ils ont trop peur d’être vus en train de prendre un rendez-vous avec lui, car ils craignent la stigmatisation liée au fait d’utiliser des services en santé mentale, surtout dans un petit établissement rural comme le Collège des Prairies. Le fait d’avoir utilisé à la fois des données quantitatives et des données qualitatives permet ainsi à Jonathan et son service de comprendre non seulement ce qui se passe, mais pourquoi les choses sont ainsi.
Selon vous…
- Quels autres types de données quantitatives ou qualitatives Jonathan aurait pu vouloir recueillir ?
- Quelles autres mesures pourrait prendre le Bureau d’aide psychologique pour rester au fait des impressions de la population étudiante au sujet de ses services ?
Pour finaliser le plan d’évaluation…
Une fois que vous avez déterminé la méthodologie de collecte de données, vous pouvez finaliser le plan d’évaluation. Le document final doit comprendre :
- Une page titre présentant le nom du programme et celui de l’auteur du document;
- Une description de votre programme ou de votre service;
- Les buts de l’évaluation et les questions auxquelles vous souhaitez répondre;
- Votre méthodologie et votre plan de collecte de données;
- Des précisions sur la façon dont les données seront analysées;
- Des renseignements sur la diffusion des résultats (à qui seront-ils communiqués, quand et comment).