Chercher
Home Trousse d’outils d’évaluation 2.0 La Planification de l’évaluation 2.2 Établir un plan d’évaluation 2.2.5 Construire le plan d’évaluation

2.2.5 Construire le plan d’évaluation

Il est maintenant temps de construire votre plan d’évaluation, c’est-à-dire de déterminer comment vous y prendre pour répondre aux questions que vous avez ciblées.

Dans le cas d’une évaluation formative, vos questions viseront les processus et votre plan d’évaluation s’attardera sur la mise sur pied et le fonctionnement de votre programme et non sur les résultats ou l’atteinte des objectifs.

Dans le cas d’une évaluation sommative, vos questions seront orientées vers les résultats et l’incidence de votre programme. Deux approches sont communément utilisées pour évaluer l’efficacité d’un programme en sondant les bienfaits encourus par les participants du programme. La première consiste à collecter les données rétrospectivement (après coup) et la deuxième, à le faire avant et après l’utilisation du service (on la qualifie ainsi de « pré-post »). On accorde une plus grande validité à cette deuxième approche, qui permet d’attribuer au programme les changements rapportés sur le plan des connaissances, des habiletés et des comportements.

Il existe aussi une approche plus complexe, appelée « expérimentale » ou « quasiexpérimentale », qui se concentre aussi sur les résultats ou l’incidence. Semblable à l’approche « pré-post », elle utilise en plus un groupe témoin (ou groupe de contrôle). Par exemple, un groupe d’étudiants recevra des séances de soutien psychologique tandis qu’un groupe similaire n’en recevra pas. On collectera les données avant et après dans les deux groupes pour ensuite comparer les résultats et déterminer si le fait d’avoir reçu du soutien fait une différence. On considère cette approche comme la plus valide, mais elle est moins utilisée parce qu’elle exige davantage d’expertise et de ressources. De plus, le fait de ne pas offrir de services essentiels à certains participants dans le but d’évaluer un programme pose certaines questions éthiques, surtout au sein d’une même collectivité.

Le plan d’évaluation est un document qui met par écrit:

  • Le but de l’évaluation
  • Le type de données à collecter
  • La méthode de collecte de données à utiliser (par exemple, un questionnaire, un guide d’entrevue ou d’animation de groupe de discussion, etc.)
  • L’échéancier pour la collecte et l’analyse des données
  • Les personnes responsables de procéder à la collecte et à l’analyse des données
  • Les parties prenantes qui ont besoin des résultats de l’évaluation

À la page suivante se trouve une étude de cas illustrant la conception d’une évaluation.

ÉTUDE DE CAS

Érica travaille comme animatrice en santé mentale au Centre de santé et de mieux-être étudiant sur le campus du Collège Mapleleaf. Depuis trois ans, elle organise des formations à l’intention des intervenants, du personnel clinique et administratif ainsi que des étudiants et étudiantes impliquées sur le campus dans le but de les outiller à reconnaître les signes avant-coureurs d’une problématique de dépendance parmi les étudiants et étudiantes qui utilisent leurs services. À l’origine, elle a prévu d’offrir à un total de 50 personnes 20 séances de formation qui comprendront à la fois une présentation théorique et des apprentissages expérientiels, y compris des jeux de rôles. Érica a invité diverses personnes expertes dans leur domaine pour donner les formations.

Avec la collaboration des parties prenantes de son organisme (par exemple, son comité consultatif, l’équipe de gestion, les bailleurs de fonds), Érica a ciblé quatre questions d’évaluation. Ainsi, elles veulent déterminer dans quelle mesure:

  1. Les groupes ciblés (les intervenants, le personnel clinique et administratif ainsi que les étudiants et étudiantes impliqués sur le campus) sont représentés parmi les personnes qui ont participé aux formations;
  2. Les formations ont eu la portée visée (nombre de personnes formées et nombre et types de formations données);
  3. Les personnes qui ont participé aux formations en sont satisfaites; 4. Les personnes arrivent à reconnaître les signes avant-coureurs d’une problématique de dépendance après avoir participé aux formations.

Il est à noter qu’Érica devra utiliser différents types d’évaluation pour répondre à ces questions. Par exemple, les questions 1, 2 et 3 relèvent d’une évaluation formative, tandis que la question 4 est plutôt sommative. Comme elle offre ces formations depuis trois ans, il est raisonnable de présumer qu’elle a déjà procédé à une évaluation de ce service.

L’évaluation formative (questions 1, 2 et 3), qui se concentre moins sur les résultats que sur les processus, permettra à Érica de vérifier si la mise en place de ces formations s’est déroulée comme prévu.

Pour répondre à la question 4, il faudra procéder à une évaluation sommative. Érica peut choisir de sonder la capacité des personnes à détecter les signes avant-coureurs d’une problématique de dépendance après qu’elles aient suivi la formation, ou avant et après (approche pré-post). En utilisant l’approche pré-post, elle pourra attribuer davantage des changements constatés au fait qu’elles aient suivi la formation.

Maintenant qu’elle connaît les questions d’évaluation et le type d’évaluation auquel elle doit procéder pour y répondre, Érica est prête à dresser le plan d’évaluation, qui comprendra :

  1. Le but de l’évaluation
  2. Le type de données à collecter
  3. La méthode de collecte de données à utiliser (par exemple, un questionnaire, un guide d’entrevue ou d’animation de groupe de discussion, etc.)
  4. L’échéancier pour la collecte et l’analyse des données
  5. Les personnes responsables de procéder à la collecte et à l’analyse des données
  6. Les parties prenantes qui ont besoin des résultats de l’évaluation
Trousse d’outils : Version PDF Qu'avez vous pensé de cette trousse d’outils?