Première
Précédente
Évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO)
2.0 Méthodologie et approche
2.1 Questions évaluées
L'évaluation de mi-mandat devait porter sur les trois principaux domaines indiqués à l'Annexe A de la DP, soit pertinence, conception et prestation, et leçons apprises, plus précisément :
Pertinence du programme
- Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux? (QE1.2)
- Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements? (QE1.2)
Conception et prestation
- Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
- Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
Leçons apprises
- Quels facteurs ont facilité ou entravé la mise en œuvre du programme?
- Quelles leçons apprises pourraient s'appliquer à de futurs programmes du PDNO? (5.1)
- Quelles leçons apprises pourraient s'appliquer à la mesure du rendement, à la surveillance du rendement et à la collecte de données? (5.2)
Après examen et approbation du rapport de méthodologie, la direction de FedNor a remis en question la pertinence des questions sur les leçons apprises énoncées à l'Annexe A et acceptées dans le rapport d'évaluation. La direction de FedNor en a discuté avec la Direction générale de la vérification et de l'évaluation (DGVE), et il a été convenu que les questions de l'Annexe sur les leçons apprises seraient remplacées par des questions visant plus explicitement l'enjeu de la mesure du rendement et de la gestion de ces résultats. Les questions de remplacement se présentent ainsi :
- Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
- Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
Les guides d'entrevue fournis avec le rapport de méthodologie ont été modifiés en conséquence, et leur version révisée figure en annexe du présent rapport.
Compte tenu du calendrier serré de l'évaluation, les entrevues de groupe et individuelles se sont limitées aux intervenants clés, principalement des membres de l'effectif du programme et des spécialistes universitaires. Les économies réalisées grâce aux voyages évités ont été affectées en ressources supplémentaires pour l'analyse documentaire. La nature des enjeux examinés fait qu'il n'y a pas eu d'enquête auprès des clients pour ce stade d'évaluation de mi-mandat. Les enquêtes auprès des clients conviendront mieux au cadre d'une évaluation sommative axée sur les incidences pour les clients.
haut de la page2.2 Grille d'évaluation
La méthodologie vise les éléments suivants :
- Examen de documents liés au programme.
- Analyse documentaire.
- Examen de la surveillance et des rapports sur le rendement.
- Entrevues avec 20 intervenants clés.
La première tâche en vertu du marché consistait à produire un rapport sur la méthodologie détaillée de l'évaluation. La pièce I-1 résume le plan de recherche pour l'évaluation, notamment les méthodes et sources employées pour répondre aux questions d'évaluation. Le plan de la pièce diffère de celui proposé dans le rapport de méthodologie, pour intégrer les modifications convenues relativement aux questions sur les leçons apprises.
Examen de documents liés au programme
Nous avons examiné les documents clés du programme pour l'évaluation, en portant une attention particulière aux aspects touchant la présente évaluation, soit assurer la disponibilité de données en vue de l'évaluation sommative de 2010–2011, identifier toute lacune dans les données, et proposer des stratégies pour corriger ces lacunes. Les documents examinés comprenaient le Cadre de gestion et de responsabilisation axé sur les résultats, les évaluations et vérifications antérieures du programme précédent, et autres documents pertinents. L'Appendice B présente la liste des documents liés au programme examinés.
Ces documents ont contribué au développement de l'approche de méthodologie et à la formulation des questions pour les entrevues des intervenants clés. Ils ont également servi à mettre en contexte les constatations du présent rapport de mi-mandat.
| Objectifs | Question de recherche | Méthodologie | Data Source | Format de l'analyse *2 |
|---|---|---|---|---|
A. Établir la pertinence du PDNO |
Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux? (QE1.2) *3 Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements? (QE1.2) |
Examen des documents et dossiers |
Base de données du Système de rapports sur les subventions et contributions (SRSC) Rapports économiques généraux |
Degré de chevauchement ou de dédoublement avec d'autres programmes (financement conjoint) Degré de collaboration de FedNor avec d'autres ministères et d'autres gouvernements pour réduire le chevauchement ou le dédoublement |
B. Identifier tout problème de conception ou de prestation |
Est-ce que l'on recueille, consigne, protège et utilise des données appropriées sur le rendement? (QE2.1) Quel est le degré d'assurance de la qualité des données? (QE2.1) Dans quelle mesure FedNor a-t-elle réglé les questions de surveillance, de saisie des données, de rapports sur le rendement et autres questions relevées dans les études d'évaluation antérieures? (QE2.4) |
Examen des documents et dossiers |
Base de données du SRSC Agents de projet/de politique de FedNor |
Degré de conformité à la grille de surveillance du rendement/degré de satisfaction des besoins de surveillance/utilisation des données |
C. Identifier les leçons apprises *4 |
Quels facteurs ont facilité ou entravé la mise en œuvre des mesures d'évaluation du rendement? Quelles leçons ont été apprises des mesures d'évaluation du rendement du PDNO et de leur mise en oeuvre?
Quelles leçons ont été apprises sur la mesure du rendement, la surveillance du rendement et la collecte de données? |
Analyse documentaire d'études sur le développement économique communautaire, le développement régional et la stratégie des sciences et de la technologie |
Base de données du SRSC Base de données d'évaluation finale de projet |
Facteurs ayant facilité ou entravé la mise en œuvre des mesures d'évaluation du rendement Leçons apprises des mesures d'évaluation du rendement du PDNO et de leur mise en œuvre :
Leçons apprises sur la mesure du rendement, la surveillance du rendement et la collecte de données |
Analyse documentaire
Nous avons réalisé une analyse documentaire très limitée pour l'évaluation de mi-mandat, les ressources étant restreintes, et l'analyse documentaire de l'évaluation sommative de 2005 ayant déjà absorbé d'importantes ressources. Une analyse plus complète sera entreprise pour l'évaluation sommative de 2010–2011.
La direction de FedNor a répertorié un groupe central de documents, rapports et études pour l'examen, notamment des publications de l'OCDE. Parmi ces documents :
- Le nouveau paradigme rural, OCDE (2006).
- Examen territorial du Canada, OCDE (2002).
- Réaliser le potentiel des sciences et de la technologie au profit du Canada, gouvernement du Canada (2007).
- Comprendre l'exode : Lutte contre la pauvreté rurale, Comité sénatorial permanent de l'agriculture et des forêts (2006).
- Youth Intern Program: Comparative Report, FedNor, (2006).
- A Review of Rural and Regional Development Policies and Programs, Réseaux canadiens de recherche en politiques publiques (2008).
L'Appendice B présente l'analyse documentaire.
L'analyse documentaire de mi-mandat avait comme objet principal d'étudier des publications sur le développement économique, le développement régional et la stratégie des sciences et de la technologie. À partir de cette analyse, nous avons réalisé deux entrevues avec des experts universitaires, pour connaître leur opinion sur l'approche adoptée par FedNor à l'égard du PDNO. L'Appendice D présente le guide employé pour ces entrevues.
Examen de la surveillance et des rapports sur le rendement
L'examen de la surveillance et des rapports sur le rendement s'est attaché à trois questions d'évaluation :
- Est-ce que l'on recueille, consigne, protège et utilise des indicateurs de rendement pertinents pour mesurer les résultats des projets du PDNO?
- Quel est le degré d'assurance de la qualité des données?
- Dans quelle mesure FedNor a-t-elle réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures?
La matrice de mesure du rendement du CGRR de 2007 a servi de point de départ à notre examen et notre évaluation de la mesure du rendement, de la surveillance des données de rendement, et des rapports. 27 La première tâche consistait à établir si l'information était recueillie conformément à la matrice. Nous avons ensuite abordé les enjeux de l'exhaustivité (nombre d'observations manquantes) et de l'exactitude (valeurs douteuses ou peu vraisemblables) dans le chiffrier de saisie des données d'évaluation finale de projet du PDNO qui nous avait été transmis, couvrant la période du 1er juillet 2006 au 31 mars 2007. Au-delà de la simple conformité aux exigences du CGRR, nous avons examiné à quel point les mesures étaient adaptées à l'usage visé. L'examen de la base de données et les entrevues des intervenants clés ont servi à évaluer les éléments suivants :
- Les indicateurs sont-ils d'un niveau approprié pour mesurer l'incidence attendue du programme?
- Le moment de la collecte des données liées aux indicateurs permet-il de saisir les incidences attendues du programme? Devrait-on prévoir des intervalles différents pour d'éventuelles incidences de programme différentes?
- À quel usage sont destinées les données de surveillance? Ont-elles été utilisées à cette fin ou à d'autres fins? Pourquoi, ou pourquoi pas?
Les constatations de cet examen sont présentées dans les sections pertinentes du chapitre II.
Entrevues avec les intervenants clés
Nous avons réalisé des entrevues avec les six groupes d'intervenants clés suivants, pour un total de 19 répondants 28 :
- Gestionnaires de la prestation des programmes (n=2)
- Agents de contrôle et des paiements (n=4)
- Agents de programmes (n=3) 29 Quatre étaient prévus au départ.
- Politiques, planification et coordination (PPC), y compris le directeur (n=5)
- Unité des stratégies sectorielles (USS), y compris le gestionnaire (n=3)
- Experts universitaires (n=2)
Les responsables de FedNor et les membres du comité directeur ont aidé l'équipe de recherche à identifier des intervenants clés pour chaque groupe de répondants, et fourni les coordonnées des répondants pressentis. La direction de FedNor a également contribué à l'organisation des entrevues conjointes pour maximiser la participation. Les répondants pressentis ont été très obligeants, se libérant à court préavis pour participer aux entrevues. Sans leur aide, nous n'aurions pas été en mesure de respecter les échéanciers de l'évaluation. Les entrevues se sont déroulées sur une période de deux semaines. Nous n'avons pas réalisé d'entrevues avec des clients, mais des clients seront consultés dans le cadre de l'évaluation sommative prévue pour 2010–2011.
Toutes les entrevues se sont effectuées par téléphone, et ont duré de 30 minutes à deux heures, un peu plus longtemps dans le cas des agents de programmes et des agents de contrôle et des paiements. En moyenne, une entrevue durait 75 minutes.
En collaboration avec le personnel de la DGVE et de FedNor, nous avons élaboré des guides d'entrevue distincts, certains étant communs à plus d'un groupe, pour être sûrs de ne poser aux répondants de FedNor que des questions portant sur leurs activités relatives au PDNO. Les répondants étaient libres de ne pas répondre à toute question qu'ils ne jugeaient pas pertinente à leur situation. Nous cherchions à obtenir des types d'information similaires des divers groupes (caractère approprié des indicateurs, qualité des données, etc.), mais des questions plus spécifiques avaient été prévues pour les agents s'occupant de la prestation du programme. À titre d'exemple, la direction de FedNor avait à répondre à des questions générales sur la mesure dans laquelle FedNor avait réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures, tandis que les questions aux agents portaient sur les changements précis apportés aux formulaires, processus et procédures de collecte pour améliorer la qualité des données recueillies. On demandait aux deux groupes d'évaluer les modifications qui avaient été apportées, et le cas échéant d'indiquer les améliorations restant à apporter. L'Appendice D présente les guides des entrevues des intervenants clés.
haut de la page2.3 Limites de la méthodologie
Examen de documents liés au programme
Nous avons réalisé un examen approfondi des documents clés du programme fournis pour l'évaluation de mi-mandat, y compris ceux sur la mesure du rendement. Ces documents ont joué un rôle essentiel dans l'élaboration de l'approche de méthodologie pour l'évaluation de mi-mandat et dans l'établissement du contexte des constatations.
Analyse documentaire
L'analyse documentaire portait principalement sur le développement économique communautaire, le développement régional et la stratégie des sciences et de la technologie. Les constatations de l'analyse documentaire visent à enrichir l'évaluation des facteurs qui ont facilité ou entravé la mise en œuvre du PDNO. L'analyse présente également un survol des leçons qui pourraient s'appliquer à de futurs programmes du PDNO, et une revue de la pertinence des mesures du rendement, de la surveillance et de la collecte de données au PDNO. L'analyse documentaire se limitait aux documents, études et rapports de base publiés depuis les examens antérieurs du PDNO.
Examen de la surveillance et des rapports sur le rendement
Nous avons étudié les données du chiffrier de saisie des données d'évaluation finale de projet du PDNO, couvrant la période du 1er juillet 2006 au 31 mars 2007. Ces données portaient sur un nombre limité (n=273) de projets de chacun des six secteurs de programme du PDNO. La période couverte par les données était relativement brève à cause de la relative nouveauté du CGRR et des indicateurs de rendement connexes. Néanmoins, cette période était probablement suffisante pour permettre d'identifier et de corriger les problèmes initiaux, ce qui fait que l'ensemble de données présentait un niveau de maturité raisonnable aux fins de l'examen. Ce dernier portait sur la conformité aux exigences du CGRR et les anomalies des données (valeurs manquantes, surutilisées ou aberrantes, c'est-à-dire s'écartant de la fourchette attendue).
Entrevues avec les intervenants clés
La période consacrée aux entrevues était très brève, et nous n'avons donc pu réaliser qu'un petit nombre d'entrevues, peu d'entre elles étant des entrevues particulières. La plupart étaient avec deux ou trois personnes. Dans le cas des agents de programmes et des agents de contrôle et des paiements, les groupes comptaient quatre personnes (deux du Nord-Ouest et deux du Nord-Est). Nous avons fait appel à des agents à différents stades de leur carrière, tant des agents relativement nouveaux que des personnes qui travaillaient pour le programme depuis plusieurs années.
Afin que les participants se sentent à l'aise pour s'exprimer en petit groupe, nous avons interviewé séparément les gestionnaires et les membres de l'effectif, à une exception près où les personnes en cause ont choisi d'être interviewées ensemble.
Compte tenu du petit nombre d'entrevues réalisées, en particulier avec du personnel de première ligne (trois agents de programmes sur les 40 en poste), les constatations des entrevues avec les intervenants clés devraient être réputées indicatives, mais non définitives. Il s'agit de l'opinion des quelques répondants consultés, qui ne corresponde pas nécessairement à celle de l'ensemble du groupe. En entrevue, nous avons tenté d'établir si d'autres agents partageaient les opinions exprimées, mais il ne s'agit pas d'une façon entièrement satisfaisante de sonder l'opinion de l'ensemble des agents. D'autres répondants auraient pu avoir un point de vue différent sur certaines des questions, s'ils avaient participé aux entrevues, facteur qu'il convient de garder à l'esprit à la lecture des constatations.
Les clients ne faisaient pas partie de l'évaluation de mi-mandat, parce que l'on estimait qu'ils n'auraient que peu d'éléments à apporter sur les enjeux d'évaluation visés par la présente étude. Les clients devraient prendre une place plus importante dans l'évaluation sommative, puisqu'elle sera probablement axée sur les incidences pour la clientèle.
Aux fins de formation et perfectionnement, un membre de l'effectif de la DGVE a écouté le déroulement de quatre des sept entrevues, mettant en cause 12 des 19 répondants. Bien qu'il soit impossible de juger l'incidence de l'écoute des entrevues par un observateur tiers, compte tenu de la forme de recherche effectuée pour la présente étude, toute forme de distorsion en découlant serait probablement positive pour le programme.
*1 La grille d'évaluation s'inspire de l'Annexe A (grille des questions d'évaluation formative du PDNO) aux modalités pour l'évaluation de mi-mandat du PDNO. (Retour au texte)
*2 Plan d'analyse.(Retour au texte)
*3 Référence à la question d'évaluation comparable de la matrice de mesure du rendement du CGRR, le 29 janvier 2007.(Retour au texte)
*4 Révisé après présentation du rapport de méthodologie, tel que convenu par la direction du PDNO et la DGVE.(Retour au texte)
- Date de modification :
