Première
Précédente
Évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO)
3.0 Constatations de la recherche (suite)
3.2 Conception et prestation (suite)
3.2.3 Dans quelle mesure FedNor a-t-elle réglé les questions de saisie des données, de surveillance des données de rendement et de rapports relevées dans les études d'évaluation antérieures?
Conclusion
FedNor a travaillé à régler les questions de surveillance, de saisie des données et de rapports sur le rendement relevées dans les études d'évaluation antérieures. L'organisation a affecté considérablement de temps et de ressources à la réalisation des améliorations proposées dans les études d'évaluation antérieures. Les efforts déployés par FedNor pour mettre au point un nouveau CGRR, des outils et des bases de données et pour définir les données à recueillir auprès des clients devraient contribuer à de meilleurs rapports sur les données de résultats. La fonction de rapport en est encore au stade préliminaire. Le premier rapport sur le rendement a été produit récemment, et même s'il révélait que certains problèmes antérieurs subsistaient, dans la plupart des cas, on avait recueilli des données pour chaque indicateur. Il serait peut-être avisé d'intégrer des variables de risque au système de surveillance du rendement. FedNor pourrait ainsi explorer les compromis entre les risques et les avantages des projets, ce qui pourrait éventuellement guider les décisions sur les risques de projet qui seraient admissibles pour le PDNO à l'avenir.
Contexte
Les évaluations antérieures relevaient plusieurs préoccupations en matière de surveillance et d'évaluation. L'évaluation sommative de 2005 mentionnait le besoin de parfaire le CGRR de 2005 pour qu'il corresponde mieux aux priorités de programme, et le besoin de mettre au point un système et des outils de mesure et de rapports sur le rendement répondant aux exigences énoncées dans le CGRR révisé. L'évaluation de 2002 soulignait le besoin de développer une culture de gestion et de rapports de mesure du rendement.
Constatations
FedNor a affecté considérablement de temps et de ressources à régler les problèmes relevés dans les évaluations antérieures. Parmi les changements apportés :
- Élaboration d'un nouveau CGRR concordant mieux avec la conception et la prestation du PDNO.
- Conception de nouveaux outils et d'une nouvelle base de données pour les données recueillies.
- Nouvelles exigences s'appliquant aux clients en ce qui a trait aux données de résultats.
Le personnel en est au stade préliminaire des analyses et rapports sur les données, mais l'on a produit un premier rapport à partir des données de résultats, et des plans ont été définis pour l'utilisation future de ces données.
Examen de documents
La pièce II-1 résume l'examen des trois CGRR produits pour le FDNO/PDNO relativement à certaines variables clés : contexte, mission énoncée, thèmes des programmes, clientèle clé, activités soutenues, résultats attendus, et plans de surveillance et de mesure du rendement. Les paragraphes qui suivent apportent un complément d'information.
Comme on l'indiquait précédemment, l'évaluation formative de 2002 concluait que FedNor en était à ses débuts dans l'élaboration d'indicateurs et d'objectifs de rendement, et, d'un point de vue plus général, d'une culture qui favorise la mesure, la gestion et les rapports du rendement. On mentionnait que FedNor devait développer une culture organisationnelle qui favorise non seulement la collecte régulière de l'information sur le rendement, mais aussi l'analyse et l'utilisation des données dans le processus décisionnel de l'ensemble de FedNor. Le rapport recommandait que FedNor continue de perfectionner son système de mesure du rendement et de veiller à ce que le système tire ses renseignements de nombreuses sources. L'évaluation formative de 2001–2002 cernait deux lacunes importantes dans le système de gestion du rendement de FedNor, soit que les outils établis de collecte de données n'étaient pas utilisés systématiquement 56, et que l'on ne procédait pas à la collecte continue et régulière d'information auprès des clients sur les résultats des projets 57. Pour donner suite à l'évaluation de 2002, la direction de FedNor a produit le CGRR de 2005 et modifié sa procédure de collecte des données de la façon décrite précédemment, soit continuer d'utiliser le CMIS pour l'information sur les intrants, les extrants et la portée; s'assurer que les champs portant sur le rendement sont remplis systématiquement; continuer de faire remplir la feuille de pointage de l'évaluation et des résultats de projets par les agents de programmes; mettre au point un mécanisme pour obtenir des données de résultats des clients, et échanger savoir et meilleures pratiques dans le domaine de la mesure du rendement et des rapports à cet égard avec les trois organismes régionaux ministériels. 58
haut de la page| Contexte | Mission | Thèmes des programmes | |
|---|---|---|---|
CGRR 2001 |
1996 Le ministre de l'Industrie annonce une restructuration de FedNor, notamment : Changements au modèle de prestation de services (prestation communautaire et prise de décisions au niveau local mises en œuvre fin 2000; comprenait une fonction de planification et politique chargée de l'élaboration de politiques et de programmes, de l'orientation fonctionnelle des agents de programmes, et de l'évaluation des programmes). Passage de l'aide directe à l'entreprise à des prêts entièrement remboursables, protégés par des réserves pour pertes sur prêts fournies par des tiers. Accent sur l'économie du savoir. |
Promouvoir le développement économique dans le Nord de l'Ontario pour en arriver à un renforcement de l'économie nationale et contribuer à assurer le développement de débouchés d'affaires et de possibilités d'emploi. |
Commerce Innovation Investissement Connectivité Partenariats communautaires |
CGRR 2005 |
Le gouvernement a approuvé (2000) une nouvelle stratégie intégrée de développement régional qui : maximise le potentiel des régions afin qu'elles puissent réussir dans la nouvelle économie; met l'accent sur les sous-régions, les collectivités et les groupes spéciaux de la population; investit dans l'innovation, le capital humain et la modernisation de l'infrastructure; améliore l'articulation et la pertinence des politiques et des programmes. Concept clé : tirer parti des mesures mises de l'avant par d'autres. |
Promouvoir la croissance économique, la diversification, la création d'emplois et l'établissement de collectivités autonomes durables dans le Nord de l'Ontario, au moyen d'une série d'initiatives afin d'améliorer l'accès des petites entreprises aux capitaux, à l'information et aux marchés. |
Pour accomplir sa mission, FedNor doit implanter une solide infrastructure dans les domaines suivants : Innovation et technologie (connaissances commercialisées; biotechnologie et réseau de filons élaborés; investissement dans le développement de produits forestiers à valeur ajoutée) Infrastructure et application des télécommunications (points de présence et Internet haute vitesse dans toutes les collectivités et soutien aux applications de TIC, surtout dans les domaines de la santé, de l'éducation et des affaires) Commerce et tourisme (missions commerciales et réseaux commerciaux; soutien à l'industrie écotouristique) Soutien au financement des entreprises (accès amélioré aux capitaux patients et aux capitaux de risque auprès d'autres partenaires et aux capitaux d'autres sources) Capital humain (promotion du Programme jeunes stagiaires et de l'entreprenariat, davantage de possibilités et d'initiatives de perfectionnement des compétences, etc.) Développement économique communautaire (aide aux collectivités du Nord de l'Ontario pour renforcer leur capacité à entreprendre une planification stratégique pour faire face aux niveaux moins élevés de l'industrie et au DEC et mettre en œuvre les projets connexes) |
CGRR 2007 |
Cadre de développement régional qui : maximise la capacité des régions de prospérer au sein de la nouvelle économie; met l'accent sur les sous-régions, les collectivités et les groupes particuliers; investit dans l'innovation, le capital humain et l'infrastructure moderne; améliore la coordination et la pertinence des politiques et des programmes. Élément clé : La souplesse de FedNor, son effectif, sa présence au niveau local et les partenariats qu'elle aide à développer. FedNor comme facilitateur et catalyseur pour améliorer l'accès au capital, à l'information et aux marchés, et pour créer un environnement où les collectivités peuvent s'épanouir, les entreprises peuvent grandir et les gens peuvent prospérer. |
Promouvoir la croissance, la diversification économique et la création d'emploi en vue de bâtir, au moyen d'une gamme d'initiatives visant à améliorer l'accès des entreprises au capital, à l'information et aux marchés, des collectivités autonomes et durables dans le Nord de l'Ontario. |
Établir une infrastructure solide dans les domaines suivants : Développement économique communautaire (DEC) (soutenir la réalisation d'avantages économiques et la création de richesses à long terme dans les collectivités) Commerce et tourisme (accroître les activités d'exportation et promouvoir le Nord de l'Ontario comme destination touristique) Innovation (améliorer la capacité d'innovation de l'économie régionale) Technologie de l'information et des communications (TIC) (continuer de brancher les collectivités du Nord de l'Ontario à l'infrastructure à large bande) Soutien au financement des entreprises (accès des PME à l'aide financière au démarrage) Capital humain (attirer, mettre en valeur et maintenir en poste des personnes hautement qualifiées) |
| Clientèle clé | Activités admissibles | Résultats attendus du programme et mesure de la réussite | Processus de surveillance et plan de mesure du rendement | |
|---|---|---|---|---|
CGRR 2001 |
Banques à charte, etc., dont l'activité est de fournir du financement à des entreprises, et avec qui FedNor négocie et conclut un financement par emprunt ou fonds de placement. Entreprises commerciales peu susceptibles d'obtenir un financement par emprunt ou fonds de placement à cause du niveau de risque, notamment organisations de R et D sans but lucratif. Sociétés de financement autochtones, organisations autochtones sans but lucratif, organisations financières à contrôle autochtone et groupes similaires en mesure de stimuler l'activité économique autochtone. Entreprises commerciales et organisations sans but lucratif, y compris des organisations municipales de développement économique. Organisations sans but lucratif comme les associations touristiques, chambres de commerce et alliances d'entreprises commerciales œuvrant dans le secteur touristique. Sociétés d'aide au développement des collectivités (SADC) ou, dans les collectivités non desservies par une SADC, une organisation communautaire sans but lucratif fournissant un financement à des entreprises locales. Sociétés d'État, organismes ou autres entités d'un gouvernement ou ministère provincial (en mesure de réaliser des projets favorisant l'atteinte des objectifs d'IC et de FedNor pour le Nord de l'Ontario). |
Contributions à la création d'une réserve pour pertes sur prêts ou fonds de placement, ou pour des projets à très haut risque, p. ex. démarrage, R et D initiale, développement précommercial de produit, et étude de marketing pré-opérationelle; ou à des fournisseurs de capital secondaire comme les SADC et les sociétés de financement autochtones afin de leur permettre de consentir des prêts à des PME pour acquérir des immobilisations, relever le fonds de roulement, donner de l'expansion à une microentreprise, développer ou étendre des marchés à l'extérieur de la région, effectuer de la R et D, développer des produits ou soutenir le perfectionnement stratégique des RH. Contributions pour financer des projets spéciaux, p. ex. démarrage, R et D initiale, développement précommercial de produit, et étude de marketing pré-opérationelle, peu susceptibles d'obtenir une créance commerciale à cause du risque présenté. Contributions afin de donner au milieu d'affaires autochtone l'accès à du capital. Contributions pour le coût d'activités comme l'innovation technologique, l'amélioration des télécommunications et de la TI, l'expansion de marchés à l'extérieur de la région, le développement de l'infrastructure économique, la formation, le perfectionnement des compétences en gestion d'entreprise, l'établissement et le maintien de réseaux de développement économique, les études de faisabilité, ou autres activités en soutien des PME, de l'entreprenariat ou du développement économique. Contributions pour le coût du marketing coopératif, et le développement de produits et forfaits spécialisés dans le secteur touristique. Contribution à l'établissement ou l'expansion du capital de base de SADC ou d'organisations communautaires sans but lucratif investissant dans des PME locales. |
Promouvoir la croissance économique, la diversification et la création d'emploi dans le Nord de l'Ontario, par les moyens suivants : Investissement : Faciliter l'accès au capital pour la petite entreprise (p. ex. augmentation des prêts aux petites entreprises et aux entreprises rurales, autochtones, francophones ou innovatrices, aux projets à risque élevé, etc.). Connectivité : Améliorer l'accès à l'information pour la petite entreprise et les collectivités rurales) p. ex. enrichir le savoir et renforcer l'utilisation d'Internet, des nouvelles technologies et des services gouvernementaux; infrastructure de télécommunications accessibles et abordables). Commerce : Améliorer l'accès aux marchés pour la petite entreprise (p. ex. meilleure capacité des PME à identifier les stratégies et débouchés commerciaux). Partenariats communautaires : Promouvoir l'autonomie et la durabilité des collectivités, notamment renforcer les collectivités autochtones et leur économie (p. ex. degré supérieur de prise de décisions et de prestation au niveau communautaire, et développement économique communautaire plus dynamique). Innovation : Sensibilisation et soutien accrus pour l'innovation, la R et D appliquée et la diffusion des technologies dans les entreprises du Nord de l'Ontario. |
Usage accru des techniques de gestion du risque pour améliorer l'administration des demandes de remboursement et la surveillance des projets par FedNor, en visant à réduire la paperasserie pour les bénéficiaires. On effectuera également des examens de dossier après approbation sur des échantillons de projet, pour assurer l'intégrité du processus d'évaluation et d'approbation. |
CGRR 2005 |
Entreprises commerciales (notamment PME et entreprises de l'économie sociale peu susceptibles d'obtenir un financement par emprunt ou fonds de placement à cause du niveau de risque trop élevé). Organisations sans but lucratif effectuant de la R et D. Sociétés de financement autochtones, organisations autochtones sans but lucratif, organisations financières à contrôle autochtone et groupes similaires en mesure de stimuler l'activité économique autochtone. Organisations municipales de développement économique. Organisations sans but lucratif comme les associations touristiques, chambres de commerce et alliances d'entreprises commerciales œuvrant dans le secteur touristique. Groupes spéciaux de la population (notamment Francophones, Autochtones, jeunes et femmes). |
Activités liées au renforcement de la capacité communautaire [soit encourager la viabilité et l'autonomie des collectivités grâce à une planification stratégique efficace du développement économique communautaire (DEC), axé sur le leadership]. Peut comporter :
Activités liées aux nouvelles possibilités de développement socioéconomique et des entreprises (en collaborant avec les partenaires communautaires et les autres organismes afin d'améliorer l'accès des petites entreprises au capital, à l'information et aux marchés). Peut comprendre :
|
Renforcement de la capacité communautaire : Résultats immédiats : plans stratégiques de DEC acceptés et adoptés par la collectivité; autres études, rapports et plans d'action acceptés et adoptés par la collectivité. Résultats à moyen terme : plans stratégiques et autres études, etc. mis en œuvre (mis en exécution par la mise en œuvre des projets). Résultat final : meilleure capacité communautaire susceptible de faire face aux défis et aux possibilités de développement économique. Nouvelles possibilités de développement socioéconomique et des entreprises : Résultats immédiats : contexte commercial amélioré grâce aux partenariats stratégiques cadrant avec les priorités clés de FedNor et d'IC, notamment soutien financier aux entreprises; télécommunications et TIC; innovation et technologie; commerce et tourisme; DEC; capital humain. Entreprises, entreprises d'économie sociale et organisations communautaires créées ou renforcées; amélioration des compétences, des pratiques et du réseautage des entreprises. Résultats à moyen terme : meilleure participation économique des groupes spéciaux de la population; amélioration de la compétitivité et de la viabilité des collectivités et des secteurs clés. Résultat final : développement économique durable à long terme dans le Nord de l'Ontario. |
Les bénéficiaires d'un soutien financier sont tenus de produire des rapports financiers et d'activités, de même que des rapports finaux sur les projets dans le cadre du processus de surveillance continue. Questionnaires sur la satisfaction de la clientèle pour les projets comportant des cours, des ateliers ou une formation (à compter de 2005–2006). Grille d'évaluation de projet remplie par les représentants du projet et les agents de FedNor, et annexée au rapport final (à compter de 2005–2006). Les résultats seront compilés dans une base de données électronique et feront l'objet d'un rapport annuel. FedNor assure le suivi des budgets et des dépenses de ses programmes, des rapports finaux, des évaluations antérieures, etc. FedNor effectue le suivi des macroindicateurs pour décrire le contexte général et les besoins économiques de la région desservie, notamment les données du Recensement et de l'Enquête sur la population active. Analyse des retombées une fois la période de contrôle terminée et à la fin du projet. |
CGRR 2007 |
Entreprises commerciales (notamment PME et entreprises de l'économie sociale peu susceptibles d'obtenir un financement par emprunt ou fonds de placement à cause du niveau de risque). Organisations sans but lucratif effectuant de la R et D. Sociétés de financement autochtones, organisations autochtones sans but lucratif, organisations financières à contrôle autochtone et groupes similaires en mesure de stimuler l'activité économique autochtone. Premières nations et personnes morales, notamment des organisations constituées sans but lucratif comme les municipalités et les organisations municipales, les organisations de développement communautaire, les établissements d'enseignement postsecondaire, les hôpitaux et les centres régionaux de soins de santé, et autres regroupements sans but lucratif de sociétés en nom collectif, entreprises individuelles, sociétés par actions et associations. Entreprises, y compris sociétés par actions, sociétés en nom collectif, coopératives, entreprises individuelles, fiducies ou consortiums. Organisations d'Aide au développement des collectivités. |
Donner des conseils préliminaires sur l'élaboration, la gestion et l'administration de projets (faciliter des partenariats, préparer des propositions, expliquer les modalités au proposant, simplifier le processus de demande, d'approbation et de traitement des demandes de remboursement). Financer des projets à moyen et long terme avec des partenaires communautaires et régionaux, en soutien d'initiatives conçues pour produire des retombées durables dans l'économie locale ou régionale (notamment le soutien d'une gamme étendue de projets de développement communautaire et régional dans les six secteurs de programme; les projets font habituellement appel à un financement d'autres sources externes). |
Résultats immédiats : DEC : améliorer la capacité communautaire en matière de développement socioéconomique. Commerce et tourisme : mise en valeur des marchés et stimulation des investissements. Innovation : renforcement des capacités d'innovation et amélioration de l'infrastructure. TIC : amélioration des applications et de l'infrastructure des TIC. Soutien au financement des entreprises : amélioration de l'accès au capital et aux fonds de contrepartie. Capital humain : recrutement, maintien en poste et mise en valeur du capital humain. Résultats intermédiaires : Résultat final : |
Niveau du programme : Niveau du projet : Les agents de FedNor sur le terrain sont chargés d'aider à la préparation et à l'examen des demandes. Les agents du contrôle et des paiements sont chargés de surveiller et d'administrer les ententes. Plusieurs moyens de saisir les données :
|
Dans l'évaluation sommative de 2005, on concluait que, bien que le CGRR de 2005 ait doté les gestionnaires d'un meilleur outil pour mesurer le rendement, et que le processus de planification (au moment de l'évaluation de 2005) se rattachait plus étroitement aux exigences en matière de gestion du rendement du FDNO, des problèmes subsistaient néanmoins. L'un des plus importants était que le CGRR ne correspondait pas entièrement à la conception et à l'exécution du FDNO, et que les outils et les systèmes existants n'avaient pas été mis à jour en fonction des exigences en matière de mesure du rendement énoncées dans le CGRR de 2005. De plus, il n'était pas clair alors si l'information recueillie à partir des fiches de pointage des résultats de projets était valide et fiable, ni si les agents de programmes comprenaient clairement comment remplir les fiches. Les systèmes ministériels de saisie et d'analyse de l'information sur les projets ont également eu leur part de critiques. Le Système de rapports sur les subventions et les contributions (SRSC) n'était pas jugé adéquat pour répondre aux exigences en matière de surveillance et de responsabilisation de FedNor par rapport au FDNO. On estimait qu'il n'était pas bien harmonisé avec des exigences du FDNO, et pas du tout harmonisé avec les fiches résultats des projets, et il était difficile de déterminer la mesure dans laquelle les projets produisaient les résultats attendus. Les champs de la base de données ne pouvaient pas être modifiés en fonction de l'évolution du programme pour mieux exprimer les besoins changeants des collectivités du Nord de l'Ontario.
L'évaluation sommative proposait deux recommandations pour corriger le problème : 1) poursuivre la mise au point du CGRR du FDNO pour exprimer avec plus d'exactitude les priorités du programme et mettre au point les systèmes et outils d'établissement de rapports afin d'assurer la conformité avec les exigences énoncées dans le CGRR, et 2) consulter la Direction générale de la vérification et de l'évaluation et la Direction générale de la gestion de l'information, pour s'assurer que les systèmes ministériels offrent aux gestionnaires de FedNor la souplesse nécessaire pour saisir de façon adéquate l'information sur le rendement dont elle a besoin pour mieux satisfaire à ses exigences en matière de surveillance et de reddition de comptes. Dans sa réponse à l'évaluation, la direction de FedNor indiquait que FedNor réviserait le CGRR du FDNO pour l'automne 2006, en conformité des recommandations de l'évaluation, et que FedNor mettrait au point de nouveaux outils de collecte de données, accompagnés d'un guide, en harmonie avec les résultats attendus des priorités courantes du programme 59. FedNor a également indiqué qu'elle continuerait de consulter les deux directions générales à propos de la conception des systèmes d'information ministériels 60.
Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008
Comme on l'a indiqué, les évaluations antérieures ont relevé plusieurs préoccupations relatives à la surveillance et à l'évaluation. On a posé aux intervenants clés une série de questions sur la mesure dans laquelle FedNor avait donné suite aux questions signalées dans ces évaluations antérieures. Les répondants étaient restreints au groupe des répondants GP/PPC/USS, puisque l'on prévoyait que les agents devraient moins bien connaître le CGRR 61.
Dans l'élaboration du CGRR de 2007 et du système et des outils de rapport actuellement en usage, FedNor a clairement donné suite aux critiques formulées. Les sections précédentes du présent rapport faisaient état du fait que FedNor avait investi considérablement, en temps et en ressources, pour corriger les problèmes relevés dans les évaluations antérieures. Plus précisément, FedNor a :
- remplacé le CGRR de 2005 par celui de 2007, qui selon l'avis presque unanime des répondants de FedNor, correspond plus exactement à la conception et à la prestation du PDNO;
- tenu des consultations poussées avec l'effectif tout au long du processus, afin d'élaborer les indicateurs de rendement appropriés des résultats immédiats de chaque composante du programme;
- poursuivi les consultations pour continuer de perfectionner et d'expliciter l'utilisation des indicateurs, afin d'assurer qu'ils sont compris et utilisés de manière uniforme à l'échelle de tout le programme;
- atteint le point auquel les répondants de FedNor acceptent les indicateurs qui ont été élaborés, à l'exception des indicateurs supplémentaires à moyen ou long terme signalés dans le cas des indicateurs du tourisme;
- réussi à mobiliser les agents à l'égard du processus; ils utilisent dorénavant les indicateurs pour structurer leurs discussions avec les clients et les collègues lorsqu'ils acceptent ou refusent un projet. On effectue un examen préliminaire des projets en fonction de leur adéquation aux priorités du programme. Tout le processus a abouti à une évolution de la culture relativement à la mesure du rendement, qui s'étend jusqu'aux clients eux-mêmes;
- élaboré de nouvelles exigences pour les clients (relativement aux données de résultats), clairement énoncées dans les discussions avec l'agent de programmes et la lettre d'offre;
- révisé et, dans certains cas, remplacé les outils de collecte de données, et mis sur pied une nouvelle base de données pour saisir et stocker l'information du formulaire d'évaluation finale de projet 62.
- FedNor, bien qu'étant à l'étape préliminaire d'analyse et de rapport sur les données, a produit un premier rapport de mesure du rendement du PDNO qui devrait être largement diffusé. Les utilisations futures prévues des données de résultats comprennent la contribution de ces données pour solliciter des renouvellements ou des changements au programme, les présentations au Conseil du Trésor ou au Cabinet, la planification stratégique, et la préparation du plan d'activités. Parmi d'autres utilisations proposées des données, mentionnons la rétroaction avec la collectivité et les commentaires aux agents pour les aider à accomplir leur travail.
Les répondants de FedNor ont déclaré presque à l'unanimité que FedNor avait réglé les problèmes antérieurs, et se trouvait bien préparée à avoir les données nécessaires à l'évaluation sommative de 2010–2011.
Examen de la surveillance et des rapports sur le rendement
Notre examen du système de surveillance du rendement nous a permis de constater que la conception du nouveau système a pris en compte les critiques antérieures sur la mesure du rendement. Le système permet de recueillir et de stocker les données et de les consulter, pour évaluer tous les résultats immédiats et certains des résultats à moyen terme du modèle logique. Cette fonctionnalité est plus que conforme aux exigences du tableau 3 du CGRR à l'égard de la base de données des évaluations finales de projet.
Un domaine dont ne traite pas le modèle logique du CGRR pour le programme ou son tableau 3, et qui ne fait donc pas partie de la base de données des évaluations finales de projet, est celui du rôle de catalyseur de FedNor dans le développement du Nord de l'Ontario. La base de données ne consigne pas de renseignements sur les dossiers dans lesquels FedNor ne finance pas un projet, mais contribue de manière déterminante au développement de ce dernier. Cette information serait très utile pour une évaluation sommative, mais elle risque d'être perdue à moins qu'un suivi continu n'ait lieu. Cet élément pourrait peut-être prendre la forme d'un indicateur qualitatif. Le CGRR pourrait également être modifié pour tenir compte de cette activité et de ce résultat.
haut de la page3.3 Leçons apprises
Comme on l'a mentionné, le thème des questions sur les leçons apprises a été modifié après présentation et approbation du rapport de méthodologie. Les questions révisées (remplaçant celles de l'Annexe A) sont les suivantes :
- Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
- Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
3.3.1 Quels facteurs ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
Conclusion
La participation d'agents de projets à l'élaboration du système de mesure du rendement a permis d'obtenir un meilleur soutien et une plus grande uniformité en matière de mesure du rendement. L'affectation d'employés à l'élaboration du système semble avoir été une étape précieuse, mais soulève la question des besoins futurs en dotation au fur et à mesure que le système sera utilisé. De plus, le roulement de personnel crée une demande continue de formation sur les exigences du système et sur les questions liées à l'uniformité des données.
Contexte
FedNor a déployé des efforts considérables pour améliorer son système de mesure du rendement et ses procédures de gestion des données. Il serait utile de faire connaître les facteurs qui ont facilité ou entravé le processus à d'autres organisations qui entreprennent des activités similaires.
Constatations
Entrevues des intervenants clés
i) Ce qui a bien fonctionné
Tous les répondants de FedNor ont été interrogés sur les facteurs qui ont facilité ou entravé la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats. Quelques thèmes sont ressortis des discussions.
Lorsqu'il était question de ce qui a bien fonctionné, les répondants de FedNor mentionnaient le plus souvent la démarche collaborative adoptée pour identifier et définir plus clairement les indicateurs. Selon un répondant, dont l'opinion correspondait à celle de la majorité, FedNor avait consacré beaucoup de temps à définir les bons indicateurs, et à bien les faire comprendre aux gens. En conséquence, l'uniformité s'est améliorée dans tout le programme. Le degré d'acceptation de la part de l'effectif constitue l'une des conséquences de la démarche adoptée. Certains faisaient état d'un changement de culture à l'égard de la mesure du rendement, d'autres mentionnaient la façon dont avaient évolué les pratiques de travail, l'interaction avec les clients et la gestion des résultats. L'unité de PPC s'est méritée beaucoup de compliments pour l'approche adoptée.
L'autre élément important dans ce qui a bien fonctionné était la décision d'affecter directement des ressources à la tâche. En l'absence de ces ressources, FedNor n'aurait pas pu progresser autant dans le processus. Toutefois, certains répondants de FedNor se disaient préoccupés par le besoin de ressources supplémentaires. Le personnel qui a participé à cette activité exerce des responsabilités à l'égard d'autres programmes de FedNor, en plus du PDNO, et certains de ces autres programmes exigent beaucoup de temps de la part de l'effectif responsable de la mesure du rendement de FedNor.
Défis
Deux facteurs ayant entravé l'initiative ont été mentionnés. Le premier était le roulement du personnel, ce qui a incité certains répondants de FedNor à se demander s'il ne faudrait pas consacrer plus d'attention aux ressources humaines, plus précisément, le besoin d'un plus grand nombre d'employés et, peut-être dans le cas du personnel administratif et de soutien, d'un effectif possédant un niveau de formation technique dépassant le premier échelon.
Le deuxième facteur qui aurait entravé la stratégie de FedNor découle simplement de la complexité du travail accompli. L'élaboration du CGRR de 2007 était l'aboutissement d'une longue courbe d'apprentissage, et la plupart convenaient du fait que le perfectionnement des définitions et des instructions pour la saisie des données n'est pas encore terminé.
Analyse documentaire
Au chapitre de l'évaluation et de la surveillance, l'OCDE insiste sur l'importance de ces activités pour favoriser l'efficacité des politiques et créer un lieu de dialogue parmi les divers partenaires des politiques régionales. Le rapport souligne que les programmes de subventions avec sélection concurrentielle peuvent intégrer des mécanismes de rapport en appui à la surveillance et à l'évaluation.
Examen de la surveillance et des rapports sur le rendement
Notre examen du système de surveillance du rendement a donné lieu aux constatations suivantes :
- Le système se concentre surtout sur les résultats immédiats des projets, mais englobe certains résultats à moyen terme, ce qui pourrait représenter une recherche de compromis entre le besoin d'indicateurs précoces de l'éventuelle incidence du programme et l'intention de mesurer à plus long terme les réalisations possibles.
- Si l'on utilise le système de surveillance du rendement pour le suivi des résultats à moyen terme, un plus grand nombre de projets pourrait être classé comme étant en suspens (statut 618). Une telle pratique limiterait la valeur du système à titre d'outil permettant d'obtenir une indication précoce des incidences éventuelles.
- FedNor pourrait plutôt envisager de clore tous les dossiers après un an, et d'instituer un suivi périodique de certains indicateurs (indicateurs à moyen terme et mise à jour des indicateurs clés de résultats immédiats). On pourrait ainsi mieux équilibrer le double objectif (indications précoces et réussite à plus long terme), tout en obtenant des données probantes sur les incidences au fil du temps.
3.3.2 Quelles leçons ont été apprises de la stratégie de FedNor pour la mesure du rendement du PDNO et la gestion de ces résultats?
Conclusion
Malgré les discussions poussées sur les éléments de mesure les plus pertinents, l'opportunité d'inclure des mesures à plus long terme continue d'être débattue. L'enjeu est de trouver l'équilibre approprié entre des données probantes précoces sur les résultats immédiats et des données plus tardives sur les résultats à moyen terme ou finaux. Un autre aspect important porte sur les avantages que la direction pourrait avoir à surveiller les résultats de telles données, et les économies dans les ressources que l'on consacrera à une évaluation sommative future.
Contexte
FedNor a déployé des efforts considérables pour améliorer son système de mesure du rendement et ses procédures de gestion des données. Il serait utile de faire connaître les leçons apprises du processus à d'autres organisations qui entreprennent des activités similaires.
Constatations
Entrevues des intervenants clés
En entrevue, on a posé à tous les répondants de FedNor des questions sur les grandes forces de la conception des mesures d'évaluation du rendement du PDNO, les limites ou défis principaux que présentent ces mesures, et toute amélioration nécessaire de ces mesures.
Les questions n'ont pas produit une foule de réponses, mais quelques thèmes se sont imposés. On a mentionné les défis et les frustrations liés à la mesure du rendement, qui a imposé une courbe d'apprentissage. Le travail de PPC pour les réalisations obtenues a été louangé, en particulier les efforts soutenus du personnel de PPC pour faire progresser l'initiative. L'autre grand thème portait sur le problème de l'attribution. Comme le mentionnait un répondant, il s'agit d'indicateurs s'appliquant au début du processus. On a signalé qu'il s'agit d'un programme de petite envergure, sur le plan des fonds injectés dans l'économie, et que l'on peut s'interroger à propos de son degré d'influence sur des facteurs macroéconomiques pour le PIB, l'emploi, et autres.
Analyse documentaire
Dans Le nouveau paradigme rural (OCDE 2006), on relève que la mise au point d'indicateurs appropriés peut créer d'importants défis, à cause du caractère unique de différents lieux agricoles, et de l'absence de modèles fiables pour évaluer exactement « comment et pourquoi le développement régional a lieu ». Les deux problèmes connexes identifiés par l'OCDE viennent du « cadre d'information incomplet », dans lequel les responsables de la mise en œuvre des politiques détiennent une grande partie du savoir nécessaire à l'évaluation, et la difficulté d'établir un lien de causalité entre les politiques et les résultats.
Devant le défi de la mise au point d'indicateurs valables, l'OCDE affirme que ces indicateurs ne doivent pas laisser place à l'ambiguïté, et que leur validité doit être largement acceptée (la qualité des données doit être « incontestable et fiable » pour que « tous les acteurs aient confiance »).
Examen de la surveillance et des rapports sur le rendement
L'information utile à la direction d'un programme s'inscrit dans une échelle progressive. À un bout de l'échelle, on trouve des détails opérationnels et comptables des activités, habituellement consignés dans des systèmes et bases de données de gestion des subventions et contributions. À l'autre bout de l'échelle, il y a l'information évaluative, provenant typiquement d'évaluations formatives et sommatives. La mesure du rendement s'inscrit quelque part entre ces deux points; pour la situer exactement, il faut savoir si les besoins de la direction en matière d'information sur le rendement visent les résultats immédiats, les résultats à plus long terme, ou une combinaison des deux.
Le système actuel de mesure du rendement du PDNO se situe plus près de l'extrémité des résultats immédiats de cette échelle, ce qui est typique de la plupart des systèmes de mesure du rendement, et aussi ce qui était préconisé dans le CGRR.
Dans nos entrevues des intervenants clés, un point de vue minoritaire était qu'il pourrait être préférable de positionner la mesure du rendement un peu plus loin dans l'échelle. Nous estimons que seule la direction peut prendre position sur cette question, à partir de ses besoins en matière d'information.
Dans la mesure où il est valable pour la direction d'étendre la mesure du rendement à des résultats plus à moyen terme (et peut-être aux résultats finaux), le système pourrait être ouvert à la couverture d'autres résultats, d'échéanciers plus éloignés, ou de mesures périodiques. L'un des avantages à prendre en compte dans une portée étendue du système de mesure du rendement viendrait des économies de ressources à consacrer à l'évaluation sommative.
- Date de modification :
