Évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO)

3.0 Constatations de la recherche

3.1 Pertinence du programme

Les modalités régissant l'évaluation de mi-mandat de 2008 prévoient deux questions relatives à la pertinence :

• Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux? (QE1.2)
• Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements? (QE1.2)

haut de la page

3.1.1 Y a-t-il chevauchement ou dédoublement par rapport à d'autres programmes gouvernementaux?

Conclusion

Les commentaires reçus lors des entrevues avec des employés de FedNor semblent indiquer que l'on encourage les clients à chercher de multiples sources de financement. Un projet peut donc recevoir un financement à la fois du PDNO et d'un autre programme. Les organismes de financement décident des aspects du projet qu'ils soutiendront à partir de leurs propres critères d'évaluation, et le PDNO fait de même. Il y a chevauchement entre le PDNO et d'autres programmes dans le sens qu'ils peuvent verser un financement au même projet. On a cependant institué des mécanismes pour assurer la collaboration et éviter le dédoublement des sources de financement.

Contexte

Nous définissons le chevauchement comme une couverture multiple du même projet ou de la même activité. Le chevauchement peut constituer un problème, mais pas nécessairement. C'est seulement lorsque le chevauchement s'accompagne de dédoublement que les ressources de la société ne sont pas employées de façon opportune. Ainsi, un projet valable pourrait ne pas aller de l'avant sans un soutien gouvernemental de 10 000 $. Le projet peut satisfaire aux critères d'admissibilité de deux programmes qui se chevauchent. Les ressources de la société ne sont pas gaspillées si l'un ou l'autre programme, ou les deux en combinaison, fournissent les 10 000 $. Par contre, si ensemble les programmes versent plus de 10 000 $, il y a dédoublement, et le montant de la contribution dépassant 10 000 $ représente un gaspillage de ressources. Comme l'illustre cet exemple, la coordination s'impose pour évitement le dédoublement en situation de chevauchement. Cet aspect est traité plus en détail dans la question d'évaluation suivante.

Constatations

Le PDNO n'est pas le seul programme de soutien à l'économie du Nord de l'Ontario. Parmi d'autres sources de financement et programmes importants, mentionnons :

• le Fonds du patrimoine du Nord de l'Ontario (par l'intermédiaire du ministère du Développement du Nord et des Mines);
• la Fondation Trillium de l'Ontario (un organisme du gouvernement de l'Ontario);
• le Programme de développement économique des collectivités rurales (par l'intermédiaire du ministère de l'Agriculture, de l'Alimentation et des Affaires rurales de l'Ontario);
• Partenariats pour la création d'emplois de l'Ontario (par l'intermédiaire du ministère de la Formation et des Collèges et Universités de l'Ontario);
• divers programmes de Ressources humaines et Développement social Canada, du Conseil national de recherches (en particulier le Programme d'aide à la recherche industrielle), d'Affaires indiennes et du Nord Canada (en particulier le soutien aux entreprises autochtones par les programmes d'Entreprise autochtone Canada), et des contributions par les municipalités.

Il y aurait donc de multiples sources potentielles pour un projet admissible à un soutien du PDNO, et le chevauchement existe.

haut de la page

3.1.2 Est-ce que FedNor collabore avec d'autres ministères et d'autres gouvernements pour réduire les chevauchements?

Conclusion

FedNor collabore avec d'autres ministères et dans les dossiers comportant plus d'une source de financement ministériel, on effectue une analyse du cumul de financement en double pour assurer le respect des lignes directrices à cet égard. FedNor acquiert une connaissance poussée des modalités de financement en s'impliquant étroitement avec les autres organismes de financement et le client dès le début du projet. De plus, la lettre d'offre indique au client qu'il doit déclarer toutes les sources de financement. Une surveillance attentive du projet tout au long de son cycle de vie permet également de s'assurer que le client respecte l'accord de financement, et les agents de FedNor peuvent contester un paiement en présence d'anomalies.

Contexte

Les conclusions d'évaluations antérieures étaient que le financement du PDNO représente un complément à la contribution d'autres programmes gouvernementaux ou sources de financement, plutôt qu'un dédoublement.

Constatations

Le PDNO a un vaste champ d'application, visant toutes sortes d'activités liées au développement régional. Les répondants ont indiqué que les bénéficiaires ont accès à de nombreux programmes, dont certains se chevauchent. Cependant, les programmes ont des mandats, des critères d'admissibilité et des restrictions au financement qui diffèrent, ce qui fait que, même lorsqu'il y a chevauchement des programmes, les partenaires de financement dirigent leur aide sur des éléments différents du projet. Dans le cas où ils financent des éléments similaires, ils se conforment alors aux lignes directrices sur le financement en double. On attend des proposants qu'ils trouvent de multiples partenaires pour leurs projets. Les agents de FedNor participent à la négociation de tels arrangements entre le client et les autres organismes de financement. En agissant ainsi, FedNor peut agir pour rehausser l'efficacité des partenariats, dans l'esprit de l'approche préconisée par l'OCDE dans Le nouveau paradigme rural. Selon ce rapport de l'OCDE, il faut prendre en compte les facteurs nécessaires à des partenariats efficaces et être conscient des obstacles possibles à un partenariat efficace.

Le client doit certifier toutes les sources de financement, et il est tenu d'aviser le PDNO de toute modification du financement. Les projets font l'objet d'une surveillance attentive afin de s'assurer que l'on ne s'écarte pas des modalités de financement convenues à l'origine. Si une facture comporte des anomalies, le paiement peut être reporté jusqu'à ce que la question soit réglée.

Les intervenants clés pour l'évaluation de mi-mandat de 2008 convenaient de façon unanime que des mesures de protection étaient implantées pour réduire le chevauchement et le dédoublement, et qu'elles n'avaient pas besoin d'amélioration.

Examen de documents

Des évaluations antérieures abordaient la question du chevauchement, moins directement (à l'égard des autres ministères et autres gouvernements) dans l'évaluation formative de 2002, et plus directement dans l'évaluation sommative de 2005. Voici un sommaire des constatations de ces évaluations, pour mettre en contexte les constatations de 2008.

L'évaluation formative de 2002 ³⁰ a trouvé « peu de preuves » que les programmes et services de FedNor faisaient concurrence à ceux d'organismes privés ou gouvernementaux, malgré le fait que FedNor collaborait avec des banques et d'autres établissements de crédit afin de permettre aux entreprises d'obtenir des prêts à haut risque. La plupart des intervenants interviewés en 2002 estimaient que FedNor était « unique en son genre dans le Nord de l'Ontario », y compris comparativement à la Société de gestion du Fonds du patrimoine du Nord de l'Ontario (SGFPNO) ^31 32. En élargissant la comparaison à l'extérieur de la région du Nord de l'Ontario, on constatait que FedNor présentait un mandat, une conception de programme et une stratégie de prestation similaires à celles des trois organismes de développement régional exerçant un rôle comparable à celui de FedNor ailleurs au Canada [(Agence de promotion économique du Canada Atlantique (APECA), Agence de développement économique du Canada pour les régions du Québec et Diversification de l'économie de l'Ouest (DEO)]. Les employés soulignaient la complémentarité entre FedNor et la SGFPNO, et le rôle de FedNor pour aider les collectivités à obtenir des fonds d'autres sources.)

Lors de l'évaluation sommative de 2005 ³³, on a interrogé les répondants sur la disponibilité d'autres programmes ou services du gouvernement fédéral ou provincial qui seraient comparables au FDNO, et disponibles dans le Nord de l'Ontario. Moins de la moitié des répondants ont été en mesure d'identifier des programmes et services comparables. Parmi les autres programmes et services mentionnés : Fonds du patrimoine du Nord de l'Ontario, RHDSC, Fondation Trillium et Développement du Nord et Mines. En réponse à une question sur l'importance du financement de FedNor, près de la moitié des répondants indiquaient que leur projet n'aurait pas été entrepris sans la participation de FedNor. Dans les cas où les projets seraient tout de même allés de l'avant sans financement de FedNor, les répondants indiquaient que l'absence de financement de FedNor aurait affecté leur projet, c'est-à-dire que le lancement du projet aurait été remis à plus tard, que la réalisation du projet aurait pris plus de temps, que la portée du projet aurait été réduite, ou que la qualité du projet aurait été moindre. Dans le rapport de l'évaluation sommative de 2005, on concluait que FedNor collaborait de façon étendue avec d'autres organismes, que le financement du FDNO s'inscrivait en complément de la contribution d'autres sources de financement, plutôt qu'en tant que dédoublement, et qu'aucune autre méthode de prestation en remplacement du FDNO n'aurait pu produire les mêmes résultats à moindre coût.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

Nous avons posé aux gestionnaires de programme, aux répondants de Politiques, Planification et coordination et de l'Unité des stratégies sectorielles (répondants GP/PPC/USS), et aux agents de programmes et experts universitaires une série de questions sur l'enjeu du chevauchement, et les mesures prises par FedNor pour réduire le chevauchement avec les activités d'autres ministères et d'autres gouvernements ³⁴. Les répondants qui n'étaient pas touchés par cet aspect du programme ont choisi de ne pas répondre à ces questions.

Autres programmes et sources de financement disponibles

Les répondants de FedNor ont indiqué que les bénéficiaires du PDNO avaient accès à de multiples sources de financement et programmes gouvernementaux, en plus de ce qu'offre le PDNO, et qu'il y avait chevauchement entre certains de ces programmes. Le PDNO a un vaste champ d'application, visant toutes sortes d'activités liées au développement régional. Le facteur critique n'est pas l'existence d'un chevauchement avec un autre programme, mais plutôt le fait que les programmes ont des mandats, des critères d'admissibilité et des restrictions au financement qui diffèrent et que, par conséquent, lorsque des programmes qui se chevauchent sont mis à contribution pour un même projet, leur participation se restreint à des composantes différentes du projet et qu'ils se conforment aux lignes directrices sur le financement en double lorsqu'ils financent des composantes similaires. L'expression qui ressortait le plus souvent des discussions état « complémentarité ». Le financement du PDNO s'inscrit en complément de celui d'autres sources et selon les intervenants clés, il n'y a pas de dédoublement. On a ensuite demandé aux répondants de FedNor ce que l'on faisait pour réduire le chevauchement et le dédoublement (le dédoublement survenant lorsque l'on demande aux deux parties de rembourser les mêmes coûts), et si ces mesures préventives étaient adéquates, ou devaient être améliorées.

Procédure de réduction du chevauchement et du dédoublement

Les mesures préventives s'amorcent au niveau du programme où l'on envisage de nouvelles initiatives ou de nouveaux programmes. Une analyse de l'environnement est effectuée, afin d'établir s'il existe des programmes similaires à celui que l'on envisage, de qui relève la prestation du programme, et quel est l'objectif ou le champ d'application du programme. L'analyse a pour objet de s'assurer que les nouveaux programmes ne créent pas un dédoublement d'un soutien déjà disponible, et plus précisément d'identifier les lacunes des programmes que la nouvelle initiative pourrait corriger.

Les mesures préventives se poursuivent au niveau du financement. Les programmes financent seulement certains types de coûts, avec des limites à la contribution possible d'un programme particulier. Il n'est pas permis de financer 100 p. cent du coût d'un projet à partir d'un programme, ce qui s'applique au PDNO, malgré son orientation dominante sur le secteur sans but lucratif. Les seuils de financement varient en fonction du projet; ainsi, jusqu'à 75 p. cent des coûts d'un projet de R et D peuvent être admissibles, alors que cette proportion s'établit à 50 p. cent pour d'autres projets. Si plusieurs sources de financement visent des composantes similaires, les agents de FedNor exécutent une analyse de financement en double des fonds provenant des divers programmes gouvernementaux (fédéraux, provinciaux ou locaux), en s'efforçant de ne pas dépasser les 90 p. cent ³⁵. Selon le projet, le PDNO peut financer entre le tiers et la moitié du coût d'un projet, le reste du financement provenant du proposant et d'autres partenaires de financement. La création de partenariats en financement représente une pratique acceptée. Les agents des divers programmes et sources de financement communiquent entre eux, échangent des renseignements pour établir qui financera quoi, et entament souvent des discussions avec d'autres organismes avant même que la demande de projet ait été présentée. Il est attendu des proposants qu'ils recherchent d'autres sources de financement pour leur projet ³⁶. Certains programmes comportent également des restrictions (p. ex. Programme de jeunes stagiaires) qui excluent un financement à la fois du gouvernement fédéral et du gouvernement provincial.

La lettre d'offre énonce les modalités de financement convenues. Le proposant doit « certifier » toutes les sources financement dans le cadre du processus de demande, et doit informer le PDNO de toute nouvelle source de financement qui se présente pour le projet, afin de régler tout problème éventuel de dédoublement après production de l'offre (la lettre d'offre comprend une disposition à cet effet). La lettre d'offre peut intégrer des éléments de discussion et des calendriers très précis. De plus, on a recours à un service de suivi de l'actualité, qui pourrait informer de tout changement dans les modalités de financement si le client n'en avisait pas le programme.

Si le PDNO n'est pas en mesure de financer un projet particulier, l'agent aiguillera le proposant vers d'autres programmes ou sources de financement, et pourra collaborer avec les agents de ces derniers afin de trouver d'autres sources de financement pour le projet. La possibilité pour le proposant de réussir à obtenir d'autres sources de financement dépendra de la conformité du proposant et du projet aux critères et exigences des autres sources. L'admissibilité n'étant pas le critère directeur du PDNO, les responsables du programme se sont abstenus de participer à certains projets qui étaient techniquement admissibles (proposant admissible, coûts particuliers admissibles). Les motifs précis de ces refus varient, mais il s'agit habituellement de questions touchant l'incidence économique du projet, relevées lors du processus d'évaluation du projet et d'exercice de la diligence raisonnable. Sans financement du PDNO, un tel projet pourrait être retardé, être révisé avec une moindre portée, ou ne pas aller de l'avant. Parfois, un proposant peut revoir son plan à partir des commentaires du PDNO, et décider d'abandonner le projet.

Les projets font l'objet d'une surveillance attentive de la part des agents de programmes et des agents du contrôle et des paiements, qui s'assurent à partir des rapports d'étape que le projet reste sur la bonne voie. Cette fonction se rattache directement aux activités et au paiement des factures. Si une facture présente des anomalies, le paiement peut être retardé jusqu'à ce que l'on ait discuté de la question avec le client, ou la facture peut être examinée article par article pour s'assurer qu'elle est conforme à l'entente. Bon nombre des bénéficiaires du financement du PDNO n'en sont pas à leur première collaboration avec l'organisation, ils connaissent bien le processus et n'ont pas l'intention de compromettre leur relation avec le PDNO. L'Unité des stratégies sectorielles peut également faire part au besoin de renseignements ou de réflexions supplémentaires aux agents de programmes.

Qu'arriverait-il sans financement du PDNO?

Compte tenu de l'approche communautaire adoptée par le PDNO et de la connaissance que possède son personnel des enjeux qu'affrontent les collectivités du Nord de l'Ontario, le PDNO est souvent la première réponse aux besoins. La présence du programme et le travail entrepris dès les étapes initiales ouvrirait apparemment la voie à des investissements subséquents par le gouvernement provincial ou le secteur privé, et sur ce plan, le PDNO peut être envisagé comme un catalyseur de changement. Comme on le mentionnait dans l'évaluation sommative de 2005 et les commentaires des répondants, le PDNO est « unique en son genre ». Le soutien apporté par le PDNO à des projets de développement économique (financer la planification stratégique ou renforcer des capacités, ou démontrer la faisabilité d'un projet d'investissement qui pourrait plus tard être financé, par exemple, par le Fonds du patrimoine) peut avoir une incidence très significative. Ainsi, le soutien du PDNO à l'analyse de rentabilisation d'investissements en télécommunications dans les régions rurales a eu d'immenses répercussions dans des domaines comme l'éducation et les soins de santé, et encore bien plus dans des collectivités autochtones isolées, par exemple pour au moins un cas dans le Nord-Ouest, où toute la collectivité était desservie par un seul téléphone public. Sans le soutien du PDNO à la planification initiale, l'investissement en infrastructure (soutenu par d'autres programmes et sources de financement) n'aurait pas été réalisé. Comme l'indiquait un répondant de FedNor, il pourrait être possible de trouver un remplacement au financement du PDNO, en fonction de la souplesse des critères d'un autre programme et de la priorité d'un projet particulier pour ce programme, mais la démarche serait inhabituelle et exigerait beaucoup de travail.

Adéquation des mesures de protection

Les répondants de FedNor ont tous déclaré que l'on collaborait avec les autres ministères et les autres gouvernements pour réduire le chevauchement. Les mesures préventives élaborées (travailler en étroite collaboration avec les autres organismes de financement, énoncer des modalités de financement précises dans la lettre d'offre, contester un paiement en présence d'anomalies dans une facture, etc.) sont perçues comme étant adéquates. Selon les intervenants clés, aucune autre mesure n'est nécessaire.

Analyse documentaire

En mars 1996, le ministre de l'Industrie annonçait une version restructurée de FedNor, au mandat défini en consultation avec divers intervenants, groupes d'intérêts, organisations régionales et le caucus des députés du Nord de l'Ontario. Dans le sillage de nouvelles approches du développement régional mises en œuvre dans d'autres régions économiquement défavorisées du Canada, FedNor adoptait alors un mode différent de prestation de services, délaissant le mécanisme d'aide directe à l'entreprise qu'utilisait l'organisme à l'origine, pour passer à des prêts de nature commerciale entièrement remboursables, protégés par des réserves pour pertes sur prêts fournies par des tiers. FedNor réorientait également ses programmes vers les besoins de l'économie du savoir.

En conséquence de cette nouvelle approche de programme, FedNor concentrait ses efforts sur les cinq domaines stratégiques suivants :

• Commerce.
• Innovation.
• Investissement.
• Connectivité.
• Partenariats communautaires.

Ces cinq priorités ont été établies de façon à aborder plus précisément les problèmes qui touchent les personnes qui vivent et travaillent dans le Nord de l'Ontario. De nouvelles composantes de programme étaient également présentées en 1999, afin de faciliter le passage à une économie du savoir, et visant spécifiquement la connectivité, l'innovation et les partenariats communautaires. Parmi ces composantes : jeunes stagiaires, infrastructure économique des collectivités, infrastructure de télécommunications, recherche appliquée et développement, redressement communautaire, renforcement de la capacité d'innovation, et applications de la technologie de l'information et des communications (TIC).

En 2005, le gouvernement approuvait pour le PDNO une nouvelle stratégie intégrée de développement régional, visant à maximiser le potentiel de réussite des régions dans la nouvelle économie. La nouvelle stratégie est axée sur la mise en valeur des atouts et des points forts des sous-régions, des collectivités et des groupes spéciaux de la population; l'investissement dans l'innovation, le capital humain et l'infrastructure moderne, et l'amélioration de la coordination et de la pertinence des politiques et des programmes. L'élément clé de cette nouvelle stratégie était de donner un effet multiplicateur aux activités d'autres intervenants.

haut de la page

3.2 Conception et prestation

Les modalités régissant l'évaluation de mi-mandat de 2008 prévoient trois questions relatives à la conception et à la prestation :

• Est-ce que l'on recueille, consigne, protège et utilise des données appropriées sur le rendement? (QE2.1)
• Quel est le degré d'assurance de la qualité des données? (QE2.1)
• Dans quelle mesure FedNor a-t-elle réglé les questions de surveillance, de saisie des données, de rapports sur le rendement et autres questions relevées dans les études d'évaluation antérieures? (QE2.4)

haut de la page

3.2.1 Est-ce que l'on recueille, consigne, protège et utilise des données appropriées sur le rendement?

Conclusion

Le programme effectue maintenant la collecte, la saisie et la sauvegarde des renseignements sur la mesure du rendement conformément aux exigences liées au CGRR du programme. Les indicateurs recueillis portent sur les résultats immédiats du modèle logique du programme tel que précisé par le CGRR. Sur ce plan, le programme est en conformité des exigences qui lui sont imposées. D'autres exigences du CGRR en matière de données portent sur les activités de collecte de données administratives (le Système de rapports des subventions et contributions), des données secondaires (Statistique Canada), des études de cas et des données à des fins d'évaluation sommative.

Jusqu'à maintenant, les indicateurs recueillis ont servi à la production d'un rapport annuel. D'autres utilisations prévues pour l'avenir comprennent le renouvellement ou la révision du programme, de nouvelles présentations au Conseil du Trésor ou au Cabinet, la planification stratégique et l'élaboration du plan d'activités.

Contexte

Des évaluations antérieures indiquaient que FedNor se trouvait à un stade relativement peu avancé en matière de gestion et de rapports sur la mesure du rendement. Au moment de l'évaluation sommative de 2005, il n'y avait pas de lien entre les objectifs de programme tels qu'énoncés dans la demande, et le rapport sur les résultats du projet produit par l'agent de programmes, et il n'y avait pas non plus de mécanisme de collecte de données de référence pour mesurer l'incidence des projets.

Constatations

Des progrès considérables ont été réalisés depuis. Exception faite des indicateurs touristiques, tous les répondants étaient d'accord pour affirmer que FedNor avait identifié les « bons » indicateurs. La sollicitation des commentaires des agents continuait de se faire au moment des entrevues, mais l'on était passé de l'étape de la définition des indicateurs, que la plupart estimaient achevée, à l'étape d'expliciter et de raffiner la compréhension et l'utilisation des indicateurs. Les agents utilisent les indicateurs dans la présélection pour s'assurer que les projets correspondent aux priorités du programme, ainsi que pour aider les proposants à définir les résultats. Autrement dit, ce travail s'effectue dans la perspective des données de résultats. On a relevé plusieurs facteurs limitatifs à l'égard de la nature à court terme des indicateurs (résultats immédiats), mais les intervenants clés estimaient que cette question pourrait se régler principalement par la collecte de données lors de futures évaluations sommatives axées sur les résultats à plus long terme.

La plupart des répondants de FedNor indiquaient que le processus était trop récent pour permettre d'utiliser les données afin d'améliorer le programme. On mentionnait cependant parmi les utilisations futures prévues des données le renouvellement ou la révision du programme, de nouvelles présentations au Conseil du Trésor ou au Cabinet, la planification stratégique et l'élaboration du plan d'activités.

Examen de documents

L'évaluation formative de 2002 indiquait qu'au moment de cette évaluation, FedNor se trouvait à un stade relativement préliminaire de la formulation de cibles et d'indicateurs de rendement et, plus généralement, de l'implantation d'une culture de gestion et de rapports sur la mesure du rendement. Pour donner suite à ces conclusions, la direction de FedNor a élaboré un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR), approuvé par le Secrétariat du Conseil du Trésor en mars 2005.

Dans l'évaluation sommative de 2005, on relevait que FedNor avait alors amélioré sa capacité dans le domaine de la planification, de la surveillance et de l'établissement de rapports axés sur le rendement. L'organisme avait investi plus de ressources dans la surveillance du rendement, et entrepris des études spéciales sur des aspects définis du programme. Les agents de programmes respectaient les exigences d'évaluation du risque des projets et de production de fiches de pointage pour les réalisations, et l'on constatait une grande activité d'analyse et de production de rapports sur les données. Le rapport mentionnait également que la direction convenait que beaucoup de progrès avaient été réalisés ³⁷, mais qu'il restait des questions à régler. Il n'y avait pas de lien entre les objectifs d'un projet tels qu'énoncés dans la demande et le rapport sur les résultats du projet produit par l'agent de programmes; il était difficile de travailler avec le système ministériel d'Industrie Canada pour saisir et analyser les renseignements sur les projets, et dans le cas des projets, l'on ne disposait pas d'un mécanisme de collecte de données de référence permettant de mesurer l'incidence des projets ³⁸. On peut également lire dans l'évaluation que la plupart des employés de FedNor semblaient ignorer comment les résultats particuliers au projet étaient intégrés ou interprétés à un niveau supérieur. L'évaluation indiquait également que l'on ne pouvait pas établir clairement si les renseignements provenant des fiches de pointage des résultats de programme étaient valides et fiables, ou si les agents de programmes comprenaient bien la façon de remplir les fiches de pointage.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

On a demandé aux répondants GP/PPC/USS, aux agents de programmes, et aux agents du contrôle et des paiements de commenter la pertinence des mesures du rendement. Les répondants GP/PPC/USS étaient également appelés à réfléchir au plan de mesure du rendement énoncé dans le CGRR de 2007, et à évaluer la pertinence des indicateurs de rendement recueillis, saisis, protégés et utilisés pour mesurer les résultats des projets du PDNO. Comme il était peu probable que les agents connaissent bien le CGRR de 2007, les questions à leur endroit portaient sur leur niveau de confiance à l'égard des indicateurs de rendement servant à mesurer les résultats, dans le cadre d'un groupe de questions sur la qualité des données. On leur posait également une question supplémentaire, pour leur demander si d'autres mesures devraient être prises afin d'assurer la qualité des données de rendement sur les résultats ³⁹. Nous avons également demandé aux répondants dans quelle mesure le PDNO avait utilisé les renseignements recueillis sur le rendement pour faire rapport des résultats et apporter des améliorations au programme, et de donner des exemples d'utilisation des données et de décisions prises à partir des données ⁴⁰.

Les sections suivantes traitent des principales constatations issues des entrevues d'intervenants clés pour l'évaluation de mi-mandat de 2008, à l'égard de la pertinence des mesures du rendement.

Processus de développement des indicateurs

Dans le cadre de sa réponse à l'évaluation sommative de 2005, FedNor a entrepris ce que tous les répondants ont qualifié de processus approfondi de consultation de l'effectif. Ce processus a commencé en janvier 2006 au niveau de la prestation du programme, par l'identification des activités, et il est presque arrivé à terme avec l'élaboration des indicateurs de mesure du rendement mentionnés dans le CGRR de 2007 (publié en janvier 2007) ⁴¹. Pour faciliter le processus, FedNor a embauché les évaluateurs qui avaient réalisé l'évaluation sommative du FDNO en 2005. Leur tâche consistait à mettre en œuvre leurs recommandations sur la mesure du rendement, notamment en contribuant à la conception d'un modèle logique. PPC s'est chargé à l'interne de la consultation concrète de l'effectif, les évaluateurs ayant donné une formation sur la tenue de séances de consultation.

Dans le cadre du processus, FedNor a mis sur pied un groupe de travail sur la mesure du rendement (GTMR), chargé de présenter commentaires et conseils sur les résultats de programme et les indicateurs appropriés. Ce groupe poursuit ses travaux à titre de comité permanent. Le groupe réunit une combinaison d'intervenants, notamment des représentants de la prestation de programme, des politiques et de la direction.

Les agents faisant partie du groupe de travail possédaient une expertise et de l'expérience dans au moins l'une des six composantes du programme. Le groupe de travail a récemment été élargi, pour intégrer des représentants du contrôle et des paiements.

En plus du GTMR, les employés ont plusieurs autres moyens à leur disposition pour discuter des enjeux de développement, de perfectionnement ou d'éclaircissement des indicateurs, notamment les réunions régulières du personnel, la correspondance directe entre agents de programmes et représentants du PPC, des exposés ⁴² et l'option la plus récente, la présence d'un représentant de PPC invité aux réunions mensuelles avec le personnel sur le terrain, afin de discuter des enjeux et de répondre aux questions et préoccupations touchant les indicateurs.

Ce processus de sollicitation des contributions se poursuivait au moment des entrevues, mais l'accent serait passé de l'étape de l'identification des indicateurs (qui selon la plupart des répondants est achevée) à celle d'éclaircir et de parfaire l'utilisation des indicateurs (y compris améliorer les instructions et les définitions) dans des situations particulières que l'on qualifie de « zones grises ». Ces réunions mensuelles sont perçues comme un moyen valable de contribuer à assurer l'interprétation uniforme des indicateurs et l'intégrité des données saisies.

Réactions au processus et indicateurs élaborés

L'approche retenue pour élaborer les indicateurs comportait deux avantages importants :

• Tirer profit de l'expertise du personnel de première ligne. L'évolution de la mise au point des indicateurs s'est effectuée en collaboration avec les agents qui assurent la prestation du programme. La démarche repose sur l'expertise des personnes que l'on jugerait les mieux placées pour savoir quels seraient les indicateurs les plus susceptibles de bien mesurer la réussite dans les six secteurs de programme. Il s'agit d'indicateurs ancrés dans la réalité, dont la solidité provient de la volonté de l'effectif de collaborer à leur élaboration et à leur perfectionnement.
• Influencer positivement la mobilisation de l'effectif. L'approche retenue a facilité l'acceptation et la mobilisation de la part de l'effectif, et contribué à ce qui représente clairement un changement de culture à propos de la mesure du rendement. Les répondants mentionnaient une acceptation accrue de l'importance et du besoin d'indicateurs. Pour citer l'un d'entre eux, « il y a moins de gens qui se limitent à exécuter le programme, faire le travail, maintenant ils réfléchissent dans la perspective des données sur les résultats ». Les indicateurs structurent à la fois les discussions externes avec les clients et les discussions internes entre collègues. Les agents appliquent les indicateurs à la présélection des projets pour s'assurer qu'ils correspondent aux priorités du programme, et ils utilisent les indicateurs pour aider les proposants à définir les résultats. Les indicateurs aideraient les agents à accomplir leur travail. Ces derniers peuvent expliquer aux proposants les motifs de la décision d'accepter ou de refuser de financer le projet, et deviennent la base de la justification du financement d'un projet auprès d'autres employés de FedNor. Comme le mentionnait un répondant, les agents apprécient d'avoir une référence pour recommander des projets à leurs collègues et traiter avec le client.

Les répondants de FedNor reconnaissent qu'il y a eu des difficultés au départ, ainsi qu'une certaine résistance, principalement pour savoir si l'on avait identifié les bons indicateurs ou non. Comme le disait un répondant, « Il n'y a pas d'indicateurs ou de groupes d'indicateurs parfaits… mais nous avons maintenant atteint un point où tout le monde est à peu près d'accord pour dire qu'il s'agit d'un ensemble d'indicateurs raisonnable ». Presque tous les répondants interrogés sur la pertinence des indicateurs partageaient cette opinion. Comme le mentionnait un autre, « Nous sommes beaucoup plus avancés dans la saisie des bonnes données ». Toutefois, une minorité exprimait de sérieuses réserves sur la pertinence des indicateurs développés. Le tourisme était pointé du doigt, mais la direction avance que ce sentiment ne se limite pas aux indicateurs du tourisme. La préoccupation, que l'on peut déduire des déclarations des tenants de cette opinion, repose sur l'avis que les indicateurs devraient mesurer l'efficacité et l'efficience à plus long terme.

L'accent mis actuellement sur les résultats immédiats pour mesurer le rendement correspond clairement au CGRR du programme. Tous les autres indicateurs relèvent d'autres méthodes de collecte des données, y compris celles rattachées à l'évaluation sommative.

FedNor pourrait vouloir envisager une combinaison de mesures du rendement portant sur les résultats immédiats, à moyen terme et final du programme avant de mettre un terme à la discussion sur les indicateurs.

Limites des indicateurs

Plusieurs autres observations et réserves ont été exprimées au fil des entrevues :

• Les indicateurs expriment les résultats à un moment ponctuel. Le formulaire d'évaluation finale de projet saisit des données à un moment précis, celui de la fin du projet. Certains se préoccupent de la possibilité que les résultats ne se soient pas entièrement manifestés à ce moment, et que l'on ne puisse pas toujours saisir des données sur la véritable valeur des projets. Cette situation surviendrait principalement lorsque les résultats n'ont pas été concrétisés le formulaire d'évaluation finale de projet est rempli. Pour corriger cette situation, les agents peuvent donner un code « 618 » à un projet, reportant la production du formulaire d'évaluation finale de projet jusqu'à un maximum de 12 mois. Il n'est pas certain que cette mesure ait complètement réglé la question, la période supplémentaire de 12 mois pouvant ne pas être suffisante dans certains cas. La plupart reconnaissent cependant qu'il s'agit d'une réalité avec laquelle ils doivent composer. Les avantages de certains projets peuvent ne devenir évidents que plus tard. La plupart de ces répondants de FedNor sont d'avis qu'il sera possible de consigner ces résultats dans les évaluations de programme réalisées à intervalles réguliers. Certains avançaient la possibilité de l'effectuer à l'interne, sous réserve d'une réévaluation des ressources. On craignait que les ressources ne soient exploitées à leur point limite, et que si FedNor prolongeait l'échéance de surveillance et de rapport sur les projets, il faudrait réévaluer les ressources et leur structure pour accommoder d'éventuelles exigences de surveillance supplémentaires.
• Les indicateurs ne mesurent pas les incidences indirectes des projets financés par FedNor. Les répondants de FedNor ont reconnu que certains agents de programmes ressentent de la frustration du fait que les indicateurs se limitent principalement aux résultats immédiats. Ainsi, le PDNO peut financer une étude de faisabilité sur un projet d'investissement. Une fois l'étude réalisée, le proposant sollicitera un financement d'autres sources, par exemple le Fonds du patrimoine du Nord de l'Ontario, pour la mise en œuvre du projet. Sans le soutien du PDNO à la planification initiale, l'investissement en immobilisations n'aurait pas été réalisé. De même, dans les projets d'infrastructure, les incidences dans la collectivité peuvent être considérables, mais ces résultats indirects et à plus long terme du programme ne sont pas mesurés par les mécanismes actuels. Il s'agit d'un autre domaine où les intervenants clés étaient d'avis que l'évaluation sommative pourrait servir à solliciter de l'information des clients, ou à réaliser des études de cas pour mieux jauger ces résultats.
• Reconnaître l'importance des données qualitatives. Une autre question soulevée par certains répondants de FedNor, y compris les experts universitaires, visait la place centrale accordée aux données quantitatives, à l'exclusion des données qualitatives. Le formulaire d'évaluation finale de projet comporte une section dans laquelle les agents peuvent inscrire des commentaires ⁴³, mais cette mesure ne semble pas régler totalement la question pour ces répondants de FedNor. Leur recommandation était de ne pas perdre de vue l'aspect qualitatif, « Il est important et on ne devrait pas l'oublier ». Certains voyaient dans cette limitation de la mesure un problème pour l'évaluation de projets particuliers, car certains secteurs sont plus faciles à traduire en données quantitatives que d'autres. Même si la section de texte permet de consigner les résultats qualitatifs, les répondants de FedNor ne savaient pas vraiment comment ces données sont utilisées, ou si même elles le sont.

Utilisation des renseignements recueillis sur le rendement

Un premier rapport de mesure du rendement du PDNO vient d'être produit, à partir des données existantes sur les résultats.

La plupart des répondants de FedNor ont indiqué qu'il était trop tôt dans le processus pour utiliser les données aux fins de l'amélioration du programme. Comme le disaient plusieurs de ces répondants, « nous n'en sommes pas encore là », mais ils croient qu'ils utiliseront l'information lorsqu'ils entreprendront de renouveler ou de modifier le programme, que l'information contribuera à de nouvelles présentations au Conseil du Trésor ou au Cabinet, et qu'elle jouera un rôle dans leur planification stratégique et l'élaboration de leur plan d'activités. Toutefois, selon une opinion minoritaire, il faudrait se méfier d'en arriver à trop se fier à ces données, à l'exclusion de tous les autres facteurs. Les données étaient jugées valables, mais ces répondants de FedNor estimaient qu'il ne s'agissait que d'une source d'information, que d'autres renseignements devraient compléter. Rappelons que des intervenants clés ont souligné la valeur des données qualitatives que contiennent les EFP, ainsi que la contribution attendue de l'évaluation sommative.

Les entrevues ont donné lieu à d'autres suggestions d'utilisation des données recueillies :

• Informer la collectivité. FedNor signale et communique ses réussites à la collectivité. Certains estimaient que ces données pourraient enrichir l'information déjà communiquée à la collectivité.
• Permettre aux agents de programme d'interroger la base de données. Quelques répondants de FedNor ont suggéré de permettre aux agents d'interroger directement la base de données, pour les aider à accomplir leur travail. Les exemples d'utilisations possibles des données comprenaient l'évaluation du risque pour un client particulier, en consultant les données historiques sur le client et d'autres projets qu'il a entrepris ⁴⁴, l'évaluation du mérite relatif de différentes stratégies appliquées à des projets de type similaire, ou la possibilité d'obtenir des données comparatives (à partir d'un choix de variables) pour examiner le rendement sur des périodes définies, par exemple les résultats réels par rapport aux résultats visés, ou une comparaison de tous les projets par secteur entre deux périodes ⁴⁵

Le commentaire d'un répondant de FedNor résume bien l'opinion assez généralisée sur l'utilisation des indicateurs :

L'envers de la médaille, mentionné par une minorité de répondants de FedNor, est évidemment que le PDNO devrait faire preuve de prudence avant de rejeter un projet simplement parce qu'il ne correspond pas aux indicateurs. Certains de ces répondants ont signalé le danger que les indicateurs en viennent à dominer le programme. Leur principale préoccupation était de savoir, advenant un changement dans le contexte d'affaires, si l'accent du programme évoluerait pour accommoder ce changement, ou si la décision sur la façon de procéder serait dictée par les indicateurs.

Analyse documentaire

Dans Le nouveau paradigme rural (2006), l'OCDE énonce une approche du développement rural reposant sur l'évaluation des pratiques dans une grande variété de pays membres. La nouvelle approche proposée dans l'étude est d'abord axée sur l'investissement en remplacement des subventions, et sur des politiques visant plus les régions rurales que le soutien à des secteurs particuliers.

Le rapport de l'OCDE présente en perspective des approches de prestation réussies de plusieurs pays membres, notamment une description détaillée de l'outil Lentille rurale du Canada. Il s'agit d'un cadre de politique pour l'évaluation de propositions d'initiatives rurales par le Secrétariat rural (Agriculture et Agroalimentaire Canada). L'application de la Lentille rurale vise à ce que les initiatives régionales fédérales appuient les domaines prioritaires cernés par la population rurale canadienne, notamment : accès aux programmes et services du gouvernement fédéral, accès aux ressources financières, possibilités pour la jeunesse rurale autochtone, infrastructure, compétences et technologie nécessaires pour participer à la nouvelle économie, diversification économique, accès à l'éducation et aux soins de santé à un coût raisonnable, partenariats stratégiques et promotion du Canada rural comme un endroit où il fait bon vivre et élever une famille.

L'approche de la Lentille rurale est liée à des stratégies de gouvernance, et l'OCDE (2006) signale que les questions de gouvernance ne se limitent pas à un palier de gouvernement. L'objectif (dont l'atteinte est soutenue par la Lentille rurale dans le cas du Canada) consiste à instituer les structures de gouvernance favorisant le mieux l'atteinte des buts de la politique régionale. L'OCDE souligne que pour agir efficacement en ce sens, le financement du palier central devrait être lié à la coordination des politiques avec les paliers inférieurs. Il est également important de prendre en compte les facteurs nécessaires à des partenariats efficaces, ainsi que les obstacles possibles à cette démarche. Les subventions intergouvernementales devraient être employées dans un cadre incitatif clairement défini pour donner lieu aux initiatives les plus efficaces. Il faut pour cela une responsabilisation qui devrait reposer sur des cibles et des indicateurs de rendement, et être soutenue par des activités suivies de surveillance et d'évaluation. L'OCDE indique que l'approche des meilleures pratiques permet de régler de nombreux enjeux de gouvernance.

Examen de la surveillance et des rapports sur le rendement

Dans le cadre de l'examen des documents, nous avons étudié les trois formulaires servant actuellement à la collecte de données sur le PDNO, soit le formulaire de nouvelle proposition, mis au point pour faire connaître le concept du projet aux collègues régionaux à une étape initiale du processus, le formulaire de sommaire de projet (FSP), qui consigne les objectifs et les mérites du projet, ainsi que les motifs de son approbation, et le formulaire d'évaluation finale de projet (EFP), qui consigne des données pour des indicateurs de mesure des résultats du projet. Ces formulaires ont été évalués à partir de la matrice de mesure du rendement du Cadre de gestion et de responsabilisation axé sur les résultats de 2007 pour le PDNO, et ils ont été jugés conformes. Les données sont saisies et consignées dans la base de données des évaluations finales de projet du PDNO.

La pièce D-1 de l'Appendice D présente de l'information sur les données recueillies à l'étape de la proposition. La pièce D-2 du même appendice présente des données comparables, habituellement recueillies à la fin du projet. Ces pièces présentent des statistiques sommaires pour chaque indicateur (décompte, minimum, maximum, moyenne, valeur la plus fréquente ⁴⁶, et médiane). Elles indiquent également si l'indicateur est nouveau (créé depuis le CGRR de 2007) ou s'il exige l'accès à une autre base de données (lien nécessaire), comme par exemple les indicateurs relatifs aux jeunes stagiaires (indicateur 7.7). Voir ci-après.

Le développement plus poussé du système de mesure et de rapports sur le rendement a abouti aux résultats suivants :

• Indicateurs supplémentaires (15 étant qualifiés de nouveaux dans les pièces) pour une meilleure couverture des résultats indiqués dans le CGRR de 2007.
• Plus de détails de l'incidence sur le marché du travail (emplois temporaires ou permanents, maintenus ou créés, et nombre d'emplois et d'équivalents temps plein). (Ces données ont été combinées et présentées dans la pièce sous forme de décomptes des incidences totales sur l'emploi par indicateur.)
• Évaluation des incidences par groupe cible. Voir par exemple les emplois (indicateurs 5.4–5.7) ou les incidences commerciales (indicateur 7.3) pour les Autochtones, les Francophones, les jeunes et les femmes, ou les incidences pour les collectivités ou organisations autochtones (indicateur 1.7). (La pièce ne présente pas les détails par groupe cible, mais cette information est disponible dans la base de données.)

La plupart des indicateurs se rapportent à des résultats immédiats rattachés aux projets du PDNO. Une minorité d'indicateurs vise cependant des résultats à moyen terme, qui doivent être précédés de l'atteinte de résultats immédiats du projet pour avoir lieu. (Indicateur 2.4 : en conséquence d'un meilleur accès aux marchés, nombre d'entreprises devenant de nouveaux exportateurs). De manière générale, de tels indicateurs à moyen terme sont moins susceptibles d'afficher une valeur dans la base de données. La clôture typique en fin de projet peut limiter la possibilité de concrétisation de résultats à moyen terme, ce qui pourrait être le cas de l'indicateur 2.4. (Voir également l'indicateur 3.7 de résultats à moyen terme, comparativement à l'indicateur connexe 3.6 de résultats immédiats.) ⁴⁷

haut de la page

3.2.2 Quel est le degré d'assurance de la qualité des données?

Conclusion

• Des mesures sont en cours pour corriger les problèmes de qualité des données identifiés précédemment. Ainsi, les lacunes au chapitre de la collecte des données, de l'uniformité et des rapports des clients ont été corrigées par la révision des formulaires de collecte de données, la formation et l'engagement des agents de programmes, et le recours à la lettre d'offre pour insister sur les indicateurs à l'égard desquels le client doit rapporter des données. Les agents de programmes ont contribué à l'élaboration du système de mesure du rendement, et y ont adhéré par la même occasion. Cette démarche aidera probablement à assurer la qualité des données, tout comme les réunions mensuelles pour tirer au clair les problèmes d'intégrité des données. La production du rapport annuel (rapport de mesure du rendement du PDNO à l'intention du comité de direction de FedNor, résultats sommaires du rapport d'évaluation finale de projet du PDNO en date du 27 février 2008) a été déterminante pour cerner des problèmes de qualité des données et de les corriger.

Contexte

Les évaluations antérieures signalaient d'importantes lacunes dans le système de gestion du rendement de FedNor, touchant les mécanismes de collecte des données, l'uniformité d'application de ces mécanismes, et la fiabilité générale des données recueillies.

Constatations

En réaction à des préoccupations antérieures, FedNor a notamment conçu plusieurs nouveaux formulaires pour recueillir des données de résultats, et en a modifié d'autres. La lettre d'offre impose aux clients de nouvelles exigences de suivi et de rapports sur les résultats, et une nouvelle base de données a été créée pour saisir et stocker ces données. PPC poursuit ses consultations avec le personnel mais ne met plus l'accent sur l'identification d'indicateurs pertinents, préférant s'assurer maintenant que les indicateurs sont compris et utilisés uniformément. La plupart des clients respecteraient apparemment les exigences de rapport, et les agents de programmes les sensibilisent à l'importance des indicateurs.

La production du rapport annuel de mesure du rendement du PDNO a permis à FedNor d'identifier les données manquantes ou aberrantes, et de consulter les agents de programmes pour régler les problèmes. Les répondants de FedNor ont mentionné le besoin d'un soutien technique allant plus loin que l'entrée des données, et craignent d'atteindre un point où il y aura trop de travail pour les ressources disponibles. On craint que la situation n'empire, et qu'on ne mette de plus en plus l'accent sur l'évaluation et la production de rapports techniques à partir des données. FedNor est en voie d'embaucher un autre analyste de données (SI-02).

FedNor a créé un système de mesure du rendement entièrement conforme aux exigences du CGRR à cet égard. Comme le prévoit l'exigence du CGRR et comme la plupart des systèmes de mesure du rendement, l'accent porte sur les résultats immédiats. En conséquence, les résultats à plus long terme relèvent d'une évaluation future, ce qui correspond également aux critères énoncés dans le CGRR.

Une question à régler sera d'établir s'il serait plus efficient et rentable d'étendre le système de mesure du rendement à la collecte de renseignements sur les résultats à plus long terme, pour ainsi libérer des ressources qui pourraient autrement être consacrées à l'évaluation future. Cette question dépassant le mandat de la présente étude, elle est soumise à l'examen de la direction.

Examen de documents

L'évaluation formative de 2002 signalait une lacune importante relative à la qualité des données dans le système de gestion du rendement de FedNor, soit que les outils établis (les feuilles de pointage de l'évaluation et des résultats de projet) n'étaient pas employés uniformément. L'information au Système de gestion de l'information sur les contributions (CMIS) manquait de fiabilité, parce que les données n'étaient pas consignées uniformément dans les champs liés au rendement aux fins du CMIS. La direction de FedNor a répondu qu'elle veillerait à ce que tous les champs liés au rendement soient remplis de manière uniforme et à ce que les agents de programmes remplissent de manière uniforme les feuilles de pointage; que FedNor mettrait au point un mécanisme pour obtenir des résultats des clients de projet, et que les données des clients sur le projet seraient intégrées à la base de données du CMIS ⁴⁸. FedNor indiquait de plus qu'elle mettrait à contribution les constatations de l'étude de référence de l'évaluation ⁴⁹ pour échanger savoir et meilleures pratiques en mesure du rendement avec les trois organismes de développement régional, tout en poursuivant l'Initiative d'amélioration des services, et qu'elle veillerait à saisir et utiliser toutes les données liées au rendement. L'information sur le rendement devait faire l'objet d'examens réguliers, et être intégrée en permanence à la prise de décisions dans l'ensemble de FedNor ⁵⁰.

Dans l'évaluation sommative de 2005, on constatait que les agents de projet avaient rempli les fiches de pointage pour les réalisations et l'évaluation des projets pour la plupart des projets terminés examinés, mais aussi que « les fiches de pointage n'étaient pas remplies de façon uniforme ni correctement ». Le personnel de FedNor interviewé pour l'évaluation se disait plutôt satisfait de la production en temps opportun, de la fiabilité et de l'exhaustivité des rapports des clients (bien que la situation variait selon les clients). On s'efforçait plus de bien expliquer les exigences de rapport aux nouveaux clients dès le départ. Les agents du contrôle et des paiements participaient parfois à des discussions (pour traiter des procédures et répondre aux questions des clients). Les clients interviewés pour l'évaluation indiquaient pour la plupart comprendre parfaitement qu'ils devaient produire des rapports, et quels renseignements y donner. Les agents de programmes indiquaient que les rappels électroniques indiquant quand le rapport d'un client était attendu avaient été utiles. Les entrevues avec d'autres intervenants, comme les SADC, ont révélé des réactions mixtes sur la facilité ou la difficulté de satisfaire aux exigences de FedNor à l'égard des projets du PDNO. Certains jugeaient que les exigences de rapport avaient augmenté de façon exponentielle.

Entrevues des intervenants clés pour l'évaluation de mi-mandat de 2008

Tous les répondants de FedNor ont été interrogés sur la qualité des données recueillies, saisies et stockées pour mesurer les résultats. On a posé aux agents de programmes et aux agents du contrôle et des paiements des questions assez détaillées sur des changements particuliers aux mécanismes ou procédures de collecte de données ⁵¹ et à la façon dont les données sont saisies et stockées ⁵². Les questions posées aux autres répondants de FedNor étaient d'ordre plus général ⁵³, mais les répondants pouvaient répondre à leur gré aux questions plus détaillées, en fonction de leur participation limitée à l'analyse ultime de la qualité des données. Pour ce qui est des changements aux outils, formulaires, mécanismes ou procédures ⁵⁴, les répondants de FedNor ont mentionné que la tâche se poursuivait sur les outils, qui ont connu des modifications constantes avec l'ajout d'indicateurs et le perfectionnement des définitions. Des répondants ont suggéré de modifier les indicateurs du tourisme et des TIC pour cerner plus clairement les résultats, et de préciser le libellé des définitions pour les rendre plus claires; l'EFP est un document évolutif qui changera à mesure que l'on continuera de perfectionner les indicateurs pour les expliciter et les uniformiser, au plan de l'utilisation et de la compréhension. Il faut cependant agir avec circonspection, des changements constants aux indicateurs pouvant nuire à l'établissement de données de référence pour le PDNO.

Les outils et procédures ont connu plusieurs modifications depuis l'évaluation sommative de 2005, notamment l'ajout du formulaire de nouvelle proposition et le remplacement des fiches de pointage par le formulaire d'évaluation finale de projet, l'inclusion dans la lettre d'offre d'indicateurs expliquant dès le départ au client comment les résultats seront mesurés, et le fait que l'EFP doit être approuvée par le gestionnaire. Les agents de programmes sont également désormais autorisés à reporter la production de l'EFP pour une période de jusqu'à 12 mois lorsque les données ne sont pas disponibles à la clôture du projet.

La nouvelle exigence de suivi et de rapport sur les indicateurs énoncés dans la lettre d'offre représente le changement le plus important. Les agents de programmes utiliseraient également le modèle logique pour expliquer aux clients la raison d'être des indicateurs et l'importance de la collecte de données, et le rapport final du client devrait tenir compte de cette nouvelle orientation. Le choix précis des indicateurs à inclure dans la lettre d'offre posait problème au moment des entrevues. Les intervenants les plus directement touchés mentionnaient la liste d'indicateurs venant avec le PPG. On a eu tendance à « copier-coller » tous les indicateurs dans la lettre d'offre, ce qui a créé de la confusion chez les clients pour qui certains indicateurs n'étaient pas pertinents. La question de restreindre l'inclusion des indicateurs dans la lettre d'offre à ceux qui sont pertinents pour le projet a été réglée ultérieurement lors de réunions du personnel ⁵⁵. L'autre changement important vient de la création d'une nouvelle base de données pour saisir les renseignements du formulaire d'évaluation finale de projet (base de données d'EFP).

Conformité aux exigences de rapport

Le programme compte beaucoup de clients qui n'en sont pas à leur premier projet, ils comprennent les exigences du programme et ont l'habitude de s'y conformer, et il n'y a pas de problèmes pour obtenir les rapports des clients. Certains répondants de FedNor mentionnaient la difficulté de gérer l'exigence de rapport pour répondre aux besoins de tous. Plusieurs répondants de FedNor indiquaient qu'il faudrait veiller à ce que la production de rapport ne représente pas un fardeau excessif, en particulier pour les clients. Beaucoup d'entre eux ne possèdent pas tellement de ressources pour la collecte de données. La ventilation des emplois par groupes cibles a été mentionnée par plusieurs répondants de FedNor, qui s'interrogeaient sur la valeur d'un tel niveau de détail. On se demandait si ces données allaient être utilisées, si elles étaient vraiment nécessaires, si les clients allaient en faire rapport. Selon eux, cette exigence cause vraiment des problèmes aux clients qui concluent des marchés de sous-traitance avec des tiers, par exemple un conseiller commercial qui pourrait avoir à communiquer avec une cinquantaine d'entreprises pour obtenir cette information. Ce problème touche seulement une minorité de projets, mais on estime qu'il impose un trop lourd fardeau à ces clients. On s'interroge également sur la fiabilité de ces données, du fait qu'elles reposent sur l'autodéclaration.

Un processus est établi pour le suivi des rapports d'étape, du rapport final du client et de l'EFP, afin d'assurer qu'ils seront produits à temps. Ce suivi relève à la fois des agents de programmes et des agents du contrôle et des paiements. C'est l'agent du contrôle et des paiements qui se charge de déceler les retards et vérifier s'ils sont complets, dans le cadre du traitement des demandes de remboursement. La plupart des rapports sont produits en temps opportun, et les difficultés, s'il y a lieu, tendent à se manifester chez les petites organisations sans but lucratif, qui manquent de personnel et de ressources pour produire les rapports. Cette situation qui affecte une minorité de projets, environ 10 p. cent, peut exiger un suivi de la part de l'agent de programmes.

Uniformité des données recueillies

La plupart des répondants de FedNor convenaient avoir à leur disposition les « bons » indicateurs, et avoir beaucoup fait pour que ces indicateurs soient utilisés de manière uniforme. Le processus suivi de consultation vise à raffiner et éclaircir l'utilisation des indicateurs. Ces discussions se poursuivront au besoin, pour s'assurer que tous utilisent les indicateurs de la même façon et ainsi améliorer l'uniformité des données dans l'ensemble du programme.

Les outils nouveaux et révisés décrits dans la note de bas de page précédente sont disponibles pour recueillir des données de projet depuis le 19 avril 2007, date à laquelle on a demandé aux agents de faire rapport rétroactivement des projets ayant pris fin depuis le 1^er juillet 2006 inclusivement. Il a fallu environ six mois pour exécuter cette initiative, et les répondants de FedNor indiquent qu'environ 80 p. cent des indicateurs sont disponibles pour ces projets. La principale difficulté que présentent les données rétroactives vient de l'absence des résultats attendus (les objectifs établis par les agents à l'étape de la demande et indiqués désormais dans le formulaire de nouvelle proposition et la lettre d'offre). La lettre d'offre de ces projets ne comporte pas d'indicateurs, ni d'exigence d'en faire rapport dans le rapport final. Les agents de programmes ont communiqué avec les clients en cause pour solliciter des données relatives aux nouveaux indicateurs, avec des résultats mitigés. Le dossier de certains de ces projets ne sera pas classé avant plusieurs mois, et les données finales des indicateurs de projets antérieurs comporteront des lacunes.

On jugeait également que le rapport de mesure du rendement du PDNO avait contribué à améliorer la qualité des données. Un des avantages dérivés du rapport est qu'il a permis au GTMR d'identifier des données manquantes et aberrantes que des analyses antérieures n'avaient pas décelées, et de demander des éclaircissements aux agents de programmes.

Un autre facteur qui aura une incidence sur la qualité des données est la mobilisation que l'on a réussi à implanter au niveau de la prestation du programme, et que l'on travaille actuellement à établir avec les clients. Les agents travaillent avec ces derniers pour les convaincre de l'importance des indicateurs. La qualité (et l'exhaustivité) des données fournies par les clients devraient s'améliorer, à mesure que les clients comprendront mieux l'importance des indicateurs, et que l'autodéclaration gagnera en fiabilité.

Saisie et stockage des données

Les répondants de FedNor avaient peu de commentaires à faire sur la saisie et le stockage des données. Les agents classent une copie imprimée dans le dossier principal, et une copie électronique est transmise automatiquement à la base de données des EFP. Les répondants estimaient que, grâce à cette transmission directe, l'erreur humaine avait été éliminée de la saisie et du stockage des données. Certains indiquaient qu'il serait avantageux que tous les formulaires soient informatisés et accessibles en direct.

Peu d'efforts ont été déployés pour examiner la qualité des données saisies et stockées, si ce n'est d'identifier les rapports sans données, la raison principale semblant être un manque de ressources. Les répondants de FedNor ont mentionné le besoin de soutien technique, en particulier au delà du niveau de base, et craignent d'avoir atteint un point où il y a trop de travail pour les ressources disponibles. On craint que la situation n'empire, et qu'on ne mette de plus en plus l'accent sur l'évaluation et la production de rapports techniques à partir des données.

Examen de la surveillance et des rapports sur le rendement

Les éléments suivants sont ressortis de notre observation du système de mesure du rendement :

• Au départ, on entrait un zéro dans la base de données pour consigner qu'il n'y avait pas de données. Dans le cadre de l'évaluation de mi-mandat, nous avons signalé que cette pratique rendait difficile la distinction entre une véritable incidence nulle et l'absence d'information sur l'incidence. L'effectif du programme a corrigé la situation, une incidence imprévue de zéro signifiant aucune incidence attendue, le code étant converti en « blanc ». Dans un tel cas, un zéro consigné comme résultat réel était remplacé par un blanc, puisque aucun résultat n'était attendu, et aucun n'était survenu, alors qu'une valeur autre que zéro dénotait une incidence imprévue. Cette correction a réglé le problème et sera appliquée à l'avenir. Ce problème de zéros excédentaires faussait des décomptes pour les indicateurs, et la correction a permis de le régler.
• On a constaté d'importantes similitudes entre les données de résultats attendus et de résultats réels pour un même projet. Il se pourrait que l'on ait utilisé les données de résultats attendus pour exprimer les résultats réels en l'absence de preuve du contraire pour modifier les données. Nous avons appris que certaines données de résultats réels ont été entrées rétroactivement pour les projets les plus anciens dans la base de données. Notre examen a fait ressortir un exemple de nombre négatif entré à la fois pour les résultats attendus et les résultats réels d'un projet (voir indicateur 3.1b). Ce projet s'inscrit dans la période où l'on entrait rétroactivement des données, et nous présumons que le résultat réel négatif a été entré comme résultat attendu. Pour cet indicateur on demande, le cas échéant, quel est l'augmentation de fréquentation par rapport aux festivals, réunions, congrès ou événements antérieurs. (Pour l'avenir, il faudrait modifier la description de cet indicateur si les valeurs négatives sont acceptées, car le libellé semble indiquer que seules les valeurs positives sont acceptées.) Si ce nombre avait d'abord été entré à titre de valeur de résultat attendu, ce cas illustre encore plus le potentiel nuisible de partir des résultats attendus pour établir automatiquement les résultats réels. Une valeur donnée, correcte ou non, peut apporter plus de rigidité qu'elle ne le justifie. La personne à qui l'on demande une valeur réelle peut décider de reprendre la valeur établie du résultat attendu, puisque cette valeur a déjà été acceptée, et que l'on peut ainsi éviter les demandes d'explication du changement, ou simplement se soustraire à l'effort de produire une nouvelle valeur. Pour l'avenir, nous recommandons que la collecte des données relatives à l'EFP se fasse à part, sans l'appui des données établies antérieures (résultats attendus), afin que les données recueillies témoignent d'une estimation valide des incidences à une date donnée. L'utilisation des données de résultats prévus dans le processus de collecte de données sur les résultats réels présente le potentiel de fausser les données sur les résultats réels.
• Certains projets présentent des résultats hautement uniformes, par exemple pour l'indicateur 3.2a, où un ensemble de 22 projets vise la mise en oeuvre d'une initiative de marketing dans une région ou destination touristique. D'autres indicateurs saisissent des données sur des projets disparates. (Ainsi, l'indicateur 7.1 saisit le nombre total de participants à un événement de formation ou de perfectionnement professionnel. Cet indicateur englobe un grand nombre de projets de Jeunes stagiaires, visant habituellement un seul stagiaire, et des événements pouvant compter jusqu'à 750 participants.) Cette variabilité limitait notre capacité à identifier des valeurs pouvant suggérer des erreurs évidentes d'entrée de données. Pour l'avenir, nous recommandons de regrouper les projets par types comparables, à tout le moins aux fins d'analyse (soit distinguer les projets Jeunes stagiaires des autres), ce qui pourrait faciliter le contrôle des erreurs.

Recommandations

Le PDNO et son prédécesseur, le Fonds de développement du Nord de l'Ontario, existent depuis plusieurs années. Des évaluations successives ont cerné des lacunes dans la méthode utilisée pour mesurer le rendement. Au cours des derniers mois, FedNor a déployé beaucoup d'efforts pour répondre à ces préoccupations dans les domaines de la surveillance et de la mesure du rendement.

Nous fondant sur ces travaux et les conclusions de la présente évaluation de mi-mandat, nous proposons les recommandations suivantes sur le système de mesure du rendement et sur la qualité des données.

Il est recommandé :

1. que FedNor détermine les avantages et les coûts liés à la collecte d'information sur la mesure du rendement des résultats de projets au-delà de la date de clôture des projets. Le cas échéant, FedNor devrait étendre son système de mesure du rendement de manière à saisir ces résultats à plus long terme.
2. que FedNor renforce et formalise les mécanismes de vérification permettant d'assurer la qualité des données, notamment :
   • que l'on fasse une comparaison uniforme des données sur les résultats attendus et réels pour chaque projet;
   • que les agents de programmes et les proposants fassent rapport des résultats finaux sans tenir compte des résultats attendus saisis à l'étape du lancement du projet;
   • que l'on effectue une analyse des données minimales et maximales et des données les plus fréquentes pour les indicateurs;
   • que l'on crée des sous-indicateurs distincts selon les groupes de projet ayant des résultats aux caractéristiques uniques;
   • que l'on réponde aux préoccupations et règle les anomalies portant sur les données et les indicateurs, le cas échéant.