Évaluation Sommative du Fonds de développement économique du Nord de l'Ontario (FDNO)

6.0 Résultats – Surveillance et reddition de comptes

6.1 Les rapports sont-ils fiables, complets et établis au moment opportun?

Examen des documents

Un examen des Plans d'activités de FedNor pour les trois années précédentes indique que FedNor a amélioré sa capacité dans le domaine de la planification, de la surveillance et de l'établissement de rapports axés sur le rendement. Par exemple, des exemples dignes de mention sont évidents dans les Plans d'activités les plus récents, à savoir :

• les pressions découlant de la planification qui pèsent sur le programme y sont décrites (p. ex., renouvellement du financement, dépenses de publicité, économie sociale, etc.);
• les réalisations, les activités ou les résultats se rattachant à chaque priorité stratégique sont clairement indiqués, assortis des allocations budgétaires pour chacune des priorités;
• dans la plupart des cas, des cibles de rendement sont établies;
• un plan d'action général du renouvellement de la gestion qui s'attaque aux priorités d'IC dans des secteurs comme l'Initiative d'amélioration des services, Gouvernement en direct ainsi que d'autres priorités internes ayant trait à la gestion des ressources humaines, à la gestion financière ainsi qu'aux communications.

Un examen des Plans d'activités des années précédentes révèle un niveau accru de raffinement dans la planification et l'analyse du contexte opérationnel de FedNor. Cependant, l'organisation et le format des Plans d'activités ont changé chaque année. Il est donc difficile de suivre les progrès réalisés en fonction de mesures de rendement précises d'une année à l'autre.

Examen des données

Un examen des données de FedNor a révélé que, pour la plupart des projets achevés, l'agent de projet avait rempli comme il se doit les fiches de pointage pour les réalisations et les projets. Cependant, une autre analyse de ces données a fait ressortir que les fiches de pointage n'étaient pas remplies de façon uniforme ni correctement. Par exemple :

• Il faut répondre par un oui ou par un non aux questions 1 à 12 de la fiche de pointage; les instructions dans le manuel d'utilisation précisent que les seuls symbole permis sont « O » ou « N » et que ce n'est pas acceptable d'indiquer « s.o. » ou de ne rien indiquer du tout; cependant l'analyse des données révèle les problèmes suivants liés aux réponses :
  • des valeurs numériques (2 ou 3 dans chacune des 12 questions);
  • AD (aucune donnée) (entre 3 et 14, selon la question);
  • s.o. (jusqu'à 95 pour la question 2);
  • le mot « Extraits » était écrit dans une case à la question 2;
  • dans 36 cas, on n'a rien répondu à chaque question; la question 9 est restée sans réponse 37 fois;
  • donc, on a bien répondu oui ou non de 534 à 642 fois sur 683 possibilités.
• Dans le cas des questions 15 à 35, il fallait indiquer une note de 1 à 5; les instructions dans le manuel d'utilisation précisent qu'on ne devrait pas utiliser le zéro, sauf à la question 33, où un « 0 » signifie que la question ne s'applique pas; cependant, l'analyse des données a révélé un certain nombre de zéros (pour toutes les questions, sauf la question 31 – jusqu'à 47 en réponse à la question 24), de blancs (de 39 à 56 blancs pour toutes les questions), 80 s.o. et 4 AD à la question 33. Le nombre de réponses adéquates (1 à 5) (et de 0 à 5 à la question 33) oscille donc entre 573 et 643 sur 683.
• Un autre problème se rattache aux notes globales qui dépassent 1 dans les cas où il faut calculer.

Entrevues

Les employés de FedNor étaient assez satisfaits de la rapidité, de la fiabilité et de l'exactitude des rapports établis par les clients. Comme on pouvait s'y attendre, des clients font du très bon travail du côté de l'établissement des rapports à tous égards, alors que d'autres réussissent moins bien. Les agents de programme sont très satisfaits du soutien qu'ils reçoivent de la Révision des remboursements ainsi que des systèmes qui sont en place pour surveiller le respect des exigences en matière d'établissement de rapports. Les employés ont indiqué que la méthode d'évaluation des risques des clients avait été utile. Des agents ont également indiqué que, pour les nouveaux clients, ils s'efforcent de voir à ce que les exigences en matière d'établissement de rapports sont bien comprises et ils invitent souvent un représentant de la Révision des remboursements aux premières rencontres avec les clients pour discuter des procédures et répondre aux questions. Les agents de programme ont trouvé que les rappels électroniques de la date d'échéance des rapports étaient très utiles. Quelques agents ont mentionné que FedNor pourrait tirer avantage d'un système complet de gestion des relations avec les clients qui pourrait servir de base de données centrale pour le suivi des interactions avec les clients. Les systèmes actuels sont organisés par projet. En règle générale, les interviewés ont indiqué que l'établissement des rapports s'était amélioré, mais qu'on devrait procéder à d'autres améliorations des pratiques administratives (p. ex., un système de remboursements électronique est en voie d'élaboration et d'essai).

Les entrevues avec les SADC et d'autres intervenants ont révélé des différences d'opinion quant à la facilité ou à la difficulté de satisfaire aux exigences de FedNor en matière d'établissement de rapports pour les projets du FDNO. Certains sont satisfaits en général. Cependant, de nombreux interviewés ont jugé que l'établissement de rapports est astreignant et disproportionné au financement qu'ils ont reçu et que les exigences en matière d'établissement de rapports ont connu une augmentation exponentielle au cours des dernières années. On se préoccupe le plus du traitement des remboursements qui prend trop de temps, notamment pour les petits organismes qui ont des difficultés du côté de l'encaisse.

Enquête menée auprès des bénéficiaires

En tout, 93 % des bénéficiaires sondés ont indiqué qu'ils comprenaient parfaitement bien qu'ils devaient soumettre des rapports et 91 % ont compris quels renseignements ils devaient inclure dans ces rapports.

6.2 Les rapports sur les données du programme fournissent-ils à FedNor des renseignements utiles aux fins de gestion et pour orienter les futures décisions concernant le programme?

Entrevues

Les gestionnaires de FedNor ont souligné que, lorsqu'ils ont besoin de renseignements précis à des fins de gestion, ils les demandent. Ils ont observé que, dans certains cas, cela demande beaucoup de travail des personnes qui doivent fournir les renseignements, car ceux-ci ne sont pas immédiatement accessibles. Cependant, les gestionnaires ont reconnu en général que, s'ils ont besoin de renseignements, ils peuvent les obtenir.

6.3 Le système d'établissement de rapports permet-il à FedNor de démontrer les résultats et les réalisations de ses programmes et de satisfaire ainsi aux exigences en matière de reddition de comptes?

Entrevues

Les gestionnaires de FedNor ont précisé que la surveillance du rendement en était toujours à diverses étapes de développement pour diverses raisons. Mentionnons, entre autres : les récents changements au CGRR qui ont eu des incidences sur le système de mesure du rendement; les changements au système ministériel; les nouveaux employés et les changements dans les employés qui s'occupent de l'élaboration des outils de mesure du rendement; les priorités concurrentes.

Tous les gestionnaires interviewés ont reconnu que beaucoup de progrès ont été réalisés au cours des dernières années. Certains, cependant, ont soulevé des questions importantes, à savoir :

• Fiches de pointage pour les réalisations et les projets  : Il n'y a aucun lien entre les objectifs du projet, tels qu'énoncés dans les demandes, et les rapports sur les réalisations qui sont remplis par les agents de projet. De plus, l'exactitude de ces fiches varie en fonction des agents. Finalement, la fiche de pointage n'a pas été mise à jour depuis un bon bout de temps et elle ne se rattache pas aux réalisations du programme, telles qu'énoncées dans le modèle logique du FDNO.
• Système ministériel  : On a signalé des difficultés à travailler avec le système ministériel d'Industrie Canada pour saisir et analyser les renseignements sur les projets. Le système n'offre pas la souplesse nécessaire pour saisir facilement les résultats et les réalisations particulières au FDNO. Une base de données distincte du FDNO pourrait être utile, s'il est impossible d'en arriver à une solution adéquate.
• Manque de données de base : Dans le cas des projets, les outils ne sont pas accessibles pour recueillir les données de base et ainsi pouvoir mesurer les incidences des projets (p. ex., incidences socioéconomiques des projets touristiques). De plus, de nombreux clients n'ont pas la capacité de le faire adéquatement. Il pourrait se révéler inefficace de tenter de le faire pour tous les secteurs. Cependant, il pourrait être important sur le plan stratégique de recueillir les données pour les principaux secteurs de programmes et ainsi d'être en mesure de montrer les progrès du programme (pas nécessairement les progrès des projets) dans ces principaux secteurs.
• Information ponctuelle  : Il est important de s'assurer que FedNor dispose d'information quantitative sur le rendement. Cependant, on n'a pas nécessairement besoin de cette information de façon continue et il est possible qu'on ne puisse pas la recueillir de façon continue. L'information ponctuelle est extrêmement utile pour la gestion continue et ne devrait pas être ignorée.

Les employés de FedNor connaissaient moins le système de mesure du rendement qui est en place pour le FDNO. La plupart d'entre eux semblaient ignorer comment les résultats particuliers aux projets sont intégrés ou interprétés à un niveau plus macro. Certains estimaient que la fiche de pointage actuelle que remplissent les agents à la fin des projets a besoin d'être remaniée et devrait prévoir de la place pour l'information anecdotique et interprétative. Des agents ont indiqué également qu'on devrait consacrer plus de temps aux promoteurs de projets au début pour discuter de l'importance des données sur le rendement, les sensibiliser et insister sur l'engagement de FedNor à l'égard de la gestion axée sur les résultats.

6.4 Conclusions – Surveillance et reddition de comptes

12. FedNor a amélioré sa capacité de planifier les résultats. Par exemple, le récent Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) a doté les gestionnaires d'un meilleur outil pour mesurer le rendement. Le processus de planification se rattache plus étroitement aux exigences en matière de gestion du rendement du FDNO. FedNor a également investi plus de ressources à cet égard, ce qui est démontré par les employés qui sont affectés à la surveillance du rendement. De plus, FedNor a réalisé des études spéciales portant sur certains aspects du programme (par exemple, le Programme de jeunes stagiaires et les évaluations suivant les missions commerciales). Quant aux projets, les agents répondent aux attentes en ce qui concerne l'évaluation des risques des projets et l'établissement des fiches de pointage pour les réalisations des projets. De plus en ce qui concerne le programme dans son ensemble, il est évident qu'il y a beaucoup d'activités d'analyse et d'établissement de rapports à partir des données actuellement accessibles.

Cependant, le CGRR ne correspond pas entièrement à la conception et à l'exécution actuelles du FDNO. Les outils et les systèmes existants n'ont pas été mis à jour en fonction des exigences en matière de mesure du rendement énoncées dans le CGRR. De plus, il n'est pas clair si l'information recueillie à partir des fiches de pointage pour les réalisations des projets est valide et fiable. Il n'est pas clair non plus si les agents de programme comprennent clairement comment remplir ces fiches. Les systèmes ministériels pour saisir et analyser l'information sur les projets ne sont toujours pas bien harmonisés avec les exigences du FDNO. Finalement le système ministériel n'est pas harmonisé avec les fiches des réalisations des projets. Donc, il est difficile de déterminer clairement la mesure dans laquelle les projets obtiennent les résultats escomptés.

13. Le système ministériel d'Industrie Canada (soit le Système de rapports sur les subventions et les contributions – SRSC qui puise l'information sur les projets contenue dans le Système d'information sur la gestion des contributions – SIGC) ne peut pas répondre de façon adéquate aux exigences en matière de surveillance et de reddition de comptes de FedNor par rapport au FDNO. Il n'offre pas la souplesse nécessaire pour saisir les résultats escomptés et réels des projets, tels qu'énoncés dans le CGRR du programme. De plus, vu qu'un CGRR est destiné à être un document « évolutif », les résultats du programme peuvent changer avec le temps, surtout dans le cas d'un programme comme le FDNO. Le système ministériel d'Industrie Canada n'est pas assez souple actuellement pour doter FedNor de la capacité de modifier les champs dans la base de données à mesure que le programme évolue pour mieux tenir compte des besoins changeant des collectivités dans le Nord de l'Ontario.