Évaluation de mi-mandat du Programme de développement du Nord de l'Ontario (PDNO)

Notes en bas de page

¹ Le nom du programme a été modifié en juillet 2006. (retour à la référence de note 1)

² En octobre 1995, FedNor devenait responsable de l'exécution directe du Programme de développement des collectivités dans le Nord et le Sud de l'Ontario. Les sociétés d'aide au développement des collectivités (SADC) sont implantées stratégiquement dans des collectivités rurales de partout en Ontario, pour aider FedNor et Industrie Canada à s'acquitter de leur mission au moyen de trois secteurs de service : planification et développement économiques communautaires, investissement dans les entreprises locales, et services de conseils et de développement aux entreprises. (Évaluation de FedNor, Rapport final, le 9 mai 2002). (retour à la référence de note 2)

³ Dans le sillage de nouvelles approches du développement régional mises en œuvre dans d'autres régions économiquement défavorisées du Canada, FedNor adoptait en mars 1996 un mode différent de prestation de services, délaissant le mécanisme d'aide directe à l'entreprise utilisé à l'origine, pour passer à des prêts de nature commerciale entièrement remboursables, protégés par des réserves pour pertes sur prêts fournies par des tiers. FedNor réorientait également ses programmes vers les besoins de l'économie du savoir. (Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) de FedNor, le 24 septembre 2001). Dans le CGRR de 2005, on attribuait à ce virage la mise en valeur des efforts du Nord de l'Ontario pour la diversification économique et l'implantation dans les collectivités et entreprises du Nord d'une solide fondation pour affronter les défis de la nouvelle économie. (retour à la référence de note 3)

⁴ En 1999, FedNor reclassait ses programmes selon cinq catégories stratégiques : Commerce, Innovation, Investissement, Connectivité, et Partenariats communautaires. Ces priorités ont été établies de façon à aborder plus précisément les problèmes qui touchent les personnes qui vivent et travaillent dans le Nord de l'Ontario. De nouvelles composantes de programme étaient également présentées en 1999, afin de faciliter le passage à une économie du savoir, et visant spécifiquement la connectivité, l'innovation et les partenariats communautaires. Parmi ces composantes : jeunes stagiaires, infrastructure économique des collectivités, infrastructure de télécommunications, recherche appliquée et développement, redressement communautaire, renforcement de la capacité d'innovation, et application de la technologie de l'information et des communications (TIC). (Évaluation de FedNor, Rapport final, le 9 mai 2002) Un sommaire de l'évolution du programme est présenté à la pièce II-1 dans le chapitre du rapport de méthodologie de février 2008 énonçant l'approche et le plan de travail. (retour à la référence de note 4)

⁵ Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) de FedNor, le 31 mars 2005. (retour à la référence de note 5)

⁶ Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), Rapport final, janvier 2006. (retour à la référence de note 6)

⁷ CGRR de Fednor, le 29 janvier 2007. (retour à la référence de note 7)

⁸ Idem. (retour à la référence de note 8)

⁹ Le CGRR pour le Programme de développement du Nord de l'Ontario en date d'octobre 2006 mentionne les mêmes ressources consacrées au rendement et à l'évaluation que le CGRR de 2007, ce qui semble indiquer que les programmes se partagent ces ressources. (retour à la référence de note 9)

¹⁰ Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), résumé, janvier 2006, et CGRR du PDNO, le 29 janvier 2007. (retour à la référence de note 10)

¹¹ L'objectif du FDNO/PDNO a évolué au fil des trois CGRR. L'énoncé de mission diffère de celui du CGRR de 2001, l'objectif pour la mission du programme étant alors de promouvoir le développement économique dans le Nord de l'Ontario pour en arriver à un renforcement de l'économie nationale et contribuer à assurer le développement de débouchés d'affaires et de possibilités d'emploi. (CGRR, le 24 septembre 2001) (retour à la référence de note 11)

¹² L'aire désignée de couverture englobe les divisions de recensement suivantes : district de Muskoka ((DR44), district de Nipissing (DR48), district de Parry Sound (DR49), district de Manitoulin (DR51), district de Sudbury (DR52), municipalité régionale de Sudbury (DR53), district de Timiskaming (DR54), district de Cochrane (DR56), district d'Algoma (DR57), district de Thunder Bay (DR58), district de Rainy River (DR59) et district de Kenora (DR60). (CGRR, le 29 janvier 2007). (retour à la référence de note 12)

¹³ Idem. (retour à la référence de note 13)

¹⁴ À l'origine, le programme était limité aux PME de moins de 250 employés, avec des ventes annuelles inférieures à 20 M$. (CGRR, le 24 septembre 2001). (retour à la référence de note 14)

¹⁵ Mobiliser et habiliter les collectivités à prendre en charge leur propre avenir et à exploiter les occasions qui entraîneront des avantages économiques à long terme, notamment la création d'emploi, la diversification économique et une compétitivité commerciale accrue, en soutien d'un développement durable. Le CGRR indique que FedNor devait réorienter ses efforts de développement économique communautaire en 2006–2007 selon une formule plus stratégique et proactive, axée sur trois domaines prioritaires : planification stratégique communautaire, mise en œuvre de plans communautaires, et infrastructure économique communautaire. (retour à la référence de note 15)

¹⁶ Le CGRR indique qu'avec la création du Centre de commerce international (CCI), la constitution du réseau commercial Équipe Nord Ontario (TNO) réunissant les conseillers et organisations commerciales communautaires, et le soutien bien implanté aux missions commerciales, FedNor révisera l'orientation du CCI en 2006–2007 pour se concentrer plus sur l'aide directe à l'entreprise, par exemple sous forme de conseils à l'entreprise, de stages pour les jeunes et de perfectionnement des compétences, en vue de renforcer les compétences en exportation et direction des affaires des entreprises du Nord de l'Ontario. Le soutien de FedNor au tourisme devait se concentrer stratégiquement sur les projets stimulant des degrés supérieurs d'activité et de recettes touristiques dans le Nord. (retour à la référence de note 16)

¹⁷ On vise à renforcer la capacité d'innovation et de rendement de l'économie du Nord de l'Ontario dans six secteurs clés : soutenir l'infrastructure d'innovation et les programmes d'enseignement et de formation; investir dans les activités fondées sur le savoir, dans les nouvelles technologies permettant d'améliorer la productivité et dans les nouvelles formes d'organisation du travail; favoriser l'expansion des exportations et la compétitivité sur la scène internationale; aider les divers intervenants à s'unir de façon plus efficace pour former des groupes stratégiques et pour encourager les associations entre les établissements de recherche et d'enseignement postsecondaire, les entreprises, les collectivités et le gouvernement; encourager la concurrence en matière d'idées, de technologies et de solutions, ainsi que les partenariats qui unissent des idées et des solutions nouvelles à des problèmes sociaux et aux possibilités du marché; offrir un accès à des services de télécommunications avancées. (retour à la référence de note 17)

¹⁸ Développement et amélioration de l'infrastructure des télécommunications, des réseaux et des applications des TIC. (retour à la référence de note 18)

¹⁹ FedNor verse le financement de base des SADC par l'intermédiaire du programme d'Aide au développement des collectivités. FedNor fournit également une aide directe remboursable aux PME dans des domaines comme la R et D appliquée, et explore des moyens de faciliter l'accès aux capitaux patients et à risque. (retour à la référence de note 19)

²⁰ Initiatives de soutien contribuant à attirer, perfectionner et maintenir en poste des gens hautement qualifiés et à offrir des possibilités d'apprentissage permanent. (retour à la référence de note 20)

²¹ CGRR, le 29 janvier 2007. (retour à la référence de note 21)

²² Les SADC sont un véhicule qui aide les gestionnaires et le personnel de FedNor à s'acquitter de leur mandat. Les SADC sont des organismes sans but lucratif constitués en sociétés et dirigés à l'échelle locale par un conseil d'administration bénévole qui représentent les intérêts variés de la collectivité. Les SADC locales établissent leurs propres priorités et stratégies de développement en créant et mettant en œuvre un plan stratégique communautaire en collaboration avec leurs partenaires. Elles offrent aussi aux petites entreprises et aux entrepreneurs locaux des conseils, des renseignements et des services d'orientation vers d'autres organismes. Enfin, les SADC peuvent aussi procurer aux petites entreprises et aux entrepreneurs l'accès à des capitaux; elles administrent un fonds d'investissement grâce auquel elles peuvent consentir des prêts, des garanties de prêts et des placements en actions qui permettront le lancement, l'expansion ou la stabilisation d'entreprises. (Évaluation de FedNor, Rapport final, le 9 mai 2002). (retour à la référence de note 22)

²³ Évaluation de FedNor, Rapport final, le 9 mai 2002. (retour à la référence de note 23)

²⁴ CGRR, le 24 septembre 2001. (retour à la référence de note 24)

²⁵ CGRR, le 24 septembre 2001. (retour à la référence de note 25)

²⁶ CGRR, le 29 janvier 2007. (retour à la référence de note 26)

²⁷ La matrice de mesure du rendement énonce les données à recueillir (indicateurs), leur source (habituellement où les données sont stockées, mais parfois une source d'information externe) et leur fréquence de collecte (annuelle, trimestrielle, continue). (retour à la référence de note 27)

²⁸ Un total de 20 personnes était prévu au départ, mais l'un des agents n'a pas participé à une entrevue de groupe prévue. (retour à la référence de note 28)

²⁹ Les entrevues étaient planifiées en fonction des horaires des répondants. L'un des agents n'a pas téléphoné pour participer à l'entrevue prévue. (retour à la référence de note 29)

³⁰ Évaluation de FedNor, Rapport final, le 9 mai 2002. (retour à la référence de note 30)

³¹ Un examen comparatif de FedNor et de la SGFPNO réalisé dans le cadre de l'évaluation concluait qu'ils avaient des buts similaires (soutenir et assurer la croissance et le développement économique dans les collectivités du Nord de l'Ontario), ainsi que des processus et composantes similaires. Cependant, on estimait que les autres programmes du gouvernement de l'Ontario étaient plus restrictifs et moins efficaces que FedNor dans la pratique. Un autre avantage était que FedNor apportait de l'appui en matière de développement et de gestion de projet, en plus du financement. (Idem) (retour à la référence de note 31)

³² Le caractère unique de FedNor semble découler de son degré d'évolution (depuis 1996) d'un financement d'entreprises particulières vers des programmes communautaires; d'autres organismes de développement régional œuvraient dans le même sens, sans cependant avoir la même portée d'action que FedNor. (retour à la référence de note 32)

³³ Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), Rapport final, janvier 2006. (retour à la référence de note 33)

³⁴ Questions 2 a) à 4) dans les deux guides d'entrevue. (retour à la référence de note 34)

³⁵ Le financement peut dépasser les 90 p. cent dans des cas exceptionnels, pour des projets autochtones ou des projets sans but lucratif de moins de 100 000 $. (retour à la référence de note 35)

³⁶ Comme on le mentionnait, les agents n'attendent pas la présentation de propositions, ils les sollicitent. Les agents collaborent avec le proposant au développement du projet, pour s'assurer qu'il concorde avec les objectifs de programme. Une partie de l'évaluation complète réalisée pour chaque projet consiste à discuter de la formule de financement du projet, qui seront les autres intervenants, à quoi s'appliquera la contribution des autres sources de financement, et comment équilibrer ces facteurs pour assurer un financement suffisant du projet, tout en réduisant le potentiel de chevauchement ou de dédoublement. Si FedNor constitue le point de contact initial du proposant et que son projet correspond aux priorités du PDNO, l'agent du PDNO proposera (au besoin) des partenaires éventuels au proposant, ou impliquera des représentants d'autres programmes ou sources de financement pour définir le rôle de chacun dans la formule ou l'accord de financement que l'on met au point pour le projet. Les partenaires qui financent des projets touristiques ont tenté de rendre leur approche plus stratégique au moyen d'une entente de partenariat, en vigueur depuis cinq ans. Les participants à cette entente ont énoncé officiellement les éléments qu'ils sont disposés à financer et la façon dont les divers partenaires participeront à des projets liés au tourisme. Cette formule garderait l'investissement aligné sur la stratégie. Dans des secteurs comme l'Innovation, on avançait que le programme n'avait pas autant accès qu'il le pourrait au financement des conseils subventionnaires. Cette question est à l'étude. La procédure est également légèrement différente pour ces projets. Les proposants sont d'abord dirigés vers d'autres programmes, et reviennent présenter les résultats de leurs démarches à FedNor. Le PDNO peut alors choisir d'offrir un financement complémentaire ou de s'occuper lui-même du projet. (retour à la référence de note 36)

³⁷ Notamment : changements apportés au CGRR de FedNor, modifications au système ministériel, et nouveaux employés et changements dans l'effectif ayant participé au développement des outils de mesure du rendement. (retour à la référence de note 37)

³⁸ Certains des agents de programme estimaient qu'il fallait améliorer les fiches de pointage et mieux s'efforcer, dès le départ, de bien faire comprendre aux clients l'importance des données de rendement. (Évaluation sommative du Fonds de développement économique du Nord de l'Ontario (FDNO), Rapport final, janvier 2006) Au lieu de remanier les fiches de pointage, on les a remplacées par les EFP. Certains agents de projet ont également commencé à utiliser le modèle logique du programme avec les proposants pour définir les résultats attendus et insister sur l'importance de produire les données de rendement demandées. (retour à la référence de note 38)

³⁹ Question 4 du guide d'entrevue des répondants GP/PPC/USS; questions 3 f) et h) du guide d'entrevue des agents de programme; questions 2 g) et h) du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 39)

⁴⁰ Question 9 du guide d'entrevue des répondants GP/PPC/USS; question 6 du guide d'entrevue des agents de programme; question 5 du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 40)

⁴¹ Des séances de formation de l'effectif (les 6 et 7 mai 2008 dans le Nord-Est, et le 17 mai 2008 dans le Nord-Ouest) pourraient permettre de parfaire les mesures. (retour à la référence de note 41)

⁴² Le premier exposé a été donné au personnel au printemps 2007, lorsque les indicateurs ont été présentés à l'occasion d'une réunion annuelle. Les répondants croient toutefois que les employés auraient été informés dans une certaine mesure avant cet événement, au cours de conversations avec leurs collègues, dont les membres du GTMR. (retour à la référence de note 42)

⁴³ La section de texte est également transférée automatiquement à la base de données des EFP. (retour à la référence de note 43)

⁴⁴ En particulier dans le cas d'un agent de programmes qui n'a pas déjà travaillé avec le client. (retour à la référence de note 44)

⁴⁵ Actuellement, l'accès aux données brutes de la base de données est très limité, et il faudrait modifier en profondeur la technologie pour permettre un tel accès. (retour à la référence de note 45)

⁴⁶ La valeur la plus fréquente ne peut pas être calculée dans tous les cas. En l'absence de cette valeur, la formule produit la mention S.O. (retour à la référence de note 46)

⁴⁷ Décider si un indicateur porte sur des résultats immédiats ou intermédiaires exige une connaissance détaillée du projet particulier. Cependant, à partir des renseignements disponibles, les indicateurs 1.7, 1.8, 2.5, 2.6, 2.7, 2.8, 2.9, 4.2, et 4.3 sont probablement d'autres indicateurs de résultats intermédiaires. (retour à la référence de note 47)

⁴⁸ L'évaluation formative relevait comme préoccupation le fait que les données de résultat saisies se limitaient à la perspective des agents de programmes. On recommandait que les agents de programmes continuent de saisir ces données de résultats, mais qu'on leur apporte en complément une contribution directe des clients sur les résultats. (retour à la référence de note 48)

⁴⁹ L'étude de référence comportait un examen de trois organismes fédéraux de développement régional, soit l'Agence de promotion économique du Canada Atlantique (APECA), l'Agence de développement économique du Canada pour les régions du Québec et Diversification de l'économie de l'Ouest (DEO). Chacun des autres organismes faisant partie du portefeuille d'Industrie Canada est un organisme opérationnel distinct, tandis que FedNor est une unité fonctionnelle au sein d'Industrie Canada, qui dépend donc de l'expertise d'Industrie Canada et de la Direction générale de la vérification et de l'évaluation pour appuyer la capacité interne de mesure du rendement. Les plans d'activités et les rapports annuels de rendement de FedNor sont simples comparativement aux autres organismes, qui produisent des rapports individuels sur les plans et les priorités (RPP) et des rapports ministériels sur le rendement (RMR). Les rapports sur les plans et les priorités de FedNor ne comptent que quelques pages et sont intégrés aux RPP et aux RMR d'Industrie Canada. La plupart des cibles et des mesures liées au rendement se trouvaient dans le secteur des ressources déployées, des activités terminées et des résultats, par exemple le nombre de projets terminés. Les experts-conseils constataient que FedNor répondait aux exigences accrues en matière de mesure, de gestion et de production de rapports liés au rendement, et avait consacré des ressources supplémentaires à cet élément au cours des deux années précédentes. Une culture de mesure du rendement et de rapport s'implantait graduellement dans les secteurs de prestation de programme de FedNor, comme en témoignait le CGRR (élaboré et approuvé par le Conseil du Trésor en septembre 2001) et la création de la feuille de pointage de l'évaluation et des résultats de projet que doivent remplir les agents de programmes. (Évaluation de FedNor, Rapport final, le 9 mai 2002). (retour à la référence de note 49)

⁵⁰ Réponse de la direction à l'évaluation formative de FedNor, le 24 juin 2002. (retour à la référence de note 50)

⁵¹ Questions 3 a) à 7) du guide d'entrevue des agents du programme et Q2 a) à f) du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 51)

⁵² Questions 4 a) à d) et question 5 du guide d'entrevue des agents de programme, questions 3 a) à d) et question 5 du guide d'entrevue des agents de contrôle et des paiements. (retour à la référence de note 52)

⁵³ Questions 5, 6, 7 et 8 du guide d'entrevue des répondants GP/PPC/USS. (retour à la référence de note 53)

⁵⁴ Nous avons amorcé la discussion en identifiant les outils et procédures servant à recueillir des données de résultats sur les projets du PDNO. Voici une description sommaire de chaque outil ou mécanisme servant à la saisie des données et à la surveillance des projets, et de sa raison d'être :

• Formulaire de demande rempli par le client, avec contribution de l'agent de programmes. Il s'agit de la première étape vers l'obtention d'un financement de projet. Le processus de demande exige des proposants qu'ils « certifient » toutes les sources de financement du projet. À ce stade du processus, le proposant peut être redirigé vers d'autres sources de financement; ainsi, on conseillerait au proposant d'un projet touristique de consulter le site Web du ministère du Tourisme de l'Ontario, qui propose une variété d'outils pouvant convenir au projet.
• Le formulaire de nouvelle proposition récemment créé s'inscrit entre le formulaire de demande et le formulaire de sommaire de projet, pour présenter le projet aux autres membres de l'effectif et énoncer les indicateurs constituant le motif de proposition du projet. Rempli par l'agent de programmes, ce formulaire constitue la première étape d'encadrement du projet pour le client et en vue du processus d'examen et de commentaire par les collègues.
• Le formulaire de sommaire de projet (FSP) fait l'objet d'une diffusion générale à FedNor, d'abord sous forme d'ébauche de document de travail. Le FSP révisé comprend une évaluation complète du projet, notamment une évaluation du risque, et intègre les commentaires des collègues. Tous les projets au stade du développement font l'objet d'une évaluation du risque, tant pour le client que pour le projet. Cette évaluation est intégrée au FSP et à la lettre d'offre, avec les indicateurs qui serviront à surveiller et évaluer le projet. Le FSP est transmis pour approbation ou refus.
• La lettre d'offre énonce les indicateurs qui serviront à surveiller et évaluer le projet et le détail des modalités de financement, y compris une disposition qui impose au proposant d'informer le programme de toute modification aux modalités de financement. Une lettre d'offre peut comprendre des discussions et des calendriers très détaillés.
• Les rapports d'étape et le rapport final de projet sont remplis par le client. Les agents de programmes et les agents du contrôle et des paiements utilisent les rapports d'étape pour le suivi du projet et le traitement des demandes de remboursement. La surveillance du projet s'effectue au niveau des activités (pour vérifier qu'elles correspondent aux objectifs) et au niveau financier, lors du traitement des factures. Les clients ne sont pas tenus de faire rapport sur les indicateurs avant la fin du projet, et les rapports d'étape ne traitent pas des indicateurs.
• Pour certains projets, le dossier de projet comprendra, en plus de tous les autres renseignements, des analyses d'incidences, des résultats d'enquête et des évaluations de tiers. L'une des conséquences de l'accent accru sur la mesure est que les agents ont commencé à inciter les proposants à intégrer l'évaluation à leur projet. Dans certains cas, FedNor finance cette fonction, en plus de financer le projet.
• Documents officieux créés pendant la durée du projet, notamment notes de l'agent de programmes portées au dossier à la suite de visites sur place ou de discussions avec le client, commentaires de l'agent du contrôle et des paiements accompagnant les documents de facturation, photographies, etc.
• La plupart des agents de programmes tiendraient un dossier informel pour le suivi d'autres activités et projets du client, dont certains éléments peuvent aboutir dans les dossiers de projet.
• Chaque projet achevé doit faire l'objet d'une évaluation finale de projet (EFP), un formulaire rempli par l'agent de programmes. Au début de janvier 2008, on adoptait l'exigence supplémentaire de faire approuver l'EFP par un gestionnaire. En cas de divergence entre les évaluations du gestionnaire et de l'agent de programmes, le gestionnaire, l'agent de programmes et un représentant de Politiques se rencontrent pour discuter de la question et la régler. S'il y a lieu, l'EFP est modifiée ou mise à jour après cette consultation.

(retour à la référence de note 54)

⁵⁵ La possibilité de supprimer les indicateurs sans pertinence dans la lettre d'offre a été éclaircie aux réunions du personnel du Nord-Ouest et du Nord-Est, le 19 février 2008. (retour à la référence de note 55)

⁵⁶ L'examen du CMIS révélait que certains éléments de données importants n'étaient pas saisis systématiquement. (retour à la référence de note 56)

⁵⁷ On critiquait dans l'évaluation le fait que les données de résultats consignées à la feuille d'évaluation des résultats de projets provenaient uniquement du point de vue limité de l'agent, pour recommander de recueillir des données sur les résultats à court terme auprès des clients. On relevait également que l'Initiative d'amélioration des services se limitait à la collecte de renseignements sur les processus. (retour à la référence de note 57)

⁵⁸ Réponse de la direction à l'évaluation formative de FedNor, le 24 juin 2002. (retour à la référence de note 58)

⁵⁹ Recommandation 9, réponse de la direction aux conclusions et domaines de suivi recommandés (dans l'évaluation sommative de 2005). (retour à la référence de note 59)

⁶⁰ Recommandation 10, idem. (retour à la référence de note 60)

⁶¹ Question 3 a) à d) du guide d'entrevue des répondants GP/PPC/USS. (retour à la référence de note 61)

⁶² L'évaluation sommative de 2005 signalait un problème relativement au CMIS. Les répondants à l'évaluation de mi-mandat ont indiqué que l'évaluation antérieure avait peut-être accordé trop d'importance aux commentaires des répondants sur le CMIS. Au moment de l'évaluation, on travaillait à remplacer la base de données, et les utilisateurs étaient consultés à propos d'éventuels changements à la base de données. FedNor désirait s'assurer que le CMIS serait amélioré et révisé pour saisir les données dont FedNor avait besoin. Arrivé en février 2008, la mise à niveau a pris plusieurs années de retard (l'échéance prévue est maintenant l'hiver 2008), et FedNor a donc développé une nouvelle base de données à ses propres fins, la base de données des évaluations finales de projet. (retour à la référence de note 62)