Évaluation finale du Programme de développement des collectivités en Ontario

Sommaire

Le présent rapport présente les conclusions de l'évaluation finale du Programme de développement des collectivités (PDC) en Ontario. Cette évaluation était nécessaire en vertu de la Politique sur le paiement des transferts et a été entreprise pour répondre aux exigences définies dans le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) du programme. Services conseils du gouvernement (SCG) a été chargé d'effectuer l'évaluation du programme, et plus particulièrement d'évaluer la prestation de ce programme par l'intermédiaire des quatre organismes de développement régional (ODR) : l'Agence de promotion économique du Canada atlantique (APECA), Développement économique Canada pour les régions du Québec (DEC-Q), Diversification de l'économie de l'Ouest Canada (DEO), et l'Initiative fédérale de développement économique pour le Nord de l'Ontario (FedNor) d'Industrie Canada (IC).

Les conclusions présentées dans le présent rapport portent tout particulièrement sur la prestation du PDC par l'entremise d'Industrie Canada et de FedNor. L'évaluation a été réalisée entre novembre 2007 et septembre 2008.

Le Programme de développement des collectivités vise à : fournir du soutien aux collectivités rurales et aux petites et moyennes entreprises (PME) pour répondre à leurs besoins économiques; aider les collectivités rurales à élaborer et à mettre en œuvre des plans stratégiques à long terme menant au développement durable de l'économie locale; et fournir des ressources aux organismes de DC locaux afin qu'ils aident leurs collectivités à renforcer leur capacité à s'adapter au changement et à le gérer. En Ontario, le programme de DC est fourni par l'entremise d'un réseau de 61 Sociétés d'aides au développement des collectivités (SADC) dans sept régions (Est, Sud-Est, Centre Sud, Sud-Ouest, Ouest, Nord-Ouest et Nord-Est).

Selon les informations fournies par FedNor, les contributions allouées aux SADC pendant la période d'étude de six ans ont totalisé 131,25 millions de dollars. En ce qui concerne les coûts de fonctionnement, FedNor ne tient pas de budget séparé pour chacun de ses programmes; par conséquent, les chiffres pour le F et E et les dépenses en immobilisations comprenaient les coûts pour le PDC ainsi que le Programme de développement de l'Est de l'Ontario (PDEO) et le Programme de développement du Nord de l'Ontario (PDNO). Les SADC reçoivent toutes environ le même montant pour leur fonctionnement en vertu d'une entente de financement de base, comme il est proposé dans le plan d'activités de chaque SADC.

Méthodologie

La méthode d'évaluation intègre l'usage de multiples sources de données ainsi que des méthodes de recherche quantitative et qualitative complémentaires pour garantir la fiabilité des résultats signalés et la validité de l'information et des données recueillies. Les méthodes de recherche étaient les suivantes :

• revue de documents;
• entrevues avec des intervenants;
• sondages auprès des SADC et des clients;
• examen des données administratives et des données du marché du travail;
• analyse comparative;
• études de cas.

L'évaluation portait avant tout sur quatre secteurs principaux : pertinence du programme, conception et prestation, succès, rentabilité et autres solutions possibles. La fiabilité des données variait selon les méthodologies employées. En conséquence, la fiabilité des conclusions en ce qui a trait au succès du programme et à sa rentabilité est faible.

Pertinence du programme

L'évaluation a trouvé qu'il y avait un besoin continu pour le PDC, principalement parce que les sources de financement disponibles pour les PME sont limitées, et que les SADC appuient des entreprises qui autrement n'auraient pas pu démarrer, croître ou même survivre. Ce besoin de financement est plus prononcé dans les petites collectivités, situées en majorité dans le Nord de l'Ontario, et dont un grand nombre ont un taux de chômage supérieur et des revenus inférieurs à la moyenne provinciale. Ces dernières années, ces collectivités ont été touchées par les fluctuations du prix des marchandises et les SADC contribuent à leur stabilité économique. La plus grande répercussion du PDC est le fait qu'il a mobilisé les entreprises et les groupes communautaires et a amélioré ou développé les connaissances en affaires.

Les objectifs des SADC correspondent aux objectifs du PDC en ce sens qu'ils visent à favoriser la croissance et la stabilité économique, à favoriser la création et le maintien d'emplois, à aider à créer des économies locales diversifiées et concurrentielles, et à aider à établir des collectivités durables. De même, les objectifs du PDC correspondent à l'objectif stratégique d'Industrie Canada qui est d'établir une industrie concurrentielle et des collectivités durables. D'après les entrevues réalisées auprès de membres de la haute direction de FedNor et d'intervenants externes, ceux-ci sont d'avis que le gouvernement fédéral a un rôle légitime et continu à jouer dans la prestation du programme.

En plus de fournir du financement aux PME, le PDC offre une gamme de services aux entreprises (counselling, renseignements, renvois, etc.) et fournit de l'aide aux collectivités dans la planification et la mise en œuvre de leurs priorités en matière de développement économique. Les SADC ont réussi à travailler avec d'autres programmes et organismes de manière à ce que leurs services se complètent, plutôt que de faire double emploi. L'évaluation soulève toutefois quelques inquiétudes à l'égard du chevauchement des tâches administratives et des rapports sur les résultats entre le PDC et le PDEO et le PDNO.

Conception et prestation

Le PDC existe depuis plus de 20 ans et sa conception et sa prestation ont changé au fur et à mesure que des problèmes ont été cernés. En conséquence, le programme semble bien fonctionner et l'évaluation a cerné peu de problèmes pouvant nuire à son succès. D'après les entrevues et les sondages réalisés auprès des intervenants, le financement était le plus gros problème cité par ces derniers, qui avaient le sentiment qu'un financement supplémentaire était nécessaire pour le fonctionnement du programme, les activités de développement économique des collectivités, et les fonds d'investissement.

De manière générale, les fonds d'investissement des SADC semblent être bien gérés, la valeur du portefeuille dans son ensemble s'étant accrue au cours des quatre dernières années. La croissance du fonds d'investissement est influencée par le niveau des activités de prêt des SADC, notamment la proportion des fonds qui sont dans un investissement actif, ainsi que par le taux de pertes sur prêt. Le niveau de fonds dans un investissement actif et le taux de pertes sur prêt varient beaucoup selon les SADC. En l'absence de cibles pour le rendement souhaité des portefeuilles de prêt, il est difficile d'évaluer si on devrait s'inquiéter du niveau de rendement des fonds d'investissement de certaines SADC.

Recommandation n^o 1 : FedNor devrait travailler avec les SADC pour établir des fourchettes cibles quant au niveau souhaitable de fonds dans des investissements actifs et de taux de perte sur prêt, en fonction des réalités locales. Ceci permettrait à FedNor d'évaluer le rendement du portefeuille de prêt des SADC et de les aider à l'améliorer au besoin.

---

Pour le moment, le plus gros défi à relever pour le PDC est la collecte et la gestion de données sur son rendement. Bien qu'une structure soit en place pour la collecte des données liées au rendement et aux résultats des SADC, ces données sont rarement utilisées pour la gestion du programme et ne donnent pas de renseignements appropriés pour la mesure du succès du programme. Le système actuellement en place pour faire le suivi du rendement (The Exceptional Assistant, connu en tant que TEA) n'est pas utilisé par toutes les SADC et certaines de ces dernières ne satisfont pas non plus à toutes les exigences en matière de rapport (elles ne soumettent pas toutes un rapport annuel, par exemple). TEA est également d'un usage limité car il ne saisit pas tous les indicateurs requis pour la mesure du rendement selon le CGRR. De plus, on ne dispose pas actuellement de données aptes à mesurer les résultats à plus long terme du programme, particulièrement en ce qui a trait aux activités de développement économique communautaire (DEC).

L'évaluation a trouvé que les données entrées dans TEA n'étaient pas fiables, et que par conséquent les rapports trimestriels ne l'étaient pas non plus. Les données sur les résultats soumises actuellement par les SADC (nombre d'emplois créés, par exemple) sont fondées sur des estimations au moment de la demande de financement mais aucune vérification n'a lieu pour vérifier si les résultats atteints correspondent bien aux estimations. Il semble aussi que les données entrées par les SADC ne soient pas toujours vérifiées. En effet, de nombreuses variables dans les données de TEA semblaient incorrectes.

Recommandation n^o 2 : FedNor devrait réaliser un examen des données sur le rendement recueillies pour le Programme de DC afin de s'assurer que les rapports établis sont fiables et utiles et devrait établir des indicateurs supplémentaires permettant de recueillir de l'information sur les effets à plus long terme du programme, en particulier en ce qui a trait aux activités de DEC. De plus :

• FedNor doit veiller à ce que TEA puisse saisir et produire des rapports sur toutes les données sur le rendement requis. Il est possible que FedNor puissent réduire les exigences en matière d'établissement de rapports pour les SADC en optimisant l'utilisation de TEA, ce qui améliorerait sa capacité à gérer le programme tout en le rendant plus utile pour les SADC.
• FedNor devrait veiller à ce que toutes les SADC satisfassent les exigences en matière d'établissement de rapports et devrait fixer des conséquences pour celles qui ne s'y conforment pas.
• FedNor devrait veiller à ce que les SADC ne fassent pas rapport d'activités entreprises et de résultats atteints grâce à des fonds du PDEO ou du PDNO dans les rapports du PDC (soit, dans les rapports annuels).
• Pour garantir la fiabilité des données, FedNor devrait mettre en œuvre un système pour que les données saisies dans TEA et soumises au moyen des rapports trimestriels soient examinées régulièrement; FedNor a besoin de travailler avec les SADC pour garantir que les données seront corrigées si des problèmes étaient cernés.

Succès du programme

En raison des réserves sur la fiabilité des données des rapports trimestriels, en particulier en ce qui a trait à la déclaration des services fournis aux entreprises, les conclusions sur le succès du programme se fondent principalement sur des données estimées. Il semble que les SADC ont fourni un niveau constant de renseignements aux entreprises, de counselling et de services de renvoi à leurs clients au cours d'une période de quatre ans. Les services fournis par les SADC ont été jugés nécessaires par les clients et le niveau de satisfaction quant aux services fournis est très élevé. Le PDC répond également aux besoins des CLOSM en leur fournissant conseils, soutien et services dans les deux langues officielles au besoin. Il est toutefois difficile de maintenir en poste un effectif bilingue qualifié et les coûts liés à la fourniture de matériel d'information bilingue est également un problème.

Grâce à son portefeuille de prêt, ses services aux entreprises et ses activités de DEC, le PDC a réussi à améliorer les compétences et les connaissances en affaires de ses clients, à faire démarrer de nouvelles entreprises, à maintenir et à renforcer des entreprises existantes, à augmenter la capacité communautaire et à aider les collectivités à diversifier leur économie. Les répercussions de certaines de ces activités, en particulier le travail lié au DEC et les répercussions à plus long terme du programme, sont plus difficiles à mesurer car aucun indicateur n'a été établi à cet effet jusqu'à ce jour.

Rentabilité et autres solutions

Le modèle de prestation actuellement en place du PDC intègre un certain nombre d'éléments qui sont importants pour la réussite du développement économique communautaire. Il comprend une approche communautaire où les décisions sont prises au niveau local; la mise à contribution de bénévoles des collectivités locales; et la focalisation sur l'établissement de partenariats et la coopération entre les organismes communautaires. Aucun autre moyen de prestation n'a été cerné.

Il n'était pas possible de déterminer si FedNor administrait le programme de manière rentable, par rapport au PDEO et au PDNO, car il est impossible d'obtenir des coûts de programme² distincts pour ces trois programmes.

Recommandation n^o 3 : FedNor devrait menée un examen des coûts pour identifier les coûts de fonctionnement du PDEO, du PDNO et du Programme de DC. Ce serait utile en particulier parce que différents modèles de prestation sont utilisés et que cela permettrait à FedNor d'évaluer la mesure dans laquelle ces différents modèles de prestations sont efficaces pour atteindre les résultats attendus des programmes.

Dans l'ensemble, les SADC sont rentables pour ce qui est de l'administration du programme. Étant donné le montant de financement reçu, les SADC fournissent un niveau assez élevé d'investissement dans les collectivités : elles ont en effet prêté environ 42 millions de dollars et fait une contribution annuelle de 9 millions de dollars au DEC à l'échelle de la province, tout en offrant également un certain nombre d'autres services. La mesure de l'efficacité de toutes les SADC en ce qui touche la prestation du programme soulève la question du rapport coût-efficacité, car le niveau d'activité et de résultats atteints dans le cadre du programme varie beaucoup d'une SADC à l'autre. Bien qu'il puisse y avoir de bonnes raisons pour les écarts dans les niveaux d'activités et les résultats parmi les SADC, telles que la situation géographique, la composition démographique de la collectivité et le niveau de demandes de services, cela pourrait également indiquer un niveau d'efficacité plus faible.

Il semble que, au fur et à mesure que la conjoncture économique d'une région s'améliore, la demande de services aux SADC augmente au point que le secteur privé commence à entrer en compétition pour obtenir des clients « au succès assuré ». Dans ces régions généralement plus peuplées, les SADC desservent plus de jeunes entreprises qui n'ont pas de longs antécédents en matière de crédit. Puisque les sources de crédit sont plus nombreuses dans ces régions, les bénéficiaires d'un prêt d'une SADC peuvent s'en servir pour accéder à des crédits auprès d'autres sources, ce qui aura des retombées sur le nombre d'emplois ou d'entreprises créés par dollar investi. Toutefois, chacun de ces emplois dans les grandes collectivités représentent un pourcentage plus faible d'emplois dans les régions. En conséquence, bien que les petites collectivités ne puissent pas forcément faire état du même pourcentage en matière d'emploi, les répercussions sont proportionnellement plus grandes pour elles. Les différences de rentabilité pourraient aussi être liées au rendement des SADC. FedNor, de concert avec les SADC, serait le mieux placé pour déterminer si certaines SADC pourraient exécuter plus efficacement le programme étant donné les nombreuses variables influençant l'efficacité de la prestation.

Recommandation n^o 4 : FedNor devrait travailler avec les SADC pour établir des fourchettes cibles quant au niveau d'activité des SADC (soit, le nombre de prêts, la croissance du fond d'investissement). Ces fourchettes devraient être établies en tenant compte des facteurs pouvant éventuellement influencer les activités des sociétés (situation géographique, demandes de services, etc.). Ceci fournirait un guide pour les bureaux responsables des programmes et les aiderait à comprendre si les SADC pourraient plus efficacement exécuter le programme ou atteindre les résultats attendus.

---

2 Les coûts de programme sont définis comme étant les coûts d'administration du programme échouant à FedNor, ce qui ne comprend pas les fonds fournis au SADC (soit, les salaires et les coûts de F et E de FedNor).