2019 Cadre de mesure du rendement des AIE : Mandat et progrès

Rapport d'étape sur le projet pilote de CMR des AIE
Mai 2019

Table des matières

• PARTIE I. Mandat et progrès réalisés à ce jour
  • Section 1.1 Raison d'être d'un cadre national de mesure du rendement
  • Section 1.2 Conception du cadre de mesure du rendement
  • Section 1.3 Principaux résultats de la phase I du projet pilote de CMR des AIE
  • Section 1.4 Principales conclusions de l'analyse des données du projet pilote
    • Profil démographique des entreprises
    • Taux de croissance des entreprises
    • Recours aux programmes gouvernementaux
    • Analyse de l'incidence des AIE et du taux de recommandation net
    • Principales conclusions et possibilités futures
  • Section 1.5 Commentaires des participants et enseignements tirés du projet pilote
    • Constatations tirées du sondage mené auprès des participants
    • Commentaires formulés au mini-sommet des AIE et entretiens avec les participants
    • Principales améliorations à la version 2.0 du CMR
  • Section 1.6 Résultats souhaités de la version 2.0 du CMR des AIE
• PARTIE II. Cadre de mesure du rendement des AIE, version 2.0
  • Section 2.1 Principes de conception du CMR et considérations clés
  • Section 2.2 Paramètres de mesure du rendement et collecte de données
    • Profils des programmes des AIE
    • Paramètres de mesure des entreprises clientes
    • Options pour la saisie des données
  • Section 2.3 Communication et analyse des données et production de rapports
    • Communication des données
    • Approche de Statistique Canada en matière de gestion de l'information
    • Couplages avec les ensembles de données externes
    • Analyse des données : évaluation de l'incidence des AIE
• PARTIE III. Plateforme de mesure du rendement
  • Section 3.1 Description de la plateforme
  • Section 3.2 Sécurité des données
  • Section 3.3 Consentement au partage de l'information
• PARTIE IV. Conclusions et prochaines étapes
• PARTIE V. Annexes
  • Annexe A : Questionnaire à l'intention des accélérateurs et des incubateurs d'entreprises
  • Annexe B : Questionnaire à l'intention des entreprises

Rapport d'étape sur le projet pilote de CMR des AIE

PARTIE I. Mandat et progrès réalisés à ce jour

Depuis longtemps, les organisations du secteur public reconnaissent le besoin de créer et de mettre en œuvre des systèmes de mesure du rendement afin de s'assurer qu'elles disposent en temps voulu de renseignements sur leur rendement qui sont stratégiquement ciblés, objectifs et fondés sur des données probantes, en vue d'obtenir de meilleurs résultats et de demeurer des organisations à rendement élevé. C'est sans doute d'autant plus vrai quand il s'agit de s'assurer que les investissements publics dans l'innovation et le développement économique établissent une solide assise pour la création des entreprises, des emplois et des industries de demain. Compte tenu de cet objectif, le ministère de l'Innovation, des Sciences et du Développement économique (ISDE) travaille avec un groupe représentatif de dirigeants politiques et d'intervenants afin d'élaborer un cadre de mesure du rendement destiné aux accélérateurs et aux incubateurs d'entreprises (AIE) au Canada. Le cadre permettra aux entreprises de choisir leurs meilleures options en matière de soutien et aidera les AIE à comparer leur rendement et à améliorer leurs programmes. Il aidera aussi tous les ordres de gouvernement à accroître l'efficacité des investissements publics dans ce domaine.

À ce jour, le travail de la communauté des AIE et de ses partenaires gouvernementaux a donné lieu à l'établissement d'un cadre normalisé pour la production de rapports, qui établit des définitions uniformes pour la création d'emplois, la production de revenus, l'investissement et d'autres paramètres de mesure des résultats; à une plateforme de mesure du rendement commune qui simplifie la collecte et l'analyse de données ainsi que la production de rapports; et à un projet pilote qui a été lancé au début de 2018 pour donner à un groupe représentatif d'AIE la possibilité de tester et d'améliorer le cadre avant son déploiement à l'échelle nationale. Parmi les autres produits livrables, mentionnons un ensemble d'accords régissant la collecte des données des clients et la production de rapports ainsi qu'un processus et une méthode élaborés d'un commun accord pour analyser l'incidence économique des AIE.

Le présent rapport vise à orienter la communauté des AIE et ses partenaires gouvernementaux dans le cadre de la prochaine étape, qui consistera à concevoir une solution nationale en matière de mesure du rendement. Il expose le cadre de mesure du rendement actualisé (la version 2.0 du CMR des AIE) qui jettera les bases de cette solution, documente les progrès accomplis au cours du projet pilote et tient compte des décisions clés et des commentaires sur la conception fournis par les participants au projet pilote et les partenaires du secteur public. Plus précisément, le rapport :

• explique les raisons sous-tendant l'établissement d'un cadre national de mesure du rendement, décrit les commentaires et les mesures prises qui ont orienté l'élaboration de la version 2.0 du CMR des AIE et propose un modèle logique simple qui guide la conception et la mise en œuvre continues du CMR;
• fournit des définitions claires des paramètres de mesure sur lesquels reposera la version 2.0 du CMR, indique la source de ces paramètres (entreprises, AIE, Statistique Canada, etc.) et décrit l'approche utilisée pour la collecte et l'analyse des données et la production de rapports;
• donne un résumé des statistiques globales établies à partir des données du projet pilote.
• détaille, à des fins de référence, toutes les méthodes employées pour la collecte de données, l'analyse (par des chercheurs autorisés et la façon dont ils peuvent évaluer les données), la production de rapports et l'administration du cadre de mesure du rendement, notamment les processus employés pour obtenir le consentement au partage de l'information, protéger la confidentialité des données et produire des statistiques descriptives.

1.1 Raison d'être d'un cadre national de mesure du rendement

Comment détermine-t-on si une organisation d'aide au démarrage a obtenu du succès? Et comment un cadre national devrait-il mesurer ce succès? Les participants au CMR et les partenaires du secteur public ont convenu de manière générale que les mesures essentielles du succès pour les AIE sont liées à la croissance et à la compétitivité des entreprises incubées et accélérées. Si les accélérateurs et les incubateurs réussissent à sélectionner et à promouvoir des idées commerciales prometteuses, les entreprises incubées devraient en moyenne enregistrer un taux de survie plus élevé, prendre plus rapidement de l'expansion, avoir un plus grand nombre d'employés et attirer plus de capitaux qu'une cohorte comparable d'entreprises non incubées.

Les principaux incubateurs et accélérateurs recueillent des données pour documenter ces résultats, car celles-ci sont riches en enseignements. Ils peuvent les utiliser pour perfectionner et améliorer leurs programmes, comparer leur rendement et promouvoir leurs réalisations auprès des clients, des bailleurs de fonds et des intervenants. De façon plus générale, les données sur le rendement peuvent mettre en lumière le rôle important que jouent les AIE dans l'aide apportée aux entreprises de technologie axées sur la croissance — des entreprises qui aideront à créer les emplois et l'innovation nécessaires pour renforcer la prospérité économique du Canada. En fait, tous les acteurs concernés — les AIE, leurs clients actuels, leurs prospects et leurs partenaires financiers au gouvernement et dans le secteur privé — devraient tirer grandement parti de la capacité de documenter cette création de valeur de manière crédible et cohérente.

Au moment de concevoir le cadre de mesure du rendement pour mettre en évidence les avantages économiques créés par les AIE, il est toutefois devenu évident que les divers acteurs, entre autres les nombreux AIE d'un bout à l'autre du Canada, avaient des mandats, une clientèle et des objectifs différents et, par conséquent, accordaient une priorité différente aux résultats et à la mesure de ces résultats. La majorité des AIE participant au projet pilote recueillent déjà des données sur le rendement, mais la plupart mesurent leur rendement à l'aide d'un éventail de paramètres (souvent) incohérents, en obtenant avec divers degrés de succès des données auprès de leurs clients.

Un vaste consensus se fait jour : un cadre national de mesure du rendement pour le Canada offre la meilleure solution. On s'entend de plus en plus pour dire qu'un sous-ensemble commun de paramètres de mesure dont les AIE font le suivi, même s'il n'est pas exhaustif, constitue un point de départ raisonnable pour définir le succès. De plus, les dirigeants des AIE comprennent qu'un cadre national de mesure du rendement pourrait simplifier les exigences en matière de production de rapports et générer toute une panoplie d'avantages clés pour les AIE, leurs clients et l'écosystème des entreprises en démarrage dans son ensemble.

Les avantages comprenaient ce qui suit :

• Améliorer l'analyse de l'incidence économique : Une approche nationale cohérente pour la mesure du rendement permettrait aux AIE de mieux évaluer leur incidence sur le rendement des clients et l'économie en général, et ce, autant à l'échelle locale que nationale. En tant qu'effort mené par l'industrie, un cadre national permettrait aussi de faire en sorte que les paramètres utilisés pour évaluer le rendement mesurent les résultats voulus (c'est-à-dire les résultats qui créent le plus de valeur pour les clients des AIE et les intervenants) et qu'ils soient bien adaptés aux services offerts par les AIE ainsi qu'au contexte dans lequel ces services sont offerts.
• Accroître la transparence : L'amélioration de la collecte des données et de la production de rapports sur l'incidence économique permettrait de mieux informer les entreprises dans leur quête de soutien et de fournir la transparence requise par les bailleurs de fonds publics et privés afin d'affecter les ressources de manière efficace, en plus de permettre aux AIE de comparer leur propre rendement à celui de leurs pairs.
• Favoriser la collaboration : Les AIE pourraient également mettre en évidence les domaines dans lesquels ils ont un avantage comparatif (que ce soit par secteur, par stade de croissance ou par connexion), ce qui pourrait favoriser la collaboration entre les AIE et d'autres participants de l'écosystème, y compris les investisseurs et les fournisseurs de services gouvernementaux.
• Favoriser l'apprentissage et l'amélioration continue : Parallèlement, la production de rapports publics concernant les résultats permettra aux AIE de partager des pratiques exemplaires et de comparer leur rendement à celui d'organisations chefs de file (à l'échelle nationale et internationale), favorisant ainsi l'apprentissage et l'amélioration continue.
• Positionner et promouvoir le Canada en tant que destination pour les activités de démarrage d'entreprises : Un tableau de bord national mettant en évidence les activités et les réalisations des AIE du Canada pourrait contribuer à la présentation d'une histoire percutante au monde entier, ce qui permettrait d'attirer des participants internationaux dans l'écosystème, y compris des fondateurs, des investisseurs et des entreprises partenaires.
• Diminuer le fardeau administratif : Enfin, l'écosystème canadien est complexifié par la multitude de bailleurs de fonds qui le composent ainsi que par la prolifération subséquente de demandes distinctes pour des données distinctes. Le fardeau relatif à la production de rapports pèse lourdement sur les ressources des AIE canadiens. Un cadre national pourrait simplifier et rationaliser la production de rapports sur le rendement pour les AIE, en créant un ensemble cohérent de paramètres de mesure en fonction desquels les rapports devraient être produits et (dans certains cas) une solution unifiée en matière de production de rapports afin de présenter une seule série de résultats annuels à tous les intervenants pertinents.

Compte tenu de ces avantages, il convient de clarifier de quelle façon le CMR sera utilisé pour orienter les décisions en matière de politiques et de financement. Un cadre national de mesure du rendement normalisé a pour objectif de produire des données uniformes et fiables sur l'incidence économique des AIE au bénéfice de ces derniers, des entreprises cherchant à obtenir leur soutien et des gouvernements qui financent les AIE. Les analyses effectuées à partir des données recueillies auprès des clients des AIE au cours du projet pilote – y compris la production de statistiques descriptives et de modèles économétriques à l'aide des ensembles de données couplées par ISDE, Statistique Canada ou des chercheurs autorisés – ne seront pas utilisées pour évaluer le rendement individuel d'AIE. Elles serviront toutefois à étayer des conclusions solides sur le rôle que jouent les programmes d'AIE dans la croissance des entreprises et sur les façons d'appuyer le plus efficacement possible les entreprises innovatrices canadiennes axées sur la croissance. Pour les responsables des politiques en particulier, l'objectif consiste à utiliser le CMR pour évaluer l'efficacité globale des programmes de financement nationaux, cerner les lacunes stratégiques et élaborer des réponses qui stimulent le rendement de l'écosystème de soutien aux entreprises du Canada.

En ce qui concerne les demandes de financement futures pour les AIE individuels, on s'attend à ce que les AIE présentent leurs données sur le rendement conformément au CMR et, au besoin, utilisent le cadre pour faire état de leur rendement en regard du financement reçu pour un programme précis. De cette façon, les AIE et leurs partenaires gouvernementaux peuvent mieux s'aligner sur les exigences en matière de rapports et, à terme, parvenir à un point où ils pourraient saisir des données une seule fois pour divers auditoires et à des fins diverses.

Dans le but d'assurer des décisions équitables et efficaces en matière de financement et de politiques, les AIE devront travailler en étroite collaboration avec les gouvernements et d'autres partenaires financiers pour interpréter les données recueillies au moyen du CMR. Les critères permettant de déterminer ce qui constitue un rendement élevé pour les AIE varieront toujours, entre autres, selon la région (p. ex. densité de population, modèles de financement et proximité de services complémentaires de soutien aux entreprises), le secteur et le niveau de maturité de l'écosystème. Il incombe à tous les intervenants de reconnaître qu'en dépit de l'utilité des comparaisons relatives au rendement entre les écosystèmes, il faut faire preuve de prudence pour s'assurer que les données sont interprétées selon une approche perfectionnée et nuancée qui tient compte du contexte. C'est pourquoi le projet pilote a été conçu pour permettre à un groupe représentatif d'AIE et de responsables des politiques de tester, d'évaluer et de perfectionner progressivement les processus employés pour la collecte et l'analyse des données ainsi que la production de rapports afin de s'assurer que le CMR contribue à une prise de décisions équitable et efficace par tous les intervenants pertinents.

1.2 Conception du cadre de mesure du rendement

L'élaboration d'un cadre de mesure du rendement pour les AIE au Canada s'est déroulée en trois étapes à ce jour, la phase I de l'étape pilote (étape 3) ayant été menée à bien en mars 2019 et la phase II étant prévue pendant le reste de 2019. Les étapes clés sont expliquées en détail ci-après.

• Mobilisation des AIE (automne 2016). À l'automne 2016, ISDE a rencontré des représentants de l'écosystème de soutien à l'entrepreneuriat du Canada dans le cadre de trois tables rondes informelles, afin de discuter de la façon dont le gouvernement, les entrepreneurs, les investisseurs et l'industrie pourraient collaborer à l'établissement d'un cadre national de mesure du rendement destiné aux AIE. Au cours des consultations, les intervenants se sont dit prêts à collaborer à l'échelon national et, plus précisément, à favoriser une discussion nationale sur les pratiques exemplaires de mesure du rendement.
• Dialogue national (février 2017). Avec l'aide d'ISDE, un groupe d'AIE dirigé par l'industrie a franchi l'étape suivante vers l'établissement d'une solution nationale pour assurer la collecte des données et la production de rapports sur le rendement en organisant une discussion d'envergure nationale à Toronto le 10 février. Des représentants de 18 organisations ont passé la journée à discuter des activités, des possibilités et des défis relatifs aux AIE et ont examiné les avantages et les enjeux liés à la création d'un cadre national de mesure du rendement. La séance leur a permis d'acquérir une connaissance de base sur les paramètres que recueillent les AIE à l'heure actuelle ainsi que sur la raison de la collecte, et elle a contribué à leur donner une compréhension commune de la façon dont un cadre national de mesure du rendement pourrait offrir une valeur ajoutée à la communauté des AIE et à ses bailleurs de fonds. Elle leur a aussi permis de comprendre les défis à relever et les obstacles à aplanir pour que la collaboration avec l'industrie soit réussie.
• Comité directeur et étude de faisabilité (d'avril à décembre 2017). En avril 2017, un Comité directeur des AIE composé d'un groupe représentatif de dirigeants d'AIE et de responsables des politiques a été créé afin de poursuivre un dialogue national général et de faire preuve de leadership pour la création d'une solution nationale en matière de mesure du rendement convenant à la fois à la communauté des AIE et à ses partenaires gouvernementaux (voir la liste des membres du Comité directeur et du groupe de travail). Le Comité directeur a pour principal mandat de travailler en collaboration et en partenariat avec le gouvernement du Canada pour établir un cadre de mesure du rendement et mettre à l'essai une plateforme de mesure du rendement pour les AIE. La première étape consistait à lancer une étude de faisabilité. Le Comité directeur a alors établi une liste préliminaire des paramètres de mesure du rendement communs et a sélectionné une plateforme pour la collecte des données et la production de rapports. Une fois la plateforme sélectionnée et les paramètres définis, le Comité directeur a téléchargé dans la plateforme un ensemble de données d'essai dans le but d'évaluer la pertinence de la liste des paramètres pour le projet pilote et de perfectionner les processus de partage et d'analyse des données.
• Projet pilote, phases I et II (de mars 2018 à mars 2020). Le principal résultat du travail du Comité a été une version initiale du Cadre de mesure du rendement (CMR) qui a été mise en œuvre à titre pilote à partir de mars 2018. Pendant cette période, on a sélectionné un fournisseur de services pour la plateforme afin d'héberger le processus pilote, on a perfectionné la version initiale du cadre de mesure et on a invité les AIE de partout au Canada à participer au projet pilote. La participation au projet pilote a été et demeure ouverte aux AIE de tout le pays. On s'est efforcé de s'assurer que l'ensemble des participants reflètent la diversité des modèles de programmes et services offerts par les AIE ainsi que les principaux secteurs économiques et régions du pays. Au cours de 2018, les AIE participants ont rempli leur profil organisationnel et téléchargé les données de référence sur leurs entreprises et les données de 2017 sur les programmes dans la plateforme de partage des données (pour en savoir plus sur la plateforme, voir la partie II et la partie III et pour obtenir un résumé des principaux constats du projet pilote, voir la section 1.3 et la section 1.4 ci-après). La phase II du projet pilote se poursuivra pour une deuxième année, ce qui permettra à un nombre accru d'AIE de partout au Canada de télécharger leurs données sur le rendement à partir de l'année civile 2018.
• Évaluation des phases I et II du projet pilote et production de rapports (de mars 2018 à mars 2020). Depuis janvier 2019, les AIE participants et les partenaires gouvernementaux travaillent ensemble pour évaluer le projet pilote et dégager des enseignements et des points de vue utiles pour la gestion d'un processus national de mesure du rendement auquel participera un groupe élargi d'AIE. Pour les besoins de l'évaluation, on a consulté les AIE afin de déterminer la meilleure façon d'administrer et de gérer le cadre de mesure du rendement et l'approche de production de rapports sur une base continue. On trouvera un résumé des résultats de la phase I du projet pilote et de l'évaluation à la section 1.5 du présent rapport d'étape. Parallèlement, ISDE produira un rapport supplémentaire dans lequel il analysera les données recueillies auprès des AIE participants. La section 1.4 du présent rapport présente en détail et, dans la mesure du possible, montre, exemples à l'appui, les types d'analyses descriptives et économétriques qu'il est possible d'effectuer en utilisant les données et d'autres ensembles de données couplées provenant de Statistique Canada et d'autres partenaires fédéraux. L'évaluation de la phase II et la production de rapports débuteront en janvier 2020, une fois que toutes les données de 2018-2019 auront été recueillies auprès des AIE participants.
• Déploiement à l'échelle nationale (à partir d'avril 2020). À l'issue du projet pilote et de l'évaluation, les partenaires du projet feront fond sur son succès pour procéder au déploiement intégral du CMR à l'échelle nationale. Plusieurs activités clés figureront à l'ordre du jour, notamment inciter davantage les programmes gouvernementaux à tous les paliers du gouvernement à adopter les paramètres de mesure définis dans le CMR pour évaluer les programmes des AIE et apporter en continu les ajustements requis. 

1.3 Principaux résultats de la phase I du projet pilote de CMR des AIE

La phase I du projet pilote menée entre mars 2018 et mars 2019 a donné à la communauté des AIE et aux partenaires gouvernementaux la possibilité de mettre à l'essai une solution commune en matière de rendement en téléchargeant dans une plateforme de collecte de données commune un ensemble initial de données. L'objectif de cet exercice consistait à évaluer la pertinence de cette liste de paramètres pour une solution nationale en matière de mesure du rendement    entre autres la clarté des questions, le nombre de questions et les domaines d'analyse    et de peaufiner les approches de collecte, de partage et d'analyse des données.

En cours de route, ISDE et le groupe participant ont examiné le but et les objectifs plus vastes d'un cadre national de mesure du rendement et résolu une variété de problèmes techniques et opérationnels qui s'étaient posés au cours du projet pilote. On trouvera ci-après un aperçu des principaux résultats de la phase I du projet pilote.

Définition d'un cadre de mesure. L'une des premières tâches du Comité directeur consistait à définir un ensemble commun de paramètres de mesure du rendement et des instruments de sondage complémentaires pour la collecte des données. La version actualisée du cadre de mesure est présentée à la section 2.2 (paramètres de mesure du rendement) et à l'annexe A et l'annexe B (questionnaires utilisés pour la collecte des données). Il a été convenu que les paramètres de mesure du rendement pour la phase I du projet pilote mettraient l'accent sur un ensemble clé d'indicateurs financiers liés au chiffre d'affaires annuel, à l'emploi, aux capitaux mobilisés et au portefeuille de propriété intellectuelle des entreprises clientes. L'une des principales difficultés consistait à établir des définitions communes pour ces indicateurs. Bien que les AIE effectuent généralement le suivi des mêmes résultats (p. ex. revenus des clients, emploi et investissement), ils utilisent des méthodes différentes et des indicateurs différents. L'élaboration de définitions acceptables pour chaque paramètre a nécessité beaucoup de temps et d'efforts. Par exemple, il a fallu établir comment définir un emploi et le nombre d'heures qui constitue un emploi à temps plein et comment analyser divers types de capitaux d'investissement; et décider s'il fallait suivre les indicateurs selon l'année civile ou l'exercice financier. Au nombre des autres défis, mentionnons la définition d'une approche pour la collecte d'information démographique sur le fondateur et l'établissement d'une liste commune d'industries ou de secteurs afin de s'assurer que les programmes des AIE et les entreprises clientes puissent être classées de la même façon. Ces efforts ont a permis de s'assurer que les AIE participant au projet pilote suivent les mêmes indicateurs en utilisant les mêmes définitions et les mêmes méthodes au cours de la même période. Toutefois, l'expérience pilote a souligné la nécessité d'améliorer davantage le cadre pour simplifier le questionnaire et clarifier et modifier la définition de certains paramètres de mesure.

Sélection et mise en œuvre d'une plateforme de partage des données. En ce qui concerne la collecte et le stockage des données, il a été déterminé que les données pilotes seraient regroupées dans une plateforme centrale sécurisée qui complète les plateformes ou les processus en place utilisés par les AIE arrivés à maturité. Pour les AIE, la solution de plateforme de données devait être économique, sécurisée, pratique et utile. Pour les AIE ayant des solutions en matière de gestion des relations-clients (GRC) et des systèmes de gestion des données, il était important également que la participation au projet pilote ne les oblige pas à passer à une nouvelle plateforme. Pour les partenaires du gouvernement fédéral, la plateforme devait fournir un environnement sécurisé et de confiance pour héberger et consulter les données sur des serveurs situés au Canada, ainsi qu'une fonction d'exportation des données sécurisée pour permettre aux analystes autorisés d'avoir un accès pratique aux données. Compte tenu de ces critères, ISDE et le Comité des AIE ont examiné plusieurs plateformes de données disponibles. Pour différentes raisons expliquées plus en détail à la partie III, ils ont choisi la plateforme de partage des données Hockeystick pour le projet pilote. Par la suite, Hockeystick s'est attaché à personnaliser sa plateforme et son interface aux fins de collecte, de regroupement et d'exportation des données des clients de concert avec le groupe d'AIE participant au projet pilote.

Conception d'une approche pour la collecte et l'analyse des données. Après avoir défini les paramètres de mesure et sélectionné une plateforme, le Comité directeur des AIE et ses partenaires gouvernementaux ont commencé à élaborer le processus de collecte des données et à déterminer la méthode d'analyse des données recueillies au cours du projet pilote. La partie II décrit en détail le processus de collecte des données. Il a toutefois été établi que les données seraient recueillies auprès des entreprises clientes des AIE sur deux cycles complets d'établissement de rapports couvrant les années 2017 (première année du projet pilote) et 2018 (deuxième année du projet pilote). En ce qui concerne l'analyse des données, les membres du Comité directeur se sont entendus sur trois points essentiels. Premièrement, l'analyse des données a pour but de tirer des conclusions solides sur l'incidence économique des AIE pour le bénéfice de ceux-ci, des entreprises cherchant à obtenir leur soutien et des organismes gouvernementaux qui financent les AIE. Deuxièmement, afin de permettre une analyse longitudinale, des protocoles rigoureux visant à protéger la confidentialité des clients seront suivis pour coupler les données recueillies à celles de Statistique Canada et à d'autres sources au sein du gouvernement du Canada en utilisant le nom des clients et leur numéro d'entreprise. Troisièmement, l'analyse des données devrait être faite par une partie fiable et engagée, qui est en mesure d'interpréter les données de façon uniforme. Pour les besoins du projet pilote, il a été convenu qu'ISDE gérerait le processus d'analyse de données et de production de rapports et travaillerait en partenariat avec des chercheurs autorisés de Statistique Canada.

Recrutement des participants et préparation en vue du projet pilote. Une fois la plateforme sélectionnée et les paramètres de mesure définis, le Comité directeur des AIE et ses partenaires gouvernementaux ont invité les AIE de partout au Canada à participer à un forum d'une journée à Toronto en février 2018 dans le but de renseigner les dirigeants d'AIE sur le projet pilote et de recueillir leurs commentaires afin d'apporter les derniers ajustements au cadre de mesure et aux processus de collecte et d'analyse des données sur le rendement. Au nombre des principales difficultés rencontrées au cours de la réunion, mentionnons la légère modification de la définition des paramètres de mesure et des instruments de sondage à la lumière de la rétroaction des participants; la collaboration avec Hockeystick pour s'assurer que la plateforme répondra aux besoins des participants; l'examen de la façon précise dont les données des clients seront partagées et avec qui; la détermination de la façon d'obtenir le consentement du client et du moment opportun pour ce faire afin de regrouper les données à l'aide de Hockeystick et de les partager avec le gouvernement fédéral à des fins de recherche; et la communication de la raison d'être et des objectifs du projet pilote à l'ensemble des AIE tout en obtenant le concours d'un plus grand groupe d'organisations. Au terme de cette réunion fructueuse, les AIE se sont montrés très enthousiastes à l'idée de participer à la phase I du projet pilote.

Collecte et téléchargement des données sur le rendement de 2017. Après la réunion tenue en février 2018, trente AIE ont officiellement accepté de participer au projet pilote. Ces organisations se sont d'abord familiarisées avec la plateforme (Hockeystick) et ont été invitées à remplir leur profil d'AIE, qui comprend de l'information sur les programmes pour lesquels elles fourniront ensuite des données sur les clients. Seule une partie des AIE ayant accepté de participer au projet pilote    environ les deux tiers    ont été en mesure de fournir les données sur leurs clients pour l'année civile 2017, et ce, principalement pour deux raisons : a) ils avaient raté l'occasion de recueillir les données de 2017 dans le cadre de leurs processus de collecte annuels; et b) ils n'avaient pas obtenu les consentements requis pour partager les données recueillies auparavant. Plus particulièrement, soucieux de réduire le fardeau pour le répondant, ISDE et les partenaires du projet n'ont pas demandé aux organisations de revenir en arrière et de recueillir de nouvelles données pour 2017 ou d'obtenir le consentement en vue du partage des données qui avaient déjà été recueillies auprès des entreprises. Les AIE participants ont plutôt été invités à réaliser à l'avenir un sondage sur le CMR, à compter de la prochaine année civile. Pendant le reste de 2018, les coprésidents du Comité directeur ont fourni une aide et un soutien directs aux AIE afin de les encourager à réaliser le sondage et à régler les problèmes de mise en œuvre. La date limite finale pour transmettre les données de 2017 était fixée au jeudi 15 novembre.

Analyse des données sur le rendement. En juillet 2018, des représentants de Statistique Canada et d'ISDE et un groupe de travail d'AIE participant au projet pilote se sont réunis. Cette réunion a permis aux AIE de mieux comprendre l'importance de la confidentialité des données à Statistique Canada, la méthode employée par l'organisme pour analyser les microdonnées confidentielles (ainsi que pour approuver les projets de recherche externes utilisant les données) et les mesures prises pour assurer la confidentialité des données recueillies sur les entreprises canadiennes. D'après leurs commentaires, les AIE font désormais davantage confiance au ministère quand ils fournissent les données de leurs clients au projet pilote et ils sont mieux outillés pour rassurer leurs entreprises clientes quant à la protection de la confidentialité de leurs données (voir l'analyse à la section 2.3). En novembre 2018, 20 AIE avaient fourni des données pour la première année du projet pilote, ce qui a donné lieu à 699 dossiers au niveau des entreprises, qui comprenaient des identificateurs d'entreprise que Statistique Canada pourrait utiliser pour coupler ces données avec ses ensembles de données administratives. Les données qui ne renfermaient pas l'information d'identification requise pour être couplées avec les ensembles de données dans l'environnement sécurisé du ministère ont été systématiquement détruites. Les microdonnées ont par la suite été communiquées directement à Statistique Canada aux fins d'analyse par des chercheurs autorisés. Les conclusions préliminaires de cette analyse ont été présentées au mini-sommet sur le CMR des AIE tenu le 20 février 2019 à Waterloo. On en trouvera les points saillants à la section 1.4 ci-après.

Collecte des commentaires sur la phase I du projet pilote. Pendant la phase I du projet pilote, ISDE a recueilli les commentaires des participants au projet pilote et d'autres partenaires fédéraux. Ces commentaires ont été pris en compte dans la version 2.0 du CMR des AIE. Le mini-sommet tenu le 20 février 2019 à Waterloo a également permis aux AIE participants de donner leur rétroaction sur l'expérience pilote, entre autres l'instrument de sondage, le processus de collecte et d'analyse des données sur le rendement, le soutien à la mise en œuvre fourni par ISDE et Hockeystick et l'orientation future possible du cadre de mesure du rendement. Enfin, Chris Diaper de TEC Edmonton a administré un court sondage afin d'obtenir les commentaires d'AIE ayant participé à la phase I du projet pilote. Un résumé de ces commentaires obtenus auprès de diverses sources est présenté à la section 1.5 ci-dessous.

Perfectionnement du cadre de mesure. La dernière étape de la phase I du projet pilote consistait à apporter des changements au cadre de mesure et au processus de collecte des données afin de donner suite aux problèmes observés au cours du projet pilote ou soulevés par les AIE pendant la séance de rétroaction subséquente. La plupart des changements pris en compte dans la version 2.0 du CMR ont été mis en œuvre en vue de simplifier le questionnaire de sondage, de réduire le fardeau de la collecte de données pour les AIE et les entreprises clientes et, dans certains cas, de clarifier les questions qui avaient été source de confusion ou d'ambiguïté. Ces changements sont pris en compte dans le présent document et seront mis en œuvre dans le cadre de la phase II du projet pilote.