Évaluation de la Politique sur le titre de propriété intellectuelle découlant des marchés d'acquisition de l'État

2.0 Méthodologie et approche

La présente section décrit les objectifs de l'évaluation, l'approche générale, les questions examinées, les méthodes de collecte de données utilisées et les limites de la méthodologie.

2.1 Objectif

L'évaluation avait pour objectif de déterminer dans quelle mesure l'intention de la Politique était respectée, et de cerner les facteurs ayant influé sur la mise en œuvre et la gestion de la Politique, ainsi que les impacts, intentionnels et non intentionnels, sur les entrepreneurs et l'État³.

2.2 Approche

La Direction générale de la vérification et de l'évaluation a confié à la firme TDV Global le mandat de réaliser l'évaluation. Le comité consultatif de l'évaluation, composé de représentants d'IC et des principaux intervenants, a fourni de l'aide et des conseils durant l'évaluation. L'appendice fournit la liste des membres du comité.

2.3 Questions d'évaluation

L'appendice B contient le cadre d'évaluation ainsi que les indicateurs, les sources de données et la méthodologie ayant servi pour chaque question d'évaluation. Les évaluateurs se sont penchés sur les questions suivantes :

Pertinence

• La Politique est-elle conforme aux principes et à l'approche du gouvernement concernant les droits de propriété intellectuelle découlant des marchés d'acquisition de l'État?
• La Politique offre-t-elle un moyen efficace pour atteindre l'objectif?

Rendement (efficacité)

• La Politique est-elle mise en œuvre conformément au but recherché (selon la section sur les principes sous-jacents du Guide de mise en œuvre?)
• Comment les ministères évalués ont-ils mis en œuvre la Politique, et comment pourraient-ils améliorer cette mise en œuvre?
• Quels sont les résultats de la Politique?

Rendement (efficience)

• Le coût d'administration de la Politique est-il proportionné aux avantages qu'elle procure?

2.4 Méthodes de collecte de données

L'évaluation a été menée conformément à la Politique sur l'évaluation et en s'appuyant sur de multiples sources de données : étude de documents, un examen de la base de données, entrevues, analyse de l'environnement, sondage, études de cas.

2.4.1 Étude des documents

On a examiné un grand nombre de documents importants, notamment des documents d'orientation, des présentations au Conseil du Trésor, des guides de mise en œuvre, des discours du Trône, des circulaires du SCT sur la Politique, des documents ministériels liés à la Politique, le plan du programme d'apprentissage en ligne prévu, des rapports du Bureau du vérificateur général, le Plan d'action d'IC et du SCT, le rapport d'évaluation de base, l'examen des contrats générant de la PI par IC, le rapport du Comité permanent des comptes publics et la réponse du gouvernement. On a préparé un résumé des constatations de chaque document. On a également examiné les principaux sites intranet et sites Web. La liste complète des documents est fournie à l'appendice C.

2.4.2    Examen de la base de données

On a procédé à un examen des données provenant du système de rapports sur les achats gouvernementaux (SRAG) pour obtenir les statistiques clés aux fins de l'évaluation. La principale source de données a été le rapport annuel sur la PI basé sur les données du SRAG. On a également utilisé des données de ce système pour répertorier les contrats examinés de manière plus approfondie dans les études de cas.

2.4.3 Entrevues

On a mené des entrevues avec des représentants ayant des responsabilités à l'égard de la Politique, des agents d'approvisionnement et des autorités contractuelles, ainsi que des intervenants de l'extérieur du gouvernement (notamment des associations industrielles, des entrepreneurs et des universités). Une liste des personnes interrogées est présentée plus loin (la liste complète est fournie à l'appendice D). L'information recueillie durant ces entrevues a également fourni des renseignements utiles pour les études de cas et l'analyse de l'environnement.

Pièce 4 : Entrevues par groupe

Groupes	Nombre	Personnes interrogées
* Ces personnes ont également participé aux études de cas ou à l'analyse de l'environnement.
Spécialistes des politiques	3	SCT
	2	Personnel des politiques d'IC
	1	Travaux publics et Services gouvernementaux Canada (TPSGC)
	1	Justice Canada, section de la PI
Autres ministères	1	Gestionnaire de projet*
	5	Spécialistes de la passation des marchés*
	2	Spécialistes ministériels de la PI*
	1	Membre des Partenaires fédéraux en transfert de technologie
Entrepreneurs ou leurs représentants	2	Associations commerciales/industrielles
	4	Représentants d'universités qui sont des fournisseurs du gouvernement fédéral
	10	Entrepreneurs*
Autres	2	Fonctionnaires provinciaux*
	1	Universitaires qui étudient la PI découlant des marchés d'acquisition de l'État
	1	Représentant de l'Office de la propriété intellectuelle du Canada*
Total	44

On a remis un guide d'entrevue aux personnes interrogées avant l'entrevue. Ces guides sont inclus à l'appendice E. Les entrevues se sont déroulées dans la langue officielle choisie par la personne interrogée, et on a conservé un compte rendu de chaque entrevue.

2.4.4 Analyse de l'environnement

Les évaluateurs ont étudié le traitement de la PI découlant des marchés publics aux États-Unis, au Royaume-Uni et en Australie, ainsi que dans les provinces suivantes : Colombie-Britannique, Alberta, Ontario et Québec. On a utilisé l'analyse de l'environnement pour comparer les approches du gouvernement du Canada et celles des pays ou des administrations comparables. Les résultats de l'analyse de l'environnement figurent à l'appendice F.

2.4.5 Sondage

On a envoyé un court sondage électronique aux agents de passation des marchés des ministères, aux chargés de projet et aux spécialistes de la PI. L'objectif était de réunir de l'information sur l'efficacité perçue de la Politique, ses outils, le processus permettant de détecter la PI dans les marchés, ainsi que leur niveau de connaissance à propos de la Politique proprement dite.

Le sondage a été réalisé en septembre 2010 à l'aide d'un outil en ligne. Au total, 441 des 1 525 personnes ayant reçu le sondage y ont répondu, ce qui représente un taux de réponse global de 29 %. Le sondage a été mené sous le couvert de l'anonymat afin d'encourager la participation. Le profil des répondants montre une participation très large de nombreux ministères. Le groupe de plus important est celui des agents d'approvisionnement et des employés qui gèrent les unités d'approvisionnement. Les résultats ont été analysés et intégrés dans les conclusions. Aucune réponse n'était attribuée directement à des personnes ou à des ministères. L'appendice G comprend un résumé des constatations du sondage.

2.4.6 Études de cas

On a utilisé deux types d'études de cas :

• Études de cas ministérielles (quatre), notamment l'examen général de 95 contrats
• Études de cas contractuelles (sept contrats).

Quatre ministères ont été choisis en vue d'un examen de leur mise en œuvre de la Politique. Les choix ont été effectués de façon à réunir des ministères à vocation scientifique (marchés de recherche et développement) et des ministères à vocation non scientifique.

Le tableau suivant indique les caractéristiques des ministères choisis d'après les données du SRAG de 2008, les plus récentes disponibles au moment de la sélection :

Pièce 5 : Ministères sélectionnés pour les études de cas

Ministère	Nombre de marchés >25 k$	Nombre d'exceptions invoquées par l'État pour conserver la PI en 2008	Justification
Environnement Canada	477	145	Deuxième plus important utilisateur d'exceptions en 2008; plus important utilisateur de l'exception 6.4.1 (Obtenir des connaissances et des renseignements qui seront diffusés au public)
Ressources humaines et Développement des compétences Canada	390	95	Volume relativement élevé d'exceptions invoquées
Industrie Canada	222	18	Grand ministère doté de personnel qui s'occupe de la Politique Données ministérielles facilement accessibles
Transport Canada	393	80	Volume relativement élevé d'exceptions invoquées
Total	1 482	338

Les ministères choisis ont contribué à hauteur de 18 % au nombre total d'exceptions invoquées par l'État relativement à la PI en 2008.

Dans le cadre des études de cas ministérielles, on a examiné comment les ministères choisis avaient mis en œuvre la Politique (p. ex., la formation et les politiques internes qu'ils avaient créées et mises en place). On a interrogé le responsable de l'approvisionnement de chaque ministère, et on a consulté des documents, notamment les outils didactiques, les politiques et les procédures. On a examiné un échantillon stratifié de 20 à 30 contrats dans chaque ministère pour savoir comment la PI avait été recensée, et pour déterminer si les exceptions avaient été utilisées adéquatement. Cette analyse était basée sur un examen de haut niveau des activités effectuées à contrat. On a également interrogé les autorités contractantes.

Sur les 95 contrats examinés dans le cadre des études de cas ministérielles, on a choisi au hasard sept contrats en vue d'un examen plus approfondi visant à déterminer comment les décisions sur la PI avaient été prises et consignées. Pour chacun de ces sept contrats, on a interrogé l'autorité contractante et l'entrepreneur, en plus d'examiner le dossier contractuel.

Les résultats des études de cas ministérielles et des études de cas contractuelles sont fournis à l'appendice H.

2.5 Qualité des données et limites de la méthodologie

La présente évaluation ne se concentrait pas sur la commercialisation de la PI résultant de la Politique, mais plutôt sur l'application et la mise en œuvre de la Politique dans les ministères. Lors des entrevues et à la lecture des documents, on a constaté qu'il y avait peu des données disponibles permettant d'attribuer directement les avantages économiques à la Politique. La commercialisation de la PI découlant des marchés d'acquisition de l'État ne fait pas l'objet d'un suivi systématique.

L'évaluation a également été affectée par les limites suivantes pour chaque élément de preuve :

• Étude des documents : Les renseignements financiers qui n'étaient pas disponibles pour l'évaluation comprenaient les coûts de la modification du SRAG afin d'y inclure des données sur les décisions relatives au titre de PI et les coûts de développement d'une application d'apprentissage en ligne (toujours à l'étape de l'essai). Puisque ces coûts sont considérés comme relativement modestes, l'absence d'information à leur sujet n'a pas eu de répercussions importantes sur l'évaluation.

• Examen de la base de données : À l'origine, le SRAG ne contenait pas d'indicateur sur la possibilité de création d'une PI dans le cadre du marché. Les marchés qui n'étaient pas censés générer de la PI étaient inclus dans la catégorie « Autre ». En réponse au rapport d'évaluation de base, on a modifié le système pour corriger cette lacune. Depuis 2008, le système contient un code additionnel indiquant que le marché doit générer de la PI. Les données de 2002–2007 ne pouvaient donc pas être comparées directement à celles de 2008–2009, ce qui a limité la capacité de déterminer les tendances.

  En outre, il faut préciser que les données du SRAG correspondent aux attentes à la date d'émission du marché. Elles ne contiennent pas d'information sur la création réelle de PI. En conséquence, il y a probablement une lacune entre les données déclarées et les résultats réels.

• Analyse de l'environnement : L'analyse de l'environnement a été réalisée à partir d'un examen de la littérature et de recherches sur Internet. Il a été impossible de valider l'information en discutant avec les représentants des administrations étudiées. Cette limite a été atténuée par la consultation de documents officiels, dans la mesure du possible. En conséquence, l'analyse de l'environnement doit être vue comme une indication de la situation canadienne par rapport aux pays comparables, et non comme un examen scientifique complet de la situation globale.
• Sondage : Le sondage en ligne a probablement été affecté par un biais de sélection. Les participants devaient choisir de répondre. On peut raisonnablement présumer que les personnes qui ne connaissaient pas la Politique étaient moins enclines à répondre au sondage. Pour réduire le biais de sélection et inclure une représentation plus large du milieu de l'approvisionnement, l'invitation par courriel précisait qu'aucune connaissance de la Politique n'était requise pour répondre au sondage.

  Si l'anonymat du sondage a probablement contribué à augmenter le taux de réponse et à obtenir des réponses franches, il suppose également qu'il a été impossible de faire un suivi auprès des répondants pour approfondir leurs réponses. En particulier, un faible pourcentage de répondants ont dit que leur ministère avait voulu conserver la PI dans certains cas, mais que la Politique ne prévoyait aucune exception correspondante. Pour évaluer la pertinence et l'exhaustivité des exceptions, il aurait été utile d'approfondir ces cas.

• Études de cas : Habituellement, les contrats contenaient soit une clause relative à la PI, soit aucune clause à ce sujet. Cependant, on n'a trouvé aucune note explicative dans les dossiers contractuels expliquant ou justifiant la décision d'invoquer l'exception. En raison de cette lacune, il a été impossible d'explorer la validité de l'utilisation des exceptions.

  Au départ, on voulait examiner une dizaine de contrats de manière approfondie, soit trois ou quatre par ministère. Malheureusement, comme le SRAG ne fait pas le suivi des numéros de contrats, les évaluateurs ont subi des contretemps pour obtenir les numéros de contrats, sans numéro de référence, pour trois des quatre ministères. Dans un ministère, ces problèmes ont empêché l'examen des contrats. Donc, seulement sept contrats ont été examinés de manière approfondie.

  Les études de cas ne se penchaient pas sur les pratiques du Service correctionnel du Canada, ni du Ministère des Affaires indiennes et du Nord du Canada. Selon les données centralisées de 2009, ces deux ministères ont invoqué des exceptions relatives au titre de PI dans un pourcentage élevé de leurs marchés ayant généré de la PI. Ils représentaient en outre une part importante du nombre total d'exceptions au sein du gouvernement du Canada.

---

³ TB 2000 Policy on Title to IP Arising Under Crown Procurement Contracts, Evaluation Framework – Final Report [Rapport définitif sur le cadre d'évaluation de la Politique], Performance Management Network, mars 2001. (Retour au renvoi 3)