Évaluation de l’initiative du CNRC dans le cadre de la Feuille de route pour les langues officielles du Canada 2013-2018

Pertinence

Voici les constatations de l’évaluation sur la pertinence de l’initiative :

1. La technologie de traduction automatique statistique (TAS) répond à une demande dans la fonction publique canadienne et dans certains domaines industriels en dehors du secteur traditionnel de la traduction. En revanche, au sein de l’industrie canadienne de la traduction, la technologie TAS ne semble pas susciter beaucoup d’intérêt.
2. Les engagements du CNRC dans le cadre de la Feuille de route sont conformes aux résultats stratégiques recherchés ainsi qu’aux priorités fédérales. L’initiative du CNRC est aussi dans une large mesure harmonisée avec les résultats ultimement visés par la Feuille de route. Toutefois, l’alignement des activités du CNRC et les résultats qu’on espère en tirer, et les objectifs du « pilier de l’ éducation », soit le volet où ils ont été placés dans l’architecture des résultats de la Feuille de route, pourraient être plus clairement décrit.
3. Le rôle que joue le CNRC dans la recherche et développement sur les technologies de traitement du langage naturel est approprié, étant donné qu’il est conforme à son mandat et que les gouvernements de pays pairs du Canada effectuent des investissements similaires. Le portefeuille TIC du CNRC possède une masse critique d’experts dans le traitement du langage naturel et ceux-ci bénéficient d’une reconnaissance mondiale; par conséquent, le rôle joué par le CNRC dans la prestation de cette initiative pourrait conduire à l’obtention de résultats déterminants.
4. Le CNRC joue un rôle crucial dans le maintien des capacités intérieures du Canada en matière de traitement du langage naturel. Sans le CNRC, il n’y aurait aucune autre organisation, publique ou privée, au Canada disposée à jouer ce rôle ou capable de le faire.

Rendement

Le rendement a été évalué dans le contexte suivant :

• la contribution de l’équipe de recherche au développement de technologies de pointe en traitement du langage naturel;
• les retombées des activités sur l’industrie langagière canadienne et d’autres secteurs d’activité canadiens;
• l’efficience.

Voici les constatations de l’évaluation sur le rendement de l’initiative :

1. Malgré leur excellence, les activités de recherche et développement n’ont pas donné lieu à une adoption importante des technologies dans le secteur privé. Actuellement, c’est dans le secteur public que  la capacité d’absorption des technologies développées a été le plus notée..
2. Le logiciel de traduction automatique statistique (TAS) développé par le CNRC dans le cadre de cette initiative a eu des retombées importantes dans le secteur public.
3. Les technologies langagières du CNRC développées grâce au financement obtenu dans le cadre de la Feuille de route ont de larges applications qui vont au-delà du champ d’action de la seule industrie langagière canadienne.
4. Le CNRC utilise actuellement ses ressources de manière efficiente afin de tenir les engagements pris dans le cadre de la Feuille de route.

Recommandation

L’évaluation a conduit à une seule recommandation :

1.1 Aperçu de l’évaluation

La présente évaluation a été menée par une équipe indépendante du Bureau de la vérification et de l’évaluation (BVE) du CNRC. Elle couvre la période de trois ans allant de 2013-2014 à 2015-2016 et elle a permis de collecter de l’information sur la pertinence de l’initiative du CNRC dans le cadre de la Feuille de route et sur son rendement (efficacité et efficience). Vu la taille relativement restreinte de l’initiative du CNRC et étant donné que le CNRC a effectué une évaluation complète de cette initiative au début de 2012, le BVE a procédé à une évaluation calibrée. Celle-ci a été rationalisée : la portée a été réduite et on a eu recours à un nombre restreint de méthodes comparativement à une évaluation traditionnelle. Les évaluations calibrées permettent d’utiliser plus efficacement les ressources consacrées aux évaluations tout en maintenant la crédibilité et l’utilité des résultats obtenus. Il convient aussi de signaler qu’une évaluation de l’ensemble des activités du portefeuille TIC est prévue en 2017-2018.

Les questions d’évaluation, citées au début de chaque section, ont été rédigées dans le sillage de consultations auprès de la direction du portefeuille et d’un examen des documents clés à l’étape de la planification. La conception de l’évaluation répond aux besoins de la haute direction du CNRC ainsi qu’aux exigences de la Politique sur l’évaluation de 2009 du Conseil du Trésor. L’évaluation porte aussi sur certains enjeux communs à tous les partenaires de la Feuille de route, conformément aux exigences énoncées dans le Cadre de coordination horizontale de la Feuille de route 2013-2018.

Voici les méthodes précises utilisées dans le cadre de l’étude :

• examen des documents internes et externes;
• examen des données administratives et des données de rendement;
• entretiens semi-structurés :
  • 5 entretiens avec des personnes de l’interne,
  • 10 entretiens avec des personnes de l’extérieur (notamment, des clients et des experts de l’industrie langagière).

On trouvera à l’annexe A : Méthodologie une description plus détaillée de la conception de l’évaluation faisant état des questions d’évaluation, des méthodes utilisées, et des limites et difficultés liées à l’évaluation.

2.1 La Feuille de route pour les langues officielles du Canada

La Feuille de route pour les langues officielles du Canada 2013-2018 est la stratégie du gouvernement du Canada en matière de langues officielles pour la période comprise entre le 1er avril 2013 et le 31 mars 2018. Elle est le prolongement de la Feuille de route pour la dualité linguistique canadienne 2008-2013, et réaffirme l’engagement du gouvernement du Canada de promouvoir les langues officielles et de favoriser la vitalité des minorités linguistiques. La Feuille de route comprend 28 initiatives qui sont mises en œuvre par 14 organisations fédérales. De manière générale, la Feuille de route vise à atteindre le résultat stratégique suivant : « Les Canadiens vivent et s’épanouissent dans les deux langues officielles et reconnaissent l’importance du français et de l’anglais pour l’identité nationale, le développement et la prospérité du Canada ».

Les initiatives de la Feuille de route et les résultats escomptés connexes sont regroupés sous trois grands piliers : éducation, immigration et communautés. L’engagement du CNRC relève du pilier de l’éducation.

2.2 Initiative du CNRC dans le cadre de la Feuille de route

L’initiative du CNRC dans le cadre de la Feuille de route a pour objet de contribuer à la croissance et à la compétitivité de l’industrie langagière canadienne et d’autres secteurs d’activité au Canada grâce à la recherche et développement (R-D). Pour y arriver, le CNRC mène des activités de R-D visant à faire progresser, à la fine pointe du progrès, les systèmes de traitement du langage naturel. Les activités de recherche de base du CNRC en ce domaine tournent surtout autour du développement des connaissances suivantes :

• la traduction automatique statistique (TAS), soit les techniques qui permettent aux ordinateurs d’apprendre comment traduire de manière automatique un texte d’une langue humaine à une autre à partir d’un corpus existant de documents bilingues.
• l’analyse de texte, soit les techniques qui permettent aux ordinateurs d’extraire et de synthétiser l’information utile qui se trouve au sein de collections énormes de sources textuelles.

Les activités du CNRC liées à l’initiative de la Feuille de route sont menées par deux équipes appartenant à la Direction des technologies de l’information du portefeuille TIC : l’équipe du Traitement de textes multilingues (TTM) et l’équipe d’Analyse de texte.

2.3 Ressources financières

La Feuille de route elle-même représente un engagement de 1,15 milliard de dollars sur cinq ans (de 2013 à 2018) du gouvernement fédéral. Depuis 2013, toutes les initiatives fédérales lancées dans le cadre de la Feuille de route bénéficient de services votés. Comme ce fut le cas pour les plans d’action quinquennaux précédents, le CNRC a reçu 10 millions de dollars sur cinq ans au titre de sa participation à la Feuille de route.

3.1 Nécessité du programme

Pour mieux évaluer si l’initiative du CNRC dans le cadre de la Feuille de route répond à un besoin définissable de l’industrie, les évaluateurs ont étudié la demande au sein de l’industrie langagière canadienne (section 3.1.1), la demande dans d’autres secteurs d’activité (section 3.1.2) et dans quelle mesure il aurait été possible de répondre aux besoins en l’absence de l’initiative du CNRC dans le cadre de la Feuille de route (section 3.1.3).

3.1.1 Demande au sein de l’industrie langagière canadienne

La Feuille de route pour les langues officielles du Canada 2013-2018 désigne nommément l’industrie langagière canadienne comme cible principale des activités de R-D du CNRC bénéficiant d’un appui en vertu de la Feuille de route. Selon les témoignages entendus au cours des entretiens avec des acteurs internes et externes, « l’industrie langagière » est difficile à circonscrire et dans les faits, elle correspond plus ou moins au secteur de la traduction.

Si l’on se fie aux entretiens avec les experts et à l’examen des documents, les technologies langagières du CNRC financées grâce à la Feuille de route pourraient accroître la productivité et la compétitivité de l’industrie canadienne de la traduction. Ces technologies offrent aussi aux entreprises canadiennes la base nécessaire pour profiter de débouchés en émergence sur le marché de la traduction ^{Note de bas de page 2}. Pour demeurer concurrentielles, les entreprises canadiennes spécialisées en traduction cherchent actuellement à adopter de nouvelles technologies qui accroîtraient leur productivité tout en préservant la qualité de la traduction, car l’industrie est confrontée à une demande sans cesse croissante. En produisant et en transférant des technologies à la fine pointe aux entreprises de technologies langagières canadiennes et aux entreprises privées de traduction, le CNRC pourrait accroître leur capacité d’innovation et leur capacité concurrentielle à l’échelle nationale et internationale.

Comme on en discutera dans la section sur le rendement, le CNRC a réussi à vendre des licences d’utilisation du système Portage à quelques organisations canadiennes de traduction dont le Bureau de la traduction (secteur public), et à son partenaire dans la revente, Terminotix. Une poignée de sociétés canadiennes de traduction ont acquis des licences d’utilisation de Portage par l’entremise de Terminotix. Toutefois, les débouchés les plus prometteurs pour les technologies langagières du CNRC se trouvent dans des secteurs autres que celui de la traduction.

Malgré les capacités très restreintes d’absorption de la technologie par l’industrie canadienne de la traduction, il semble que les travaux du CNRC dans le domaine des technologies langagières répondent aux besoins actuels et s’inscrivent dans la tendance pour les années à venir. Les cinq représentants de clients interrogés dans le cadre de l’évaluation ont souligné que le travail du CNRC correspond aux besoins et aux priorités de leur organisation et tous ont indiqué qu’il y avait une forte probabilité qu’ils travaillent de nouveau avec le CNRC dans l’avenir.

3.1.2 Demande issue d’autres secteurs d’activité

Malgré l’accent traditionnel mis sur l’industrie langagière par l’initiative du CNRC dans le cadre de la Feuille de route, les projets actuellement envisagés proviennent surtout du secteur de la sécurité, de la défense et du renseignement. Ce fait a été corroboré au cours des entretiens menés avec des parties internes et externes ainsi que par des données et des documents internes. Les organisations actives dans les domaines susmentionnés ont des obligations sur le plan de la sécurité, un avantage clé du système Portage par rapport à ceux de ses concurrents. Les technologies langagières du CNRC sont aussi appliquées dans le secteur de la santé, dans le domaine du traitement et de l’analyse des données sur la santé. Finalement, de nombreux projets sont actuellement entrepris en ce domaine, et des possibilités d’avenir sont actuellement explorées avec des organisations du secteur public.

3.1.3 Capacité de combler les besoins sans l’initiative

Dans la plupart des cas, les clients interrogés dans le cadre de l’évaluation ont souligné l’existence d’autres options de traduction automatique et d’autres systèmes de traitement du langage naturel. En l’absence de la technologie du CNRC, la plupart des clients ont indiqué qu’ils auraient été en mesure de trouver une technologie similaire ailleurs, mais que ces technologies auraient sans doute été plus coûteuses et plus complexes (dans le cas des clients ayant accès grâce au CNRC à des technologies fonctionnant dans plusieurs langues), en plus de venir de l’étranger. Comme l’évaluation de 2012 l’avait souligné, « l’industrie des technologies langagières et le milieu de la traduction ne possèdent pas les capacités de R-D ni les ressources financières pour investir massivement dans la conception de technologies et d’outils langagiers novateurs ».

3.2 Conformité avec les priorités du CNRC et les priorités fédérales

3.2.1 Conformité avec les résultats stratégiques recherchés par le CNRC et avec les priorités fédérales

3.2.2 Conformité avec le résultat final escompté de la Feuille de route et avec les objectifs du pilier

En plus d’examiner la mesure dans laquelle les activités du CNRC menées dans le cadre de la Feuille de route sont conformes aux priorités gouvernementales et aux résultats stratégiques recherchés par le CNRC, l’évaluation s’est aussi penchée sur la conformité des activités du CNRC au sein de la Feuille de route.

Les 28 initiatives menées dans le cadre de la Feuille de route contribuent toutes à la poursuite du résultat final escompté : « Les Canadiens vivent et s’épanouissent dans les deux langues officielles et reconnaissent l’importance du français et de l’anglais pour l’identité nationale, le développement et la prospérité du Canada. » L’initiative du CNRC offre des possibilités de retombées concrètes à cet égard et dans certains cas, ces retombées se sont déjà concrétisées. La mise en œuvre de l’outil Portage, un système de traduction automatique mis au point par le CNRC, au sein d’organisations du secteur public canadien augmente l’efficacité et la productivité des traducteurs humains et permet aux francophones et aux anglophones d’utiliser des outils de traduction sûrs qui les aident à mieux comprendre de manière générale des communications écrites informelles rédigées dans leur langue seconde. Ces deux retombées présentent aussi la possibilité de contribuer directement au maintien et au renforcement de la dualité linguistique canadienne.

L’architecture de la Feuille de route a été pensée de telle sorte que les résultats des différentes initiatives puissent contribuer à l’atteinte d’objectifs regroupés sous l’un ou l’autre de trois grands piliers (éducation, immigration et communautés). L’initiative du CNRC a été placée sous le pilier de l’éducation, qui vise l’objectif suivant : « Les Canadiens bénéficient d’occasions d’éducation et de formation dans la première langue officielle et d’apprentissage de l’autre langue officielle du pays et d’accès à des outils technologiques, et tirent profit des nombreux avantages sociaux, économiques, culturels et identitaires qui en résultent ^{Note de bas de page 4}  ».

Vu la portée très générale de la Feuille de route, il est compréhensible que les objectifs des différents piliers soient formulés dans des termes relativement larges. Toutefois, le lien direct entre les activités de R-D du CNRC et l’objectif de haut niveau du pilier de l’éducation n’est pas clairement établi dans la Feuille de route, une lacune que le CNRC n’a pas comblée non plus. Au cours de l’évaluation, les parties intéressées internes et externes ont eu du mal à trouver des liens concrets entre l’énoncé des résultats escomptés du pilier de l’éducation et les travaux actuels du CNRC.

Même si la vision à long terme de la traduction automatique est de procéder à l’automatisation complète de la traduction dans de nombreuses paires de langues, ce qui aurait des retombées concrètes sur l’accessibilité de l’éducation dans toutes les langues, les personnes interrogées ont constaté qu’à court et à moyen terme, les technologies langagières du CNRC sont surtout appelées à servir à l’amélioration de la productivité des traducteurs humains traditionnels ainsi qu’à la collecte et à l’analyse de grandes quantités de données dont les résultats pourront être ensuite utilisés dans un certain nombre de secteurs, notamment ceux de la sécurité, de la défense et du renseignement, de l’analyse commerciale, de la santé et du droit.

3.3 Conformité avec les rôles et les responsabilités de l’administration fédérale

3.3.1 Caractère approprié du rôle du CNRC

Les activités du CNRC dans le cadre de la Feuille de route et les résultats qu’il espère en tirer sont conformes à son mandat, tel qu’il est énoncé dans la Loi sur le Conseil national de recherches. Le rôle particulier du CNRC d’appui à l’industrie langagière canadienne et à d’autres industries découle de l’alinéa 5(1)c) de la Loi,qui stipule que le Conseil peut « entreprendre, aider ou promouvoir des recherches scientifiques et industrielles ». En vertu de la Loi, il incombe au CNRC de diriger ou de surveiller les recherches entreprises par ou pour des firmes industrielles ou d’autres organisations [alinéa 5(1)d)] et de poursuivre des travaux de nature expérimentale dans les domaines susmentionnés de manière à accroître la disponibilité et l’efficacité des procédés ou produits en cause dans les arts mécaniques et la fabrication, ainsi qu’à des fins scientifiques et autres [alinéa 5(1)k)].

Les gouvernements nationaux d’autres pays financent activement le développement de technologies de traitement du langage naturel. Le gouvernement espagnol, par exemple, a récemment investi plus de 100 millions de dollars dans le développement d’une technologie de traitement du langage naturel et de traduction automatique. Les objectifs de cet investissement sont similaires à ceux de la Feuille de route pour les langues officielles du Canada. Plus précisément, l’Espagne espère par cet investissement « renforcer le soutien au traitement du langage naturel et de la traduction automatique en espagnol et dans les langues officielles secondaires de l’Espagne », en l’occurrence le galicien, le basque et le catalan ^{Note de bas de page 5}. De même, le gouvernement des États-Unis a investi de fortes sommes dans le traitement du langage naturel par l’entremise de la Defense Advanced Research Projects Agency (DARPA), dans le cadre de son programme Global Autonomous Language Exploitation (GALE).

Au cours des entretiens, on a demandé aux parties intéressées de l’extérieur si, à leur avis, l’État avait un rôle à jouer dans le développement de la traduction automatique. Les réponses ont été nuancées. Un expert externe ne voyait pas la pertinence pour l’État de « décider des gagnants et des perdants » et de subventionner les efforts de sociétés privées engagées dans le développement de ces technologies. Toutefois, la plupart des parties intéressées externes (clients et experts) ont répondu d’une manière plus favorable, notant au passage que le Canada ne compte ni entreprise ni établissement d’enseignement possédant :

1. la masse critique requise pour investir dans le développement de ce genre de technologies;
2. le niveau de compétences nécessaire pour répondre aux exigences de ce domaine spécialisé.

Dans ce contexte, le CNRC est donc perçu comme jouant un rôle vital dans le maintien de la capacité intérieure du Canada dans ce domaine important de propriété intellectuelle, puisqu’il n’existe aucune autre organisation, publique ou privée, disposée à jouer ce rôle ou capable de le faire. D’autres ont aussi signalé que le maintien d’une capacité nationale en traduction automatique statistique est crucial pour tous les pays, mais encore plus pour un pays bilingue. Par ailleurs, il existe une multitude de scénarios où l’envoi de données à l’étranger ou « sur le nuage » à des fins de traduction comporte trop d’inconvénients sur le plan de la sécurité.

3.3.2 Preuve du calibre mondial de l’équipe du CNRC et de ses résultats

Le CNRC se classe constamment parmi les meilleures équipes lors des concours internationaux. Il est notamment arrivé premier dans les concours internationaux portant sur l’exploration de textes (i2b2) et la traduction automatique statistique (U.S. National Institute of Standards and Technology 2012 Open Machine Translation Evaluation, ou OpenMT12) ^{Note de bas de page 6}. Dans le cas plus particulier de Portage, les expériences s’appuyant sur le cadre d’évaluation de la traduction BLEU ont démontré que lorsque Portage est utilisé de la manière recommandée par le CNRC (c’est-à-dire pour traduire des textes du domaine dans lequel la machine a été « formée »), on obtient souvent des traductions qui sont d’une qualité supérieure à celle obtenue au moyen de Google Translate. Toutefois, Google Translate donne des traductions de meilleure qualité lorsqu’il s’agit de traduire des textes d’un domaine différent ou portant surtout sur un domaine différent ^{Note de bas de page 7}.

Les experts externes de l’industrie langagière ont aussi confirmé que l’équipe de traitement du langage naturel du CNRC est de calibre mondial et qu’elle jouit d’une excellente réputation partout sur la planète. Le CNRC a été sélectionné par SRI International (anciennement connue sous le nom de Stanford Research Institute) comme partenaire technologique dans le cadre du récent programme GALE du DARPA et par Philips Research, dans le cadre d’un projet d’exploration de textes FP7. Lorsqu’on leur a demandé s’il existait au Canada d’autres équipes capables d’un niveau équivalent, les personnes de l’extérieur interrogées ont mentionné un certain nombre d’universitaires qui travaillent dans ce même domaine et qui ont obtenu de bons résultats, mais ils ont aussi précisé que le CNRC était sans conteste le principal groupe au Canada dans ce secteur spécialisé. En bref, selon ces personnes de l’extérieur, l’équipe du CNRC est non seulement la meilleure au Canada, mais elle appartient aussi à l’élite mondiale.

4.1 Contributions à la croissance et à la compétitivité de l’industrie canadienne

4.1.1 Retombées sur l’industrie langagière canadienne

Le rendement du CNRC, tel que mesuré par les retombées de ses activités sur l’industrie langagière canadienne, a été marginal. Ce manque de succès s’explique par le faible taux d’adoption de la technologie TAS, ainsi que par des facteurs internes et externes analysés ci-dessous.

Les travaux du CNRC à l’appui de l’industrie langagière canadienne tournent autour de son système de traduction automatique statistique, appelé Portage. Ce logiciel permet à un ordinateur de traduire un texte d’une langue à l’autre, dans plusieurs paires de langues. L’application principale de cette technologie consiste à rehausser la productivité des traducteurs humains en générant une première ébauche d’un texte donné dans une autre langue. La technologie peut également être utilisée pour obtenir une traduction approximative qui permet à l’utilisateur de comprendre l’idée générale qu’un texte donné cherche à exprimer.

Depuis avril 2013, le CNRC a vendu des licences d’utilisation du logiciel Portage à une poignée de cabinets de traduction canadiens par l’entremise d’un revendeur appelé Terminotix, une société montréalaise qui se spécialise dans les outils logiciels de traduction assistée par ordinateur. Une représentante d’un de ces cabinets de traduction (qui est, en fait, un des plus importants cabinets de traduction au Canada) a été interrogée dans le cadre de l’évaluation. Elle a souligné que Portage est maintenant utilisé afin de produire des ébauches de traduction de l’anglais au français et du français à l’anglais pour environ 80 % de ses clients. Ces traductions sont ensuite corrigées par des traducteurs humains. Elle a indiqué que cet accès à la traduction automatique a accru la compétitivité de l’entreprise auprès des clients qui demandent expressément qu’on utilise ce genre de technologie (exigence présente dans environ 10 % des contrats conclus). Même si l’entreprise croit que Portage augmente aussi la productivité des traducteurs, elle est encore à évaluer si tel est bien le cas. Terminotix indique que certains clients ont établi que la productivité des traducteurs avait augmenté de 15 % à 20 %.

Même si la vente de licences d’utilisation de Portage s’avère un succès, il est évident que la demande de l’industrie canadienne pour ce genre de produits est limitée. Moins de cinq accords de licence ont été conclus avec des clients de l’industrie langagière canadienne malgré les retombées importantes mentionnées par les clients du secteur public (voir aussi la section 4.1.2) et par les clients d’autres secteurs d’activité (voir aussi la section 4.1.3). Certaines parties intéressées internes interrogées ainsi qu’un expert de l’extérieur ont reconnu que, vu les promesses qu’offre la traduction automatique sur le plan de la productivité et vu la qualité de la technologie du CNRC, les travaux du CNRC pourraient avoir des retombées beaucoup plus grandes sur l’industrie de la traduction.

Ces constatations sont conformes à celles de l’évaluation précédente effectuée en 2012. Les auteurs en venaient à la conclusion que malgré l’importance des efforts déployés par le groupe pour transférer ses technologies vers les clients ciblés, les résultats restaient limités. Les facteurs externes et internes décrits ci-dessous expliquent en partie le rendement de l’équipe sur le plan de la commercialisation.

Facteurs externes ayant une incidence sur le rendement du CNRC en matière de commercialisation

La dynamique au sein de « l’industrie langagière » canadienne a eu une incidence sur le rendement du CNRC dans la commercialisation du logiciel Portage. Le concept même « d’industrie langagière » est le produit de « l’Initiative de l’industrie de la langue » qui a été lancée en 2003 par Industrie Canada en réaction à une prédiction que la demande de « services linguistiques » augmenterait spectaculairement et au fait que ce secteur est fragmenté et composé en grande majorité de microentreprises ^{Note de bas de page 8}.

La création de l’Association de l’industrie de la langue (AILIA ^{Note de bas de page 9} ), qui avait pour objet d’unir l’industrie de la traduction et les industries de la formation linguistique et des technologies langagières, est l’un des deux principaux résultats de l’Initiative. Toutefois, ces « industries » avaient peu d’intérêts communs et en 2013, l’AILIA a abandonné le volet de ses activités liées à la représentation des industries de la « formation » et des « technologies » pour se concentrer uniquement sur la traduction ^{Note de bas de page 10}. Actuellement, dans une très large mesure, l’expression « industrie langagière » s’entend à toutes fins utiles de « l’industrie de la traduction ».

À l’échelle mondiale, l’industrie de la traduction est extrêmement importante et la croissance de la demande de services de traduction devrait, selon les prévisions, supplanter l’offre ^{Note de bas de page 11} . Selon plusieurs rapports publiés, la traduction automatique est appelée à jouer un rôle important pour combler cet écart entre l’offre et la demande ^{Note de bas de page 12} . Le besoin croissant de services de traduction de la part d’institutions publiques multilingues comme l’Union européenne ainsi que la nécessité, pour le commerce mondial, d’offrir des produits et des services dans les langues utilisées localement sur les différents marchés sont deux excellents exemples des facteurs qui expliquent la croissance prévue de la demande ^{Note de bas de page 13}. De plus, de nouveaux débouchés plus lucratifs dans l’application de la TAS s’ouvrent actuellement dans le domaine juridique, le secteur financier et le secteur des soins de santé ^{Note de bas de page 14}. Dans l’ensemble, la TAS est une technologie tout à fait pertinente dans le contexte actuel du marché.

Étant donné la taille et la dynamique des entreprises de traduction au Canada, celles-ci sont peu enclines à investir dans les technologies nécessaires pour profiter des débouchés susmentionnés ou n’ont pas la capacité requise pour le faire. L’industrie canadienne de la traduction est petite et de manière générale, elle est composée de microentreprises ^{Note de bas de page 15}. Selon l’évaluation de l’Initiative de l’industrie de la langue effectuée en 2008, le secteur de la traduction et de l’interprétation est composé d’environ 800 entreprises qui procurent en moyenne du travail à 6,2 employés, et 76,9 % des cabinets de traduction au Canada comptent moins de 5 employés ^{Note de bas de page 16}.

Cette fragmentation de l’industrie canadienne de la traduction rend problématique la commercialisation de Portage. Dans son état actuel, la technologie ne convient pas aux petites et moyennes entreprises (PME). Le logiciel Portage du CNRC est plutôt destiné à de grandes entreprises ayant les ressources financières et l’infrastructure technique nécessaires pour intégrer une technologie complexe et brute à leurs propres interfaces maison. Portage génère des traductions de qualité supérieure, qui rivalisent avec celles de ses principaux concurrents, dont Google Translate. Toutefois, Google Translate est fourni aux clients gratuitement grâce à une interface utilisateur Web très intuitive. Portage a été développé comme un logiciel d’entreprise qui ne possède actuellement pas d’interface utilisateur et dont l’utilisation exige l’installation de matériel coûteux et complexe dans les locaux du client. Paradoxalement, cet inconvénient est aussi un atout pour Portage et pourrait lui permettre de trouver son créneau. Portage est en effet vendu à des entreprises qui ont besoin d’un système de traduction sécurisé n’exigeant pas que leurs données soient téléchargées sur Internet ou qu’elles sortent de leurs locaux. Portage offre aussi aux entreprises clientes la possibilité de « former » le logiciel à un langage technique précis pertinent à leur secteur d’activité particulier. Cela permet à Portage d’offrir des traductions d’une qualité supérieure à celle de ses principaux concurrents et qui exigent ensuite des interventions moins importantes de la part de traducteurs humains. Le logiciel offre donc aux entreprises exerçant des activités à une certaine échelle des gains de productivité qui font plus que contrebalancer le coût de la licence, et leur permet de mettre à profit leurs ressources techniques pour intégrer et gérer la technologie. Malheureusement, le secteur canadien de la traduction ne compte pas beaucoup de grandes entreprises ayant les capacités financières ou techniques d’intégrer cette technologie ou ayant un chiffre d’affaires qui justifie un investissement dans Portage.

Il convient de souligner qu’un des acteurs les plus importants du secteur privé de la traduction au Canada ainsi que le Bureau de la traduction qui, bien que public, figure parmi les plus gros producteurs de produits de traduction au Canada, ont tous deux acquis une licence d’utilisation de Portage. Le succès du CNRC dans le déploiement de sa technologie auprès de ces deux organisations démontre que lorsque la demande existe, le logiciel Portage du CNRC constitue une option concurrentielle et viable.

Facteurs internes influant sur le rendement du CNRC en matière de commercialisation

Certains facteurs internes expliquent aussi le manque de succès des efforts de commercialisation de Portage. La dynamique au sein du secteur de la traduction au Canada et l’applicabilité de Portage dans les PME étaient connues des chercheurs et gestionnaires du CNRC qui ont été reçus en entretien pendant l’évaluation. Ces personnes de l’interne ont exprimé le désir d’améliorer la capacité d’utilisation de Portage par des entreprises plus petites, mais ont souligné qu’il serait inefficace de s’engager sur cette voie en confiant ce mandat à l’équipe actuelle. On souligne que l’équipe actuelle est surqualifiée pour effectuer les tâches nécessaires afin de rendre Portage plus convivial et que cette équipe est par ailleurs engagée dans d’autres projets. Par conséquent, le développement d’une technologie plus conviviale exigerait l’embauche de ressources additionnelles qui pourraient se consacrer exclusivement à ce projet. Cela libérerait l’équipe actuelle de chercheurs, qui pourrait ainsi consacrer son temps à l’avancement de la technologie TAS à la fine pointe.

En guise de solution de rechange à l’embauche de ressources pour entreprendre les travaux nécessaires à la création d’une interface utilisateur pour Portage, dans un monde idéal, un « intégrateur » interviendrait ou serait trouvé au sein du secteur privé. Cet intégrateur utiliserait la technologie de grande qualité, mais brute, créée par le CNRC, développerait une interface utilisateur pour les clients et jouerait le rôle d’agent de commercialisation. Toutefois, selon les personnes de l’interne interrogées, aucun acteur de cette sorte n’a encore été trouvé au sein de la chaîne de valeur.

Plusieurs chercheurs internes du CNRC interrogés ont également mentionné que l’importance désormais accordée par le CNRC à la création de revenus est un facteur qui influe sur la capacité de l’équipe de se concentrer sur Portage et sur l’industrie de la traduction. Comme nous l’avons mentionné précédemment, la demande n’est actuellement pas très forte au sein des cabinets de traduction privés et par conséquent, les projets les visant ne créent pas beaucoup de revenus.

4.1.2 Retombées sur les organisations du secteur public

Le CNRC a connu beaucoup de succès dans la mise en œuvre de Portage au sein de la fonction publique canadienne. En 2015-2016, le Bureau de la traduction a acheté une nouvelle licence d’utilisation de Portage qui permettra son installation sur plus de 350 000 postes de travail au sein de l’administration fédérale. Un des objectifs avoués du projet est de réduire fortement l’utilisation d’outils à accès ouvert, mais non sécurisé, comme Google Translate, Bing et Reverso. Actuellement, ces outils sont utilisés plus d’un million de fois par semaine (soit près de 60 millions de fois par année) sur des postes de travail dont l’adresse IP appartient à la fonction publique du Canada, ce qui contribue à la multiplication des fragments de documents protégés envoyés sur le nuage ^{Note de bas de page 17} .

Intérêt national – Une personne de l’extérieur interrogée a souligné que dans notre pays, le fait de posséder une capacité de traduction automatique statistique est, dans une certaine mesure, un enjeu d’importance nationale. Comme nous l’avons précédemment indiqué, Portage est mis en œuvre à partir d’une machine installée dans les locaux des clients. Les systèmes concurrents, notamment Google Translate, exigent que les documents à traduire soient envoyés dans le « nuage » ou transférés autrement à l’extérieur des locaux du client vers les serveurs du fournisseur de services. Le créneau principal de Portage se situe donc dans cette capacité de garantir la sécurité des données des clients. Cette option est particulièrement attrayante pour les organisations publiques, dont la Chambre des communes qui doit traduire des documents de nature très délicate et qui préférerait ne pas avoir à confier ces documents à des sociétés étrangères. Dans cette optique, Portage offre au Canada un avantage qui va bien au-delà de ses seules retombées économiques.

4.1.3 Retombées sur les autres industries

Les équipes de traitement du langage naturel du CNRC ont consacré une partie importante de leurs efforts à la demande de R-D provenant de l’extérieur de « l’industrie langagière ». Ces projets sont, dans une certaine mesure, tangentiels aux objectifs de la Feuille de route. Toutefois, ils contribuent bel et bien à l’avancement général des technologies de traitement du langage du CNRC tout en générant des revenus modestes. On trouvera ci-dessous un certain nombre des projets les plus importants qui démontrent que le travail de l’équipe a des retombées à l’extérieur de « l’industrie langagière ».

Renseignement de sécurité - En novembre 2015, le CNRC et ses partenaires ont mené à terme le projet de lutte contre les menaces à la sécurité à l’aide du traitement automatisé du langage naturel (LMS). Les utilisateurs finaux du secteur de la sécurité ont ainsi obtenu des outils de pointe pour filtrer, résumer et analyser des textes dans de multiples langues afin d’exercer une surveillance sur les risques que court le Canada ainsi que sur la perception publique de ces risques. Dans le cadre de ce projet, le CNRC (avec deux partenaires industriels et un service professionnel du renseignement) a développé un prototype de système pour démontrer le potentiel de ces technologies. Les outils utilisés dans le projet LMS sont fondés sur de multiples technologies langagières du CNRC (y compris l’extraction d’information, l’analyse des émotions et des sentiments, la détection des anomalies et la traduction automatique) qui sont combinées à l’intérieur d’un outil dont la puissance cumulée est plus importante que la somme de leur puissance individuelle.

Un des partenaires industriels du projet LMS collabore aussi actuellement avec le CNRC à un autre projet qui vise à utiliser les technologies langagières du CNRC pour améliorer la surveillance des médias sociaux par l’entreprise et comme outil d’analyse (cet outil pourrait être utilisé dans le domaine de la sécurité ainsi que dans un certain nombre d’autres secteurs industriels). Ces efforts ont mené à une nouvelle offre de produits et services pour l’entreprise et ont accru sa compétitivité.

Sécurité maritime - Le CNRC a mené à terme le projet de sensibilisation à la sûreté et à la sécurité maritimes dans l’Arctique en collaboration avec un entrepreneur du secteur de la défense et d’autres partenaires fédéraux. Le projet s’est servi des technologies de traitement du langage naturel pour aider des analystes humains à suivre les déplacements des navires. Un « écumeur du Web », un appareil qui collecte des données maritimes sur Internet, a apporté une contribution clé au projet. Le CNRC a développé un écumeur à la fine pointe de la technologie qui analyse un certain nombre de pages Web portant sur des navires ciblés et qui possède plus de fonctions que tous ses concurrents à source ouverte. Le système de reconnaissance d’entités nommées, qui reconnaît entre autres les noms de personnes et de navires mentionnés dans des textes en langage naturel, a aussi apporté une précieuse contribution.

Soins de santé - Le CNRC a aussi trouvé, pour ses technologies de traitement du langage naturel, des applications dans le secteur de la santé. Le CNRC a notamment entrepris pour le compte de l’Agence de la santé publique du Canada un projet de développement d’un outil de surveillance de la santé dans les principaux médias de masse mondiaux. L’outil offre aux analystes en santé des alertes et des résumés sur les enjeux émergents en santé au fil de la publication d’articles un peu partout dans le monde. Le système comprend une fonction automatisée de catégorisation et d’annotation des documents dans de multiples langues, une fonction de traduction automatique et d’établissement d’un résumé (pour un seul ou plusieurs documents) ainsi qu’une fonction de détection des informations publiées en double. Le CNRC travaille également avec une société privée du marché des soins de santé qui offre des outils analytiques pour l’aider dans le traitement de l’information sur la santé.

4.2 Utilisation des ressources

Le CNRC mesure l’efficience de ses ressources en main-d’œuvre au moyen d’un ratio d’utilisation du programme exprimé en pourcentage des heures totales consignées. Les deux groupes du CNRC qui participent aux activités de la Feuille de route ont déclaré un niveau élevé d’utilisation des ressources en main-d’œuvre. En 2015-2016, 84 % des ressources en main-d’œuvre de l’équipe du Traitement de textes multilingues (TTM) et 83 % des ressources en main-d’œuvre de l’équipe d’Analyse de texte ont été utilisées dans le cadre des programmes, ce qui est nettement supérieur au taux d’utilisation moyen de 72 % pour l’ensemble du portefeuille TIC. Dans les deux équipes, plus de 90 % du temps utilisé dans le cadre des programmes a été consacré au programme Outils d’analyse multimédias pour la sécurité (OAMS) ^{Note de bas de page 18}.

Les dirigeants et employés du CNRC interrogés dans le cadre de cette évaluation se sont tous dits d’avis que les activités du CNRC à l’appui de la Feuille de route sont très efficaces. De nombreuses personnes de l’interne interrogées, ainsi que deux experts, ont souligné que le groupe de chercheurs du CNRC travaillant aux technologies langagières avait connu beaucoup de succès, particulièrement quand on tient compte de la taille de l’équipe. Comme nous l’avons mentionné précédemment, Portage est constamment reconnu comme l’une des meilleures technologies de traduction automatique dans les évaluations internationales. Il convient également de souligner que les autres organisations qui appartiennent au peloton de tête mondial dans ce domaine possèdent des équipes de chercheurs plus imposantes, qui ont accès à des ressources nettement supérieures à celles sur lesquelles le CNRC peut compter (par exemple, l’Information Sciences Institute de Southern California University, le Groupe NLP de Stanford University, Google Research et BBN Technologies).

De nombreux intervenants ont attribué ce succès au financement versé en vertu de la Feuille de route, car il a permis de maintenir en place une équipe de recherche de fort calibre et a contribué au développement et à l’amélioration de la technologie ainsi qu’à l’incorporation de techniques modernes, et s’est traduit par des améliorations appréciables du rendement du système. Ainsi, la version la plus récente de Portage intègre l’utilisation de réseaux neuraux, ce qui améliore la qualité de la traduction automatique et permet une modélisation plus exacte des détails linguistiques.

Certaines des personnes de l’interne interrogées ont également souligné les gains d’efficacité qui ont découlé de la portée des activités entreprises. Même si la traduction était la principale application visée pour la technologie, ses capacités ont fait en sorte que le projet a dérivé vers de nouvelles applications et de nouveaux secteurs d’activité. Les technologies langagières du CNRC servent maintenant à de multiples projets, ce qui permet au CNRC de se prévaloir de possibilités de financement additionnelles. Par exemple, le financement de projets et la collaboration dans le domaine de la sécurité font actuellement progresser le traitement de pointe du langage naturel, étant donné que les technologies de base peuvent être appliquées à de nombreux domaines différents.

4.2.1 Épargnes au titre des coûts de location

Avant 2013, le prédécesseur de l’équipe TTM était installé dans des locaux sur le campus de l’Université du Québec en Outaouais (UQO) à Gatineau (Québec). Les auteurs de l’évaluation de 2012 de l’initiative du CNRC dans le cadre de la Feuille de route précédente (2008-2013) en étaient venus à la conclusion que des économies additionnelles pouvaient être effectuées sur le loyer des locaux loués à l’époque et avaient recommandé que « le CNRC s’assure que les locaux loués correspondaient bien aux besoins du groupe et apporte des corrections aux futurs baux s’il était décidé de maintenir le groupe dans les installations actuelles ». En outre, l’évaluation de 2012 indiquait que les possibilités de synergie entre le CNRC et l’UQO étaient limitées et qu’il y avait peu de signes de possibles nouveaux projets conjoints dans un avenir prévisible.

4.2.2 Gains d’efficience possibles

On a posé aux personnes interrogées des questions sur les gains d’efficience possibles. Le plus souvent, on a mentionné le fait que certains clients ne possèdent pas les capacités techniques pour intégrer la technologie à leur produit. Il arrive alors que les chercheurs du CNRC consacrent beaucoup de temps à faire de la programmation, à concevoir des interfaces, à « former » les machines et à offrir le soutien technique requis pour intégrer la technologie aux systèmes des clients. Même si le CNRC compte dans son effectif des développeurs, ceux-ci ne sont pas suffisamment nombreux, selon les personnes interrogées, et le temps consacré à ce travail peut finir par nuire à leurs véritables activités de recherche. Certains ont mentionné qu’avec les projets générateurs de revenus prévus pour l’année prochaine, il serait sans doute possible d’embaucher des employés additionnels et, par conséquent, de libérer les chercheurs afin qu’ils puissent se concentrer sur la recherche.

Bon nombre des personnes interrogées ont aussi constaté l’existence d’un chaînon manquant dans la chaîne de valeur : un intégrateur capable d’offrir le service à la clientèle et de prendre en charge d’autres aspects des services nécessaires à la commercialisation. À ce jour, le CNRC n’a pas été en mesure de trouver au sein de l’industrie un acteur important capable de jouer ce rôle de manière satisfaisante.

Conception de l’évaluation

Les questions d’évaluation ont été formulées après un examen de certains documents fondamentaux ainsi qu’après des consultations avec les dirigeants et employés du portefeuille TIC et avec le personnel de l’administration centrale ayant participé à l’initiative. Les questions ont aussi été rédigées pour répondre aux exigences de la Politique sur l’évaluation (2009) du Conseil du Trésor.

Tableau 1 : Questions d’évaluation

Méthodes d’évaluation

Afin de respecter les engagements pris dans le cadre de la Feuille de route, le CNRC a procédé à une évaluation calibrée de l’initiative financée, ce qui a réduit la portée de l’évaluation et permis le recours à un nombre restreint de méthodes comparativement à une évaluation traditionnelle. Les évaluations calibrées permettent d’utiliser plus efficacement les ressources tout en maintenant la crédibilité et l’utilité des résultats obtenus.

Une évaluation des risques été menée afin de déterminer les caractéristiques de l’initiative et son profil de risque, et de répondre aux besoins d’information de la haute direction du CNRC et des autres parties intéressées. Vu le faible niveau de risque de l’initiative et de son importance relativement faible pour le CNRC, on en est venu à la conclusion qu’il était approprié de recourir à une méthode rationalisée, à portée restreinte, pour cette évaluation. Les méthodes utilisées sont décrites en détail ci-dessous.

• Examen des documents : Des documents internes et externes ont été examinés, y compris les documents de planification du CNRC, ses rapports de rendement et des documents de base liés à l’industrie langagière.
• Examen des données : Toutes les données administratives et données de rendement disponibles de l’administration centrale, du portefeuille et des programmes pour la période allant de 2013 à aujourd’hui ont été examinées.
• Entretiens avec des clients, des collaborateurs et des parties intéressées : Dix entretiens semi-structurés ont été menés avec des représentants d’organisations clientes ou partenaires, des parties intéressées de l’industrie et des experts indépendants de l’industrie langagière.
• Entretiens avec des parties internes : Des entretiens semi-structurés ont été menés auprès de quatre employés du CNRC.

Les entretiens menés avec les parties intéressées de l’interne ont été effectués surtout en personne tandis que ceux menés avec des parties intéressées de l’externe ont été effectués surtout par téléphone. Des guides d’entretien avaient été préparés afin que les questions abordées correspondent aux besoins d’information définis dans le cadre d’évaluation. Ces guides avaient été remis aux personnes interrogées avant la rencontre. On s’est ainsi assuré d’obtenir de l’information pertinente en regard des critères d’évaluation et des indicateurs. La majorité des entretiens ont été individuels. Cependant, certains entretiens de groupe ont aussi été menés avec des chefs d’équipe, par souci d’efficacité et afin d’enrichir le débat.

Limites

La conception calibrée de la présente évaluation a permis d’obtenir une évaluation rationalisée qui n’est cependant pas aussi exhaustive que la précédente. Les méthodes et la portée de cette évaluation ont été établies en tenant compte du fait qu’il est généralement admis que ce programme présente peu de risques et a une importance relative moindre (2 millions de dollars par année). Cette méthode adaptée a permis d’obtenir une évaluation raisonnable de la pertinence et du rendement de l’initiative dans le contexte. Toutefois, l’équipe de l’évaluation reconnaît que cette stratégie comporte des limites. Ces limites sont décrites ci-dessous.

Examen de documents sélectionnés

Aucun examen exhaustif de la littérature spécialisée n’a été effectué. Les articles publiés dans des revues spécialisées qui ont été examinés l’ont été uniquement afin de déterminer le rendement relatif de l’initiative dans le cadre des concours internationaux. Des documents externes ont été examinés afin d’obtenir un portrait général du contexte de « l’industrie langagière » et de faire le point sur la situation actuelle et future du marché des technologies langagières à l’échelle mondiale.

Analyse de données administratives et de données de rendement sélectionnées

Une analyse des données administratives et des données de rendement a été effectuée en appui à la section 4.2 « Utilisation des ressources ». Cette méthode comporte ses limites, car l’initiative est menée par deux équipes distinctes qui ne codent pas le temps consacré à l’initiative. Cette situation rend problématique toute analyse exhaustive de l’efficience. Toutefois, l’absence de données administratives a été contrebalancée par des entretiens avec des experts externes, auprès de qui on s’est informé de l’efficacité de l’initiative du CNRC compte tenu des enveloppes budgétaires accordées et des niveaux de dotation.

Entretiens avec des informateurs clés

Le nombre d’informateurs clés avec qui les évaluateurs se sont entretenus a été limité à 14. Ce nombre d’entretiens est trop faible pour pouvoir affirmer que ces entretiens sont représentatifs du point de vue de l’ensemble des parties intéressées ayant des intérêts dans les technologies langagières. Toutefois, les 14 personnes interrogées ont été sélectionnées expressément afin d’être représentatives d’un échantillon de secteurs désignés par l’équipe d’évaluation à l’étape de la planification.