Saison 2 - Épisode 1
Jacques Beauvais
Bienvenue à la deuxième saison du balado Façonnez l’avenir. Je suis votre hôte, Jacques Beauvais, doyen de la Faculté de génie de l'Université d'Ottawa. Joignez-vous à nous alors que nous discutons avec différents leaders d'opinion à propos d’enjeux actuels de l'industrie du génie. Explorons l'avenir des technologies et de l'innovation et comment, grâce à la créativité et à la collaboration, nous pouvons façonner l'avenir.
[00:23] Narratrice
Ils disent que l'avenir arrive bientôt, mais ce n'est pas vrai. L'avenir est déjà là . Et il est implacable. Il ne va pas attendre que vous le rattrapiez. Comment vivrons-nous dans cet avenir ? Comment allons-nous lui donner un sens ? Pour définir notre parcours, nous avons besoin d'une nouvelle perspective. Une perspective qui suscite notre curiosité, qui active notre imagination. Une perspective qui défie les conventions. Pour nous approprier l'avenir, nous devons faire plus que le voir, nous devons le façonner.
[01:13] Jacques Beauvais
Comme pour de nombreuses facultés de génie au pays, l'équité, la diversité et l'inclusion sont vraiment importantes pour nous. Nous croyons en l'importance de l'équité, de la diversité et de l'inclusion au sein de notre Faculté, dans la façon dont nous formons les jeunes, mais nous nous préoccupons aussi de leur arrivée sur le marché du travail par la suite, de ce qui se passe dans l'industrie, dans les organisations; ce sont des enjeux vraiment importants qui commencent à atteindre un point critique où nous devons être très actifs afin de trouver des solutions afin d’aider à ce sujet.
Dans le balado « Façonnez l'avenir », nous avons l'intention d'examiner la direction que nous allons prendre au cours des prochaines années, quelles sont les leçons apprises par nos diplômés et nos amis dans l'industrie. Nous avons parlé avec certains de nos étudiants et de nos diplômés très récents de leurs points de vue sur ce qui va se passer dans l'industrie technologique, de leurs espoirs et de leurs aspirations, et nous avons donc pensé qu'il serait vraiment intéressant d'avoir une conversation avec Thusha Agampodi, gestionnaire de l’ingénierie chez Magnet Forensics, pour discuter avec des personnes très perspicaces et intéressantes. Donc, Thusha est ici avec moi maintenant. Salut Thusha.
[02:29] Thusha Agampodi
Salut Jacques.
[02:30] Jacques Beauvais
Thusha, vous avez été impliquée très récemment dans l'organisation de l'événement Better Together; pourquoi avez-vous fait cela et qu'en avez-vous retiré?
[02:40] Thusha Agampodi
J'ai assisté à de nombreux événements pour les femmes qui travaillent dans le milieu des technologies à Ottawa. Et l'une des choses que j'ai remarquées, c'est que nous entendions de grandes femmes leaders, mais souvent le public était composé uniquement de femmes; ceci est formidable, je pense qu'il y a des moments où les femmes ont besoin d'espaces sûrs pour discuter de leurs idées et se sentir entendues. Toutefois, je ressentais le besoin d’inclure aussi des hommes dans cette conversation et tous les genres, alors voilà l’idée derrière l'événement Better Together. C'est donc dans cet esprit que nous avons organisé l'événement Better Together, où nous avons invité des dirigeants de tous les genres à se réunir et à parler de l'égalité des genres.
Notre accent était sur la création d'environnements de travail inclusifs parce que l'une des choses que je fais est d’aller faire des visites dans des écoles secondaires pour parler aux étudiants de l’intérêt des STIM - en particulier les jeunes femmes - mais il était important pour moi qu'au moment où ils arrivent sur le marché du travail que nous ayons créé des environnements où elles se sentent incluses. C'est donc la raison pour laquelle nous avons organisé l'événement Better Together et nous avons eu une excellente conversation à cette occasion avec de nombreux dirigeants d'Ottawa.
[03:54] Jacques Beauvais
Lorsque vous allez dans les écoles secondaires, quel accueil vous est réservé lorsque vous parlez de ces questions ? Les ressentent-elles déjà ou rencontrez-vous des jeunes qui sont préoccupés ? Avez-vous l'impression qu'ils n'en sont pas arrivés à un point où ils sont préoccupés par ces questions ?
[04:14] Thusha Agampodi
Je pense que cela dépend de l’année d’études. Certaines des visites que j'ai faites étaient dans des classes de 3e secondaire et ça se voit déjà . L'une des premières surprises que j'ai eues en entrant dans ces classes d’écoles secondaires a été le fait que les salles étaient à 50/50 en ce qui concerne la diversité des genres. Je n'ai pas l'habitude d'entrer dans une salle et de voir que la moitié de la salle est occupée par des femmes. Quand nous discutions de génie, ça se voyait dans leurs yeux quand nous parlions de l'impact que nous pouvons avoir avec le génie.
Je leur parle de l'impact de mon travail et je pense que peut-être ils ne sont pas conscients du type d'impact que l'on peut avoir dans ces domaines. Je peux dire, d'après les questions que je reçois d'eux par la suite, qu'ils n'ont pas réalisé que l'on peut avoir un impact sur la société avec ces domaines. Ils posent aussi des questions sur le travail quotidien, vous savez... « Êtes-vous assise dans un bureau toute la journée à faire de la programmation? »
Les filles dans les classes me posent des questions sur le degré de collaboration et de travail d'équipe, etc. Je pense vraiment que le fait d'avoir plus de modèles dans les écoles secondaires fait une grande différence pour accroître la sensibilisation de l'impact qu'ils pourraient avoir et aussi des différents types de postes qui sont disponibles.
[05:53] Jacques Beauvais
Et vous pouvez leur donner de bons exemples, car d'après les discussions que nous avons eues auparavant, je sais qu'au bureau d'Ottawa de Magnet Forensics vous avez au moins pu faire progresser l'équilibre de la diversité des genres dans votre groupe, n'est-ce pas ?
[06:08] Thusha Agampodi
Oui, j'ai travaillé très dur pour y parvenir. Je pense que cela demande beaucoup d'efforts. Et ce travail n'est jamais vraiment terminé. Il faut constamment s'y attarder. Vous savez, si j'engage des femmes, il faut s'assurer qu'elles continuent à se sentir entendues et incluses. Je pense que le fait d'avoir une femme leader a fait beaucoup de chemin et cela fait également une différence pour attirer plus de femmes dans l'équipe.
[06:42] Jacques Beauvais
Vous avez raison parce que c'est aussi l'une des préoccupations que j’ai ici à la Faculté de génie de l'Université d'Ottawa. Il ne s'agit pas seulement de les attirer, nous devons travailler fort pour nous assurer que nous offrons un environnement accueillant et respectueux, de leur donner une voix afin qu'elles puissent sentir qu'elles peuvent avoir un impact et de les préparer pour le marché du travail.
[07:04] Thusha Agampodi
Si vous vous attaquez à un élément, le reste suivra. Si vous commencez à construire un environnement inclusif pour un groupe, vous commencez en fait à penser à construire un environnement inclusif pour tout le monde. Donc, j'espère que cela se produira; de toute façon, j'ai vu cela se produire dans mon équipe.
[07:28] Jacques Beauvais
L'industrie de la haute technologie, d’une certaine manière, parce que c'est une bande de scientifiques et d'ingénieurs qui travaillent sur la technologie… Pendant plusieurs années, selon leur point de vue, ils croyaient que les technologies étaient neutres sur le plan du genre. Et cela n'a jamais été le cas.
La croissance exponentielle du nombre d'applications dans lesquelles nous utilisons des outils d'IA a soulevé beaucoup de préoccupations de manière très publique. Je pense que cela a fait prendre conscience que ces biais sont vraiment importants, qu'ils font une différence - une différence négative dans la vie de beaucoup de gens.
[08:05] Thusha Agampodi
Je suis un peu inquiète - je sais qu'on parle beaucoup d'utiliser l'IA pour le recrutement. C’est parce qu'il y a déjà beaucoup de parti pris en ce qui concerne les CV et les entrevues. Et on parle d'utiliser l'intelligence artificielle pour atténuer certains de ces biais. Cependant, je suis heureuse d'entendre qu’il y a des conversations portant sur les biais qui existent dans l'IA parce que je suis un peu nerveuse à l'idée que nous allons remplacer les biais que nous avons dans le processus manuel par une IA qui aurait également des biais.
[08:39] Jacques Beauvais
Oui, et jusqu'à un certain point, parce que nous formons l'IA. Nous sommes en train de codifier, de solidifier, voire d'ancrer les biais que nous avons. Une fois que nous avons formé le système, en utilisant - littéralement - nos biais, il est encore plus difficile de les extraire. Il sera donc très intéressant de parler avec Parinaz Sobhani, qui est l'une de nos doctorantes en ingénierie de 2017.
Elle est actuellement directrice de l'apprentissage automatique dans l'équipe d'impact de Georgian Partners à Toronto. Elle travaille à la fois sur le front de l'intelligence artificielle et sur le front des investissements dans le domaine du capital-risque. Elle pourra certainement nous donner un point de vue intéressant sur l'intelligence artificielle d’aujourd'hui et sur les biais que nous trouvons dans ce type de développement d'outils, dans ce type d'industrie et dans ces entreprises en démarrage à croissance rapide.
[09:32] Jacques Beauvais
Bienvenue Parinaz.
[09:35] Parinaz Sobhani
Merci, merci de m'accueillir.
[09:37] Jacques Beauvais
Je vais commencer par vous poser une question sur votre parcours, Parinaz. Nous avons vu sur Twitter, vous avez mentionné que l'une des raisons pour lesquelles vous avez décidé de rejoindre l'industrie était que vous vouliez vraiment avoir un impact réel plutôt que de poursuivre des citations. Je suis curieux de voir comment votre expérience a évolué ces dernières années.
[09:57] Parinaz Sobhani
Je travaille sur des problèmes du monde réel. Des problèmes qui sont importants pour notre société, le secteur des affaires et l'industrie des technologies du Canada. En fait, je me sens utile. Pourquoi ? C’est parce que je travaille surtout avec des entreprises en démarrage.
Travailler pour ou avec une entreprise en démarrage est très différent de travailler pour une grande entreprise. Les grandes corporations comme Google, Microsoft, Facebook ont toutes des équipes géantes d'apprentissage machine et d'IA. Il se peut donc que vous ne soyez pas aussi consciencieux ou que vous ayez autant d’impact parce qu'il y a tellement de personnes intelligentes qui travaillent dans ces entreprises.
Il y a quelques années, quand vous parliez de biais, nous nous disions « Pourquoi ? Nous travaillons sur des solutions mathématiques, des optimisations, des techniques. D'où viennent les biais? »
Et vous savez, l'ingrédient principal de tout apprentissage machine, ou de système d'IA, ce sont les données. D'où proviennent ces données? Ces données proviennent normalement des humains. Des comportements humains, des données historiques humaines, où vous demandez réellement et explicitement aux humains d'annoter ou d'étiqueter vos données.
Comme vous le savez, en tant qu'humains, nous avons tous nos préjugés. Et bien sûr, lorsque les ingrédients de vos systèmes sont biaisés, le système - même si vous utilisez des optimisations mathématiques - finit par hériter de tous nos préjugés et de nos problèmes.
Pour les problèmes liés aux données, construire le premier système n'est pas un problème facile. Pourquoi? C’est parce que l'identification même de toutes ces sortes de biais n'est pas facile. Même si vous en faites des comportements humains, il est si difficile d'attribuer le comportement à un préjugé potentiel ou à d’autres choses. C'est pourquoi, lorsque nous construisons un premier système, nous devons tout d'abord identifier le type de préjugé que nous avons. Je peux vous donner quelques exemples.
[12:11] Thusha Agampodi
Ce serait formidable.
[12:12] Parinaz Sobhani
Je peux vous donner un exemple de quelques biais.
Le préjugé provient parfois du manque de données sur un segment particulier de la population. Par exemple, vous construisez les parties d'un système, mais vous n'avez peut-être pas assez de données, de données historiques sur les personnes de couleur. C'est l'un des problèmes. Donc, historiquement, nous n'avons pas collecté assez de données sur les personnes de couleur pour une raison quelconque. Alors, vous construisez ce système, et ce système va faire plus d'erreurs pour ce micro segment de la population.
Pourquoi? C’est parce que le système est aveugle à ce micro segment de la population. En tant que développeurs, nous n'avons rien fait de mal, mais nous n'avons pas accès à suffisamment de données et nous n'y avons pas pensé. Il pourrait y avoir des solutions potentielles et nous pouvons aller chercher ces données, mais nous étions complètement inconscients de ne pas avoir l'ensemble représentatif de données. C'est une source possible de biais.
L'autre source de biais est une partie de la représentation. Par exemple, nous sommes en train de construire un logiciel de recrutement. Lorsque nous construisons le système de recrutement, ce qui compte vraiment, ce sont les compétences du candidat. Les informations démographiques ne devraient donc pas avoir d'importance. Il ne devrait pas être important de savoir d'où vous venez, quel est votre genre, quelle est votre ethnicité, quelle est votre religion... et on ne devrait pas utiliser ces informations.
Alors vous représentez un candidat. Vous pourriez dire : « Facile, facile. Je vais sortir toutes les données sur votre genre, votre ethnicité, comme toute information directe. Je ne vais pas utiliser ces informations. » Mais c'est beaucoup plus complexe parce qu'il y a tellement d'autres attributs qu'ils ont codés indirectement dans le segment démographique.
Je peux vous donner un exemple. Je vais vous demander quels sont les médias sociaux que vous utilisez. Vous pourriez penser qu'ils ne révèlent aucune information sur mon genre ou mon origine ethnique, mais ils peuvent vous dire que si vous répondez que je suis une utilisatrice de Pinterest, alors avec 98 % de probabilité vous êtes une femme blanche. Ce n'est donc pas aussi facile que de dire que vous allez supprimer tous ces problèmes d'informations démographiques directement représentatifs.
Il y a donc un grand problème, c'est une autre source de biais dans la représentation. Vous pouvez donc vous imaginer qu'il y a tellement de types de biais différents dans les données, et puis en fait, identifier que le système est biaisé ou non est - j'appelle ça un bogue. C'est comme un bogue dans n'importe quel système de logiciel. C'est plus semblable au bogue de sécurité ou de confidentialité.
Vous pouvez vous imaginer devoir identifier et détecter des bogues de sécurité et de confidentialité sont parmi les types de bogues les plus difficiles que vous pouvez avoir dans les systèmes de logiciels. Il faut donc vraiment une assurance qualité. Il faut des pratiques standardisées et ces technologies sont pratiquement nouvelles. Nous n'avons pas encore ce genre de pratiques. La plupart du temps, parce que nous n'avons pas de diversité en travaillant sur ces problèmes, souvent les gens n'y pensent même pas.
[15:52] Jacques Beauvais
Mais j'ai deux questions qui découlent de ce que vous avez dit. L’une d’entre elles est que-- vous avez mentionné que les équipes de développement n'étaient pas nécessairement si diverses. Ce que je veux vous demander est-- cela a beaucoup été diffusé aux nouvelles en lien avec l'IA, mais la notion de partialité et de manque de diversité, potentiellement dans les équipes, est-elle vraiment un nouveau problème ? Ou est-ce que la technologie de l'IA a apporté une lumière très brillante sur la question ? Ou est-ce vraiment un nouveau problème ?
[16:27] Parinaz Sobhani
En tant qu'humains, nous le savons, tous les processus existants qui sont en fait dirigés par des humains sont également biaisés. Ainsi, si je fais une demande de prêt hypothécaire ou de prêt et que je dois parler à un agent, il est possible que cet agent soit raciste ou sexiste et que je n'obtienne pas le prêt. N'est-ce pas ? Pas à cause de mes compétences ou de ma demande, mais à cause de la possibilité que l'agent soit raciste ou sexiste. Mais pourquoi est-ce encore plus important pour le système d'IA ?
Imaginez que - si vous êtes un agent et que vous êtes sexiste ou raciste, avec combien de personnes allez-vous traiter quotidiennement ? Au maximum dix, peut-être vingt personnes. N'est-ce pas ? Imaginez qu'une des banques construit un système d'IA et qu'elle le mette aux enchères et qu'il soit raciste ou sexiste. Alors combien de personnes peuvent être touchées par un tel système ? Il y en aura des milliers par jour.
L'ampleur et l'impact d'un tel système raciste ou sexiste sont donc beaucoup plus importants et plus significatifs que si nous avions un individu raciste ou sexiste dans notre système. C'est pourquoi nous devrions avoir une meilleure gouvernance, nous devrions avoir une meilleure assurance qualité pour un tel système parce que l'ampleur et l'impact du système sont beaucoup plus importants.
[18:03] Jacques Beauvais
Il ne s'agit donc pas seulement de souligner le problème. En fait, il y a aussi la question de son ampleur.
[18:09] Thusha Agampodi
Puisque nous parlons de diversité, je pense qu'il est important d'entendre quelqu'un qui a plusieurs années d'expérience dans l'industrie.
[18:18] Jacques Beauvais
Ce sera