Ligne directrice E-23, Gestion du risque de modélisation (2027) – Lettre
Informations
Type de publication
Lettre
Catégorie
Saines pratiques commerciales et financières
Date
Secteur
Banques,
Succursales de banques étrangères,
Sociétés d'assurance vie et de secours mutuels,
Sociétés des assurances multirisques,
Sociétés de fiducie et de prêts
Table des matières
Nous publions aujourd’hui la version finale de la ligne directrice E-23, Gestion du risque de modélisation, qui s’appliquera à toutes les institutions financières fédérales (IFF) à compter du 1er mai 2027.
Le 20 novembre 2023, nous avons publié une version révisée à l’étude de la ligne directrice E-23 pour consultation publique, consultation qui a pris fin le 22 mars 2024. La version révisée à l’étude comportait plusieurs modifications par rapport à la version de la ligne directrice de 2017 intitulée Gestion du risque de modélisation à l’échelle de l’entreprise dans les institutions de dépôts. Bien que bon nombre des révisions apportées dans la version à l’étude aient été conservées dans la version finale, plusieurs modifications ont également été intégrées en réponse aux commentaires formulés par les parties prenantes. On trouvera des précisions à ce sujet à la rubrique Synthèse des commentaires reçus des parties prenantes et réponses du BSIF.
Depuis la publication de la version à l’étude, nous continuons d’observer une utilisation accrue de modèles de plus en plus complexes au sein des IFF. Par conséquent, l’élargissement du champ d’application de la ligne directrice à l’ensemble des modèles utilisés par toutes les IFF est maintenu et demeure une révision essentielle. Toutefois, nous avons revu notre position quant à l’application de la ligne directrice aux régimes de retraite fédéraux (RRF) compte tenu des différences dans notre mandat de surveillance des RRF et de l’existence d’autres consignes sectorielles traitant de la gestion du risque lié aux régimes de retraite. Les autres modifications importantes qui ont été apportées visent à fournir plus de contexte et de clarté en ce qui concerne la gestion du risque lié aux modèles d’intelligence artificielle et d’apprentissage automatique (IA et AA).
Si vous avez des questions, veuillez communiquer avec Christopher Hutny (christopher.hutny@osfi-bsif.gc.ca), spécialiste principal, Division des normes de fonds propres et de liquidité des banques, Centre consultatif sur le risque.
Veuillez agréer l’expression de mes sentiments les meilleurs.
Amar Munipalle
Directeur administratif, Centre consultatif sur le risque
Synthèse des commentaires reçus des parties prenantes et réponses du BSIF
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Certaines parties prenantes ont souligné que la définition de modèle était trop large et devrait être restreinte. | Nous avons délibérément conservé une définition générale dans la version finale de la ligne directrice. Il appartient à l’institution de recenser les modèles et de gérer le risque de modélisation de manière proportionnée à la cote de risque. |
| Des parties prenantes souhaitaient obtenir des précisions sur les cas d’utilisation à faible risque ou sans risque découlant d’un modèle d’IA générative (comme le recours à ChatGPT pour résumer des documents ou rédiger des courriels de marketing) et ont demandé si ceux-ci pouvaient être exclus des exigences relatives à la gestion des modèles à risque critique ou élevé. | Nous avons amélioré certaines parties de la ligne directrice pour apporter des précisions supplémentaires sur la manière dont elle doit être appliquée aux modèles d’IA et d’AA. Pour autant, la ligne directrice donne les moyens à l’institution de prendre des décisions averties concernant les risques, en fonction de l’application du modèle dans le contexte organisationnel, lorsqu’elle attribue des cotes de risque de modélisation. |
| Des parties prenantes ont demandé si tous les modèles seraient visés par la ligne directrice, quelle que soit leur cote de risque. | Nous avons étoffé les orientations concernant le recensement des modèles, notamment les attentes au chapitre de l’établissement d’un inventaire des modèles. Dans la version finale de la ligne directrice, seuls les modèles qui présentent un risque non négligeable pour l’institution doivent être consignés dans l’inventaire et faire l’objet d’une gouvernance de l’ensemble de leur cycle de vie. |
| Des parties prenantes ont demandé jusqu’où les risques doivent être pris en compte en aval. | Nous avons simplifié les principes dans la version finale de la ligne directrice pour supprimer toute mention des risques en aval. L’institution doit déterminer ce qui constitue un niveau raisonnable de répercussions en aval en fonction de la cote de risque du modèle. |
| Des parties prenantes ont demandé des précisions sur ce que l’on entend par nouveau modèle. | Nous avons révisé la ligne directrice pour ne plus différencier les « nouveaux » modèles. |
| Des parties prenantes ont demandé des précisions sur le terme « facteurs de risque de modélisation », car ce terme n’est pas défini dans la version à l’étude, et il n’y a pas de facteurs définis de risque de modélisation. | Nous avons clarifié la ligne directrice et supprimé la mention de « facteurs de risque de modélisation ». |
| Des parties prenantes souhaitaient obtenir des précisions sur le terme « classification des risques », qui n’est pas défini, et demandé s’il ne devait pas plutôt faire référence à la cote de risque. | Nous avons clarifié la ligne directrice et supprimé la mention de « classification des risques ». |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont fait remarquer que la période de mise en œuvre proposée de 12 mois était trop courte. Elles ont demandé qu’elle soit portée à 3 ans. | Nous avons reporté la date de mise en œuvre au 1er mai 2027. À noter que de nombreuses institutions ont indiqué qu’elles avaient déjà commencé à mettre en œuvre les réformes afférentes à la gestion du risque de modélisation décrites dans la version à l’étude de la ligne directrice. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont demandé des précisions sur la manière dont le principe de proportionnalité devait être pris en compte. | Nous avons révisé le champ d’application afin de préciser que l’application de la ligne directrice est fonction du risque et proportionnelle à la taille de l’institution, à sa stratégie, à son profil de risque, à la nature, à la portée et à la complexité de ses activités, ainsi qu’à son interdépendance. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont demandé à avoir des éléments d’orientation supplémentaires sur l’explicabilité. | Nous avons ajouté, dans la version finale de la ligne directrice, des éléments d’orientation sur l’explicabilité pour les différents éléments du cycle de vie d’un modèle. |
| Des parties prenantes ont demandé à avoir des éléments d’orientation supplémentaires sur les modèles d’apprentissage automatique. Elles se demandaient plus précisément comment il était possible de respecter l’exigence d’approbation des modifications apportées au modèle lorsque celui-ci évolue constamment. | Nous avons ajouté, dans la version finale de la ligne directrice, des éléments d’orientation concernant les modifications apportées au modèle dans les sections traitant du recensement, de la validation et du suivi des modèles. L’institution doit établir ses propres critères pour déterminer quand un modèle d’apprentissage automatique a subi une modification importante. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont demandé des orientations plus précises sur les attentes relatives à la gestion des modèles « boîte noire » de tiers. | Nous avons ajouté des orientations sur la gestion des modèles de tiers dans la version finale de la ligne directrice. L’institution doit respecter les principes de gestion du risque lié aux tiers énoncés dans la ligne directrice B-10, Gestion du risque lié aux tiers. De plus, elle doit veiller à ce que les modèles de tiers fassent l’objet d’une validation et d’un suivi proportionnés au risque qu’ils présentent. |
| Des parties prenantes ont demandé que la ligne directrice prévoie un délai de grâce afin que les institutions puissent valider les mises à jour des modèles de tiers après leur déploiement, étant donné qu’elles ont peu de contrôle sur ces modèles. | Nous n’avons pas intégré de délai de grâce dans la version finale de la ligne directrice en ce qui concerne la gestion du risque lié aux modèles de tiers. Toutefois, l’institution peut toujours établir une politique d’exception en vertu de laquelle les modèles peuvent être utilisés pour des applications limitées et précises avant que la validation n’ait été effectuée. |
| Des parties prenantes ont demandé des précisions sur la gestion du risque lié aux modèles de fournisseurs de quatrième niveau. Par exemple, si une institution passe un contrat avec un tiers qui intègre une fonctionnalité d’IA générative dérivée d’un modèle d’un fournisseur de quatrième niveau, les parties prenantes souhaitent savoir si le modèle du fournisseur de quatrième niveau doit être pris en compte dans le cadre du risque de modélisation de l’institution. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice pour rendre compte des modèles de fournisseurs de quatrième niveau. Il incombe à l’institution de s’assurer que l’utilisation de modèles de tiers respecte sa propension à prendre des risques. La validation d’un modèle de tiers doit inclure les données d’entrée du modèle, y compris les modèles servant d’intrant. L’institution doit déterminer si les risques liés à l’utilisation d’un modèle de tiers sont appropriés au vu du contexte opérationnel. |
| Des parties prenantes ont demandé des précisions concernant les cas où un fournisseur refuse de fournir les documents appropriés. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice pour rendre compte des fournisseurs réticents ou intégrer des mesures d’adaptation connexes. Il appartient à chaque institution de s’assurer que les fournisseurs transmettent les documents adéquats pour répondre à ses besoins en matière de gestion du risque de modélisation. |
| Des parties prenantes ont demandé des précisions au sujet de la gouvernance des modèles « boîte noire » de tiers. | Nous avons révisé la ligne directrice pour y mentionner les modèles « boîte noire » dans certains domaines, mais nous n’avons pas apporté de révisions ni prévu d’exceptions particulières concernant la gouvernance des modèles « boîte noire » de tiers. Nous attendons de toutes les institutions qu’elles mettent en place un cadre de gouvernance pour l’ensemble des modèles de tiers. Chaque institution doit décider comment structurer la gouvernance des modèles de tiers d’une manière qui reflète sa propension à prendre des risques. |
| Des parties prenantes ont indiqué qu’il était difficile de valider certains modèles lorsque ceux-ci font intervenir des produits de pointe de fournisseurs reposant sur des techniques exclusives et des données d’entraînement externes volumineuses ou dynamiques. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice pour rendre compte des fournisseurs utilisant des techniques ou des données exclusives. L’institution doit mettre en place des mécanismes de contrôle permettant d’évaluer si la solution du fournisseur génère une réponse appropriée. |
| Des parties prenantes ont souligné que les entités qui ont recours à des bibliothèques, des plateformes et/ou des processus de développement automatisés de tiers pour développer des modèles devraient se soumettre à une validation ou à une validation indépendante, proportionnée aux risques que présentent ces éléments. | Nous sommes d’accord avec cette observation et nous l’avons intégrée dans la version finale de la ligne directrice. |
| Des parties prenantes ont fait remarquer que certaines exigences relatives à la gouvernance des modèles peuvent être difficiles à respecter lorsqu’il s’agit de modèles de tiers (par exemple, les exigences relatives aux données, à l’environnement de développement et à l’architecture de modélisation). Elles proposent d’assouplir les exigences relatives au développement et de renforcer celles relatives à la validation des modèles. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice pour assouplir les attentes à l’égard des modèles de tiers. L’institution doit définir des politiques de validation et de suivi des modèles de tiers d’une manière lui permettant de gérer efficacement son risque de modélisation. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes nous ont demandé de préciser quelle était la différence entre « validation » et « examen ». | Nous utilisons le terme « validation » dans la version finale de la ligne directrice, mais soulignons qu’il peut être employé de manière interchangeable avec le mot « examen ». Le but est de soumettre les modèles à des validations indépendantes qui sont proportionnées à la cote de risque de modélisation. |
| Des parties prenantes ont fait remarquer que, pour certaines institutions, le nombre de modèles pourrait se chiffrer en centaines et que la validation de tous ces modèles serait contraignante. Elles demandent des précisions sur la fréquence appropriée de validation des modèles. | Nous n’avons apporté aucune modification à la version finale de la ligne directrice pour préciser la fréquence de validation des modèles. Comme nous l’avions indiqué dans la version à l’étude, c’est la cote de risque de modélisation qui doit déterminer la fréquence, la rigueur et la portée des validations et des activités de remaniement des modèles. |
| Des parties prenantes ont demandé si une validation ciblée serait acceptable, plutôt qu’une validation de l’ensemble du modèle. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice pour permettre des validations ciblées ou à plus petite échelle. Soulignons toutefois que la portée de la validation d’un modèle doit être déterminée par sa cote de risque. |
| Des parties prenantes ont demandé des précisions sur les attentes concernant les modèles d’IA générative par rapport aux modèles quantitatifs traditionnels. | Nous avons ajouté quelques considérations propres aux modèles d’IA dans la version finale de la ligne directrice. Toutefois, les résultats attendus et les principes énoncés dans la ligne directrice ne varient pas selon l’approche algorithmique utilisée pour la modélisation. |
| Des parties prenantes ont demandé si la validation devait obligatoirement être effectuée par l’établissement principal ou si elle pouvait être réalisée par d’autres intervenants. | Nous avons révisé la ligne directrice pour supprimer les mentions de « bureau d’attache ». L’institution doit préciser quelles sont les entités ou les personnes qui sont chargées des validations des modèles dans le cadre de gestion du risque de modélisation de l’institution. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont fait remarquer que compte tenu du grand nombre de systèmes de données que compte une institution, il pourrait être difficile d’assurer la traçabilité des données dans tous ces systèmes. Certaines ont demandé par ailleurs des précisions sur le degré de traçabilité requis. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice concernant la traçabilité des données des modèles. Une bonne pratique pour l’institution consiste à comprendre comment les données utilisées pour la modélisation sont recueillies et quelles transformations elles subissent avant la modélisation. Nous nous attendons à ce que la rigueur appliquée pour établir la traçabilité des données soit proportionnée à la cote de risque de modélisation et à l’importance relative des éléments de données dans le modèle. |
| Des parties prenantes ont demandé si la traçabilité des données devrait être évaluée séparément du risque de modélisation. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice concernant la traçabilité des données du modèle, car ce sujet ne relève pas du champ d’application de la ligne directrice qui est axée sur la gestion du risque de modélisation. Les données, y compris leur exactitude, leur traçabilité, leur représentation et leur actualité, doivent être évaluées en tant que facteur de risque de modélisation. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont demandé des précisions sur les attentes à l’égard de la gouvernance et de la tenue à jour des modèles inutilisés. Elles souhaitaient savoir si des exigences d’exécutions parallèles ne seraient pas plus appropriées. | Nous n’avons pas apporté de modifications spécifiques dans la version finale de la ligne directrice concernant les attentes à l’égard de la gouvernance des modèles mis hors service. Nous convenons cependant que les exécutions parallèles constituent une approche efficace pour faciliter la transition d’un modèle à un autre. Comme il est indiqué dans la version finale de la ligne directrice, nous attendons de l’institution qu’elle conserve le modèle mis hors service et les documents connexes pendant une période déterminée afin qu’ils puissent servir de référence ou de solution de rechange en cas d’imprévu. |
| Des parties prenantes ont demandé des précisions sur la phrase suivante : « Les exigences en matière d’approbation doivent s’appliquer tout au long du cycle de vie d’un modèle, incluant en ce qui touche les modifications et les examens périodiques ». Elles voulaient savoir si les institutions doivent procéder à une approbation globale d’un modèle après la validation et avant le déploiement ou si le terme « tout au long » est utilisé pour indiquer que des approbations sont nécessaires à toutes les étapes clés de développement du modèle, y compris la validation indépendante avant approbation. | Nous avons conservé, dans la version finale de la ligne directrice, la formulation relative aux approbations tout au long du cycle de vie d’un modèle. L’institution a toutefois la possibilité de concevoir son propre processus de gouvernance des modèles et de déterminer à quelles étapes des approbations sont nécessaires. Précisons que les approbations doivent être obtenues avant la mise en œuvre d’une modification et après des validations périodiques afin de s’assurer que le modèle demeure adapté à son objectif. D’autres situations peuvent également justifier une approbation au cours du cycle de vie d’un modèle, par exemple lorsqu’un changement de système non lié au modèle a lieu, et qu’il est nécessaire de s’assurer que le modèle fonctionne toujours correctement. |
| Des parties prenantes ont souligné que la désignation de tous les intervenants constitue un seuil élevé et qu’il peut être difficile de déterminer exactement tous les intervenants dès le début, au moment de définir la raison d’être de la modélisation. | Nous avons modifié la formulation dans la version finale de la ligne directrice et remplacé « tous les intervenants » par « les intervenants de modèle », un terme défini dans la section Termes clés. |
| Des parties prenantes ont fait remarquer que de nombreux modèles ne sont pas utilisés en continu, mais de façon périodique ou pour produire un extrant unique. Elles recommandent que la section « Déploiement d’un modèle » s’applique exclusivement aux modèles « largement mis à disposition ». | Nous n’avons apporté aucune modification à la version finale de la ligne directrice pour restreindre son application aux modèles à extrant unique ou à usage périodique. L’institution doit accorder une attention particulière aux modèles utilisés en dehors d’un environnement de production. La cote de risque du modèle peut être plus élevée que prévu au départ, car les mécanismes de contrôle mis en œuvre dans un environnement de production peuvent ne plus agir comme facteur d’atténuation du risque. |
| Des parties prenantes ont indiqué que le cycle de vie d’un modèle ne permet pas de rajustement dynamique ni d’autres différenciations dans la gestion du modèle. | Nous avons supprimé les mentions du cycle de vie circulaire d’un modèle dans la version finale de la ligne directrice pour favoriser les modes de développement innovants. |
| Commentaire des parties prenantes | Notre réponse |
|---|---|
| Des parties prenantes ont recommandé l’ajout d’une section sur les consignes connexes et sur la manière dont nous nous attendons à ce que la ligne directrice E-23 influe sur ces autres consignes et inversement. | Bien qu’il n’y ait aucune section spécifique sur les consignes connexes dans la version finale de la ligne directrice, nous avons intégré des références et des liens vers d’autres lignes directrices. |
| Des parties prenantes ont demandé des précisions sur le niveau de cohérence et/ou de reproduction nécessaire entre les données utilisées lors du développement et celles de l’ensemble de données de production. | Nous n’avons apporté aucune modification à la version finale de la ligne directrice pour établir des mesures ou des seuils de cohérence des données entre les environnements de développement et de production. La reproductibilité entre les données de développement et de production doit être évaluée au moment de la validation du modèle. L’institution doit avoir des attentes différentes quant à ce qui est acceptable en fonction de la cote de risque du modèle. |
| Des parties prenantes souhaitaient savoir si les développeurs de modèles devraient être responsables du codage dans les systèmes de production. | Nous n’avons pas précisé, dans la version finale de la ligne directrice, les responsabilités en matière de codage dans un système de production. Un déploiement de modèle efficace doit impliquer une collaboration entre les développeurs, les responsables et les utilisateurs du modèle, et avec les équipes chargées des technologies ou des activités. |
| Des parties prenantes ont demandé des précisions sur ce qui a motivé la décision d’imposer des cotes de risque spécifiques et distinctes pour les modèles fournis aux filiales ou aux succursales étrangères. | Nous avons révisé la formulation de la ligne directrice pour préciser que tous les modèles développés à l’externe doivent faire l’objet d’une évaluation distincte avant de se voir attribuer une cote de risque de modélisation. La cote de risque attribuée aux modèles développés par un tiers externe (autrement dit la société mère) peut ne pas refléter le risque pour la filiale ou la succursale étrangère. |