Projet de révision de la ligne directrice E-23 portant sur la gestion du risque de modélisation
Informations
Table des matières
Destinataires : Institutions financières et régimes de retraite fédéraux
En septembre 2017, le Bureau du surintendant des institutions financières (BSIF) a publié la ligne directrice E‑23 intitulée Gestion du risque de modélisation à l’échelle de l’entreprise dans les institutions de dépôts afin de communiquer ses attentes à celles-ci en ce qui concerne l’application de l’approche du cycle de vie pour gérer l’utilisation de modèles.
Depuis lors, les travaux de surveillance que le BSIF a entrepris lui ont permis de déceler des occasions de fournir aux institutions de dépôts des précisions à propos de certains éléments : les consignes sur la gestion du risque de modélisation à l’échelle de l’entreprise, l’étendue des modèles auxquels la ligne directrice s’applique et l’application du principe de proportionnalité aux institutions de petite taille.
Les sociétés d’assurance et les régimes de retraite fédéraux ont eux aussi recours à des modèles pour prendre des décisions d’affaires. Même si, dans une certaine mesure, les normes professionnelles traitent de l’utilisation de certains modèles, le champ d’application de la ligne directrice E-23 est beaucoup plus vaste. Le BSIF estime donc que les consignes globales qui y figurent devraient s’étendre aux sociétés d’assurance et aux régimes de retraite fédéraux, ce qui permettrait d’assurer la cohérence des consignes et des attentes en matière de gestion du risque de modélisation à l’échelle des institutions financières fédérales (IFF) et des régimes de retraite fédéraux (RRF).
Par ailleurs, les modèles font appel de plus en plus à de grandes quantités et de nombreux types de données et emploient des techniques sans cesse plus complexes. Comme le BSIF l’a indiqué dans son document de travail intitulé Renforcer la résilience du secteur financier dans un monde numérique , certains risques de modélisation sont amplifiés du fait du phénomène de numérisation et de l’utilisation de l’analytique avancée, y compris l’intelligence artificielle et l’apprentissage automatique (IA/AA). Ces facteurs, conjugués à l’utilisation accrue de modèles de la part des IFF et des RRF, contribuent à l’accroissement du risque de modélisation.
En conséquence, le BSIF prévoit d’élargir le champ d’application de la ligne directrice E-23 pour prendre en compte ces risques émergents et faire savoir qu’il s’attend à ce que l’ensemble des IFF et des RRF évaluent et gèrent correctement les risques de modélisation à l’échelle de l’entreprise. Il adoptera une approche équilibrée qui tient compte de questions de proportionnalité et qui repose sur le cadre de gestion du risque de modélisation auquel les IFF et les RRF sont soumis. Cette approche du BSIF axée sur le risque tiendra compte également du souhait des IFF et des RRF d’innover et de préserver leur agilité dans le développement de modèles, tout en maintenant l’importance d’assurer une bonne gestion du risque de modélisation. Pour savoir les aspects du risque de modélisation que le BSIF se propose de traiter à l’occasion de la prochaine révision de la ligne directrice E-23, reportez-vous à l’annexe.
Le BSIF prévoit de lancer une consultation au sujet de la ligne directrice E-23 en mars 2023 et de publier sa version définitive vers la fin de 2023, en prévision de sa mise en œuvre en juin 2024. Pour l’heure, il sollicite l’avis des parties prenantes sur l’élargissement du champ d’application de la ligne directrice et de la portée des modèles et sur tout autre élément de la ligne directrice E‑23 qui gagnerait à être expliqué avec plus de détail et de clarté.
Les commentaires doivent être adressés à models-modeles@osfi-bsif.gc.ca d’ici le 30 juin prochain.
Annexe
Nous présentons ci‑dessous, catégorisés en fonction des principes de solidité, de responsabilité et d’explicabilité, les nouveaux aspects du risque de modélisation que le BSIF songe à traiter dans une prochaine version de la ligne directrice E-23. Ces aspects s’appliqueraient à tous les modèles visés, mais le degré de conformité dépendrait de l’importance relative du modèle, de sa complexité et de son utilisation.
Solidité
La solidité des modèles est un sujet vaste et complexe qui tient compte, entre autres choses, de questions relatives aux données, au développement, à la validation, au suivi, au biais et à la documentation.
Question : Données
Le BSIF envisage ceci
Au vu des difficultés qu’entraîne l’accroissement du risque de modélisation, traiter plus à fond des contrôles et de la gouvernance à exercer tout au long du processus de traçabilité des données, en raison :
-
des quantités et des types accrus de données;
-
de la vitesse à laquelle on exploite des données pendant le développement des modèles.
Question : Développement, validation et mise en œuvre de modèles
Le BSIF envisage ceci
Demander aux responsables, aux utilisateurs et aux valideurs de modèles d’exercer une plus grande rigueur, afin :
-
que la robustesse des modèles soit prise en compte pendant leur développement, de façon que de très légères différences dans les données de production ne se traduisent pas par des inexactitudes dans les données de sortie des modèles;
-
d’assurer une plus grande fiabilité des modèles par le traitement adéquat des exceptions et la compréhension des limites des modèles;
-
d’exercer une surveillance adéquate de la mise en œuvre des modèles;
-
de définir au préalable les mesures d’urgence à prendre en cas d’échec des modèles.
Question : Suivi
Le BSIF envisage ceci
Moduler la fréquence et l’intensité du suivi en fonction du degré de risque des modèles. Il faudra assurer un suivi efficace et opportun des modèles d’IA/AA pour que leur performance reste adéquate, ce qui servira à prévenir les responsables d’un éventuel échec des modèles.
Question : Biais
Le BSIF envisage ceci
Examiner les différents types de biais que les modèles pourraient avoir. Les biais non désirés soulèvent des doutes sur la justesse des modèles, l’un des principaux sujets en évolution du monde de l’IA/AA. L’existence de biais risque de porter atteinte à la réputation de l’entreprise concernée.
Question : Documentation
Le BSIF envisage ceci
Assurer une documentation adéquate, proportionnée au degré de risque des modèles, tout en étant sensible :
-
aux tendances du secteur à vouloir faire preuve d’agilité dans le développement de modèles, tout en soupesant la possibilité d’effectuer de nouveaux et fréquents calibrages sans forcément introduire de nouveaux modèles;
-
à la possibilité de tirer parti des plateformes dans le cadre du cycle de vie des modèles;
-
à la possibilité qu’il y ait divers contributeurs à la documentation des modèles et divers publics cibles.
Responsabilité
Compte tenu de l’utilisation accrue de modèles, le champ d’application de la ligne directrice E-23 sera étendu aux modèles qui servent à autre chose qu’au calcul des fonds propres et à la gestion du risque, suivant une approche axée sur le risque.
L’évolution continue du risque de modélisation et des pratiques de gestion de ce risque conduit à une augmentation du nombre et de la diversité des acteurs intervenant dans le cycle de vie des modèles, surtout dans le cas des modèles d’IA/AA.
Les consignes révisées tiendront compte de la mesure dans laquelle le cadre et les structures de gouvernance des modèles
-
de la gestion pluridisciplinaire du risque de modélisation, dont les fonctions de contrôle (services du contentieux et de mise en conformité);
-
des liens existant entre les modèles et les données, de façon à assurer la transparence et l’efficacité de la traçabilité des données;
-
des progrès technologiques et de l’évolution des risques de modélisation, y compris les risques amplifiés du fait de l’utilisation de l’IA/AA;
-
de l’opacité éventuelle des modèles et des liens de dépendance envers des tiers et de leurs effets sur les conséquences et les résultats des modèles.
Bien que l’utilisation de mégadonnées et de techniques de modélisation complexes mette en évidence la nécessité de posséder des compétences spécialisées et de bien comprendre les modèles, le BSIF est conscient qu’il existe sans doute divers moyens de combler ce besoin – comme l’externalisation –, tandis qu’évoluent les cadres de gestion du risque de modélisation.
Explicabilité
L’explication des données de sortie des modèles permet de mieux atténuer les risques et les résultats non voulus découlant de l’utilisation de ces données et de renforcer la solidité des modèles et la responsabilisation.
La quantité et la diversité des données exploitées pour le développement de modèles ainsi que la complexité et le type de techniques de modélisation utilisées indiquent la mesure dans laquelle les modèles sont intrinsèquement explicables. À son tour, le degré requis d’explicabilité des modèles est fonction :
-
de l’utilisation prévue des modèles à l’échelle des secteurs d’activité de l’entreprise;
-
des différents types d’acteurs de la gestion des modèles
Par exemple, la haute direction, les responsables des modèles, les clients, auditeurs et organismes de réglementation. La divergence des objectifs de chacun d’entre eux indique l’étendue et les dimensions de l’explicabilité à considérer. .
Il se peut que plus le niveau d’explicabilité soit élevé et plus il faudra des informations détaillées et de sérieuses discussions à propos de la compréhensibilité des déterminants des modèles et des fonctions intervenant dans l’évaluation de l’explicabilité des modèles. L’étendue et les dimensions de l’explicabilité pourraient englober la totalité ou une partie du cycle de vie des modèles ainsi que les caractéristiques des explications requises (p. ex., explications locales ou globales, exactes ou approximatives). Il faudra aussi prendre en considération la nature dynamique de certains modèles d’IA/AA, la capacité limitée d’expliquer les produits de tiers et la nécessité d’assurer un suivi continu de l’explicabilité des modèles.
Le BSIF compte exposer dans la prochaine version de la ligne directrice les différentes dimensions de l’explicabilité. En outre, il exprimera clairement ses attentes quant aux niveaux d’explicabilité requis en fonction du risque de modélisation.