Les modèles d’IA tels que GPT-4o sont formés à partir de données extraites de sites web publics sans que les propriétaires des données originales soient indemnisés, ce qui donne lieu à des litiges juridiques.
Les techniques de désapprentissage, qui tentent de supprimer des informations spécifiques, sont désormais au cœur des préoccupations pour résoudre ces problèmes de droits d’auteur. Cependant, elles perturbent les schémas appris par les modèles, qui sont essentiels pour générer des réponses précises.
En conséquence, les capacités prédictives globales des modèles sont affectées, ce qui leur fait perdre leur capacité à répondre avec précision aux questions de base et dégrade leurs performances générales.
Selon une nouvelle étude réalisée par des chercheurs de l’université de Washington, de Princeton, de l’université de Chicago, de l’USC et de Google, les techniques visant à faire « désapprendre » à l’IA des informations spécifiques – comme des données sensibles ou du matériel protégé par des droits d’auteur – présentent de sérieux inconvénients.
Ces méthodes peuvent rendre des modèles avancés comme le GPT-4o d’OpenAI ou le Llama 3.1 405B de Meta beaucoup moins efficaces pour répondre à des questions de base, parfois au point qu’il n’est plus pratique de les utiliser.
Les modèles d’IA générative ne sont pas véritablement intelligents ; ils fonctionnent comme des systèmes statistiques qui prédisent des données telles que des mots, des images et des discours en se basant sur des modèles appris à partir de nombreux exemples tels que des films et des essais.
Par exemple, si un fragment d’e-mail est rédigé de la manière suivante : « J’attends avec impatience… », un modèle peut le compléter par « … pour avoir des nouvelles », en se basant uniquement sur des modèles appris. Il n’y a pas de pensée intentionnelle derrière cela.
C’est pourquoi les techniques de désapprentissage, qui tentent de supprimer des informations spécifiques, perturbent ces modèles. Au lieu d’effacer simplement les données, le désapprentissage utilise des algorithmes pour détourner les modèles de certaines informations. En conséquence, les capacités prédictives globales des modèles sont affectées, ce qui leur fait perdre leur capacité à répondre avec précision à des questions de base et dégrade leurs performances générales.
Ce n’est un secret pour personne que de nombreux modèles d’IA, y compris d’éminents modèles comme GPT-4o, sont entraînés à l’aide de données extraites de sites web publics sans avertir ni payer les propriétaires des données originales, en invoquant souvent l’utilisation équitable. Cette pratique a donné lieu à des poursuites de la part des détenteurs de droits d’auteur, tels que les auteurs et les éditeurs. En conséquence, les techniques de désapprentissage sont devenues un sujet d’actualité, Google et plusieurs institutions universitaires ayant lancé un concours pour développer de nouveaux moyens de résoudre ces problèmes de droits d’auteur en supprimant efficacement des données spécifiques des modèles d’IA.
Avons-nous aujourd’hui une solution ? Pas vraiment, c’est pourquoi les auteurs de l’étude affirment qu’il y a encore beaucoup de recherches à faire. Peut-être qu’une percée technique rendra le désapprentissage viable à l’avenir, mais pour l’instant, les fournisseurs devront trouver d’autres moyens d’empêcher leurs modèles de dire des choses qu’ils ne devraient pas.
Commentaires récents