Les IA inventent-elles davantage sur les petites entreprises que sur les grandes ?

Quand une IA manque d'informations, elle ne se tait pas : elle complète avec ce qui ressemble, et parfois elle invente.

Cette question attend d'être mise à l'étude

Elle t'intéresse ? Rejoins le labo et vote pour qu'on la lance.

Ce qu'on sait déjà

La recherche montre que les IA répondent beaucoup moins juste sur les sujets rares : pour GPT-4, 19 % de bonnes réponses sur les sujets rares contre 40 % sur les sujets très connus (Head-to-Tail, Meta, 2024). Inventer plus ou se taire plus dépend du modèle. Pendant un webinaire, quelqu'un a découvert qu'une IA lui associait une photo qui n'était pas la sienne.

Ce qui pourrait trancher

Poser la même question « que sais-tu de… » sur des entreprises de tailles différentes, et compter les affirmations fausses dans chaque réponse.

Les sources de départ

Les études et articles extérieurs qui touchent à la question, avec ce que chacun y apporte.

Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs?Kai Sun, Yifan Ethan Xu, Hanwen Zha, Yue Liu, Xin Luna Dong (Meta Reality Labs), NAACL 2024, arXiv 2308.10168 (v2 avril 2024)
Environ 18 000 questions, classées selon la popularité du sujet (très connu, moyen, rare), posées à 16 modèles. Pour GPT-4, les bonnes réponses passent de 40,3 % sur les sujets très connus à 19,0 % sur les sujets rares. Le taux d'invention, lui, baisse de 23,3 % à 15,9 %, parce que ce modèle s'abstient plus souvent. Chez Llama 2-70B, au contraire, le taux d'invention augmente sur les sujets rares.
When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric MemoriesAlex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, Hannaneh Hajishirzi, ACL 2023 (arXiv 2212.10511), décembre 2022
Sur 14 000 questions (jeu PopQA) et 10 modèles, les IA peinent sur les entités peu populaires, et grossir le modèle n'y change presque rien. Les modèles qui vont chercher l'information à l'extérieur font mieux que des modèles dix fois plus gros. Pour une petite entreprise, ce n'est donc pas la taille du modèle qui la sauve, mais ce qu'il trouve en cherchant.
Large Language Models Struggle to Learn Long-Tail KnowledgeNikhil Kandpal et al., ICML 2023 (arXiv 2211.08411), novembre 2022
La justesse d'une réponse dépend du nombre de documents sur le sujet vus pendant l'entraînement, et ce lien est en partie causal. Les sujets rares, comme une petite entreprise, sont structurellement mal connus.
Retrieval Helps or Hurts? A Deeper Dive into the Efficacy of Retrieval Augmentation to Language ModelsSeiji Maekawa, Hayate Iso, Sairam Gurajada, Nikita Bhutani (Megagon Labs), NAACL 2024, arXiv 2402.13492
14 837 questions sur Wikipédia (jeu WiTQA), classées à la fois selon la popularité du sujet et selon la popularité du fait demandé, posées à 10 modèles (dont GPT-3.5 et GPT-4), avec et sans recherche de documents. Les grands modèles se souviennent d'un fait rare sur un sujet connu, ou d'un fait courant sur un sujet rare. Le cas où même les modèles GPT peinent, c'est le fait rare sur un sujet rare. Dans ce cas, la recherche de documents aide tous les modèles. Sur les sujets populaires, au contraire, elle peut nuire : GPT-3.5 avec recherche fait moins bien que sans, parce qu'un mauvais document écrase un souvenir juste. Les modèles GPT répondent aussi souvent que le document ne contient pas l'information, plutôt que d'inventer.

Question née dans Le vide n'est pas neutre · partie 1. Les tests, les preuves et les échanges se font dans le labo. Quand l'étude sera solide, elle deviendra un article du Carnet, et cette page renverra vers lui.