Les limites des grands modèles de langage – L’AGI est-elle vraiment pour demain ?
Depuis l’explosion de ChatGPT et la montée en puissance des grands modèles de langage, l’intelligence artificielle occupe une place centrale dans le débat public et l’investissement technologique. Pourtant, derrière l’enthousiasme médiatique et les levées de fonds record, de nombreux chercheurs estiment que cette approche pourrait avoir atteint ses limites. L’objectif ultime de plusieurs entreprises du secteur reste l’AGI, l’intelligence artificielle générale, une IA capable de raisonner comme un être humain. Mais selon certains experts, les LLM, malgré leurs prouesses, ne sont pas la voie royale vers cette étape décisive.
La sortie de GPT-5 a fait l’actualité. Si le modèle s’avère plus performant que ses prédécesseurs, il n’a pas atteint la révolution promise. Pour les sceptiques, cette déception confirme que la stratégie du « toujours plus grand » n’est pas suffisante. Gary Marcus, chercheur reconnu et critique de longue date de l’approche actuelle, n’a pas mâché ses mots:
« Personne ne peut encore croire que le simple passage à l’échelle mènera à l’AGI. »
Son constat reflète un malaise croissant dans l’industrie, où même certains ingénieurs commencent à douter des échéances ambitieuses avancées par les géants de l’IA. OpenAI illustre parfaitement l’ambivalence du secteur. Devenue la startup la plus valorisée au monde avec environ 60 milliards de dollars levés, elle pourrait bientôt dépasser 500 milliards de valorisation grâce à des ventes secondaires d’actions. Ses produits, comme ChatGPT, attirent près de 700 millions d’utilisateurs chaque semaine, imposant un rythme effréné à la concurrence.
Pourtant, la rentabilité n’est pas au rendez-vous, et l’AGI reste un horizon lointain. La situation est similaire chez Google, Meta, Anthropic ou encore xAI, qui investissent massivement dans les LLM, construisent des data centers colossaux et recrutent à prix d’or. Le fossé entre dépenses et résultats interroge, sommes-nous face à une bulle spéculative de l’IA ? Même Sam Altman a reconnu que l’enthousiasme des investisseurs est probablement excessif. Les marchés, eux, oscillent entre euphorie et inquiétude, comme l’a montré la récente correction boursière de 1 000 milliards de dollars dans le secteur technologique.
Au-delà des aspects financiers, ce sont les limites techniques qui nourrissent le scepticisme. Une étude publiée par Apple en juin, intitulée « L’illusion de la pensée », a rappelé une vérité fondamentale, les LLM ne raisonnent pas, ils reconnaissent des motifs. Ils peuvent briller dans des tâches simples mais s’effondrent dès que la complexité augmente. D’autres chercheurs abondent dans ce sens. Andrew Gelman, de l’université américaine de Columbia, les compare à un joggeur: capables d’avancer longtemps sans effort, mais incapables de sprinter, c’est-à-dire de déployer une véritable pensée logique. À ces limites s’ajoute le problème récurrent des hallucinations. Une étude menée en Allemagne a montré que, selon les langues, entre 7 % et 12 % des réponses générées contiennent des erreurs factuelles. Cette fragilité explique pourquoi la plupart des entreprises imposent toujours une supervision humaine.
Jusqu’ici, la croyance dominante reposait sur les lois du « scaling »: en augmentant la taille des modèles et des données, les performances suivraient. Mais cette approche rencontre désormais un mur. Yann LeCun, directeur scientifique de l’IA chez Meta, affirme que « les problèmes les plus intéressants ne passent pas à l’échelle » et qu’il faut explorer d’autres architectures. Apple souligne également les incohérences profondes de ces modèles, qui peinent à maintenir une cohérence algorithmique sur des problèmes complexes. Quant aux ressources, elles ne sont pas infinies, l’accès à des données de haute qualité devient un enjeu critique, voire une barrière infranchissable.
Alors, l’AGI est-elle pour demain ? Rien n’est moins sûr. Si les LLM continueront de s’améliorer et de s’intégrer dans nos usages quotidiens, ils ne semblent pas en mesure, seuls, de franchir le cap vers une intelligence véritablement générale. L’histoire des technologies regorge de cycles d’euphorie et de désillusion. L’intelligence artificielle n’y échappera probablement pas. La prochaine avancée pourrait venir d’architectures radicalement nouvelles, inspirées d’autres formes de cognition humaine ou biologique. La course à l’AGI ne sera donc pas qu’une simple question de puissance de calcul. Elle demandera une rupture conceptuelle, bien plus profonde que le gigantisme actuel des modèles de langage.
