Le Monde (social) selon ChatGPT

Avec le lancement de ChatGPT en novembre 2022, l'une des infrastructures algorithmiques d'intelligence artificielle les plus complexes - les grands modèles de langue (LLMs) - a été mise à la disposition des chercheurs universitaires et du grand public. Depuis lors, le chatbot — qui comptait 180 millions d’utilisateurs et plus de 1,5 milliards de visites mensuelles en janvier 2024 — a été massivement adopté et utilisé dans de nombreux domaines. Son usage a suscité des débats intenses sur des questions telles que le droit d'auteur, l'intégrité dans la production de connaissances, le remplacement de la main-d'œuvre qualifiée et la désinformation. Des études récentes ont également mis en lumière l’existence de biais dans la génération de textes par ce chatbot qui soulèvent des questions quant à sa neutralité et sa capacité à représenter équitablement le monde social, par exemple lorsqu'il est utilisé dans l'industrie culturelle ou dans le monde académique.

Cette présentation de Gilles Bastin propose de contribuer à l'effort de recherche visant à mesurer de tels biais en surmontant certaines limitations imposées à ce type de recherche par la définition canonique de cette notion dans la littérature informatique sur les LLMs, à savoir une définition unidimensionnelle, allocative et orientée vers les dommages aux personnes et aux groupes sociaux. Au lieu de cela, Gilles utilise des outils sociologiques tels que l'Analyse en Composantes Multiples pour comparer l'espace social produit par GPT lorsqu'il est systématiquement invité à fournir une description réaliste de personnes en termes socio-démographiques (sexe, statut ethno-racial, profession, revenu, situation matrimoniale, éducation...) et de goûts (loisirs, musique, cinéma, médias...) à celui qui peut être tiré des études sociologiques classiques basées sur des questionnaires avec de « vraies » personnes.

L’objectif de cette présentation est double. Il s’agira, d’une part, de caractériser "l’imagination sociologique" de ce chatbot et ses limites si on la compare à celle des sociologues. Il s’agira, d’autre part, d’essayer de tirer de cette expérience quelques leçons sur la façon dont on peut — ou pas — envisager son usage dans le monde académique.

Gilles Bastin est professeur de sociologie à Sciences Po Grenoble - UGA.