Julien Boelaert (Université de Lille) et quatre chercheurs en sociologie du CREST (Samuel Coavoux, Etienne Ollion, Ivaylo Petev et Patrick Präg) ont récemment publié, au format preprint, l’article “Machine Bias. Generative Large Language Models Have a Worlview of Their Own“.
Ce travail est repris dans un article du Monde paru le 23 mai 2024 : “Quand l’intelligence artificielle s’immisce dans les sondages“.
Nous voulions en savoir un peu plus sur ces travaux. Samuel Coavoux a bien souhaité répondre à nos questions :
Pourquoi vous êtes vous mis à travailler sur la capacité des modèles de langage à imiter les populations ?
Il y a environ un an, dès les débuts de l’engouement pour les assistants conversationnels comme ChatGPT, nous avons vu paraître les premiers papiers évoquant la possibilité de remplacer les humains dans les enquêtes de sciences sociales. Cela semblait à la fois impressionnant et irréaliste. Mais du fait de la force de la promesse de l’IA, on pouvait s’attendre à ce que des entreprises tentent de remplacer les répondants des enquêtes de sciences sociales. Cela n’a pas manqué : on a vu paraître des entreprises vendant des “études” réalisées avec des IA génératives. Mais pour quels résultats ? On a voulu tester cela.
Quel était l’objectif de cet article ?
Notre objectif premier étant donc de voir s’il était possible d’utiliser les modèles de langage actuels pour simuler des populations. On se disait qu’il devait y avoir de forts biais lié; ne serait-ce que ceux en lien avec le fait que les données d’internet mobilisées pour entraîner ces modèles sur-représentent certaines populations. Ces modèles sont entraînés sur des corpus avant tout anglophones.
On a donc voulu, nous aussi, poser des questions à ces modèles (GPT, Llama, Mixtral, …) et on les a comparé à des personnes réelles. Mais les premiers résultats nous ont surpris : en fait, le biais est à la fois fort et difficile à prévoir. Contrairement à ce que nous pensions, les hommes américains blancs de classes moyennes ne sont pas particulièrement mieux représentés que les autres. A la place, tout se passe comme si chaque modèle de langage avait une vision très opiniâtres de ce que devait être l’opinion majoritaire, et en variait un peu. C’est ce que nous avons appelé ‘Machine bias“. Il y avait déjà des tendances dans la littérature, des gens qui avaient repéré l’étroitesse d’esprit des modèles, mais aucun n’avait systématiquement étudié cela, ni n’en avait tiré les conséquences.
Comment avez-vous mené cette recherche collectivement ?
Ce travail est le résultat d’une collaboration au sein de l’équipe de sociologie du CREST, avec un membre extérieur, Julien Boelaert. Julien a été particulièrement moteur : il est sans doute l’un des meilleurs connaisseurs des modèles de langage parmi les utilisateurs de ces outils dans les sciences sociales. L’article a aussi bénéficié des synergies dans l’équipe de sociologie entre les spécialistes des sciences sociales computationnelles et ceux des enquêtes sur la stratification sociale.
Quand l’IA s’immisce dans les sondages
Julien Boelaert (Université de Lille) et quatre chercheurs en sociologie du CREST (Samuel Coavoux, Etienne Ollion, Ivaylo Petev et Patrick Präg) ont récemment publié, au format preprint, l’article “Machine Bias. Generative Large Language Models Have a Worlview of Their Own“.
Ce travail est repris dans un article du Monde paru le 23 mai 2024 : “Quand l’intelligence artificielle s’immisce dans les sondages“.
Nous voulions en savoir un peu plus sur ces travaux. Samuel Coavoux a bien souhaité répondre à nos questions :
Pourquoi vous êtes vous mis à travailler sur la capacité des modèles de langage à imiter les populations ?
Il y a environ un an, dès les débuts de l’engouement pour les assistants conversationnels comme ChatGPT, nous avons vu paraître les premiers papiers évoquant la possibilité de remplacer les humains dans les enquêtes de sciences sociales. Cela semblait à la fois impressionnant et irréaliste. Mais du fait de la force de la promesse de l’IA, on pouvait s’attendre à ce que des entreprises tentent de remplacer les répondants des enquêtes de sciences sociales. Cela n’a pas manqué : on a vu paraître des entreprises vendant des “études” réalisées avec des IA génératives. Mais pour quels résultats ? On a voulu tester cela.
Quel était l’objectif de cet article ?
Notre objectif premier étant donc de voir s’il était possible d’utiliser les modèles de langage actuels pour simuler des populations. On se disait qu’il devait y avoir de forts biais lié; ne serait-ce que ceux en lien avec le fait que les données d’internet mobilisées pour entraîner ces modèles sur-représentent certaines populations. Ces modèles sont entraînés sur des corpus avant tout anglophones.
On a donc voulu, nous aussi, poser des questions à ces modèles (GPT, Llama, Mixtral, …) et on les a comparé à des personnes réelles. Mais les premiers résultats nous ont surpris : en fait, le biais est à la fois fort et difficile à prévoir. Contrairement à ce que nous pensions, les hommes américains blancs de classes moyennes ne sont pas particulièrement mieux représentés que les autres. A la place, tout se passe comme si chaque modèle de langage avait une vision très opiniâtres de ce que devait être l’opinion majoritaire, et en variait un peu. C’est ce que nous avons appelé ‘Machine bias“. Il y avait déjà des tendances dans la littérature, des gens qui avaient repéré l’étroitesse d’esprit des modèles, mais aucun n’avait systématiquement étudié cela, ni n’en avait tiré les conséquences.
Comment avez-vous mené cette recherche collectivement ?
Ce travail est le résultat d’une collaboration au sein de l’équipe de sociologie du CREST, avec un membre extérieur, Julien Boelaert. Julien a été particulièrement moteur : il est sans doute l’un des meilleurs connaisseurs des modèles de langage parmi les utilisateurs de ces outils dans les sciences sociales. L’article a aussi bénéficié des synergies dans l’équipe de sociologie entre les spécialistes des sciences sociales computationnelles et ceux des enquêtes sur la stratification sociale.
Samuel Coavoux interviewé à propos de ses recherches par Louise Mohammedi, pour le journal Le Monde.
Publié le 17 mai 2024
Samuel Coavoux interviewé à propos de ses recherches par Louise Mohammedi, pour le journal Le Monde.
Publié le 17 mai 2024
Franck Malherbet nommé membre du groupe d’experts sur le salaire minimum de croissance
Franck Malherbet nommé membre du groupe d’experts sur le salaire minimum de croissance
CEPR Paris Report 2: Europe’s Economic Security
Rédaction du chapitre “Identifying European Trade dependencies” de Pierre Rousseaux et Isabelle Méjean (Sciences Po).
Patricia Crifo received the Qidi award for contributing to SDGs set by UN
The Alumni Association of Tongji University in France organized the first “Qidi” award ceremony on Friday, April 19, 2024, in Shanghai. The event was supported by the Alumni Association of Tsinghua in France and was held at the Consulate Residence in Shanghai. Nearly 80 guests attended the ceremony.
The “Qidi” award was created by the Alumni Association of Tongji in France and honors two female scientists or engineers annually who have contributed to the 17 Sustainable Development Goals (SDGs) set by the United Nations member states in 2015. This distinction honors Professor WU Qidi, former president of Tongji University and former vice-minister of Chinese education, recognized for her work in fostering Franco-Chinese cooperation in the field of education. One of the main objectives of the award is to highlight female scientists and engineers and promote examples of female success to inspire young girls.
The 2023 Qidi Award winners were chosen from 11 candidates from 9 countries by a jury chaired by Professor WU Qidi. The award recipients are Professor Xiaoying Zhuang from Leibniz Universität Hannover in Germany and Tongji University in China, and Professor Patricia Crifo from École Polytechnique in Paris, recognized for their exceptional contributions to research and teaching.
At the ceremony, Professor Wu Qidi spoke and personally presented the awards to the two laureates. The Consul General of France in Shanghai, Mr. Joan Valadou, the Vice President of Innovation for Asia at Saint-Gobain, Mr. Alain Zanoli, and the representative of the Fondation de France, Mr. Julien-Loïc Garin, offered their congratulations to the laureates, emphasizing the importance of strengthening Franco-Chinese relations in scientific, technological, and educational fields and providing more opportunities for women in these sectors.
More information: https://mp.weixin.qq.com/s/W8lbJXF45AJj2UHwJwXoOA
Patricia Crifo received the Qidi award for contributing to SDGs set by UN
The Alumni Association of Tongji University in France organized the first “Qidi” award ceremony on Friday, April 19, 2024, in Shanghai. The event was supported by the Alumni Association of Tsinghua in France and was held at the Consulate Residence in Shanghai. Nearly 80 guests attended the ceremony.
The “Qidi” award was created by the Alumni Association of Tongji in France and honors two female scientists or engineers annually who have contributed to the 17 Sustainable Development Goals (SDGs) set by the United Nations member states in 2015. This distinction honors Professor WU Qidi, former president of Tongji University and former vice-minister of Chinese education, recognized for her work in fostering Franco-Chinese cooperation in the field of education. One of the main objectives of the award is to highlight female scientists and engineers and promote examples of female success to inspire young girls.
The 2023 Qidi Award winners were chosen from 11 candidates from 9 countries by a jury chaired by Professor WU Qidi. The award recipients are Professor Xiaoying Zhuang from Leibniz Universität Hannover in Germany and Tongji University in China, and Professor Patricia Crifo from École Polytechnique in Paris, recognized for their exceptional contributions to research and teaching.
At the ceremony, Professor Wu Qidi spoke and personally presented the awards to the two laureates. The Consul General of France in Shanghai, Mr. Joan Valadou, the Vice President of Innovation for Asia at Saint-Gobain, Mr. Alain Zanoli, and the representative of the Fondation de France, Mr. Julien-Loïc Garin, offered their congratulations to the laureates, emphasizing the importance of strengthening Franco-Chinese relations in scientific, technological, and educational fields and providing more opportunities for women in these sectors.
More information: https://mp.weixin.qq.com/s/W8lbJXF45AJj2UHwJwXoOA
Beyond the PhD – CREST Series 2: How would you define a PhD?
Last year, CREST introduced a new series of videos on the PhD theme. Léa Bou Sleiman & Martin Mugnier were interviewed for this first episode of “Beyond the PhD”. The 4th year economics PhD students present their career at CREST and their participation in the International Job Market.
In 2024, the Beyond the PhD series is focused on the definition of a PhD.
In doing so, four PhD students from CREST have participated in this interview series:
- Reda Alami Chentoufi, 1st year PhD student in Finance-Insurance (CREST-GENES)
- Emma Bonutti d’Agostini, 1st year PhD student in Sociology (CREST-GENES)
- Yiyun Zheng, 2nd year PhD student in Economics (CREST-Ecole polytechnique)
- Clara Carlier, 3rd year PhD student in Statistics (CREST-GENES)
With the participation of Prof. Emmanuelle Taugourdeau, Research Director at CNRS and Deputy Director at CREST, all four PhD students answered some questions about the PhD program: how would they describe it, what is of importance in a PhD and their recommendations to future PhD students.
All videos are now available on the CREST’s YouTube account.
We want here to promote the interview highlights that key points of all interviews in one.
Below, you will find all videos available in the scope of the Beyond the PhD video series 2.