Peu de temps après la sortie d'o1 par OpenAI, son premier modèle d'IA «raisonnement», les gens ont commencé à remarquer un phénomène curieux. Le modèle commencerait parfois à «penser» en chinois, en persan ou dans une autre langue, même lorsque la question était posée en anglais.
Donné un problème à résoudre - par exemple, «Combien de R's y a-t-il dans le mot 'fraise'?» - o1 commencerait son processus de «réflexion», arrivant à une réponse en effectuant une série d'étapes de raisonnement. Si la question était écrite en anglais, la réponse finale de o1 serait en anglais. Mais le modèle effectuerait certaines étapes dans une autre langue avant de tirer sa conclusion.
«[O1] a commencé à penser en chinois au milieu», a déclaré un utilisateur sur Reddit.
«Pourquoi [o1] a-t-il commencé à penser en chinois de manière aléatoire? Aucune partie de la conversation (5+ messages) n'était en chinois», a demandé un autre utilisateur dans un post sur X. «Très intéressant... influence des données d'entraînement pic.twitter.com/yZWCzoaiit
- Rishab Jain (@RishabJainK) 9 janvier 2025
OpenAI n'a pas fourni d'explication pour le comportement étrange de o1 - ou même ne l'a reconnu. Alors, que se passe-t-il exactement? Eh bien, les experts en IA ne sont pas sûrs. Mais ils ont quelques théories.
Plusieurs sur X, dont le PDG de Hugging Face Clément Delangue, ont fait allusion au fait que des modèles de raisonnement comme o1 sont formés sur des ensembles de données contenant beaucoup de caractères chinois. Ted Xiao, un chercheur de Google DeepMind, a affirmé que des entreprises comme OpenAI utilisent des services de marquage de données chinoises tiers, et que o1 basculer en chinois est un exemple de «l'influence linguistique chinoise sur le raisonnement».
