Le dernier modèle phare d'IA d'Anthropic, Claude 3.7 Sonnet, a coûté "quelques dizaines de millions de dollars" à former en utilisant moins de 10^26 FLOPs de puissance de calcul.
C'est ce qu'a révélé le professeur de Wharton Ethan Mollick, qui a relayé une clarification de l'équipe de relations publiques d'Anthropic dans un billet X lundi. "J'ai été contacté par Anthropic qui m'a dit que Sonnet 3.7 ne serait pas considéré comme un modèle 10^26 FLOP et qu'il avait coûté quelques dizaines de millions de dollars", a-t-il écrit, "bien que les futurs modèles seront beaucoup plus grands."
TechCrunch a contacté Anthropic pour confirmation mais n'avait pas reçu de réponse au moment de la publication.
En supposant que Claude 3.7 Sonnet ait vraiment coûté "quelques dizaines de millions de dollars" à former, sans tenir compte des dépenses associées, c'est un signe de la relative économie avec laquelle il devient possible de lancer des modèles de pointe. Claude 3.5, le prédécesseur de Sonnet, sorti à l'automne 2024, a également coûté quelques dizaines de millions de dollars à former, comme l'a révélé récemment l'essayiste Dario Amodei, PDG d'Anthropic.
Ces totaux se comparent assez favorablement aux coûts de formation des principaux modèles de 2023. Pour développer son modèle GPT-4, OpenAI a dépensé plus de 100 millions de dollars, selon le PDG de OpenAI, Sam Altman. Pendant ce temps, Google a dépensé près de 200 millions de dollars pour former son modèle Gemini Ultra, selon une étude de Stanford.
Cela dit, Amodei prévoit que les futurs modèles d'IA coûteront des milliards de dollars. Bien entendu, les coûts de formation ne capturent pas le travail comme les tests de sécurité et la recherche fondamentale. De plus, à mesure que l'industrie de l'IA adopte des modèles de "raisonnement" qui travaillent sur des problèmes pendant de longues périodes, les coûts de calcul pour exécuter les modèles continueront probablement d'augmenter.
